Usabilidade – Como realizar os testes?
Orientações práticas para fazer testes de usabilidade na criação e na evolução de serviços digitais essenciais para a Administração Pública.
Este guia prático tem como principal objetivo clarificar e documentar os conceitos e processos fundamentais para fazer os testes de usabilidade de serviços digitais na Administração Pública (AP). Procura clarificar conceitos essenciais sobre os testes de usabilidade para qualquer produto em construção.
Como se caracterizam?
Os testes de usabilidade adotam vários modelos. Mantêm aquilo que é a sua génese e o foco de análise, ao escolher diferentes modelos com características próprias e que ajudam cada uma das equipas a melhor rentabilizar esta ferramenta de user experience (UX, na sigla em inglês).
Estes testes ajudam as equipas a avaliar a usabilidade, com dois tipos de análise: qualitativa ou quantitativa. Cada uma destas perspetivas tem as suas vantagens – fica a cargo das equipas a decisão sobre qual faz sentido em cada momento do projeto.
Análise qualitativa
Pergunta a que responde
Por que os utilizadores fazem o que fazem?
Objetivos
Avaliação formativa:
Identificar problemas de usabilidade
Ajudar a tomar decisões de design informadas
Compreender contextos de utilização
Utilização
Em qualquer momento do processo de design ou desenvolvimento.
Resultados
Descobertas baseadas na recolha, em interpretações e impressões do facilitador, mas muito valiosas na compreensão dos utilizadores e do seu contexto.
Metodologia
Abordagem baseada:
Realização de testes com poucos utilizadores
Condições de realização mais flexíveis e adaptáveis a diferentes circunstâncias
Utilização do think aloud protocol para compreensão dos modelos mentais dos utilizadores
Análise quantitativa
Pergunta a que responde
Quantos utilizadores fazem o que fazem?
Objetivos
Avaliação sumativa:
Avaliar a usabilidade do produto digital
Ajudar a medir a usabilidade com base em métricas
Comparar produto com concorrente
Utilização
Quando já existe um produto digital em funcionamento.
Resultados
Significativos em termos estatísticos, mas impossíveis de contextualizar, e compreender as suas causas.
Metodologia
Abordagem baseada:
Envolvimento de muitos participantes
Controlo restrito de todas as condições do estudo
Focado na aferição de métricas numéricas concretas
Classificação
Os testes de usabilidade (quer seja por uma análise qualitativa ou quantitativa) são uma ferramenta que pode ainda ser classificada quanto ao seu formato, segundo dois vetores:
Testes de usabilidade moderados ou não moderados, sobre a inclusão ou não, por um facilitador que guie os utilizadores nas várias tarefas do teste
Testes de usabilidade realizados de forma presencial ou remota, sobre o espaço onde serão realizados os testes, se num espaço físico ou através de ferramentas de comunicação digital
Quando realizar?
Uma das coisas mais importantes a reter sobre os testes de usabilidade é a versatilidade de aplicação, quer no que se pode testar, quer quando se pode testar.
Todos os momentos são bons para realizar testes de usabilidade. Embora tendo por base diferentes protótipos (e, por consequência, as descobertas que estes podem originar), testar com regularidade as soluções que estão a ser desenhadas e desenvolvidas é, em muitos casos, a chave para o sucesso.
À medida que a linha do tempo do projeto avança e a quantidade de artefactos e protótipos disponíveis aumenta, os ciclos de testes vão ficando mais completos, porque o detalhe do que pode ser testado aumenta também. Contudo, isto não pode querer dizer que os testes de usabilidade só entram em cena no projeto numa fase já muito tardia.
A pior altura para realizar testes de usabilidade pela primeira vez no projeto é antes do lançamento da primeira versão do produto. É melhor fazer algum ciclo de testes do que nenhum, mas efetuar testes de usabilidade numa fase tão tardia vai fazer disparar de forma exponencial os custos de alterações no produto.
Tendo isto em mente, é fundamental realizar testes de usabilidade com regularidade, mas sobretudo em fases iniciais dos projetos, para que seja possível não só manter algum espaço de experimentação de novas e inovadoras soluções, mas também para controlar os custos de fazer alterações.
Quanto mais pensado e testado for o produto nas etapas de prototipagem, melhor será a sua definição, e mais coesa será a passagem para desenvolvimento. No final do dia, seja em que projeto for, estamos sempre a falar de poupanças de tempo e dinheiro.
Com quantos utilizadores testar?
Uma das questões mais comuns quando se fala de testes de usabilidade é o número de utilizadores a envolver para obter resultados relevantes. Este tema é de grande importância: não só é fundamental que as conclusões das equipas se baseiem em evidências, como o número de utilizadores a envolver tem um impacto direto no investimento necessário para fazer os testes.
O número de utilizadores depende do tipo de análise que se pretende realizar. Se o objetivo for uma análise qualitativa, são necessários menos utilizadores. Se o objetivo for uma análise quantitativa, é recomendável envolver mais utilizadores para obter resultados mais representativos. Nas análises qualitativas, é importante encontrar um equilíbrio, uma vez que a preparação dos testes e a análise dos resultados exigem mais tempo e recursos.
Posto isto, é fundamental perceber, numa análise qualitativa, qual o número de utilizadores mínimo a envolver em testes de usabilidade. Um estudo do Nielsen Norman Group – uma das empresas de referência na área da usabilidade a nível mundial – refere que a partir de cinco testes é possível encontrar quase 90% dos problemas de usabilidade do produto.
Numa análise qualitativa de usabilidade não se procura descobrir quantas pessoas tiveram determinados problemas, mas sim descobrir quais os problemas existentes. Se um utilizador encontra um problema, este vai continuar a ser um problema de usabilidade, quer tenha sido encontrado por um ou por cinco utilizadores.
Quais os documentos de referência?
Fazer testes de usabilidade envolve preparação e metodologia na execução das várias etapas. É importante que o processo seja documentado, não só para garantir que a equipa conhece os procedimentos, mas sobretudo para garantir a uniformização da avaliação ao longo do ciclo de vida do produto digital.
Existem alguns materiais e documentos a ter como referência. Embora esta estrutura documental possa variar consoante o contexto e a equipa, por norma é possível encontrar o mesmo tipo de informação.
Materiais e documentos de referência:
Plano de testes de usabilidade: documento de definição fundamental que deve ter as diretivas principais de orientação
Guião de tarefas: resumo das tarefas que serão solicitadas aos vários perfis de utilizadores para fazerem no serviço público digital (consoante os perfis poderá ser preciso ter documentos de guião diferentes)
Materiais de suporte aos testes: são todos os instrumentos, logísticos, tecnológicos ou documentais, que vão apoiar a realização dos testes com os utilizadores
Declaração de consentimento: documento que comprova o consentimento dos utilizadores participantes nos testes para a recolha e o tratamento da informação (vídeo e áudio) decorrente da realização dos testes
Declaração de confidencialidade: documento que comprova o compromisso por parte dos utilizadores participantes de manterem em sigilo a informação e os modelos a que tiveram acesso durante a realização dos testes
Relatório de conclusões: documento resultante do processo de testes, com uma estrutura e uma organização próprias, que documenta todas as descobertas e aponta algumas sugestões de melhoria
Quem são os intervenientes?
A realização dos testes de usabilidade, neste caso em específico, requer a participação de vários tipos de intervenientes, cada qual com um papel e um perfil específicos.
Facilitador
É a pessoa da equipa de projeto com um perfil profissional relacionado com a área de UX, responsável por coordenar todo o plano de testes nas suas várias etapas. Compete ao facilitador:
Preparar o plano dos testes de usabilidade e os protocolos necessários
Fazer o recrutamento e o contacto com os participantes dos testes
Preparar os materiais, documentos e a logística para a execução dos testes
Guiar os participantes na realização dos testes
Analisar a informação recolhida durante os testes de usabilidade junto dos participantes
Redigir o relatório de conclusões
Apresentar as conclusões dos testes de usabilidade à equipa
Observador
É o responsável (de um qualquer perfil profissional) por auxiliar o facilitador durante a realização dos testes de usabilidade. Compete ao observador:
Colaborar na preparação logística dos testes de usabilidade
Registar, durante os testes, o sucesso da conclusão de cada uma das tarefas, o tempo de execução, principais dificuldades sentidas pelos utilizadores e, sempre que possível, o porquê dessas dificuldades
Registar, durante os testes, as impressões genéricas partilhadas pelos utilizadores
Auxiliar o facilitador na redação do relatório de conclusões
Product owner
É o responsável por acompanhar, monitorizar e validar o trabalho realizado na dinâmica dos testes de usabilidade, e que faz a ponte no decorrer do projeto. Compete ao product owner:
Definir o âmbito das áreas a testar
Rever e aprovar o plano de testes de usabilidade
Difundir pela equipa de projeto as conclusões dos testes
Garantir a inclusão no backlog do projeto e nos sprints a realização das alterações subsequentes dos testes de usabilidade
Participantes
São os utilizadores convidados a testar os protótipos do produto digital em avaliação e que realizam as principais tarefas.
Compete aos participantes:
Fazer as tarefas propostas durante os testes de usabilidade
Garantir a confidencialidade de tudo o que lhes seja apresentado nos testes
Qual a metodologia a seguir?
No sentido de facilitar o planeamento, a execução e a conclusão do primeiro ciclo de testes de usabilidade é essencial definir o mais possível as várias tarefas deste processo. A metodologia, dividida em três etapas – antes, durante e depois – por detrás da realização de qualquer estudo de testes precisa ser cuidada para garantir que nada está a ficar esquecido.
Este desenho metodológico, que funciona também como uma checklist de controlo, tenta elencar todas as tarefas essenciais por detrás das várias etapas do estudo.
Antes da realização dos testes
Na etapa preparatória dos testes de usabilidade é importante não esquecer de:
Definir a equipa de trabalho para a realização do estudo
Definir o âmbito e os objetivos dos testes
Definir os perfis de utilizadores a envolver no estudo
Preparar o documento do plano de testes de usabilidade
Preparar guiões de tarefas para cada perfil de utilizador
Validar os documentos do plano de testes de usabilidade e os guiões de tarefas
Preparar e rever o protótipo a utilizar nos testes
Realizar um teste preparatório aos guiões de tarefas e protótipos (com membros da equipa de projeto)
Recrutar os utilizadores participantes nos testes
Marcar data e hora para a realização de cada sessão de teste
Enviar mensagem com informação preparatória aos utilizadores participantes:
Nota introdutória sobre o que vai ser testado e o que se pretende com a realização do estudo
Data e hora
Ligação da sessão remota
Informação de que a sessão será gravada
Informação de que a participação obriga a confidencialidade
Pedir informação aos utilizadores participantes sobre o equipamento e o browser que vão utilizar na realização dos testes
Enviar a declaração de confidencialidade para assinatura
Enviar a declaração de consentimento para assinatura
Preparar documentos de declaração de confidencialidade e a declaração de consentimento para a recolha de informação
Providenciar gratificações a entregar no final dos testes aos utilizadores
Preparar formulário online para o preenchimento no final do teste do System Usability Scale (SUS)
Preparar materiais, recursos, logística e ferramentas digitais necessários
Confirmar com todos os utilizadores participantes a data e a hora de cada sessão de teste, bem como se receberam a ligação da sessão online
Confirmar, antes da primeira sessão, todos os materiais, recursos, logística e ferramentas digitais
Durante os testes
Em cada uma das sessões de teste é crucial não esquecer de:
Receber o utilizador participante com uma nota de boas-vindas
Deixar os participantes o mais à vontade possível
Realizar apresentações pessoais do facilitador, do observador e do participante
Lembrar que não existem respostas certas ou erradas
Receber documentos de declaração de confidencialidade e declaração de consentimento
Gravar vídeo e áudio da sessão de testes
Explicar o que vai ser testado e quais os objetivos do estudo
Pedir aos utilizadores participantes para irem “pensando em voz alta” para que o facilitador e o observador possam ir acompanhando o raciocínio (think aloud protocol)
Fazer as várias tarefas do teste de usabilidade
Abrir espaço para comentários finais do utilizador participante àquilo que foi testado
Pedir para preencher o questionário online de SUS
Entregar a gratificação do teste
Encerrar a sessão de teste
Depois da realização dos testes
Após cada sessão de teste de usabilidade é essencial:
Reunir gravações das sessões e notas do observador numa mesma pasta de documentação
Analisar a informação resultante dos testes
Identificar os principais problemas de usabilidade encontrados pelos utilizadores participantes
Consolidar os dados recolhidos no questionário de SUS
Produzir o relatório de conclusões
Apresentar e discutir o relatório de conclusões com o product owner
Apresentar resultados e conclusões dos testes à equipa de projeto
Partilhar com a equipa de projeto o relatório de conclusões
Identificar quais as alterações a endereçar no imediato
Arquivar, numa pasta de documentação partilhada, a informação resultante dos estudos
Avaliar e documentar a metodologia seguida no estudo de testes de usabilidade
Think aloud protocol
Na realização de testes de usabilidade moderados, presenciais ou em formato remoto, o think aloud protocol é uma ferramenta interessante para perceber tudo o que “passa pela cabeça” dos utilizadores.
Este instrumento passa por incentivar o utilizador, conforme vai realizando cada uma das tarefas que lhe são propostas, a dizer em voz alta tudo o que está a pensar, as suas dúvidas, indecisões, sugestões, etc.
O pensamento em voz alta ajuda não só o facilitador a conseguir compreender um pouco melhor as ações dos utilizadores em cada momento, mas também é um bom instrumento para detetar em que pontos da experiência os utilizadores possam ter mais dúvidas, mesmo que completem com sucesso a tarefa.
System Usability Scale (SUS)
O SUS é uma ferramenta complementar à realização das várias tarefas dos testes de usabilidade, que ajuda a medir e a quantificar a qualidade da usabilidade do produto digital. É um questionário com dez perguntas, realizado no final de todas as tarefas do teste de usabilidade. A cada uma das questões o utilizador responde numa escala com cinco degraus, que vai entre “Concordo totalmente” ou “Discordo totalmente”.
Criado por John Brooke em 1986, este instrumento avalia a sensação do utilizador face à usabilidade – eficácia, eficiência e satisfação – do serviço digital que acabou de testar.
Embora seja uma ferramenta baseada na opinião dos utilizadores, é mais um bom instrumento, quando utilizado em articulação com outras métricas de usabilidade, para quantificar a qualidade da usabilidade do produto em desenvolvimento.
No final dos testes de usabilidade o utilizador recebe um endereço para um formulário online onde poderá preencher o SUS.
As questões que devem ser incluídas são as seguintes:
1. Eu acho que gostaria de usar este portal com frequência.
2. Eu acho o portal desnecessariamente complexo.
3. Eu achei o portal fácil de usar.
4. Eu acho que precisaria de ajuda de uma pessoa com conhecimentos técnicos para usar o
portal.
5. Eu acho que as várias opções do portal estão muito bem integradas.
6. Eu acho que o portal apresenta muita inconsistência.
7. Eu imagino que as pessoas aprenderão como usar este portal rapidamente.
8. Eu achei o portal difícil de usar.
9. Eu senti-me confiante ao usar o portal.
10. Eu precisei de aprender várias coisas novas antes de conseguir usar o portal.
No final dos testes, as respostas dos utilizadores são introduzidas numa folha de cálculo pré-preparada que calcula e atribui a classificação SUS do portal. As conclusões do SUS devem também ser incluídas no relatório final de conclusões.
Quais os materiais de suporte necessários?
Para este estudo de testes de usabilidade serão necessários alguns materiais, recursos, logística e ferramentas digitais que é preciso acautelar, sobretudo na etapa da metodologia antes da realização dos testes.
Será necessário garantir a preparação dos seguintes materiais:
Mensagem de e-mail preparatória a enviar aos utilizadores participantes
Modelo de declaração de confidencialidade
Modelo de declaração de consentimento
Protótipos para a realização dos testes
Documentos Google Docs online separados com cada uma das tarefas e ligações para o protótipo a utilizar pelos utilizadores participantes
Modelo de formulário online para o preenchimento por parte dos participantes do SUS
Modelo de folha de cálculo para a classificação de SUS
Gratificações para entregar aos utilizadores participantes no final dos testes
Ferramentas digitais
O Zoom é a aplicação online sugerida para realizar as sessões de testes online. Permite uma excelente comunicação entre todos os intervenientes, a gravação do vídeo e do áudio das sessões, para além de garantir uma performance e fluidez na comunicação muito acima das aplicações concorrentes.
O Google Docs, em especial a versão de criação de documentos online, é a ferramenta ideal para a partilha durante a sessão de testes de todas as tarefas que os utilizadores participantes terão de realizar.
O Google Forms é a aplicação para a criação de formulários online sugerida para fazer o questionário a partilhar com os utilizadores participantes no final da sessão de testes para preenchimento do SUS.
O que deve incluir o relatório de conclusões?
Para conclusão do primeiro ciclo de testes de usabilidade deve ser redigido um relatório com as conclusões e impressões partilhadas pelos utilizadores. Este documento, que se quer o mais simples e sintético possível, deve incluir não só a informação quantitativa e o balanço da realização das tarefas, como também todos os contributos qualitativos partilhados.
É muito importante que o relatório aponte algumas sugestões de melhorias para os principais problemas de usabilidade encontrados, bem como uma hierarquia de importância e o grau de gravidade.
Sugere-se que o relatório de conclusões inclua as seguintes métricas e conteúdos:
Para cada item de cada guião de tarefas:
Taxa de tarefas concluídas
Taxa de tarefas não concluídas
Tempo médio de realização de cada tarefa
Necessidade de ajuda durante a tarefa
Ideias soltas partilhadas pelos utilizadores durante a realização de cada tarefa (think aloud protocol)
Resumo dos principais problemas de usabilidade identificados e sugestão de melhorias por cada área temática ou página:
Identificação do problema
Localização do problema no produto
Sugestão de melhoria
Classificação de severidade
Definição dos níveis da escala de severidade
Resumo e classificação do SUS obtido
Na edição desde relatório é fundamental serem criados resumos dos principais conteúdos para que se torne bastante fácil de ler e ser revisitado várias vezes ao longo do desenvolvimento do projeto.
Last updated