> For the complete documentation index, see [llms.txt](https://guias.mosaico.gov.pt/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://guias.mosaico.gov.pt/guias-praticos/usabilidade-como-realizar-os-testes.md). # Usabilidade – Como realizar os testes? Este guia prático tem como principal objetivo clarificar e documentar os conceitos e processos fundamentais para fazer os testes de usabilidade de serviços digitais na Administração Pública (AP). Procura clarificar conceitos fundamentais sobre os testes de usabilidade para qualquer produto em construção. ## Como se caracterizam? Os testes de usabilidade adotam vários modelos de realização. Mantêm aquilo que é a sua génese e foco de análise, ao escolher diferentes modelos com características próprias e que ajudam cada uma das equipas a melhor rentabilizar esta ferramenta de user experience (UX). Estes testes ajudam as equipas a avaliar a usabilidade, com dois tipos de análise: qualitativas ou quantitativas. Cada uma destas perspetivas tem as suas vantagens: fica a cargo das equipas a decisão de qual faz sentido em cada momento do projeto. ### Análise qualitativa #### Pergunta a que responde Por que os utilizadores fazem o que fazem? #### Objetivos Avaliação formativa: * Identificar problemas de usabilidade * Ajudar a tomar decisões de design informadas * Compreender contextos de utilização #### Utilização Em qualquer momento do processo de design ou desenvolvimento. #### Resultados Descobertas baseadas na recolha, interpretações e impressões do facilitador, mas muito valiosas na compreensão dos utilizadores e do seu contexto. #### Metodologia Abordagem baseada: * Realização de testes com poucos utilizadores * Condições de realização mais flexíveis e adaptáveis a diferentes circunstâncias * Utilização do think aloud protocol para compreensão dos modelos mentais dos utilizadores ### Análise quantitativa #### Pergunta a que responde Quantos utilizadores fazem o que fazem? #### Objetivos Avaliação sumativa: * Avaliar a usabilidade do produto digital * Ajudar a medir a usabilidade com base em métricas * Comparar produto com concorrente #### Utilização Quando já existe um produto digital em funcionamento. #### Resultados Significativos em termos estatísticos, mas impossíveis de contextualizar, e compreender as suas causas. #### Metodologia Abordagem baseada: * Envolvimento de muitos participantes * Controlo restrito de todas as condições do estudo * Focado na aferição de métricas numéricas concretas ### Classificação Os testes de usabilidade (quer seja por uma análise qualitativa ou quantitativa) são uma ferramenta que pode ainda ser classificada quanto ao seu formato, segundo dois vetores distintos: * Testes de usabilidade moderados ou não moderados, sobre a inclusão, ou não, na sua realização da presença de um facilitador que guie os utilizadores na execução das várias tarefas do teste * Testes de usabilidade realizados de forma presencial ou remota, sobre o espaço onde serão realizados os testes, se num espaço físico ou através de ferramentas de comunicação digital ## Quando realizar? Uma das coisas mais importantes a reter sobre os testes de usabilidade é a sua versatilidade de aplicação, quer no que pode testar, quer quando se pode testar. Todos os momentos são bons para realizar testes de usabilidade. Embora tendo por base diferentes protótipos (e, por consequência, as descobertas que estes podem originar), testar com regularidade as soluções que estão a ser desenhadas e desenvolvidas é, em muitos casos, a chave para o sucesso. À medida que a linha do tempo do projeto avança e a quantidade de artefactos e protótipos disponíveis aumenta, os ciclos de testes vão ficando mais completos, porque o detalhe do que pode ser testado aumenta também. Contudo, isto não pode querer dizer que os testes de usabilidade só entram em cena no projeto numa fase já muito tardia.

Relação entre custo de mudança vs. tempo (Scott Ambler).

A pior altura para realizar testes de usabilidade pela primeira vez no projeto é antes do lançamento da primeira versão do produto. É melhor fazer algum ciclo de testes do que nenhum, mas efetuar testes de usabilidade numa fase tão tardia vai fazer disparar de forma exponencial os custos de alterações no produto. Tendo isto em mente, é fundamental realizar testes de usabilidade com regularidade, mas sobretudo em fases iniciais dos projetos, para que seja possível não só manter algum espaço de experimentação de novas e inovadoras soluções, mas também para controlar os custos de fazer alterações. Quanto mais pensado e testado for o produto nas etapas de prototipagem, melhor será a sua definição, e mais coesa será a passagem para desenvolvimento. No final do dia, seja em que projeto for, estamos sempre a falar de poupanças de tempo e dinheiro. ## Com quantos utilizadores testar? Uma das questões mais comuns quando se fala de testes de usabilidade é o número de utilizadores a envolver para obter resultados relevantes. Este tema é de grande importância: não só é fundamental que as conclusões das equipas se baseiem em evidências, como o número de utilizadores a envolver tem um impacto direto no investimento necessário para fazer os testes. O número de utilizadores depende do tipo de análise que se pretende realizar. Se o objetivo for uma análise qualitativa, são necessários menos utilizadores. Se o objetivo for uma análise quantitativa, é recomendável envolver mais utilizadores para obter resultados mais representativos. \ Nas análises qualitativas, é importante encontrar um equilíbrio, uma vez que a preparação dos testes e a análise dos resultados exigem mais tempo e recursos. Posto isto, é fundamental perceber, numa análise qualitativa, qual o número de utilizadores mínimo a envolver em testes de usabilidade. Um estudo do Nielsen Norman Group, uma das empresas de referência na área da usabilidade a nível mundial, refere que a partir de cinco testes é possível encontrar quase 90% dos problemas de usabilidade do produto.

Número de problemas encontrados vs. número de utilizadores que fazem testes (Nielsen Norman Group).

Numa análise qualitativa da usabilidade não se procura descobrir quantas pessoas tiveram determinados problemas, mas sim descobrir quais os problemas existentes. Se um utilizador encontra um problema, este vai continuar a ser um problema de usabilidade, quer tenha sido encontrado por um ou por cinco utilizadores. ## Quais os documentos de referência? Fazer testes de usabilidade envolve preparação e metodologia na execução das várias etapas. É importante que o processo seja documentado, não só para garantir que a equipa conhece os procedimentos, mas sobretudo para garantir a uniformização da avaliação ao longo do ciclo de vida do produto digital. Existem alguns materiais e documentos a ter como referência. Embora esta estrutura documental possa variar consoante o contexto e a equipa, por norma é possível encontrar o mesmo tipo de informação. Materiais e documentos de referência: * **Plano de testes de usabilidade** - documento de definição fundamental dos testes que deve ter as diretivas principais de orientação * **Guião de tarefas** - resumo das tarefas que serão solicitadas aos vários perfis de utilizadores para fazerem no serviço público digital (consoante os perfis poderá ser preciso ter documentos de guião diferentes) * **Materiais de suporte aos testes** - são todos os instrumentos, logísticos, tecnológicos ou documentais, que vão apoiar a realização dos testes com os utilizadores * **Declaração de consentimento** - documento que comprova o consentimento dos utilizadores participantes nos testes para a recolha e tratamento da informação (vídeo e áudio) decorrente da realização dos testes * **Declaração de confidencialidade** - documento que comprova o compromisso por parte dos utilizadores participantes de manterem em sigilo a informação e os modelos a que tiveram acesso durante a realização dos testes * **Relatório de conclusões** - documento resultante do processo de testes, com uma estrutura e uma organização próprias, que documenta todas as descobertas e aponta algumas sugestões de melhoria ## Quem são os intervenientes? A realização dos testes de usabilidade, neste caso em específico, requer a participação de vários tipos de intervenientes, cada qual com um papel e perfil específicos. ### Facilitador É a pessoa da equipa de projeto, com um perfil profissional relacionado com a área de UX, responsável por coordenar todo o plano de testes nas suas várias etapas. Compete ao facilitador: * Preparar o plano dos testes de usabilidade e os protocolos necessários * Fazer o recrutamento e o contacto com os participantes dos testes * Preparar os materiais, documentos e a logística para a execução dos testes * Guiar os participantes na realização dos testes * Analisar a informação recolhida durante os testes de usabilidade junto dos participantes * Redigir o relatório de conclusões * Apresentar as conclusões dos testes de usabilidade à equipa ### Observador É o responsável (de um qualquer perfil profissional) por auxiliar o facilitador durante a realização dos testes de usabilidade. Compete ao observador: * Colaborar na preparação logística dos testes de usabilidade * Registar, durante os testes, para cada uma das tarefas o sucesso da conclusão da tarefa, o tempo de execução, principais dificuldades sentidas pelos utilizadores e, sempre que possível, o porquê dessas dificuldades * Registar, durante os testes, as impressões genéricas partilhadas pelos utilizadores * Auxiliar o facilitador na redação do relatório de conclusões ### Product owner É o responsável por acompanhar, monitorizar e validar todo o trabalho realizado dentro da dinâmica dos testes de usabilidade, fazendo a ponte e relação disso com o decorrer do projeto. Compete ao product owner: * Definir o âmbito das áreas a testar * Rever e aprovar o plano de testes de usabilidade * Difundir pela equipa de projeto as conclusões dos testes * Garantir a inclusão no backlog do projeto e nos sprints a realização das alterações subsequentes dos testes de usabilidade ### Participantes São todos os utilizadores convidados a testar os protótipos do produto digital em avaliação e que realizam as principais tarefas. Compete aos participantes: * Fazer as tarefas propostas durante os testes de usabilidadee * Garantir a confidencialidade de tudo o que lhes seja apresentado nos testes ## Qual a metodologia a seguir? No sentido de facilitar o planeamento, a execução e a conclusão do primeiro ciclo de testes de usabilidade é essencial definir o mais possível as várias tarefas deste processo. A metodologia, dividida em três etapas – antes, durante e depois – por detrás da realização de qualquer estudo de testes precisa ser cuidada para garantir que nada está a ficar esquecido. Este desenho metodológico, que funciona também como uma checklist de controlo, tenta elencar todas as tarefas essenciais por detrás das várias etapas do estudo. ### Antes da realização dos testes Na etapa preparatória dos testes de usabilidade é importante não esquecer: * Definir a equipa de trabalho para a realização do estudo * Definir o âmbito e os objetivos dos testes * Definir os perfis de utilizadores a envolver no estudo * Preparar o documento do Plano de testes de usabilidade * Preparar guiões de tarefas para cada perfil de utilizadores * Validar os documentos Plano de testes de usabilidade e guiões de tarefas * Preparar e rever o protótipo a utilizar nos testes * Realizar um teste preparatório aos guiões de tarefas e protótipos (com membros da equipa de projeto) * Recrutar os utilizadores participantes nos testes * Marcar data e hora para a realização de cada sessão de teste * Enviar mensagem com informação preparatória aos utilizadores participantes: * Nota introdutória sobre o que vai ser testado e o que se pretende com a realização do estudo * Data e hora * Ligação da sessão remota * Informação de que a sessão será gravada * Informação de que a participação obriga a confidencialidade * Pedir informação aos utilizadores participantes sobre o equipamento e o browser que vão utilizar na realização dos testes * Enviar a declaração de confidencialidade para assinatura * Enviar a declaração de consentimento para assinatura * Preparar documentos de declaração de confidencialidade e declaração de consentimento para a recolha de informação * Providenciar gratificações a entregar no final dos testes aos utilizadores * Preparar formulário online para o preenchimento no final do teste do System Usability Scale (SUS) * Preparar materiais, recursos, logística e ferramentas digitais necessários * Confirmar com todos os utilizadores participantes a data e a hora de cada sessão de testes, bem como se receberam a ligação da sessão online * Confirmar, antes da primeira sessão, todos os materiais, recursos, logística e ferramentas digitais ### Durante os testes Em cada uma das sessões de testes é crucial não esquecer: * Receber o utilizador participante com uma nota de boas-vindas * Deixar os participantes o mais à vontade possível * Realizar apresentações pessoais do facilitador, do observador e do participante * Lembrar que não existem respostas certas ou erradas * Receber documentos de declaração de confidencialidade e declaração de consentimento * Gravar vídeo e áudio da sessão de testes * Explicar o que vai ser testado e quais os objetivos do estudo * Pedir aos utilizadores participantes para irem “pensando em voz alta” para que o facilitador e o observador possam ir acompanhando o raciocínio (think aloud protocol) * Fazer as várias tarefas do teste de usabilidade * Abrir espaço para comentários finais do utilizador participante àquilo que foi testado * Pedir para preencher o questionário online de SUS * Entregar a gratificação do teste * Encerrar a sessão de teste ### Depois da realização dos testes Após cada sessão de testes de usabilidade é essencial: * Reunir gravações das sessões e notas do observador numa mesma pasta de documentação * Analisar a informação resultante dos testes * Identificar os principais problemas de usabilidade encontrados pelos utilizadores participantes * Consolidar os dados recolhidos no questionário de SUS * Produzir o relatório de conclusões * Apresentar e discutir o relatório de conclusões com o product owner * Apresentar resultados e conclusões dos testes à equipa de projeto * Partilhar com a equipa de projeto o relatório de conclusões * Identificar quais as alterações a endereçar no imediato * Arquivar, numa pasta de documentação partilhada, a informação resultante dos estudos * Avaliar e documentar a metodologia seguida no estudo de testes de usabilidade ### Think aloud protocol Na realização de testes de usabilidade moderados, presenciais ou em formato remoto, o think aloud protocol é uma ferramenta interessante para perceber tudo o que “passa pela cabeça” dos utilizadores. Este instrumento passa por incentivar o utilizador, conforme vai realizando cada uma das tarefas que lhe são propostas, a dizer em voz alta tudo o que está a pensar, as suas dúvidas, indecisões, sugestões, etc. O pensamento em voz alta ajuda não só o facilitador a conseguir compreender um pouco melhor as ações dos utilizadores em cada momento, mas também é um bom instrumento para detetar em que pontos da experiência os utilizadores possam ter mais dúvidas, mesmo que completem com sucesso a tarefa. ### System Usability Scale (SUS) O SUS é uma ferramenta complementar à realização das várias tarefas dos testes de usabilidade, que ajuda a medir e a quantificar a qualidade da usabilidade do produto digital. É um questionário com dez perguntas, realizado no final de todas as tarefas do teste de usabilidade. A cada uma das questões o utilizador responde numa escala com cinco degraus, que vai entre “Concordo totalmente” ou “Discordo totalmente”. Criado por John Brooke em 1986, este instrumento avalia a sensação do utilizador face à usabilidade – eficácia, eficiência e satisfação – do serviço digital que acabou de testar. Embora seja uma ferramenta baseada na opinião dos utilizadores, é mais um bom instrumento, quando utilizado em articulação com outras métricas de usabilidade, para quantificar a qualidade da usabilidade do produto em desenvolvimento. No final dos testes de usabilidade o utilizador recebe um endereço para um formulário online onde poderá preencher o SUS. As questões que devem ser incluídas são as seguintes: 1\. Eu acho que gostaria de usar este portal com frequência. 2\. Eu acho o portal desnecessariamente complexo. 3\. Eu achei o portal fácil de usar. 4\. Eu acho que precisaria de ajuda de uma pessoa com conhecimentos técnicos para usar o portal. 5\. Eu acho que as várias opções do portal estão muito bem integradas. 6\. Eu acho que o portal apresenta muita inconsistência. 7\. Eu imagino que as pessoas aprenderão como usar este portal rapidamente. 8\. Eu achei o portal difícil de usar. 9\. Eu senti-me confiante ao usar o portal. 10\. Eu precisei de aprender várias coisas novas antes de conseguir usar o portal. No final de todos os testes, todas as respostas dos utilizadores são introduzidas numa folha de cálculo pré-preparada que calcula e atribui a classificação SUS do portal. As conclusões do SUS devem também ser incluídas no relatório de conclusões final. ## Quais os materiais de suporte necessários? Para este estudo de testes de usabilidade serão necessários alguns materiais, recursos, logística e ferramentas digitais que é preciso acautelar, sobretudo na etapa da metodologia “antes da realização dos testes”. Será necessário garantir a preparação dos seguintes materiais: * Mensagem de e-mail preparatória a enviar aos utilizadores participantes * Modelo de declaração de confidencialidade * Modelo de declaração de consentimento * Protótipos para a realização dos testes * Documentos Google Docs online separados com cada uma das tarefas e ligações para o protótipo a utilizar pelos utilizadores participantes * Modelo de formulário online para o preenchimento por parte dos participantes do SUS * Modelo de folha de cálculo para a classificação de SUS * Gratificações para entregar aos utilizadores participantes no final dos testes ## Ferramentas digitais O Zoom é a aplicação online sugerida para realizar as sessões de testes online. Permite uma excelente comunicação entre todos os intervenientes, a gravação do vídeo e do áudio das sessões, para além de garantir uma performance e fluidez na comunicação muito acima das aplicações concorrentes. O Google Docs, em especial a versão de criação de documentos online, é a ferramenta ideal, para a partilha durante a sessão de testes de todas as tarefas que os utilizadores participantes terão de realizar. O Google Forms é a aplicação para a criação de formulários online sugerida para fazer o questionário a partilhar com os utilizadores participantes no final da sessão de testes para preenchimento do SUS. ## O que deve incluir o relatório de conclusões? Para conclusão do primeiro ciclo de testes de usabilidade deve ser redigido um relatório com as conclusões e impressões partilhadas pelos utilizadores. Este documento, que se quer o mais simples e sintético possível, deve incluir não só a informação quantitativa e o balanço da realização das tarefas, como também todos os contributos qualitativos partilhados. É muito importante que o relatório aponte algumas sugestões de melhorias para os principais problemas de usabilidade encontrados, bem como uma hierarquia de importância e o grau de gravidade. Sugere-se que o relatório de conclusões inclua as seguintes métricas e conteúdos: * Para cada item de cada guião de tarefas: * Taxa de tarefas concluídas * Taxa de tarefas não concluídas * Tempo médio de realização de cada tarefa * Necessidade de ajuda durante a tarefa * Ideias soltas partilhadas pelos utilizadores durante a realização de cada tarefa (think aloud protocol) * Resumo dos principais problemas de usabilidade identificados e sugestão de melhorias por cada área temática ou página: * Identificação do problema * Localização do problema no produto * Sugestão de melhoria * Classificação de severidade * Definição dos níveis da escala de severidade * Resumo e classificação do SUS obtido Na edição desde relatório é fundamental serem criados resumos dos principais conteúdos para que se torne bastante fácil de ler e ser revisitado várias vezes ao longo do desenvolvimento do projeto. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://guias.mosaico.gov.pt/guias-praticos/usabilidade-como-realizar-os-testes.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.