YouX subscription
Navigation Test

YouX Academy

Methodologies for Measuring Usability

Picture of Luís Filipe

Luís Filipe

Managing Partner YouX

Picture of Miguel Félix

Miguel Félix

Managing Partner iBloom

Measure Usability

No artigo anterior falamos do Design Centrado no Utilizador  e de como o conhecimento do utilizador e do contexto em que interage com um sistema é essencial para desenvolver interfaces bem sucedidas. Vamos agora falar de um conjunto de metodologias que permitem optimizar as respostas que damos às necessidades dos utilizadores em determinados contextos de utilização. Como referem (Rubin, J., Chisnell, D., 2008) “UCD [User Centered Design, ou Design Centrado no Utilizador] comprises a variety of techniques, methods, and practices, each applied at different points in the product development lifecycle. Reviewing the major methods will help to provide some context for usability testing, which itself is one of these techniques. Please note that the order in which the techniques are described is more or less the order in which they would be employed during a product’s development lifecycle.”

These techniques are:

  • Pesquisa etnográfica: observação no local onde o produto será utilizado.
  • Participatory Design: involvement of users and stakeholders in product design.
  • Focus group design: can be used in the preliminary stages of the project to evaluate preliminary concepts with potential users.
  • Inquéritos: permitem aferir as preferências de uma base alargada de potenciais utilizadores.
  • Demonstração (exploratória): logo que tenhamos uma ideia de quem é o nosso target e dos seus objetivos e tarefas, demonstrações podem ser usadas para explorar como o utilizador se relaciona e usa o produto através de um primeiro conceito.
  • Card Sorting (abertos e fechados): é muito útil para desenhar a “encontrabilidade” do conteúdo ou da funcionalidade.
  • Prototipagem em Papel: é mostrado aos utiliza- dores algum aspecto do produto num papel, fazendo de seguida questões sobre isso ou perguntando sobre outras vias.
  • Avaliações heurísticas ou de peritos: avaliações de peritos envolvem uma avaliação do produto ou sistema, normalmente por um  especialista de usabilidade ou especialista em fatores humanos com pouco envolvimento com o projeto.
  • Tthis usability: (the focus of this book) the application of techniques to collect data while observing potential users using the product while performing tasks in a realistic way. This type of testing can be divided into two main approaches:
    • the first involves formal tests conducted as true experiments with the aim of confirming or disconfirming certain hypotheses;
    • the second, is less formal but still rigorous, employs an iterative cycle of tests that aim to expose usability deficiencies and gradually shape the product under study.
  • Estudos de follow-up: ocorrem após a apresentação formal do produto. O objetivo é captar dados para as versões seguintes do produto.

Para uma equipa que tenha implementado um Design Centrado no Utilizador, medir a usabilidade é importante desde logo para que toda a equipa multi-disciplinar envolvida no projeto compreenda os objetivos e metas a atingir. A norma ISO/IEC 9126-6 (entretanto substituída pela ISO/IEC 25010:2011) define os requisitos de eficácia, eficiência e satisfação que uma interface tem que ter para que o utilizador consiga atingir os seus objetivos.

Measure Effectiveness

Objective: evaluate whether the user was able to successfully complete a task.

  • Conclusão de tarefas sem erro: quantidade de utilizadores que consegue completar a tarefa sem cometer nenhum erro (o golden path, o fluxo ou interação que nós gostaríamos que o utilizador fizesse).
  • Conclusão da tarefa com erro não critico: percentagem de utilizadores que concluem a tarefa com erros que não têm impacto no sucesso da tarefa mas representam menor eficiência. (o utilizador pede ajuda para prosseguir).
  • Erros críticos: quantidade de utilizadores que não conseguem terminar uma tarefa. Pode também considerar-se os casos em que o utilizador só con- segue executar a tarefa com ajuda.
  • Quantidade de cliques errados ou toques errados: considera a totalidade da interação errada que o utilizador faz na tentativa de realizar a tarefa. O heatmap é uma boa forma de capturar o esforço cognitivo dos utilizadores. Software sugerido MAZE.
  • Frequência do pedido de ajuda: quando o utilizador solicita ajuda ao moderador para corrigir erros ou o ajudar a concluir a tarefa.

We could thus measure effectiveness using the following general formula:

Measure usability

Which we could multiply into success rate without errors, success rate with errors and success rate without critical errors.

Exemplo:
Total de tarefas concluídas com sucesso = 7 Número total de tarefas = 10
Eficácia = 7/10 x 100% = 70%

Measure Efficiency

Objective: evaluate how much time the user needs to complete the task.

Tempo de execução da tarefa: quantidade de tempo que o utilizador necessita para concluir uma tarefa. Em termos operativos somam-se os valores dos vários utilizadores e calcula-se uma média. Exemplo:

Task execution time 13”+10”+7”+10” = 40 seconds

Average = 10 sec.

Tempo de realização da tarefa comparado ao de um heavy user: é uma métrica menos conhecida que tem por objetivo até que ponto o fluxo está intuitivo para pessoas com menos domínio tecnológico.

Satisfaction When Performing a Task

After completing a task, even if it was not completed successfully, users must complete a questionnaire that measures the degree of difficulty of the task. The most popular:

• ASQ: After Scenario Questionnaire.

• NASA-TLX: o índice de carga de tarefas da NASA, que é uma medida do esforço mental.

• SMEQ: questionário de esforço mental subjetivo.

• UME: estimativa de magnitude de usabilidade.

• SEQ: single ease question: esta é uma boa alter- nativa por ser simples. Algo como “No geral, quão difícil ou fácil foi realizar essa tarefa?

“Very difficult – 1 to 7 – Very easy.”

Overall Test Satisfaction

It serves to understand users' perception of what was tested. At the end of the test, a questionnaire is administered to determine the user's level of satisfaction with the test as a whole. Most used questionnaires:

  • SUS: Escala de usabilidade do sistema. é dos mais usados e fornece resultados muito precisos. A partir de questionário de 10 perguntas o utiliza- dor dispões de 5 opções de resposta (de discordo totalmente – de 1 a 5 – concordo totalmente).
  • SUPR-Q: questionário de classificação percentual da experiência de utilizador padronizado.
  • CSUQ: computer system usability questionnaire.
  • QUIS: questionário para satisfação da interação do utilizador.
  • SUMI: inventário da medição de usabilidade de software.

References:

 

Rubin, J., & Chisnell, D. (2008). Handbook of usability testing: how to plan, design, and conduct effective tests (2nd ed.). Indianapolis: Wiley.

You cannot copy content of this page

Skip to content