YouX Academy

SUS - System Usability Scale

Luís Filipe

Managing Partner YouX

Miguel Félix

Managing Partner iBloom

SUS - System Usability Scale

De entre os testes de satisfação, gostamos particularmente do SUS. Este teste foi criado por John Brooke em 1986 e tem como grande virtude fazer um balanço entre rigor e não ser demasiado longo para o utilizador e pesquisador. O que pretende o SUS avaliar:

• Efetividade

• Eficiência

• Satisfação

Para o efeito, usa uma Escala: de 1 – Discordo Completamente a 5 – Concordo completamente,
e 10 perguntas:

Eu acho que gostaria de usar este sistema com frequência
Eu acho este sistema desnecessariamente complexo
Eu achei o sistema fácil de usar
Eu acho que precisaria do suporte de um
técnico para poder usar o sistema
Eu acho que as várias funções do sistema
estão bem integradas
Eu acho que o sistema apresenta muitas
inconsistências
Eu imagino que as pessoas aprenderão a
usar este sistema rapidamente
Eu achei que o sistema era complicado de usar
Eu senti-me confiante a utilizar o sistema
Eu irei necessitar de aprender muitas coisas novas antes de conseguir utilizar o sistema.

SUS - Método Próprio para Calcular a Pontuação

Nas respostas ímpares, subtraímos um ponto à resposta dada pelo utilizador.

Nas respostas pares, retirar a 5 a resposta do utilizador.
Teremos assim respostas entre 0 e 4.
Após o cálculo anterior, somamos as pontuações das 10 questões e multiplicamos por 2,5 o que reflectirá numa pontuação que pode ir de 0 a 100 (em vez do 0 a 40, caso não multiplicássemos por 2,5).

Como interpretar os resultados do SUS?

Sauro (2011) refere que embora os SUS tenham uma ampla utilização existem poucas orientações sobre a interpretação dos seus resultados. Com base na sua experiência com mais de 5000 utilizadores e 500 avaliações de usabilidade, este autor defende que os SUS apresentam métricas confiáveis, sendo uma medida confiável e válida da usabilidade percebida.

Como interpretar os resultados do SUS?

A média que obteve nas 500 avaliações foi 68. O resultado do SUS não é uma percentagem. A melhor maneira de interpretar sua pontuação é convertê-la em uma classificação de percentil através de um processo chamado normalização. Criou uma calculadora e um guia que obtém pontuações brutas do SUS e gera classificações percentuais e notas (de A + a F) para oito tipos de aplicativos diferentes.

O gráfico seguinte mostra como as classificações de percentil se associam às pontuações e notas do SUS.

Exemplos:
74, corresponderia a 74%, algo como um B-

80,3 já permitiria chegar a um A (os 10% mais altos), o equivalente ao “recomendaria o produto a um amigo”. Por oposição, uma pontuação de 68 corres- ponderia a um 51 e a um F (os 15% inferiores).

O que é um bom resultado do SUS?

O gráfico seguinte mostra como as classificações de percentil se associam às pontuações e notas do SUS. Exemplos:
74, corresponderia a 74%, algo como um B-

80,3 já permitiria chegar a um A (os 10% mais altos), o equivalente ao “recomendaria o produto a um amigo”. Por oposição, uma pontuação de 68 corresponderia a um 51 e a um F (os 15% inferiores).

O âmbito do SUS: mede usabilidade e aprendizagem

Embora o SUS pretendesse apenas medir a facilidade de uso percebida (uma dimensão única), estudos mais recentes (Lewis, R., Sauro, J.) mostram que ela fornece uma medida global de satisfação do sistema e subescalas de usabilidade e aprendizagem. Das 10 questões do SUS, a 4 e a 10 fornecem a dimensão aprendizagem e as restantes fornecem a dimensão da usabilidade.

Como refere Sauro , o tamanho e a confiabilidade da amostra não estão relacionados, e por isso SUS pode ser usado em tamanhos de amostra muito pequenos (até dois utilizadores) e ainda assim gerar resultados confiáveis, embora possa nesse caso possa permitir estimativas de pontuação algo imprecisas.

Correlação modesta entre o SUS e o desempenho das tarefas

Os utilizadores podem encontrar problemas (até graves) com um aplicativo e mesmo assim fornecer pontuações no SUS aparentemente altas. As pontuações do SUS no pós-teste devem ser correlacionadas com o desempenho da tarefa. Embora a correlação seja modesta (em torno de r = 0,24 para taxas e tempo de conclusão), o que significa que apenas cerca de 6% das pontuações do SUS são explicadas pelo que acontece no teste de usabilidade. Este é o mesmo nível de correlação encontrado com outros questionários pós-teste.

Desenvolvemos assim o nosso documento SUS.

Referências:

Sauro, J. (2011, February 2). Measuring usability with the System Usability Scale (SUS). MeasuringU. Retrieved from https:// measuringu.com/sus/ [Access 2019/09/27].

Sauro, J. (2016, December 28). 50 UX metrics, methods & measurement articles from 2016. MeasuringU. Retrieved from https://measuringu.com/2016-review/ [Access 2019/09/24].

Sauro, J. (2016, June 14). 5 commom mistakes in UX benchmark studies. MeasuringU. Retrieved from https://measuringu.com/ benchmark-mistakes/ [Access 2019/09/24].

Sauro, J. (2016, May 17). Combining UX research with market research. MeasuringU. Retrieved from https://measuringu.com/ ux-market-research/ [Access 2019/09/24].

YouX Academy

SUS - System Usability Scale

Luís Filipe

Miguel Félix

SUS - System Usability Scale

SUS - Método Próprio para Calcular a Pontuação

Como interpretar os resultados do SUS?

Como interpretar os resultados do SUS?

O que é um bom resultado do SUS?

O âmbito do SUS: mede usabilidade e aprendizagem

Correlação modesta entre o SUS e o desempenho das tarefas

PESQUISA | IDEAÇÃO

EXECUÇÃO

MEMBRO

PESQUISA
/IDEAÇÃO

EXECUÇÃO

MEMBRO

YouX Academy

SUS - System Usability Scale

Luís Filipe

Miguel Félix

SUS - System Usability Scale

SUS - Método Próprio para Calcular a Pontuação

Como interpretar os resultados do SUS?

Como interpretar os resultados do SUS?

O que é um bom resultado do SUS?

O âmbito do SUS: mede usabilidade e aprendizagem

Correlação modesta entre o SUS e o desempenho das tarefas

PESQUISA | IDEAÇÃO

EXECUÇÃO

MEMBRO

PESQUISA /IDEAÇÃO

EXECUÇÃO

MEMBRO

PESQUISA
/IDEAÇÃO