O documento discute testes de usabilidade, incluindo estruturas de teste como exploração livre e orientada a tarefas. Ele fornece exemplos de métricas e detalhes de um teste realizado em um sistema de controle de horas trabalhadas, demonstrando como os resultados podem identificar problemas e sugerir soluções.

1. Testes de Usabilidade
Alessandra Dutra
Diogo Schwanck
Laís Berlatto

2. Tópicos
• Introdução a Testes de Usabilidade
• Estruturas de teste
 Exploração livre
 Orientado a tarefas
 Investigativo
 Codescoberta
• Exemplo
• Conclusão
• Referências

3. Conceitos Básicos
• Usabilidade
o conceito utilizado para descrever a
qualidade da
o de uma interface diante de seus
rios (HIX, 1993).
• Testes de Usabilidade envolvem a coleta de dados
utilizando uma combinação de métodos em um
ambiente controlado (Rogers, 2013).
•
um processo no qual
participantes representativos avaliam o grau que um
produto se encontra em
oa
rios
ficos de
usabilidade (RUB, 1994).

4. Conceitos Básicos
Para medir o desempenho (Rubin,1994), pode-se
contabilizar: [Métricas]
• O tempo para completar cada tarefa;[tempo de
execução]
• O número e o percentual de tarefas completadas
corretamente; [número de erros e acertos]
• O tempo gasto para ler determinada seção;[taxa de
finalização da tarefa]
• Os ícones selecionados incorretos,
• As visitas ao
tabela de conteúdos;
• Os “comentários negativos”[satisfação subjetiva]

5. Objetivos dos Testes de Usabilidade
• O principal objetivo dos testes de usabilidade é verificar se
uma interface é usável pelos usuários alvos para realizar as
tarefas que foi projetada
• Receber feedback sobre o design
• Avaliar situação
• Comparar com a concorrência

6. Objetivos dos Testes de Usabilidade

7. Recursos Utilizados
• Pode-se utilizar nestas tarefas:
– Gravações em vídeo;
– Registros de Logs das interações com o software;
– Questionários de satisfação do usuário.
– Entrevistas para obter opiniões
– Observação Local para coleta de evidências de como esta
sendo utilizado o produto, etc...

8. Laboratórios
Laboratório de IHC e
Engenharia de Software
da UFSJ (São João Del
Rei –MG).
Os métodos geralmente são realizados em Laboratórios, mas podem ser
feitos remotamente ou em ambientes naturais.

9. Laboratórios
• http://www.noldus.com/labs
: Laboratórios de usabilidade
existentes pelo mundo afora, suas instalações, equipamentos e
softwares utilizados.
• Um dos mais completos Centros de Experiência do Usuário na
Europa esta instalado no Rabobank, na Holanda.

10. Quando Utilizar ?
o da interface. [Rubin,1994]

11. Vídeo de Usabilidade
• http://www.youtube.com/watch?v=_bhxZjIqnIY

12. Quantos Usuários Selecionar?
• Por que 5 usuários?
Percentual de
Número de
erros
usuários
detectados
1
31,00%
2
52,39%
3
67,15%
4
77,33%
5
84,36%
6
89,21%
7
92,55%
8
94,86%
9
96,45%
10
97,55%
Fonte: Nielsen Norman Group http://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
(acesso em 19/04/2013)

13. Estruturas de Teste
• Exploração livre
– Utilização aberta, sem rotina pré-estabelecida
• Orientado a tarefas
– Utilização do sistema guiado por uma sequencia de
passos (tarefas)
• Investigativo
– Define-se um objetivo mensurável para inferir algo
sobre esse
• Codescoberta
– Realizado em dupla/grupo

14. Codescoberta
• Recomendável que participantes sejam amigos
ou conhecidos, pois ficam menos inibidos um
com outro
• Investigador pode ficar junto aos participantes
ou passar as instruções e observar ou gravar
• Verbalizações mais espontâneas
• Conversa pode perder o foco do teste

15. Codescoberta
interface
usuário
interface
usuário
opiniões
interface
usuário
usuário
dicas

16. Exemplo - Sistema de Controle de Horas
Trabalhadas - SCoHT 1.0 (UFMG)
• Objetivos do teste:
– Dados qualitativos
– Dados quantitativos:
• Número de erros para execução de tarefas
• Tempo gasto na execução da tarefa
– Levantar a satisfação subjetiva do usuário quanto aos aspectos
do sistema:
• Layout gráfico
• Navegabilidade
• Terminologia

17. Exemplo - Sistema de Controle de Horas
Trabalhadas - SCoHT 1.0 (UFMG)
• Algumas métricas utilizadas:
– Tempo:
• De execução da tarefa na primeira tentativa
• Gasto pelo usuário para encontrar o questionário desejado na
primeira tentativa
• Gasto pelo usuário para preencher e confirmar o questionário
– Número de erros:
• Cometidos na primeira tentativa
• Cometidos na busca e acesso ao formulário na primeira tentativa
• Para preencher e confirmar o questionário

18. Exemplo - Sistema de Controle de Horas
Trabalhadas - SCoHT 1.0 (UFMG)
• Perfil dos participantes:
– Alunos de Graduação e Pós-Graduação do Departamento de
Ciência da Computação (DCC/UFMG)
– Faixa etária: 20 a 40 anos
– Conhecimento básico de informática e de dispositivos de
computação móvel

19. Exemplo - Sistema de Controle de Horas
Trabalhadas - SCoHT 1.0 (UFMG)
• Exemplos de tarefas implementadas pelo sistema
–
–
–
–
–
Iniciar tarefa
Finalizar tarefa
Reiniciar tarefa
Remover tarefa
Obter relatórios

20. Exemplo - Sistema de Controle de Horas
Trabalhadas - SCoHT 1.0 (UFMG)
• Exemplos de tarefas solicitadas aos usuários (roteiro de teste):
– Tarefa 1 - Dê início a tarefa com os seguintes atributos: Projeto
SIACE, tarefa Especificação, Comentários Especificação dos requisitos do
Módulo de Transferência online
– Tarefa 5: Suponha que você trabalhou no projeto DigMub, realizando a
tarefa de prototipação das 8:00hs às 12:00hs e de 14:00hs às
18:00hs, no dia 14/10/2000, mas esqueceu de registrar suas horas
trabalhadas no SCoHT. Realize o cadastro dessas horas registrando o
seguinte comentário para ambos os períodos: Prototipação utilizando o
Visio.

21. Exemplo - Sistema de Controle de Horas
Trabalhadas - SCoHT 1.0 (UFMG)
•
•
•
•
•
•
•
•
Protocolo e procedimentos para realização do teste
Materiais do teste
Instruções ao participante do teste
Questionário de conhecimentos do usuário
Roteiro de teste
Questionário de avaliação do sistema
Roteiro de teste anotado
Folha do avaliador

22. Exemplo - Sistema de Controle de Horas
Trabalhadas - SCoHT 1.0 (UFMG)
• Resultados

23. Exemplo - Sistema de Controle de Horas
Trabalhadas - SCoHT 1.0 (UFMG)
• Resultados

24. Exemplo - Sistema de Controle de Horas
Trabalhadas - SCoHT 1.0 (UFMG)
• Exemplos da análise dos resultados:
– Análise 1: O problema de “inserir” tarefas
• Proposta de solução: Trocar o rótulo do botão de Inserir para
Registrar off-line ou Registro em lote.
– Análise 2: Disposição e funcionalidade do relatório
• Proposta de solução: Modificar a interface do relatório de forma a
apresentas toda a informação de um registro em uma única tela
– Análise 3: Ausência de Ajuda e Feedback
• Proposta de solução: Adicionar ajuda mínima. Adicionar
mensagens de feedback tanto para o sucesso quanto para o
insucesso das operações

25. Referências
• ACM SIGCHI, 1992, p 6.
• Rogers, Yvonne; Helen Sharp; Jennifer Preece: Design de Interação. Editora
Bookman, Porto Alegre (2013).
• RUBIN, J. Handbook of Usability Testing. New York, NY: John Wiley & Sons. 1994.
• HIX, Deborah, HARTSON, H. Rex. Developing User Interfaces, Ensuring Usability
Through Product & Process. New York: John Wiley & Sons, Inc., 1993. p. 3.
• ATAYDE, A. P. R.; GASPAR, M D. Roteiro de Avaliação de Usuário: Sistema de Controle
de
Horas
Trabalhadas
SCoTH
1.0.
Disponível
em:
<http://homepages.dcc.ufmg.br/~clarindo/arquivos/disciplinas/eu/material/exemplos
/roteirotestes.pdf>. Acesso em: 23/04/2013
• ATAYDE, A. P. R.; GASPAR, M D. Resultado do Teste de Usabilidade: Sistema de
Controle
de
Horas
Trabalhadas
SCoTH
1.0.
Disponível
em:
<http://homepages.dcc.ufmg.br/~clarindo/arquivos/disciplinas/eu/material/exemplos
/resultadodoteste.pdf>. Acesso em: 23/04/2013
• AMSTEL, F. V. Oficina de Teste de Usabilidade, 2009. Disponível em:
<http://www.slideshare.net/usabilidoido/oficina-de-teste-de-usabilidade>.
Acesso
em: 23/04/2013

26. MUITO OBRIGADO!