Análise dos dados e observações Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alon...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Características </li>...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso - Características •  Seu obje...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>- Etapas de Análise d...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos...
Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso ;)
Upcoming SlideShare
Loading in …5
×

Handbook Usability Testing - Capitulo 11 - Analise de dados

1,321 views
1,270 views

Published on

Mini-seminários da disciplina de Teste Formal de Usabilidade, Pós-graduação em Ergodesign de Interfaces da PUC-Rio / Laboratório de Ergonomia e Usabilidade de Interfaces / LEUI. Prof. Luiz Agner, 2010.

Published in: Design
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,321
On SlideShare
0
From Embeds
0
Number of Embeds
453
Actions
Shares
0
Downloads
15
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Handbook Usability Testing - Capitulo 11 - Analise de dados

  1. 1. Análise dos dados e observações Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso Mini Seminário teste de usabilidade
  2. 2. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso
  3. 3. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Características </li></ul><ul><li>Etapas da Análise dos Dados </li></ul><ul><ul><li>Compilação dos dados </li></ul></ul><ul><ul><ul><li>Compilação frequente </li></ul></ul></ul><ul><ul><ul><li>Organizar dados brutos </li></ul></ul></ul><ul><ul><li>Resumo dos dados </li></ul></ul><ul><ul><ul><li>Tarefa Cronometrada </li></ul></ul></ul><ul><ul><ul><li>Tarefa de precisão </li></ul></ul></ul><ul><ul><ul><li>Dados de preferência do usuário </li></ul></ul></ul><ul><ul><li>Análise dos dados </li></ul></ul><ul><ul><li>Desenvolver recomendações </li></ul></ul><ul><ul><li>Relatório Final </li></ul></ul>
  4. 4. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso - Características • Seu objetivo é identificar os problemas mais graves • Seu resultado é um relatório simples ou apresentação verbal • Cautela nas conclusões e recomendações das análises preliminares • Atenção para não perder nada importante • Se não tiver certeza sobre o resultado recomendar uma análise mais profunda • As recomendações preliminares podem mudar depois da análise mais profunda
  5. 5. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos Dados / Compilação dos Dados </li></ul><ul><ul><li>Ao final de cada período de teste </li></ul></ul><ul><li>• Reunir os formulário com os dados coletados para averiguar padrões </li></ul><ul><li>• Verificar a legibilidade </li></ul><ul><li>• Transcrição das gravações </li></ul><ul><li>• Tabular dados quantitativos </li></ul><ul><li>• A compilação frequente dos dados serve para aproveitar as informações que ainda estão frescas na memória dos avaliadores, facilitar na análise preliminar e serve como controle para verificar se a coleta está de acordo com o plano de teste. </li></ul>
  6. 6. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>- Etapas de Análise dos Dados / Compilação dos Dados </li></ul><ul><ul><li>Organizando os dados brutos </li></ul></ul><ul><li>• São muitas as ferramentas que podem ser utilizadas para organizar os dados. </li></ul><ul><li>Dentre elas: </li></ul><ul><li>1. Listas </li></ul><ul><li>2. Matrizes </li></ul><ul><li>3. Storyboards </li></ul><ul><li>4. Diagramas de fluxo </li></ul><ul><li>5. Programas específicos </li></ul><ul><li>6. Planilhas (mais recomendado pela simplicidade e recursos disponíveis para análise dos dados) </li></ul>
  7. 7. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos Dados / Resumo dos Dados </li></ul><ul><li>• O resumo das informações compiladas serve para obter um retrato do que aconteceu durante os testes: </li></ul><ul><ul><li>Onde os participantes tiveram êxito ou onde tiveram dificuldades. </li></ul></ul><ul><ul><li>A diferença de desempenho de cada grupo, como usuários experientes ou inexperientes. </li></ul></ul><ul><li>• Para elaborar este retrato podemos resumir os dados de desempenho em: </li></ul><ul><ul><li>Tarefas Cronometradas </li></ul></ul><ul><ul><li>Tarefas de Precisão </li></ul></ul><ul><ul><li>Dados de preferência do usuário </li></ul></ul>
  8. 8. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos Dados / Resumo dos Dados </li></ul><ul><ul><li>Tarefas Cronometradas </li></ul></ul><ul><li>• Mostram quanto tempo os usuários necessitaram para finalizar cada tarefa . </li></ul><ul><li>• Com este tempo podemos retirar algumas estatísticas como: </li></ul><ul><li>- Média do tempo para realizar a tarefa </li></ul><ul><li> (soma de todos os tempos dividido pelo número de participantes) </li></ul><ul><li>- Range – Maior e menor tempo gasto para realizar a tarefa (diferença) </li></ul><ul><li>- Desvio Padrão – Serve para detectar o grau de variabilidade entre os tempos. </li></ul>
  9. 9. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos Dados / Resumo dos Dados </li></ul><ul><ul><li>Tarefas Cronometradas </li></ul></ul><ul><li>• Formula para cálculo do desvio padrão </li></ul>
  10. 10. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos Dados / Resumo dos Dados </li></ul><ul><ul><li>Tarefas Cronometradas </li></ul></ul><ul><li>• Como usar o desvio padrão? </li></ul><ul><li>Suponha que você tem uma tarefa com tempo médio de 6 minutos e um desvio padrão de 0,5 minutos . Isto representa que os usuários testados realizaram a tarefa com tempos próximos um dos outros. Já se o seu desvio padrão for de 3 minutos você deve analisar porque estão realizando a mesma tarefa com tempos tão distintos. </li></ul>
  11. 11. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos Dados / Resumo dos Dados </li></ul><ul><ul><li>Tarefas de Precisão </li></ul></ul><ul><li>• Várias estatísticas podem ser tiradas das tarefas de precisão. </li></ul><ul><li>- Quantos erros </li></ul><ul><li>- Tipos de erros e frequência </li></ul><ul><li>- Quantos participantes realizaram a tarefa com sucesso </li></ul><ul><li>Ex.: </li></ul><ul><li>Porcentagem de participantes que realizaram com sucesso mesmo precisando de assistência. </li></ul><ul><li>Porcentagem de participantes que realizaram com sucesso dentro do tempo previsto para a tarefa. </li></ul>
  12. 12. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos Dados / Resumo dos Dados </li></ul><ul><ul><li>Dados de preferência do usuário </li></ul></ul><ul><li>• Os dados preferenciais podem surgir de várias fontes diferentes como pesquisas e questionários . </li></ul><ul><li>- Questões de escolha – pode ser realizado sumarizando-se as respostas de </li></ul><ul><li>cada questão individualmente e pode-se calcular uma média por item, </li></ul><ul><li>possibilitando visualizar qual o número de participantes selecionaram </li></ul><ul><li>cada resposta. </li></ul><ul><li>- Questões abertas e comentários – deve-se listar todas as questões e </li></ul><ul><li>agrupar as respostas semelhantes em categorias significativas, como por </li></ul><ul><li>exemplo, somar todas as referências positivas e negativas. </li></ul><ul><li>- Sessões de questionamento do participante – deve-se transcrever todas </li></ul><ul><li>as entrevistas para o papel, pois a visualização dos comentários escritos </li></ul><ul><li>facilita a seleção dos comentários críticos bem mais do que escutar e </li></ul><ul><li>categorizar a informação ao mesmo tempo. O registro por escrito </li></ul><ul><li>também facilita o acesso às informações por outras pessoas. </li></ul>
  13. 13. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos Dados / Resumo dos Dados </li></ul><ul><ul><li>Outras medidas </li></ul></ul><ul><li>• Além das medidas citadas como exemplo até agora você deve criar dados para responder as questões pertinentes ao seu plano de teste como por exemplo: </li></ul><ul><li>- número de vezes que retornaram à página inicial sem necessidade </li></ul><ul><li>- número e tipo de sugestões ou solicitações </li></ul><ul><li>- número de vezes que o mapa do site foi acessado </li></ul><ul><li>- pontos de hesitação e por quanto tempo </li></ul><ul><li>• Se o seu projeto tem grupos distintos de usuários você também pode agrupar as informações conforme estes grupos. Da mesma forma você pode ter versões diferentes do mesmo produto. </li></ul>
  14. 14. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos Dados / Análise </li></ul><ul><li>• Identifique as tarefas que não cumprem o critério de sucesso. Se a porcentagem de erros for no mínimo 70% (ponto de equilíbrio) , o problema é considerado muito grave. Estas tarefas representam a parte vulnerável do produto . Para um relatório preliminar, são elas que devem ser focadas inicialmente. </li></ul><ul><li>• Identifique erros e dificuldades dos usuários como, por exemplo, a omissão de um passo na realização da tarefa, a exclusão de um arquivo ainda necessário etc. </li></ul><ul><li>• Identifique a fonte dos erros analisados . Identifique os componentes responsáveis. Os motivos devem ser claros para a elaboração de recomendações. </li></ul><ul><li>Consulte as documentações do teste para não esquecer de detalhes importantes. Considere os antecedentes dos usuários que vivenciaram o erro. Não tente resolver o problema precocemente e recomendar uma correção antes de ter identificado todas as causas do erro . </li></ul>
  15. 15. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos Dados / Análise </li></ul><ul><li>• Priorize os problemas por gravidade . </li></ul><ul><li>GRAVIDADE = SEVERIDADE + PROBABILIDADE DE OCORRÊNCIA </li></ul><ul><li>• Vale lembrar que, com o desenvolvimento e re-design do produto, o ponto de equilíbrio deve diminuir pois pressupõem-se que os problemas serão gradativamente resolvidos e, por consequência, a probabilidade de sucesso no desempenho das tarefas aumente. </li></ul>
  16. 16. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos Dados / Análise </li></ul><ul><li>GRAVIDADE = SEVERIDADE + PROBABILIDADE DE OCORRÊNCIA </li></ul><ul><li>• Primeiro categorize o problema por severidade. </li></ul><ul><li>• A frequência é influenciada por dois fatores: % de usuários afetados e probabilidade de um usuário do grupo ser afetado. </li></ul><ul><li>• Não se preocupe sobre a precisão exata do valor relativo a frequencia. </li></ul><ul><li>• Pode-se perguntar para o usuário, durante o teste, qual a situação mais problemática. </li></ul>
  17. 17. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso <ul><li>Etapas de Análise dos Dados / Análise </li></ul><ul><li>• Analise entre diferentes grupos e versões do produto . Cautela com apresentação de dados quantitativos dependendo do número de usuários da sua amostra. </li></ul><ul><li>• Para um resultado estatisticamente mais significativo utiliza-se estatística inferencial . Isto é podemos inferir algo sobre uma população maior ou menor do que a testada. Para levantar tais dados estatísticos é preciso muito rigor na elaboração dos testes e uma amostra grande de participantes. Para a grande maioria dos casos esta técnica é evitada. </li></ul>
  18. 18. Pós-Graduação Ergodesign de interfaces – PUC Rio – 2010 - Lucas Trevisan e Marcelo R. Alonso ;)

×