5. Análise de dados em testes de usabilidade

PUC-Riopós-graduação em ergodesign de interfaces – 2011 análise de dados e observações em testes de usabilidade fernanda marques marcia berardinelli

teste de usabilidadeetapas plano seleção condução análise do teste de participantes dos testes de dados análise preliminar  para revelar padrões e tendências mais amplas e identiﬁcar rapidamente os hot spots (problemas mais críticos), agilizando o trabalho dos designers.  feita logo após a conclusão dos testes, via relatório escrito ou apresentação verbal. análise abrangente  relatório ﬁnal, que inclui todas as descobertas e análises derivadas da condução dos testes.  feita de 2 a 4 semanas após a conclusão dos testes.

análise preliminarpasso a passo a. compilar os dados  compilação contínua  organização dos dados brutos b. resumir os dados  de performance precisão da tarefa tempo de execução da tarefa  de preferência do usuário  outras medidas c. analisar os dados  tarefas que não alcançaram os critérios de sucesso  erros e diﬁculdades do usuário  fontes de erro  priorização de problemas d. elaborar recomendações e. produzir o relatório ﬁnal

compilar os dadoscompilação contínua o que é? organizar os dados coletados de modo a facilitar a visualização de padrões. quando fazer? logo após as sessões dos testes, enquanto a memória está fresca. o que fazer? transcrever anotações (do moderador e dos observadores), fazer backups de gravações de áudio e vídeo, mantendo um arquivo digital que facilite o processo de resumo dos dados, realizado adiante. para quê? para agilizar o processo de análise e ajudar a veriﬁcar se os dados coletados estão corretos e se relacionam com os problemas formulados no plano de testes.

compilar os dadosorganização dos dados brutos Há várias possibilidades de organizar os dados obtidos na etapa de condução dos testes. Listas, matrizes, storyboards, diagramas de ﬂuxos, entre outros. As planilhas são as mais recomendadas. Por serem versáteis, facilitam a manipulação de dados numéricos e ajudam a ordenar e ﬁltrar os dados. O importante é ajudar no reconhecimento de tendências e padrões.

resumir os dadosdados de performance O resumo dos dados serve para obter um retrato do que aconteceu durante os testes. O pesquisador começa a obter o que precisa para determinar se o teste alcançou seus objetivos e responder às questões de pesquisa formuladas no plano de teste.precisão da tarefa Há vários tipos de estatísticas à disposição: - quantidade de erros (por tipo ou por tarefa) - quantidade de participantes que realizaram a tarefa com sucesso (com ou sem ajuda; dentro ou fora do tempo estipulado no benchmark)tempo de execução da tarefa A quantidade de tempo necessário aos participantes para completar cada tarefa. Algumas das estatísticas mais usadas são: - média - mediana - faixa - desvio padrão

resumir os dadosdados de performancetempo de execução da tarefa média - É a soma dos tempos dos participantes dividida pelo Média = dos tempos dos participantes número de participantes. __________________________ - Indica o desempenho do grupo como um todo. n de participantes - Pode mascarar o resultado, caso os tempos de fórmula da média execução das tarefas oscilem muito entre si, para cima ou para baixo. mediana - É o tempo que representa exatamente a posição do meio quando todos os tempos de realização da tarefa são listados em ordem crescente. - É um indicativo melhor do que a média, pois não é tão inﬂuenciado pelas discrepâncias. exemplo de mediana

resumir os dadosdados de performancetempo de execução da tarefa faixa - Mostra os tempos mais altos e mais baixos para cada tarefa. - Pode ser bastante reveladora em casos de grandes diferenças entre os tempos de realização das tarefas. desvio padrão - Medida do grau de variabilidade entre os tempos. - Mostra o quão próximos os números estão distribuídos em torno da média. - Por levar em conta os tempos médios e os tempos ﬁnais, é um indicador mais preciso do que os tempos de realização mais curtos ou mais longos. Um desvio de 0,5 minuto indica que os usuários realizaram a tarefa com tempos próximos uns dos outros. Já um desvio de 5 minutos mostra que é preciso analisar por que a tarefa está sendo realizada com tempos tão discrepantes. x2 = somatório dos quadrados de cada um dos tempos coletados x = somatório de cada um dos tempos coletados n = total de participantes fórmula para cálculo do desvio padrão

resumir os dadosdados de preferência do usuário Os dados de preferências dos usuários podem ser derivados de várias fontes, como pesquisas e questionários e entrevistas de debrieﬁng com os participantes dos testes. Como organizar estes diferentes tipos de dados? questões fechadas (de múltipla escolha) é possível contabilizar as respostas selecionadas em cada uma das perguntas para descobrir quantos participantes selecionaram cada opção. questões abertas e comentários deve-se listar todas as perguntas e agrupar as respostas similares em categorias que façam sentido para a pesquisa, o que ajuda a perceber uma indicação geral do número de comentários positivos ou negativos. entrevistas e debrieﬁng usar as transcrições das entrevistas para destacar os comentários mais críticos. O registro por escrito também facilita o acesso de outras pessoas da equipe às informações.

resumir os dadosoutras medidas Há uma série de outras medidas que podem ser úteis à pesquisa e que devem ser deﬁnidas ainda na fase de planejamento do teste de usabilidade: - quantidade de retornos à navegação principal sem necessidade - quantidade e tipos de solicitações ou sugestões - número de vezes que o mapa do site foi acessado - pontos de hesitação (e duração) Em casos de testes planejados para incluir mais de um grupo de usuários, é preciso organizar os dados separadamente, para cada um dos grupos, para entender as diferenças de performance entre eles. O mesmo procedimento deve ser seguido se o teste almeja comparar versões diferentes de produtos ou materiais.

analisar os dadosentender o todo Manter-se orientado às tarefas, nas etapas de organização e análise dos dados, força o pesquisador a encarar as situações do ponto de vista dos usuários. Para começar a análise, é preciso identificar as tarefas nas quais os usuários tiveram mais dificuldade: focar nos piores problemas. o que fazer? - Identificar tarefas que não alcançaram o critério de sucesso estipulado Elas representam a parte vulnerável do produto e devem ser o foco da análise preliminar. Provêm um retrato das áreas problemáticas. Usualmente, considera-se 70% o ponto de equilíbrio. Se pelo menos 70% dos participantes não completam uma tarefa com êxito, o problema é considerado grave ou difícil. Identificar as tarefas mais difíceis ajuda a focar nas áreas problemáticas e a distinguir níveis de performance.

analisar os dadosentender o todo o que fazer? - Identificar erros e dificuldades do usuário Após destacar as tarefas que não cumpriram o critério estipulado, deve-se identificar os erros que causaram os problemas de performance. É bastante útil definir previamente o que é considerado um erro antes de iniciar o teste.

analisar os dadosentender o todo o que fazer? - Analisar as fontes dos erros Parte mais intensa do pós-teste. Identiﬁcar a fonte de cada erro, destacando o componente (ou combinação de componentes) que causou o problema. Idealmente, isto deve ser feito para cada tarefa executada por cada usuário. Neste ponto, há a transição de um modelo de análise orientado à tarefa para outro, orientado ao produto. O objetivo é atribuir uma razão relacionada ao produto para diﬁculdades e problemas de performance do usuário. Importante levar em conta e consultar as anotações dos testes, o conhecimento que se tem do produto, o background dos usuários que cometeram erros.

analisar os dadosentender o todo o que fazer? - Priorizar problemas por criticidade Criticidade = severidade + probabilidade de ocorrência como fazer? - categorizar os problemas por severidade 1 2 3 4 irritante moderado severo inutilizável - classiﬁcar o problema por frequência de ocorrência estimada Levar em conta: - a porcentagem de usuários afetados - a probabilidade de um usuário daquele grupo afetado vivenciar o problema - também é possível perguntar aos participantes quais foram as situações mais problemáticas para eles.

analisar os dadosentender o todo o que fazer? - Analisar as diferenças entre grupos ou versões de produto Na comparação, há muitos tipos de dados para analisar antes da formulação de conclusões e recomendações sólidas. Somente por meio do entendimento mais profundo dos tipos e fontes de erros é possível determinar as melhores performances (no caso dos grupos) e as melhores versões (dos produtos).

analisar os dadosentender o todo estatística inferencial As ferramentas de análise apresentadas usavam estatística descritiva simples, que descrevem as características dos dados de modo a ajudar a revelar padrões de performance e preferência e encarar problemas de usabilidade. Na maioria dos testes, ela é suﬁciente para a realização de recomendações úteis. Ocasionalmente, é usada a estatística inferencial, que ajuda a inferir algo sobre uma população maior do que a amostra testada. Para conduzir análises utilizando este tipo de dados estatísticos é preciso maior rigor e controle na elaboração dos testes e uma amostra maior de participantes. Para a grande maioria dos casos, esta técnica não é indicada.

obrigada!para saber mais:Rubin, J.; Chrisnell D. (2008). Handbook of usability testing: howto plan, design and conduct effective tests. Indianapolis, IN; WileyPublishing, Inc.

5. Análise de dados em testes de usabilidade

by agner on Nov 12, 2011

Accessibility

Tags

Upload Details

Usage Rights

1 Embed 1,818

Statistics

5. Análise de dados em testes de usabilidade — Presentation Transcript