Handbook Usability Testing - Capitulo 12

Há muito tempo atrás numa galáxia muito distante...

O capítulo 12

Reporting Findings and Recommendations CAPÍTULO 12 Handbook of Usability Testing - Second Edition - Jeffrey Rubin e Dana Chisnnel

Análise de dados dos testes / elaboração de recomendações
Quatro etapas:
1) Compilação e sumarização dos dados
2) Análise dos dados
3) Registro de descobertas e elaboração de
recomendações
4) Produção do relatório final

O que é uma descoberta (finding)?
"The result of a usability test is not merely tables of data and list of issues.
The result of a usability test comprise the discoveries made while observing real users performing realistic tasks using a product. “
Além das técnicas, observação é muito importante para realizar uma descoberta sobre o sistema.

O que é uma descoberta (finding)?
"Findings are inferences you and your team draw from the observations you have made along with analyzing “
As descobertas são também inferências que você pode fazer durante a análise.

Dando forma as descobertas
"Findings are often expressed in headline fashion
or one-sentence statements that encapsulate the essence of usability issue.
They are the centerpiece of the report.

For example: "The 'Go' label did not suggest "refresh" or "reload" to participants "

Documentando os resultados
"Start documenting your usability study by approaching the final report in layers"

1) Escreva os ítens a serem relatados

2) Expanda a discussão de cada um dos ítens descobertos com narativas, frases de participantes e ilustrações (ex:. screen captures);

3) Volte para o início da seção de resultados para descrever ítens globais e conclusões gerais

4) Organize os ítens descobertos e agrupe-os de forma que façam sentido

Documentando os resultados
4. Organize os ítens descobertos e agrupe-os de forma que faça sentido.
Algumas possibilidades:
- Tarefas
- Perguntas de pesquisa (research question)
- Seção do Produto
- Como o time é organizado (considerar os membros da equipe a quem se destinam os resultados).

Paradigma de Dana
Dana often uses the research questions as the top level
of headings. This accomplishes a few important things.
By reiterating the research questions as a way of grouping
findings, you can:

Ensure that you have answered the original questions, thus accomplish-ing the goals of the test.
Tie the data gathered to the final findings and recommendations.
Educate the team by connecting the plan and design to the outcomes.

Como ordenar cada grupo de descobertas (findings)/outra sugestão
Local versus global (an isolated problem versus a more general or
fundamental problem)
Impact on users (time or data loss, injury or possible loss of life)
Frequency
Ability to work around or not
Where in the product the problem occurred
Task
Visibility (a clear problem or one that occurs two weeks later because of something you did that you didn’t realize)
Cost to fix
Level of embarrassment to the user

Construindo o rascunho do relatório
1) Documentar ítens descobertos, recomendações e acordos

2) Lembrar como aconteceu o teste, quais os objetivos principais dele

3) Explorar ítens da metodologia que possam ter influenciado
nos resultados finais

4) Dar recomendações aos designers e desenvolvedores sobre como remediar problemas do projeto/produto

5) Relatar pontos específicos relacionados as preocupações
de negócios

"Create a report that is acessible, portable, and understandable on its own"

O relatório precisa ter vida própria, ou seja ele sozinho ser capaz de ser entendido por quem trabalha no projeto.

"Know your audience. Be creative but mindful about how your report will be received, reviewed, and reacted to“
Conheça o cenário e as pessoas para quem seu relatório será feito.

Porque construir um relatório?
"What the test should do is support and initiate change, direct action, provide a historical record, and educate - all the same time.“
O teste pode ser o primeiro passo para o começo de uma mudança.

"Above all else, it should communicate to people. There is no reason that reports need to be stuffy, boring and overly technical.“
Simplicidade, clareza, criatividade.
Relatórios precisam ser lidos e
por isso, não devem ser chatos.

"When writing the report, approach it as if you were basically telling a story, and make sure that all the sections of the report relate to that story"

Organizando um relatório
Deve existir uma sequência lógica para o relatório.
Assim como uma boa história ele deve conter: início, meio e fim.

Organizando um relatório
Início: composto de informações sobre porque o teste foi feito (objetivos) e como foi preparado Meio: o que aconteceu durante o teste Fim: são as "implicações" do que aconteceu, e o que você recomenda sobre os problemas vistos no teste
importante: um relatório formal deve ter entre 20 e 25 páginas

Partes gerais de um relatório
1. Executive Summary (Sumário Executivo)

Esta parte do relatório contém um curto resumo sobre a estrutura do teste, pontos críticos e recomendações gerais, questões que mereçam pesquisas mais aprofundadas e os benefícios gerais do teste.

2. Method (Método de pesquisa utilizado)

Onde é descrita a "natureza" do teste. Como foi planejado (configuração do teste), características dos participantes e os métodos utilizados para coleta de dados.

2. Method (Método de pesquisa utilizado)

Exemplo:
We conducted the study that this report covers to answer these questions:
Question : What types of information do they expect to find on the site? At what depth?
Summary Insights
Because the tasks were outside the experience of most of the participants in the study, we don't really have the answer to this question. I recommend further study, in the field with participants who are in the mode of researching conditions they've recently been diagnosed with.

3. Results (Resultados)

Nesta parte do relatório são exibidos os resumos dos resultados qualitativos e quantitativos, da forma mais concisa e compreensível possível.

3.1 Resumos Quantitativos

Relacionados às tarefas completadas, erros,
respostas do sistema (logs), ranking de erros.

3.2. Resumos Qualitativos

Relacionados a ítens sobre tipos de erros,
dados a partir de questionários
e questões relacionadas a satisfação (like).
Não é necessário incluir linhas de tabelas de dados coletados ou respostas de questionários, que podem ser colocados em um apêndice.

Simplemente mencionar o usuário do dado coletado ou o local onde os dados estão colocados no relatório já é suficiente para persuadir e causar interesse.

4. Descobertas e recomendações
(findings and recommendations)
"at last we come to the raison d'être for the entire process of usability testing”
E finalmente chegamos à razão de existir do processo de usabilidade.

4. Descobertas e recomendações (cont)
Esse é o momento de pegar todas as informações analisadas e traduzí-las em ítens específicos.
Não é um processo simples nem cientificamente preciso.
Similar a etapa de "product development" no sentido de caracterizar usuários e a partir disso desenvolver especificações funcionais para o projeto de um sistema .

Nesta seção também são inseridas algumas discussões e explicações sobre os ítens, como recomendação, caso seja apropriado.

Em alguns casos, a quantidade de "issues" pode ser grande.
Não é necessário evidenciar nenhum ítem específico, nem reduzir o detalhamento sobre a questão.

Mas é importante organizar as informações de forma que a pessoa que esteja lendo o relatório possa facilmente pular explicações caso ache necessário.
Incluir ilustrações como "screen captures with explanatory callouts" podem ajudar na análise dos problemas, mas irão aumentar o tamanho do relatório.

Esta seção, caso necessário, pode ser dividida em:
1) Descobertas e recomendações gerais
2) Descobertas e recomendações específicas

Desenvolvendo recomendações
Recomendações não devem ser elaboradas
idealmente por uma única pessoa.
Ítens importantes:
1) Diferentes pontos de vista são fundamentais
2) "You need to buy-in"

Desenvolvendo recomendações
Ainda sobre recomendações, um roteiro sistemático para elaboração de recomendações:
1) Foco em soluções que terão maior impacto

2) Desconsiderar questões da política da empresa no rascunho inicial das recomendações

3) Incluir recomendações de curto prazo e longo
Prazo
4) Citar ítens onde a equipe de teste precisa
fazer pesquisas mais aprofundadas

5) Cobrir todos os problemas de forma ampla

Material de apoio para os revisores
A maior parte do tempo não é necessário incluir material de apoio, tabela de dados, ou copias de entregas recentes do estudo no relatório final.
Se você considerar que esse material será útil para as pessoas que irão ter contato com o relatório, você deve incluí-lo um apêndice, anexo ao relatório.
Importante: Não citar nomes dos participantes, apenas fale de seu "background" ou alguma outra informação relevante.

Refinando o formato do relatório
Considerar as seguintes questões para avaliar o formato final do relatório:
1) Were you able to get the information you needed?"
2) Was the type of information you needed all there?
3) Was the format easy to use?“
Considerar, no caso de relatórios internos, os feedbacks dos últimos relatórios entregues que você percebeu que funcionaram bem na organização.

Alguns exemplos Finding 3 The “Go” label did not suggest “refresh” or “reload” to participants. Recommendation: Add a “Refresh” button on the bottom of the screen next to the “Reset” button.

Alguns exemplos Task : Use the web site to reserve a car at the San Francisco airport. Source of error: Policy information and specifics are not clearly communicated to users making reservations. The primary source of policy information is the Verify Information page, which contains the specifics of the rental (rate, time, etc.), as well as any policy information specific to that rental. Users tended to skim all content on this page, looking only at the far right and left columns containing the specifics of their rental Recommendation: Redesign the Verify Your Information Page Consider changing text that is in all uppercase text to mixed case or title case. Expand the columns slightly so users are less inclined to skim but instead will be slowed down. Break up one large page of solid content into smaller visual areas to make viewing easier and simpler.

Criar Apresenção ou Vídeos com Highlights

Cuidados sobre Highlights em Vídeo " Done Right"! 1) Ser persuasivo 2) Ser capaz de inspirar suporte às práticas de UCD (User Centered Design)

3) Ser capaz de influenciar mudanças organizacionais 4) Os highlights não devem tentar reproduzir a experiência de estar assistindo ao testes, mas sim dar uma visão geral, evidenciando problemas críticos e importantes descobertas durante o teste Cuidados sobre Highlights em Vídeo (continuação)

Etapas para produção dos highlights em vídeo
1) Considerar os pontos do vídeo que você quer destacar
2) Gerar clips das partes dos pontos a serem destacados
3) Rever o tempo e a organização da sequência dos clips
4) Escrever títulos e legendas para os vídeos
5) Por fim, revisar e fazer as adequações finais

E para encerrar 2 coisinhas...

Uma homenagem e...

Obrigado

Handbook Usability Testing - Capitulo 12

by agner on Sep 26, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

1 Embed 228

Statistics

Handbook Usability Testing - Capitulo 12 — Presentation Transcript