Cap. 10   debriefing
Upcoming SlideShare
Loading in...5
×
 

Cap. 10 debriefing

on

  • 1,418 views

Mini-seminário dos alunos sobre o livro Handbook of Usability Testing, de Rubin e Chisnell. Disciplina Teste Formal de Usabilidade, Pós em Ergodesign de Interfaces e Arquitetura de Informação - ...

Mini-seminário dos alunos sobre o livro Handbook of Usability Testing, de Rubin e Chisnell. Disciplina Teste Formal de Usabilidade, Pós em Ergodesign de Interfaces e Arquitetura de Informação - PUC-Rio, 2014-1.
Prof. Luiz Agner.

Statistics

Views

Total Views
1,418
Views on SlideShare
396
Embed Views
1,022

Actions

Likes
1
Downloads
2
Comments
0

5 Embeds 1,022

http://www.agner.com.br 1005
http://feedly.com 10
http://www.feedspot.com 3
http://webcache.googleusercontent.com 2
http://www.google.com.br 2

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Cap. 10   debriefing Cap. 10 debriefing Presentation Transcript

  • Cap. 10 Debrief the Participant and Observers Ana Maria Araújo • Marcia Regina • Marcos Schmitt Prof.: Luiz Agner PUC - Ergodesign de Interfaces: Usabilidade e Arquitetura da Informação
  • Debrief ● Explorar e revisar as ações dos participantes durante a parte de desempenho do teste de usabilidade; ● O teste de usabilidade descobre e expõe os problemas, mas muitas vezes é o debriefing que lança luz sobre por que esses problemas ocorreram e como corrigi-los. Porquê fazer "review" com participantes e observadores? ● Entender erros, dificuldades e omissões que ocorreram; ● Última oportunidade antes de deixar os participantes sair pela porta; ● Explicar as coisas que não foram possível ver durante o teste (o que os usuários estavam pensando ou de falar as suas preferências pessoais); ● Iluminar o processo de pensamento e raciocínio quando não “pensou em voz alta”; ● A tarefa indica o ''o que'' da realização, o debriefing indica o '' porque '' do desempenho;
  • ● Ao envolver observadores se aproveita as observações destes e os tornam mais propensos a se sentir com propriedade das questões e comprar as soluções dos problemas encontrados; ● Tomar a partir de interações com os observadores alguma noção das prioridades das partes interessadas. Técnicas de revisão com participantes ● Nunca faça os participantes se sentirem na defensiva sobre suas ações ou suas opiniões. A sessão de debriefing deve ter o sabor de uma discussão entre os pares, não deve assumir o sabor de um réu no banco das testemunhas a ser interrogado. ● Enquanto interrogar/questionar um participante, não reagir às respostas dos participantes de uma forma ou de outra. É muito fácil de levar a testemunha, comunicando através da linguagem corporal e outros meios não-verbais que uma resposta particular é inerentemente melhor do que outra resposta.
  • Onde realizar a sessão de Debriefing ● Na mesma área que o teste. O participante se sente mais a vontade por já estar ali. ● Distante do local de teste. Participante é extremamente tímido, está cansado ou distraído. Principalmente se a sala é muito grande e está sendo observada por outras pessoas através de um espelho unidirecional ou a partir de uma sala de observação eletrônica. Orientações básicas para o Debriefing 1. Reúna seus pensamentos enquanto o participante preenche todos os questionários pós- teste. - Decidir quais problemas ainda são nebulosos; - Revise os tópicos do debriefing. Circule as questões que primordiais. Retire os temas que não são mais relevantes.
  • 2. Rever o questionário pós-teste. - Deixe o participante pausar enquanto você revê o questionário que ele acaba de concluir; - Olhar rapidamente sobre algumas das respostas e avaliações dos participantes no pós-teste ou folhear suas notas e recolher perguntas dos observadores; - Procure respostas inesperadas que poderiam se beneficiar da exploração. 3. Comece deixando o participante dizer o que está em sua mente. - Comece com uma pergunta muito geral em aberto, tais como "Então, o que você acha?" Ou "Como foi isso?"; - Permite que o participante para desabafar, se ele ou ela está se sentindo muito frustrado; - Isso significa que o tema que o participante escolhe para falar é normalmente a mais proeminente a essa pessoa. 4. Comece suas perguntas a partir de questões gerais de alto nível. - Use o seu debriefing topics guide para ajudar a se lembrar de suas principais preocupações; - Volte para o que você estava tentando aprender fazendo este estudo de usabilidade.
  • 5. Mover-se para as questões específicas. - Olhar no formulário de coleta de dados anotação referentes a sondagem; - Colocar “??” em pontos para exploração debriefing, mas não justificava parar o teste naquele momento. 6. Analise esses lugares no questionário pós-teste do participante anteriormente marcadas como áreas para explorar. - Dê-se uma margem para pensar sobre as questões que você precisa explorar; - Deixe o participante relaxar para não responder com o primeiro pensamento que vier à mente. - Deixe o participante ver suas respostas, para pensar sobre as questões e como essas questões se relacionam com a utilização do produto no local de trabalho ou em casa. 7. Concentre-se em compreender os problemas e dificuldades, e não na resolução de problemas. Não vê-las como: - Um tempo para resolver os problemas descobertos pelo teste. Você não precisa entender como corrigir o problema. - Um tempo para solicitar idéias de design do participante. Os participantes conhecem melhor é se um produto atende às suas necessidades ou não.
  • 8. Termine toda a sua linha de questionamento antes de abrir a palavra para discussão pelos observadores. - Defendemos observadores ter oportunidade de fazer perguntas, mas não defendemos pessoas diferentes disparando perguntas ao participante de forma aleatória; - Se os observadores estão localizados fora da área de testes, então é melhor se eles escrevam suas perguntas em um pedaço de papel e você fazer as perguntas; - Se os observadores estão localizados na sala de prova durante o teste, você ainda pode pedir-lhes para escrever as suas perguntas; - Pode até fazer mesa redonda se o participante não se sentir intimidado. 9. Se for o caso, deixe a porta aberta para outro contato. - Depois de ter concluído a sessão, você pode querer sugerir a possibilidade de entrar em contato com o participante para esclarecer quaisquer questões que possam surgir; - Agradecer ao participante e, apresentar ao participante qualquer remuneração.
  • Diretrizes e Técnicas Avançadas Após o domínio das técnicas básicas, existem outras técnicas e diretrizes que podem ser utilizadas. Técnica “Repetir o Teste” Conhecido também com análise retrospectiva; Serve para ativar a memória do participante. O que permite que ele lembre de pontos importantes que podem ter sido esquecidos de serem mencionados durante o teste. Método Manual - Com o auxilio do formulário de coleta de dados o avaliador deverá ter feito anotações chaves que descreviam o comportamento do usuário para cada cenário. Prós: O usuário poderá reviver as suas emoções e reações no momento em que ocorreram os eventos. Contras: O avaliador precisa realmente prestar atenção durante o teste; Ter uma boa memória; Escrever boas anotações; O teste não poderá ser muito longo pois não será possível lembrar de tudo Método de Vídeo - Uso de tecnologia para substituir auxiliar a memória e as anotações do avaliador. Prós: Permite que o usuário veja as suas reações, o que facilitar eles lembrarem as suas emoções. Contra: Tempo maior;
  • Gravação de Áudio da Sessão de Debriefing Prós: Notas mais curtas; Maior atenção com o usuário; Mais fácil retirar as observações importantes após a transcrição. Contras: Transcrição irá levar um tempo maior. Revendo projetos alternativos Indicado para estágios iniciais de desenvolvimento, onde existem versões alternativas. O teste irá fornecer informações sobre as preferências dos participantes. Pode ser mostrado 2 ou 3 protótipos e pedir a opinião dos participantes. Com os protótipos em mãos o usuário poderá dar mais sugestões do que se tivesse quer ideias partindo do zero.
  • Técnica “O que você lembra” Utilizada para verificar se um determinado elemento do design contribui, inibi ou não tem nenhum efeito sobre o participante. A abordagem deve ser sutil. Ex.: Caso do Jeff - etiquetas gráficas x etiquetas de texto. O objetivo era verificar se o participante iria notar um rótulo no cartucho de impressão que o ajudaria a inserir o cartucho corretamente. Jeff observou o quanto a técnica é valiosa e que muitas vezes os desenvolvedores gastam um tempo muito grande para detalhes que os usuários não percebem.
  • Técnica “Advogado do Diabo” Utilizado para averiguar o quanto o usuário está sendo sincero. Verificar aspectos críticos ou vulneráveis do produto. O Moderador sai da posição neutra. ● Como implementar a Técnica Discrição e cautela; Sugerir que os comentários do participante estão diferentes das suas reações; Mentira branca; ● Exemplo “Você não acha um insulto o fabricante fazer com que você realize uma correção que deveria ter sido resolvida em fábrica?” Atenção: Não esqueça de avisar a sua equipe com antecedência.
  • Revisar e Chegar a um Consenso com os Observadores Ao coletar dados e observações no final de uma sessão, após o debriefing com os participantes, antes de ir para a próxima sessão ou começar analisar os dados do estudo: ● Trabalhe com os observadores para torná-los co-pesquisadores. Porque Rever com os Observadores? Ao incluir observadores como “co-pesquisadores”, há grandes benefícios: ● Você tem outras pessoas para conversar sobre o que aconteceu em cada sessão; ● Observadores se tornam mais engajados numa discussão com o objetivo de chegar a um consenso sobre questões de usabilidade; ● O que a equipe considera de alta prioridade, indica o que incluir nos relatórios; ● Equipe chega a um acordo sobre quais são os problemas e como descrevê-los.
  • Entre Sessões ● Debriefing com os observadores entre as sessões de teste; ● Comece perguntando: “O que você achou?”; ● Mantenha os observadores juntos por apenas 10 minutos para chegar as suas impressões sobre o que aconteceu na sessão; ● Faça anotações de cada uma das questões que os observadores listaram; ● Agrupe as observações e percepções; ● Chegue a um consenso sobre os principais problemas e como descrevê-los. Pergunte se todos concordam com os itens levantados; Se não, peça ao autor para esclarecer até que haja um consenso geral; ● Documente o item em algo visível e acessível para os observadores; ● Em cada questão, relacione o problema ao participante; Ao se referir aos participantes, utilize números, em vez de nomes, para proteger a privacidade; ● A lista de problemas irá ajudar ao entregar relatórios, que são breves resumos.
  • Ao Final do Estudo Após a conclusão de todas as sessões, tenha uma última sessão de debriefing com os observadores. Peça aos observadores para revisarem as questões de consenso e estabeleça prioridades. Existem maneiras de classificar as questões em ordem de prioridade: ● Peça aos observadores para votar. Os itens com o maior número de votos são as principais prioridades; ● Escrever as questões em notas e cartões para que os observadores possam classificá-los em listas de prioridades. É importante que os observadores participem do exercício de classificação, para garantir que não haja surpresas no relatório final. Evite discutir sobre como resolver questões, sobre possíveis soluções.
  • Referências Bibliográficas RUBIN Jeff; CHISNELL Dana. Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests. Wiley, Second Edition. Chapter 10: Debrief the Participant and Observers.