PAAI/DI - 07-08 - Teste de usabilidade
Upcoming SlideShare
Loading in...5
×
 

PAAI/DI - 07-08 - Teste de usabilidade

on

  • 1,594 views

Apresentação realizada por Marcello de Campos Cardoso em Setembro de 2011 para a disciplina Análise e Design de Interação, ministrada no curso de especialização em Projeto e Arquitetura de ...

Apresentação realizada por Marcello de Campos Cardoso em Setembro de 2011 para a disciplina Análise e Design de Interação, ministrada no curso de especialização em Projeto e Arquitetura de Aplicações Internet na Faculdade COTEMIG.

Statistics

Views

Total Views
1,594
Views on SlideShare
1,594
Embed Views
0

Actions

Likes
1
Downloads
47
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

PAAI/DI - 07-08 - Teste de usabilidade PAAI/DI - 07-08 - Teste de usabilidade Presentation Transcript

  • Análise e Design de Interação / Marcello Cardoso aula 07/08 Envolvendo os usuários com Teste de usabilidade Projeto e Arquitetura de Aplicações Internet Análise e Design de Interação Marcello de Campos Cardoso | www.mcardoso.com.br | mcardoso@gmail.comWednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Plano de curso 1ª Introdução a Usabilidade: conceitos, origem (DCU, IHC), aplicação (IxD), tipos de design, metas de usabilidade, princípios de design. 2ª Conversando com usuários: Questionários e entrevistas 15pts 3ª Técnica de Modelagem: Personas ágeis (workshop) 10pts 4ª Separando releases: User Story Mapping 15pts 5ª Projetando a interface: Task Flow + Prototipação rápida (workshop) 10pts 6ª Perguntando a especialistas: Análise Heurística, As 10 heurísticas de 20pts Nielsen (workshop) 7ª Testes de usabilidade (workshop - roteiro) 15pts 8ª Testes de usabilidade (workshop - aplicação) 15ptsWednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Análise Heurística vs Testes com usuáriosWednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso INTRODUÇÃOWednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste com usuáriosWednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste com usuários A 1a regra do teste com usuários é: Você não fala do teste com usuários.Wednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste com usuários A 1a regra do teste com usuários é: Você não fala do teste com usuários. A 2a regra do teste com usuários é: Você não fala do teste com usuários.Wednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste com usuários A palavra teste assustaWednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste com usuários é o nome mais popular da técnica no mercado. mas o nome correto é Teste de Usabilidade (para não intimidar o usuário nos referimos como “pesquisa” termo mais comum)Wednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade O que é um teste de usabilidade? • Método empírico (envolve usuário) • Principal objetivo: validar as soluções de interface • Realizado com participantes com perfil do público-alvo • Método: observação da interação do usuário com produto • Resultado: descoberta de padrões e sugestão de melhorias.Wednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Pra que serve? • Avaliar o entendimento da Interface e dos fluxos projetados (modelos mentais) • Identificar pontos críticos da interação (ruídos, dúvidas, rupturas) • Entender a situação real de uso (validar demandas/requisitos) • Comparar desempenho em produtos diferentes (benchmark/concorrência)Wednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Quando aplicar? Reunião diária pode ser aplicada Backlog do Backlog do em protótipos ou produto sprint releasesWednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Tipos de Teste de Usabilidade por etapas do cicloWednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Testes em protótipos de baixa fidelidade Servem para testar conceitos e fluxos. Devem ser feitos preferencialmente em papel • Fáceis de criar e jogar fora • Podem (e devem) ser feitos em escala real • Podem conter anotações no próprio protótipo ("Este botão tinha de estar é aqui!")Wednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Considerações sobre testes em baixa fidelidade • Verificação limitada de erros • “Uso” conduzido pelo facilitador • Limitações de fluxos e navegações • Rápido e barato (quick and dirty!)Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Testes em releases • Conceito do produto/serviço (elementos visuais dividem a atenção) • Comparar designs alternativos (caro, melhor teste AB com funcionalidades específicas) • Fluxo de tarefas • Compreensão das metáforas visuais • Satisfação no uso • Desempenho • AcessibilidadeWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Considerações sobre testes em alta fidelidade (releases) • Demanda tempo para criação • Custo de produção mais alto (maior risco) • Uso mais próximo do real • Mesmo look and feel do produtoWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Tipos de Teste de Usabilidade por ambientesWednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade No ambiente do usuário (campo) • "Mais barato" • Usuário se sente mais à vontade • Mais próximo do contexto de uso real • Menor controle dos dados e variáveis • Dificuldade de envolver o cliente (quem contrata)Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Em ambiente controlado (laboratório) • Permite maior controle dos dados e variáveis • Mais fácil de envolver o cliente • Maior custo • Usuário pode se sentir mais desconfortável • Mais distante do contexto de uso realWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade em laboratórioWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de usabilidade em campoWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Qual o melhor tipo, em campo ou laboratório?Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Qual o melhor tipo, em campo ou laboratório? Depende dos objetivos e recursos disponíveis.Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Testes de campo são ideais para: • Obter feedback rápido dos usuários • Projetos com recursos reduzidos • Testar conceitos e interfaces em fases iniciais de designWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Testes em laboratório são ideais para: • Medição de performance (tempo, número de erros...) • Produção acadêmica (maior rigor científico para artigos, teses e dissertações) • Estudos permanentes com equipe dedicada (Ex: Globo, Nokia)Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade PARTE 1 - PLANEJAMENTOWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Planejamento (Aula de hoje) 1. Determinar objetivos (do produto, processo: onde quero chegar?) 2. Escolher o que medir (qual a métrica? erros, passos, satisfação...) 3. Definir perfil de participantes e recrutar 4. Definir tarefas e cenários (motivação) 5. Preparar os materiais, equipe, ambiente e ferramentas + teste pilotoWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade 1º passo: Determinar objetivos • Qual o objetivo do teste? Performance, entendimento, comparação, acadêmico... • O que é preciso avaliar? Existe um briefing? (demanda do cliente: Quero saber por quê no novo sistema a efetivação de compra caiu 25%) Formule questões específicas!Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade EXEMPLO 1. Os usuários entendem de forma clara o que é e para que serve a extensão do firefox? 2. Os usuários têm alguma dificuldade para instalar a extensão? 3. Eles sabem onde e como fazer? 4. Completam todas as etapas de instalação corretamente?Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade TO DO DONE alunos)! EM GR UPO (3 para qualquer m site E scolher u ilidade. s ua usab testar teste. tivos do inar obje Determ 0’ t empo: 2Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade 2º passo: Escolher o que medir A métrica depende do objetivo • Satisfação geral • Tempo de execução de tarefa • Número de passos para conclusão de uma tarefa; • Quantidade de erros • Quantidade de tarefas completadas • Proporção de usuários favoráveis ao sistema em relação ao concorreteWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade EXEMPLO Verificar: 1. Erros cometidos nas tarefas (Grau de severidade) 2. Número de passos para completar uma tarefa 3. Entendimento geral em relação ao produtoWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade TO DO DONE e tricas d ina r as mé Determ ilidade e de usab seu test ’ t empo: 5Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade 3º passo: Definir perfil de participantes e recrutar Quem deve usar este produto? Quantos participantes escolher? Nielsen sugere: • 5 (de cada perfil) para qualitativo (quick and dirty! rápido e sujo) • 20 para quantitativo Onde encontrar? • Redes sociais, contatos pessoais, contatos do cliente, usuários atuais, questionário na web, empresas de recrutamento etc.Wednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade 3º passo: Definir perfil de participantes e recrutarWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade EXEMPLO 2 usuários lead e 4 intermediários Pessoas que procuram ou procuraram imóveis recentemente. Contatos não fornecidos pelo cliente.Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Quick and Dirty! Sujando as mãos. Teste realizado com 2 ou 3 usuários quando há restrições de orçamento/cronograma.Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade TO DO DONE s erfis) do o perfil (p Definir ntes. participa 5’ tempo:Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade 4º passo: Definir tarefas e cenários (motivação) Tarefas: O que precisa ser testado? • Quais são as funcionalidades mais críticas? • Passos esperados em cada tarefa (se for relevante) • Tempo esperado em cada tarefa (se for relevante) Um teste nunca deve passar de 2h (ideal é até 1h) Cenário: Motivação para tarefa (ajuda na compreensão)Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade EXEMPLO TAREFAS 1. Encontrar um imóvel 2. Alterar filtros 3. verificar IPTU 4. Encontrar informações de contato 5. Salvar nos “favoritos” 6. Encontrar a lista de favoritosWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade EXEMPLO CENÁRIO Opção 1: Você se mudou para curitiba e precisa arrumar um local pra alugar. Como você encontraria este imóvel? Opção 2: Facilitador: Você procurou um imóvel recentemente? Como foi essa experiência? Tente encontrar um semelhante nesse site. Usuário: Não encontrei... Facilitador: Por que você acha que o site não encontrou? Usuário: Deve ser a faixa de preço que escolhi, foi baixa. Facilitador: Como você alteraria a faixa de preços?Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade TO DO DONE fas para o Defi nir tare . usabilidade teste de ’ t empo: 10Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade 5º passo: Preparar materiais, equipe, ambiente e ferramentas Redigir, revisar e imprimir • Roteiro, tarefas, termo de consentimento. Verificar ambiente • Nível aceitável de ruídos, privacidade, lanche (se necessário)... Verificar computador • Bateria, conexão, captura (áudio e vídeo), software espião, navegador (limpar cache) • Não esquecer mouse e teclado (se necessário)Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade 5º passo: Preparar materiais, equipe, ambiente e ferramentas Estrutura do Roteiro • Propósito do teste • Lembrar que quem é avaliado é o sistema e não usuário • Que o objetivo é melhorar a interface • Que a identidade será mantida em sigilo • Participação é voluntária • Explicar como será o teste • Explicar que podem fazer perguntas, mas nem todas poderão ser respondidas • Small talk, contextualizar • Explicar as tarefas • Realizar entrevista semi-estruturada no finalWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade EXEMPLO Ver PDF anexo.Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste Piloto Executar com alguém não envolvido diretamente coma execução do teste. Adequar tarefas, tempo, equipamento, ambiente...Wednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade TO DO DONE de roteiro Escrever . d o teste aplicação ula res to da a tempo:Wednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade RESUMO DO PLANEJAMENTOWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Planejamento (última aula) 1. Determinar objetivos (do produto, processo: onde quero chegar?) 2. Escolher o que medir (qual a métrica? erros, passos, satisfação...) 3. Definir perfil de participantes e recrutar 4. Definir tarefas e cenários (motivação) 5. Preparar os materiais, equipe, ambiente e ferramentas + teste pilotoWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade PARTE 2 - APLICAÇÃO DO TESTEWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade 1) EQUIPE ENVOLVIDA Orientador/condutor Observador • Orientar o participante • Registrar interação do usuário • Fazer com que se sinta a vontade • Não interferir no teste • Responder perguntas • Não induzir comportamento (tendenciar) Opcionais: Recepcionista e co-observadores (clientes e outros membros da equipe)Wednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade 2) PARTICIPANTES (USUÁRIOS) Posso/devo pagar usuário? • Na publicação de papers, artigos esta prática não é aceita • No mercado é comum e há opções alternativas ao dinheiro (Vale-compra, etc)Wednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade 2) Participantes (usuários) O que o usuário precisa saber? • Que está sendo observado • Que sua identidade será preservada • Indicar espelhos, câmeras, microfones etc. • Precisa aceitar o termo de consentimentoWednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Teste piloto Permite testar as condições do teste • As tarefas foram compreendidas pelos usuários? • Todas as tarefas foram possíveis de concluir? • Os equipamentos estão ok? • O protótipo precisa ser ajustado? • O questionário está ok? Envolvidos: 1 a 3 (depende da complexidade do teste, mas normalmente 1 basta)Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Escolha um software espião • Quicktime (http://www.apple.com/quicktime/download/) • SilverBack (http://silverbackapp.com/) • CamStudio (http://camstudio.org/) • Camtasia (http://www.techsmith.com/products/studio/default.asp ) • Morae (http://www.techsmith.com/products/morae/default.asp) • Ovo Logger (http://www.ovostudios.com/ovologger.asp#during ) • ScreenCam (http://www.smartguyz.com/index.html ) • ZD Soft (http://www.zdsoft.com/downloads.html)Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Antes do teste • Imprima: • Roteiros • Fichas de tarefas • Bloco de notas ou planilha para avaliador • Questionário • Prepare o lanche (se necessário) • Prepare o ambiente físico • Prepare o computador e equipamentos • Certifique-se que o local é tranquilo (para teste em campo) • Execute o  teste piloto (ao menos um dia de antecedência)Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Planejando o tempo de cada sessão • Simule o teste e cronometre o tempo • Estipule o tempo ideal para realização das tarefas • Estipule o tempo limite para cada tarefa • Inclua tempo para questionários • Adicione uma margem de erro para atrasos dos participantesWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Como preparar o computador? • Verifique os requisitos (áudio, navegador, OS, internet, programas etc.) • Instale um programa espião • Faça um teste de captura (áudio e vídeo) • Limpar o sistema de outros testesWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Como manter o controle (em laboratório)? • Procure ler o mesmo texto para todos os participantes • Procure levantar as dúvidas mais comuns com o teste piloto, para incorporar no roteiro e evitar “desfavorecer” algum participante • Tenha uma cópia impressa do roteiro em mãos • Evite fornecer informações somente para um participanteWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Como conduzir os testes? • Escolha somente uma pessoa para falar com o usuário (condutor) • O observador deve se posicionar de forma a ver a tela e as reações do usuário • Leia e entregue a ficha da tarefa • Comece com tarefas mais simples • Responda as dúvidas que puder, quando não puder diga que você não pode responder para não interferir o testeWednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade <usuário> Mas isso não é inútil? Resposta inadequada: "Não." Resposta adequada: "Por que você acha isso?"Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Como observar os testes? • Procure por padrões de uso e fenômenos • Não interfira no teste (função do orientador/condutor) • Marque o tempo inicial (quando medindo o tempo) • Anote nome dos pesquisadores, data e e local do teste • Anote pontos de dificuldade • Anote termos que causaram confusão • Anote o caminho percorrido • Anote as sugestões do participante • Anote se a tarefa foi realizada com sucesso ou não • Anote frases/depoimentos que exemplifiquem algo importante • Anote o tempo finalWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Think aloud - Como funciona o “pensar em voz alta”? Objetivo: explicitar o processo mental dos participantes Vantagens • Ajuda a captar entendimento • Ajuda a captar sugestões • Descobrir por que os usuários estão agindo de determinada forma Desvantagem • Atrapalha na medição do tempo/performanceWednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Como estimular a falar? Use perguntas! • “Em que você está pensando?” • “Por que optou por clicar aí?” • “Por que você desistiu de ir por lá?” • “O que você está entendendo por (termo)?”Wednesday, October 19, 2011
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade Reproduzir exemplo de teste.Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso Teste de Usabilidade TO DO DONE PO ! uário. EM GRU do r e u s observa Orie ntador, Definir grupo. m o u t ro uário co Trocar us este! Aplicar t aula resto da tempo:Wednesday, October 19, 2011 sequência de uso
  • Análise e Design de Interação / Marcello Cardoso igad o! o br Este arquivo contém a apresentação realizada por Marcello de Campos Cardoso, em Outubro de 2011, para a disciplina Análise e Design de Interação, ministrada no curso de especialização em Projeto e Arquitetura de Aplicações Internet na Faculdade COTEMIG.Wednesday, October 19, 2011