Testes De Usabilidade Slide Share 1

TESTES DE USABILIDADE

Luiz Agner

Doutorando Design - PUC-Rio

[email_address]

www.agner.com.br

O que é IHC?

Campo interdisciplinar envolvendo aspectos de psicologia, ergonomia, informática, comunicação, design e outros.

Objetivo - facilitar o projeto , a execução e avaliação de ambientes computacionais.

O que é IHC?

O comportamento humano não é sempre igual, e é cheio de surpresas

Dificuldade em se estabelecer “verdades”

Busca desenvolver um modelo teórico de performance humana

Busca criar ferramentas capazes de medir a facilidade de uso.

O que é IHC?

4 componentes: - o usuário - a tarefa - o contexto - o sistema

Usabilidade: o conceito

Utilizado para descrever a qualidade da interação de uma interface com seus usuários.

A usabilidade é relacionada à eficácia, eficiência e satisfação da interface diante do usuário.

Usabilidade: o conceito

Fatores:

· facilidade de aprendizado ;

· facilidade de memorização de tarefas;

. produtividade na execução de tarefas;

· prevenção e redução de erros ;

· satisfação subjetiva do usuário.

Problemas de usabilidade

Ocorrem quando um grupo de usuários encontra dificuldades para realizar as tarefas .

Têm origens variadas

Podem ocasionar perda de dados, diminuição da produtividade.

Problemas de usabilidade

Podem levar à rejeição por parte dos usuários.

Testes de usabilidade

O que são?

São técnicas etnográficas nas quais os usuários interagem com um produto ou sistema, em condições controladas , para realizar uma tarefa, com objetivos definidos, em um dado cenário, visando a coleta de dados comportamentais .

Processo empírico de aprender sobre a usabilidade de um produto, observando-os os usuários, durante a utilização .

Processo no qual participantes representativos avaliam o grau que um produto se encontra em relação a critérios específicos de usabilidade.

Instrumentos indicados para a observação das tarefas do usuário

Obter dados que permitam medir o rendimento, a freqüência de sucesso, a capacidade ou o comportamento de indivíduos, de forma quantitativa e também qualitativa .

É o processo que envolve o feedback vivo de usuários operando tarefas reais, registrados em vídeo ou gravações de áudio e em condições controladas.

Define se os usuários podem encontrar e utilizar os recursos, dentro do tempo e com o esforço que desejam despender.

São empregados para avaliação de: - Web sites e aplicações na Internet, - na indústria de software , - na telefonia móvel, - na comunicação técnica - produtos industriais etc.

Origens

As primeiras abordagens de análise da tarefa partiram de Gilbreth e Taylor .

Essas técnicas se restringiram às tarefas psicomotoras repetitivas , e esse estudo objetivou gerar " eficiência ".

A meta era determinar a seqüência ótima de ações e reduzir a atividade improdutiva.

Origens

Os primeiros testes de usabilidade foram aplicados no centro de pesquisas Xerox PARC , pela equipe que desenvolveu o computador ALTO

visaram a determinar quantos botões deveriam ser colocados em um mouse .

Tarefa

se aplica a uma unidade de atividade , em uma situação de trabalho.

pode ser imposta ou ser determinada por vontade própria.

requer mais de uma operação física ou mental para ser completada.

conotação de uma atividade não-trivial e em alguns casos complexa.

tem sempre um objetivo definido.

Características

O objetivo principal é aprimorar a usabilidade dos produtos.

Os participantes do teste devem ser usuários reais dos produtos.

Os participantes executam tarefas reais.

Você observa e grava tudo o que os participantes fazem e/ou dizem.

Você analisa os dados , faz o diagnóstico ergonômico dos problemas e gera as recomendações para solucioná-los.

Ciclo do produto

são eficientes quando implementados como parte do processo de desenvolvimento de um produto.

uma forma de determinar os tipos de testes é através do ciclo de vida de desenvolvimento de um produto.

Ciclo de vida de desenvolvimento de um produto.

Ciclo do produto

Abordagem tradicional

A abordagem tradicional era muito cara.

Os experimentos envolviam entre 30 e 50 participantes.

Rigor científico e estatístico.

Mudança de paradigma

NIELSEN propôs testes com melhor relação custo-benefício , utilizando entre quatro e cinco usuários.

dispensa das gravações em laboratórios, para se encaixar dentro dos orçamentos das empresas.

Mudança de paradigma

Não é necessário:

laboratório com espelhos

software de data-logging

câmera e editor de vídeo

relatório final formal

Espaço físico

Existem várias estruturas possíveis para a realização de testes de usabilidade.

O ideal é a utilização de duas salas – uma reservada aos testes e outra reservada à observação.

Espaço físico

o avaliador possui liberdade de movimentação e de realizar anotações

proximidade visual do participante, evitando que se sinta isolado .

encorajamento para o participante se expressar em voz alta .

cautela para que o comportamento do avaliador não afete o andamento do teste.

Espaço físico

Laboratórios

Planejamento

estabelecer a equipe ;

definir as características e tipo do teste

definir a audiência-alvo ;

estabelecer objetivos e métricas ;

estabelecer o perfil do usuário ;

selecionar os cenários e tarefas ;

determinar como analisar os resultados ;

escrever o plano.

Características

Teste em laboratório

Teste de campo

Teste remoto

Tipos de testes

Teste de Exploração

Teste de Avaliação

Teste de Validação

Teste de Comparação

Teste de exploração

Quando usar: nas fases iniciais do ciclo de design. Que funcionalidades incluir?

Objetivo : Explorar o modelo mental do usuário a respeito das tarefas em questão. Avaliar se o usuário distingue os elementos funcionais da interface; se o usuário aprova as funções apresentadas; procura estabelecer um modelo intuitivo.

Metodologia : Alto grau de interação entre o monitor e o participante; procura encontrar pontos de confusão do usuário. Também chamado de " walktrough ".

Exemplo : O usuário é apresentado a uma situação ou problema concreto e estimulado a falar sobre suas expectativas, suposições e desejos (abordagem qualitativa).

Teste de avaliação

Quando usar : nas fases intermediárias do ciclo de design. É o tipo de teste mais comum.

Objetivo : Determinar se os modelos conceituais foram implementados adequadamente. Procurar mensurar a efetividade da implementação. Busca verificar como um usuário consegue desenvolver tarefas reais, identificando deficiências específicas de usabilidade.

Metodologia : O usuário executa tarefas e o monitor fica observando sem interferir. Alguns dados quantitativos de eficiência de uso são reunidos. É dada mais ênfase ao comportamento.

Exemplo : Usuário é instruído a renovar um livro na biblioteca online.

Teste de validação

Quando usar : na fase final, perto do lançamento do produto.

Objetivo : Certificar que o produto satisfaz os padrões desejados de tempo e esforço para completar com facilidade as tarefas. Esses padrões foram estabelecidos por testes anteriores. Verificar como todas as peças do design funcionam em conjunto e como o produto se enquadra em relação a padrões de usabilidade, padrões de performance e padrões históricos.

Metodologia : Determinar tempos para as tarefas ( benchmarks ). Os dados quantitativos e tempos das tarefas são analisados minuciosamente e tornam-se muito importantes. Enfatiza maior rigor experimental e de consistência nos julgamentos quantitativos.

Exemplo : "Acesse sua conta na biblioteca virtual e faça a renovação online de seus livros. Tempo: 1 minuto".

Teste de comparação

Quando usar : em qualquer estágio do ciclo de design. Nos primeiros estágios, pode ser usado, para comparar diferenças entre estilos de interface através do teste de exploração; nos ciclos intermediários, pode ser usado para medir a efetividade de um elemento da interface; no final do ciclo, um teste de comparação pode ser usado para ver como a liberação de um produto atinge um produto concorrente.

Objetivo : Comparar soluções alternativas entre si e determinar qual deles é mais fácil de usar.

Metodologia : Um teste exploratório onde diversas soluções são comparadas entre si. O resultado é um produto que combina o melhor de diversas idéias.

Exemplo : Localize onde está localizada a ajuda nos seguintes websites.

Papéis da equipe

Moderador (ou facilitador)

Anotador

Operador de vídeo

Perito

Observador

Papel do moderador

É responsável por tudo que ocorre durante a sessão de teste.

Sua função é interagir com o participante , coletar informações, compilar e comunicar o resultado para a equipe de desenvolvimento.

Ele é responsável por toda preparação incluindo material, arranjos e a coordenação.

Perfil do moderador

especialista em fatores humanos (psicólogo, engenheiro industrial),

especialista de mercado (cliente, marketing, usuário),

comunicador (escritor, especialista em treinamento), ou

consultor externo.

Deve ter independência. Não deve ser o dono do produto que está sendo testado.

Métricas

O tempo da tarefa;

A porcentagem de tarefas completadas ;

A porcentagem de tarefas não completadas ;

Número de erros ;

Tempo de navegação em busca da informação;

Número de passos ;

Número de cliques ;

Quantidade de informações encontradas;

Número de acessos à ajuda .

Dados qualitativos

São dados coletados por escrito, oralmente, por questionário on-line ou através do questionamento do participante após o teste.

Dados qualitativos

As percepções e a satisfação sejam dados qualitativos (subjetivos), podem ser quantificadas através de questionários. “Notas” para:

facilidade de uso;

facilidade de navegação;

utilidade;

facilidade de aprendizado;

facilidade de se recuperar de erros;

ajudas online ou offline;

aspectos positivos relembrados.

Documentos de apoio

Questionário de pré-teste – para definir o perfil dos participantes;

Questionário pós-teste – para aplicação após o teste;

Declaração de ciência e autorização – consentimento para gravações e sua utilização e outras informações.

Amostragem

é o conjunto de procedimentos através dos quais se seleciona uma amostra de uma População.

Probabilística - Procedimento em que todos os elementos da População têm uma probabilidade conhecida e superior a zero de integrar a Amostra.

Não Probabilística

Intencional - Amostragem Não Probabilística subordinada a objetivos específicos do investigador.

Não intencional - Amostragem Não Probabilística regida por critérios de conveniência e/ou de disponiblidade dos inquiridos.

Tamanho da amostra

Depende de:

objetivos do teste,

grau de confiança que se deseja atingir,

recursos disponíveis

análise do tipo de participantes, e

tempo estimado de duração da sessão de testes.

Tamanho da amostra

Se o objetivo do teste é validar resultados estatísticos , será necessária uma quantidade de participantes a fim de conduzir às análises apropriadas e generalização de uma população específica.

Se o objetivo é tentar expor os problemas de usabilidade do produto, 4 a 5 participantes são capazes de expor a maioria (80%) dos problemas.

Tamanho da amostra

Perfil dos participantes

A seleção é crucial para o sucesso.

Identificar habilidades relevantes e o conhecimento do público-alvo.

Perfil e caracterização do usuário são determinados nos primeiros estágios do desenvolvimento e servem como base para a seleção dos participantes.

As informações necessárias para se determinar o perfil do participante dos testes podem ser encontradas na especificação funcional, em análises e estudos realizados no mercado, junto ao gerente do produto, grupos de discussão e padrões competitivos.

histórico pessoal: idade, gênero, habilidade com computador;

histórico educacional: grau, assuntos estudados;

experiência computacional: tempo de utilização, freqüência, periféricos;

experiência com o produto: tempo de utilização, freqüência, tarefas;

histórico da ocupação: cargo ocupado, responsabilidades, tempo de trabalho na companhia atual.

Uma maneira de conseguir uma representação efetiva é subdividir o perfil em diferentes categorias.

Por exemplo, subdividir em usuários novatos e em usuários experientes determinando um número fixo para cada perfil.

Onde selecionar participantes

listas de clientes ,

listas de usuários potenciais,

organizações profissionais,

associações de usuários,

anúncios em jornais,

campi universitários, colégios,

listas de amigos ou de colegas,

empresas de pesquisa de mercado,

agências de empregos.

Cenários e tarefas

- evitar criar cenários com passo-a-passos (instruções); e - evitar redigi-los na linguagem do produto. O vocabulário dever ser o do usuário.

Exemplo de cenário

Cenário - Você está realizando uma pesquisa para o seu curso de pós-graduação (mestrado ou doutorado). A sua pesquisa envolverá o estudo do comportamento de consumo da população idosa no Brasil. Para completar a redação do capítulo inicial, você deverá incluir alguns dados demográficos atuais sobre a distribuição da população idosa no País.

Exemplo de tarefa

Tarefa 1 “A partir da home page do portal IBGE, identifique em que estado do Brasil reside a maior concentração de pessoas idosas (com mais de 60 anos). Aponte o número atual, em termos absolutos”.

Exemplo de tarefa

Tarefa 2 “ A partir da home page do portal IBGE, descubra em que bairro da cidade de Recife reside a maior concentração de cidadãos da terceira idade. Aponte o número atual, em termos absolutos”.

Equipamentos

Notebook Pentium 4 com 512 Mb de memória e Windows XP;

Navegador IExplorer 6;

Webcam USB;

Mouse USB;

Headphone e microfone de cabeça;

Software de captura de telas TechSmith Camtasia Studio 3;

Câmera digital de 6 megapixels, com cartão de memória flash de 1Gb;

Gravador analógico de áudio (para backup de áudio);

Acesso wireless à Internet (230 kbps) com cartão PCMCIA;

Questionários e documentação impressos. (Teste Caso IBGE)

Softwares (exemplo)

Protocolos de verbalização

Protocolos de verbalização de pensamentos são protocolos utilizados durante os testes de usabilidade.

Os usuários são incentivados a exteriorizar seus pensamentos em voz alta , enquanto trabalham nas tarefas.

Acredita-se que tenha grande validade , já que os dados obtidos refletem o uso real do artefato e não julgamentos dos participantes sobre a sua usabilidade.

Protocolo concorrente - PC

Diferenciação entre: - protocolo retrospectivo (PR) e - protocolo concorrente (PC).

O protocolo concorrente resulta em um número maior de problemas observados.

O protocolo concorrente (PC) é mais adequado para problemas estritamente orientados a tarefas do teste.

Protocolo retrospectivo - PR

Nele, em vez de verbalizar os pensamentos durante a realização da tarefa, os participantes do teste completam as tarefas silenciosamente , e verbalizam os pensamentos depois - após terem assistido a um vídeo com a gravação da sua performance.

Protocolo retrospectivo - PR

O protocolo retrospectivo (PR) se mostra eficiente para detectar problemas que só poderiam ser encontrados através da verbalização .

O protocolo retrospectivo (PR) é adequado para problemas de natureza abrangente .

Os participantes de testes com PR em geral fornecem explicações e sugestões ;

os participantes sob a condição de PC se limitam a descrições .

Pré-testes

O walktrough é a primeira chance de testar o equipamento e checar os materiais (documentos, checklists , questionários), o cenário, as tarefas, a terminologia, o tempo previsto e as perguntas.

Pré-testes

Um usuário “ tolerante ” (não necessariamente do público-alvo) é selecionado para a participação no walkthrough .

Pré-testes

O teste-piloto é um “teste do teste” e o seu participante deve ser recrutado dentro do grupo de usuários-alvo.

Roteiro - passo a passo

Montar o aparato no local,

receber de modo cortês o participante,

oferecer um pequeno lanche,

descrever o aparato,

informar sobre o tempo de duração,

solicitar a leitura e assinatura do termo de ciência e autorização ,

explicar que não é o participante que será testado e sim a interface,

auxiliar na colocação do microfone,

descrever o protocolo de verbalização,

perguntar se há dúvidas,

falar sobre ajuda e finalização,

solicitar o preenchimento do questionário de pré-teste ,

Roteiro - passo a passo

acionar o software e verificar o seu funcionamento,

apresentar o cenário e a primeira tarefa por escrito,

iniciar a gravação anotando os tempos,

estimular o uso do protocolo durante as tarefas,

se a primeira tarefa for completada apresentar a segunda tarefa por escrito,

desligar a câmera e salvar os arquivos,

solicitar o preenchimento do questionário de pós-teste ,

realizar uma entrevista aberta registrada com gravador de mão,

solicitar que o participante avalie o próprio método.

Ao término, agradecer e oferecer-lhe um pequeno presente.

Análise dos dados

Compilar e Resumir os Dados

Análise

Identificar erros e dificuldades dos participantes

Identificar a fonte dos erros

Priorizar problemas

Gerar Recomendações

Recomendações de maior impacto

Recomendações de curto e longo prazos

Áreas para futura pesquisa adicional

Redigir o Relatório Final

Proposta de atividade

Em grupos de 3 alunos:

Moderador

Anotador

Operador

Desenvolver um plano de testes e aplicar.

Proposta de atividade

PLANO DE TESTES:

Definir objetivos

Identificar o problema

Definir o tipo de teste

Distribuir os papéis da equipe

Perfil dos usuários-alvo

Redigir cenário e tarefas

Definir benchmarks

Equipamentos e metodologia

Definir métricas e dados qualitativos

Preparar documentos de apoio

Prospectar participantes

Executar teste piloto

Testes De Usabilidade Slide Share 1

0 comments

Notes on slide 1

24 Favorites