Este é um resumo dos dados coletados e hipóteses levantadas em uma pesquisa feita para um projeto final de Pós-graduação da PUC-RIO na área de Ergodesign de Interfaces. Foi realizada uma comparação com dois grupos de usuários sendo um grupo participante pelo método mais próximo do que podemos chamar tradicional e outro feito a partir de um teste remoto não moderado. Ambos eram publicos-alvo de compra online de passagens aéreas e testaram o fluxo de compra de um site em específico.

1. Pesquisa sobre testes de Usabilidade
Levantamento para comparação entre teste de usabilidade
presencial e teste remoto na avaliação de um fluxo de compra
de passagens aéreas.
Puc-RJ - Especialização em Ergodesign
Leandro Maldonado

2. Tema
A avaliação dos testes de usabilidade remotos, como
alternativa aos testes presenciais, para avaliação de um
processo online de compra de passagens aéreas.

3. O problema
Os métodos de teste remoto podem ter validade em
comparação aos testes de usabilidade presenciais para
avaliação de um processo online de compra de passagens
aéreas?

4. Justificativa
Esta pesquisa pretente contribuir para:
•Levantamento de indicações ao uso de testes remotos
para avaliação de processos online de compra de
passagens aéreas;
•Confirmar se os testes remotos não tem validade em
relação ao entendimento da experiência do usuário.

5. Caracterização Restrições:
Problemas de
e posição serial
interface,
disponibilidade do
site da Gol e conexão.
do sistema
Meta: Proporcionar
a compra da
passagem
Sistema Entrada:
alimentador: Dados Saídas: Sistema
Necessidade ou pessoais ,dados Página e Ulterior:
Sistema alvo: Sistema de e-mail de
desejo do usuário do voo de ida e Sistema de
compras da Gol Linhas confirmação
realizar uma viagem volta, dados Check-in do
aéreas. de reserva
seja por motivos de sobre bagagem, aeroporto ou
lazer ou por motivos pagamento do voo. do site.
de trabalho. entre outros.
Requisitos:
Acesso a internet, Resultados Despropositados:
,meio de pagamento Falha da operadora de cartão,
e-mail, CPF, falha no sistema de reserva de
Endereço, assentos e erro na validação
computador. dos dados durante o cadastro.

6. Organização hierárquica do sistema
Ecossistema: Site da Gol linhas aéreas
Supra-supra-sistema: Plataforma de e-commerce
Supra-sistema: Menu de opções
Sistema-alvo: Sistema de compra de passagens
Sub-sistema 4:
Sub-sistema Sub-sistema Sub-sistema
Pagamento
1: 2: 3:
Seletor dos Formulário Interface de
voos de cadastro escolha dos Meio de
(origem, des dados assentos. pagamento
destino, pessoais
aeroporto,
horários) Transação

7. Expansão do Sistema
Supra-sistema:
Menu de opções do site
Sistema serial 1:
Sistema-alvo: Sistema de
compra de passagens Sistema serial 2:
Necessidade ou desejo do
Sistema de Check-in
usuário viajar.
Sub-sistema 2:
Sub-sistema 1:
Formulário de
Seletor dos voos
cadastro
Sub-sistema 3:
Sub-sistema 4:
Interface de escolha
Pagamento
dos assentos.
Sistema paralelo 1: Sistema paralelo 2: Sistema paralelo 3: Sistema paralelo 4:
Promoções Seu voo Serviços Destinos
Sistema paralelo 5: Sistema paralelo 6: Sistema paralelo 7: Sistema paralelo 8:
Smiles Gollog Busca no site Atendimento

8. Modelagem comunicacional do Sistema
Máquina Homem
Canais de
Fontes de Informação: Transmissão Sistemas Humanos
Envolvidos:
Site da Gol Linhas Aéreas Visão
Plataforma de e-commerce Tato
Transmissões Neurônios
Comandos ativados: Acionamentos: Respostas Humanas:
Teclado do computador Digitar, Clicar Com as mãos

9. Métodos e Técnicas:
Foram utilizados testes de Usabilidade Presenciais, Testes
remotos e formulários para coleta de dados;
Não foram utilizadas as demais técnicas, pela própria
natureza da pesquisa;

10. Métodos e Técnicas:
Para o teste presencial, ao invés de uma abordagem
convencional…

11. Métodos e Técnicas:
Foram necessárias adaptações devido a restrições
técnicas e de orçamentárias….
Segundo Nielsen (2005):
A abordagem tradicional era custosa, pois os experimentos
envolviam entre 30 e 50 participantes. Entretanto, este
pesquisador propôs uma mudança de paradigma ao sugerir
testes com melhor relação custo-benefício, utilizando entre
quatro e cinco usuários. Também propôs a dispensa de
laboratórios, para que os testes pudessem se encaixar
dentro dos orçamentos das empresas.

12. Métodos e Técnicas:
A solução alternativa com base nestas restrições foi:

13. Métodos e Técnicas:
Foram realizados testes de usabilidade e uma breve
pesquisa para coleta de dados da seguinte forma:
•Duas modalidades de teste, o mesmo cenário, tarefas e
questões a serem levantadas, tentando reproduzir em
ambos as mesmas condições, porém, preservando as
características básicas de cada modalidade;
•Aplicação do teste de usabilidade moderado foi feita com
5 usuários e foi utilizada a ferramenta Cantasia, dentro do
ambiente em que o usuário se sente a vontade;

14. Métodos e Técnicas:
• Aplicação do teste de usabilidade remoto também foi feita
com 5 usuários, sendo utilizada a ferramenta Loop11:

15. Métodos e Técnicas:

16. Métodos e Técnicas:

17. Métodos e Técnicas:

18. Amostra
Foi realizada uma pré-seleção utilizando os seguintes
critérios:
Você já realizou compras pela Internet?
Sim [ ] Não [ ]
Você viaja de avião com frequencia igual ou superior a 1 vez por ano?
Sim [ ] Não [ ]

19. Amostra
• Para realizar o recrutamento dos 5 usuários presenciais
foram necessárias, em média, 10 ligações;
• Para atingir a amostra de 5 usuários do teste remoto foi
necessário enviar e-mail para 30 usuários para obter o
seguinte resultado…

20. Amostra

21. Amostra

22. Os testes
Cenário:
Você foi convidado por amigos para passar o Reveillon em Florianópolis e
precisa comprar uma passagem de ida e volta. Para que você aproveite o
máximo do tempo, decidiu sair na sexta-feira diretamente do trabalho para o
Aeroporto Santos Dumont e retornar na segunda-feira diretamente para o
trabalho a tempo de uma reunião que ocorrerá às 15hs. Você trabalha no centro
do Rio e o percurso entre o seu trabalho e o aeroporto Santos Dumont dura mais
ou menos 20 minutos considerando trânsito lento.
Tarefa:
Com base no cenário acima, compre uma passagem aérea para passar o
Reveillon em Florianópolis.
SITE
www.voegol.com.br

23. Os testes
Questões:
1) O que você achou em relação a facilidade em comprar neste site? Você teve
dificuldades em algum momento ou melhoraria algo?
2) Classifique este processo de compra escolhendo uma das opções abaixo:
Muito fácil
Fácil
Difícil
Muito difícil

24. Os testes
Questões:
3) Em relação a experiência de compra neste site, em comparação com outros, o que
você achou? Tem alguma sugestão sobre o que poderia tornar este processo mais
agradável?
4) Quais destes adjetivos você utilizaria para classificar este site (podem ser escolhidas
mais de uma opção)?
Profissional
Pouco intuitivo
Fácil de usar
Confuso

25. Resultados Parciais
Perguntas fechadas:

26. Resultados Parciais
Perguntas abertas:

27. Resultados Parciais
• 50 palavras mais utilizadas no teste remoto:

28. Resultados Parciais
• 50 palavras mais utilizadas no teste presencial:

29. Conclusão
Lembrando das Justificativas da Pesquisa:
1) Levantamento de indicações ao uso de testes remotos
para avaliação de processos online de compra de
passagens aéreas.
2) Confirmar se os testes remotos não tem validade em
relação ao entendimento da experiência do usuário.

30. Conclusão
O uso do teste remoto em processos de compra de
passagens aéreas seria indicado para:
•Levantamento de Sugestões;
•Confirmação de hipótestes com nível de maturidade maior
utilizando, questionários com perguntas fechadas;
•Testes para levantamento de taxa de eficiência na
conclusão de tarefas específicas;
•Não foi comprovada a eficácia para econtrar problemas de
usabilidade com o número de 5 usuários;

31. Conclusão
Em relação ao entendimento da Experiência do usuário:
•Pode ser considerado o uso, porém, perde muito em
relação aos testes presenciais, principalmente em relação
ao entendimento do que o usuário não gosta no produto;

32. Desdobramentos Futuros:
Ampliação da pesquisa para investigação:
•Entendimento da experiência do usuário em relação aos
testes em sí (já entra no relatório completo)

33. Desdobramentos Futuros:
Ampliação da pesquisa para investigação:
•Se existem aspectos que são mais facilmente detectados
a partir de um teste de usabilidade remoto e buscar
levantar alguns destes aspectos;
•Para que um teste remoto obtenha resultados
qualitativamente próximos os testes de usabilidade
presenciais, quantos usuários seriam necessários para
atingir este ponto de equilíbrio?

34. Obrigado