Your SlideShare is downloading. ×
ISA11 - Walter Cybis: Monitorando a Experiência do Usuário
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Saving this for later?

Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime - even offline.

Text the download link to your phone

Standard text messaging rates apply

ISA11 - Walter Cybis: Monitorando a Experiência do Usuário

988
views

Published on

Neste workshop estaremos discutindo os conceitos, as abordagens, as técnicas e as ferramentas destinadas ao monitoramento da experiência dos usuários em todo o seu ciclo de vida. …

Neste workshop estaremos discutindo os conceitos, as abordagens, as técnicas e as ferramentas destinadas ao monitoramento da experiência dos usuários em todo o seu ciclo de vida.

Estaremos falando de testes de usabilidade (no laboratório, no terreno, à distância, com moderação humana ou automática, click testes), de pesquisas de satisfação, das técnicas de diários, de painéis e de web analítica.

Estaremos discutindo também as tendências, perspectivas (living labs) e as questões de P&D (Web analítica orientada à experiência do usuário).

Published in: Design

0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
988
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
49
Comments
0
Likes
3
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Monitorando aExperiência do Usuário Walter de Abreu Cybis, D. Eng
  • 2. Monitorando aExperiência do UsuárioPlano do módulo Conceitos de Base Abordagens Testes à distância Painéis de usuários Sondagens Web analítica P&D Conclusões
  • 3. Experiência do usuárioDefinição e caracterizaçãoExperiência do usuário é subjetiva ! Contexto Satisafacao Valor estético Desempenho Valor Eficiência ético Satisfação Produto Interacao Site Web Usuario Sistema Experiência Usabilidade Design Suporte Atendimento Eficacia
  • 4. Experiência do usuárioDefinição e caracterizaçãoExperiência do usuário é resultado de um processolongo e dinâmico! Experiência Experiência Experiência além da esperada na interação interação Usuario Valores, motivação, expectativas, humor, conhecimentos, recursos Imagem, campanhas, Desempenho, satisfação, Amigos, leituras amigos, leituras prazer, frustração… publicidade,
  • 5. Experiência do usuárioDefinição e caracterizaçãoDefinições de UX!“as percepções e respostas da pessoa que resultam douso ou da expectativa de uso de um produto, sistemaou serviço” ISO 9241:13 – Ergonomia da interação Concepção centrada no usuário
  • 6. Experiência do usuárioDefinição e caracterizaçãoDefinições de UX!“a conseqüência do estado interno do usuário (predisposições,expectativas, necessidades, motivação, humor, etc.) dascaracterísticas do sistema projetado (por exemplo,complexidade, objetivo, usabilidade, funcionalidade, etc.) e docontexto (ou do ambiente) no qual a interação ocorre (porexemplo, configurações organizacionais-sociais, significado daatividade, espontaneidade do uso, etc.)”. Hassenzahl, 2006
  • 7. Experiência do usuárioDefinição e caracterizaçãoDefinição de UX adotada!“a conseqüência do estado interno do usuário (predisposições,expectativas, necessidades, motivação, humor, etc.) dascaracterísticas do sistema projetado (por exemplo,complexidade, objetivo, funcionalidade, etc.), da interação entreeste usuário e o sistema projetado (usabilidade) e do contexto(ou do ambiente) no qual a interação ocorre (por exemplo,configurações organizacionais-sociais, significado da atividade,espontaneidade do uso, etc.)”. Hassenzahl, 2006, adaptado por Cybis!
  • 8. Monitoramento de interfacesDefinição e caracterizaçãoObjetivos Obter e utilizar informações sobre o uso de uma interface para melhorar a próxima versão do sistema, ajudar a conceber um novo produto, melhorar o suporte técnico, etc…Estratégia Coletar e analisar….  medidas e informações de testes e painéis  as percepções dos usuários sobre a usabilidade, a carga de trabalho, a carga emocional, os sentimentos e a satisfação dos usuários  os registros das interações (dados de log) …
  • 9. Monitoramento de interfacesDefinição e caracterizaçãoAbordagens examinadas Testes de usabilidade a distância Com o apoio de ferramentas automatizando as atividades de teste. Painéis de usuários Pesquisas sobre a usabilidade e experiência do usuário abrangendo um grande número de usuários Sondagens Sobre as percepções dos usuários sobre a usabilidade, a carga de trabalho, a carga emocional e a satisfação geram em relação aos sistemas. Web analítica Abordagem visando melhorias constantes baseada no registro e análise sistemática de dados sobre as interações. técnico e comunidades on line.
  • 10. Testes de UsabilidadeDefiniçãoUm teste de usabilidade envolve usuários reais ourepresentativos da população-alvo interagindo com o sistemapara realizar tarefas específicas em um contexto deoperação real ou simulado.
  • 11. Testes de UsabilidadeCaracterizaçãoObjetivos: ➔Constatar problemas, ➔Medir seu impacto negativo sobre as interações ➔Identificar suas causas na interface. ➔Conhecer mais sobre as estratégias dos usuários
  • 12. Testes de UsabilidadeCaracterizaçãoUm teste de usabilidadediferencia-se de umaobservação da interação,que tem o objetivoespecífico de conheceruma situação ouo contexto do trabalho.O objetivo de um teste de usabilidade é de testar um software,ou as áreas problemáticas de sua interface, em uma situaçãoreal ou o mais próximo possível do real.
  • 13. Testes de UsabilidadeTestes a distânciaTeste no terreno em que osparticipantes, facilitadorese observadores estãogeograficamente dispersos; Vantagens O participante é menos estressado porque está em seu ambiente natural, em casa ou no escritório Recrutamento é mais fácil porque não há necessidade do participante deslocar-se;  Teste com moderador  Teste sem moderador
  • 14. Testes de UsabilidadeTestes a distância com moderadorO participante interage com ummoderador via telefone IP.Vantagens É possível fazer um pouco de análise à distância;Desvantagens  A logística a implementar é mais complicada. Pré-testes individuais (1 para cada participante) são necessários;  É necessário uma conexão de qualidade para evitar atraso e cortes;  Mesmo assim, problemas técnicos de última hora e incontroláveis podem aparecer.
  • 15. Testes de UsabilidadeTestes a distância com moderadorFerramentas: UserVue foi descontinuado em 2010!Ferramenta de testes +ferramenta decompartilhamento de telasEx Morae + GotoMeeting
  • 16. Testes de UsabilidadeTestes a distância sem moderadorO participante interage com umsistema automático decondução. O contratante define o perfil dos usuários participantes, as tarefas que eles deverão realizar e as questões que os usuários devem responder. O serviço aplica as tarefas e as questões, registra todos os acontecimentos (imagem e som) e prepara relatórios com os resultados.
  • 17. Testes de UsabilidadeTestes a distância sem moderadorVantagens O usuário fica a vontade para escolher quando e onde realizar o teste. Os testes podem envolver um número maior de usuários.Desvantagens O usuário pode não compreender a condução e perder-se nas tarefas do teste. Os resultados dos testes não são tão detalhados.
  • 18. Testes de UsabilidadeTestes a distância sem moderadorFerramentas UserZoom http://www. userzoom.com loop11 http://www.loop11.com/ Morae - AutoPilot http://www.techsmith.com/morae.html
  • 19. Monitoramento de interfacesPainéis de usuários Definição São estudos mais abrangentes em número de usuários, com centenas ou mesmo milhares de usuários. Estes podem pertencer a grupos de usuários contratados por um serviço de painéis ou podem ser recrutados em tempo real quando visitam os sites. Os participantes de um painel, irão interagir com um serviço Web ou permitirão a instalação de um plug-in em sua máquina, que irá capturar os registros de suas interações.
  • 20. Monitoramento de interfacesPainéis de usuáriosPainéis de curta duração: orientados à tarefas! Os usuário são recrutados de uma base de participantes do serviço de painéis, ou em tempo real, enquanto visitam o site Web. Em ambos os casos o recrutamento se dá de forma automática, seguindo os dados sobre o perfil desejado para os usuários, definidos previamente.
  • 21. Monitoramento de interfacesPainéis de usuáriosPainéis de curtaduração! Trata-se de uma estratégia parecida com a de um teste de usabiliade a distância sem moderador, considerando um grande número de usuários. Em um painel o foco é colocado mais nas respostas qualitativas, do que nas medidas de produtividade.
  • 22. Monitoramento de interfacesPainéis de usuáriosPainéis de curtaduração! Ferramentas (testes à distância) UserTesting.com, Feedbackarmy, Fivesecondtest, Usabilla, Whatusersdo, Userlytics Capteria-Zooma….
  • 23. Monitoramento de interfacesPainéis de usuáriosPainéis de longa duração: orientados à experiência! Duram semanas ou meses. Os participantes são recrutados a partir de listas de usuários de um serviço ou produto (não são apenas os usuários de um determinado perfil). Uma ferramenta captura os dados comportamentais, como URL visitadas, as aplicações utilizada, as horas de uso e outros dados extraídos do ambiente computacional dos usuários por meio de plug-ins.
  • 24. Monitoramento de interfacesPainéis de usuáriosPainéis de longa duração:orientados à experiência! Dados qualitativos podem ser obtidos por meio de ferramentas genéricas de diários ou mensagens instantâneas. Estes se referem à: Dificuldades e problemas encontrados (auto-reportados) Opiniões e expressões Satisfação http://diary.com/
  • 25. Monitoramento de interfacesSondagensDefinição Estratégia de monitoramento baseada nas percepções subjetivas dos usuários colhidas logo após o uso de um sistema ou passado algum tempo da utilização. Os questionários podem ser genéricos ou especializados (feitos sob medida para a experiência a ser monitorada) Questionários genéricos permitem comparar mediadas colhidas de diferentes sistemas. Questionários genéricos sobre: Usabilidade Sentimentos e a carga emocional Carga de trabalho
  • 26. Monitoramento de interfacesSondagensQuestionários genéricosPercepção da usabilidadeSystem Usability Scale : SUS Questionário de 10 questões sobre usabilidade do sistema. GratuitoSoftware Usability Measurement Inventory : SUMI 50 questões sobre 5 aspectos da usabilidade : Eficiência, Ajuda, Controle, Aprendizagem e Empatia 976 €Percepção da satisfaçãoQuestionnaire for User Interaction Satisfaction : QUIS 120 questões sobre a satisfação em relação à 11 aspectos dos sistemas US$ 50 a US$ 1000
  • 27. Monitoramento de interfacesSondagensPercepção da carga emocionalAfeto positivo e negativo : PANAS 10 questões sobre emoções positivas e negativas em relação ao sistema. GratuitoValores hedônicos e pragmáticos : AttrackDiff 21 questões sobre qualidades hedônicas e pragmáticas da relação com o sistema.Percepção da carga de trabalhoNASA Task Load Index : NASA TLX
  • 28. Monitoramento de interfacesSondagensPercepção da usabilidade – SUS (System Usability Scale) Completamente Completamente em desacordo. de acordo. 1 . Eu acho que eu gostaria de usar este produto com freqüência. 2 . Eu acho este produto desnecessariamente complexo. 3 . Eu acho que este produto é fácil de usar. 4 . Eu acho que eu poderei precisar da suporte técnico para poder usar este produto. 5 . Eu acho que as várias funções deste produto estão bem integradas. 6 . Eu acho tem muita inconsistência neste produto. 7 . Eu imagino que a maioria das pessoas poderia aprender a usar este produto muito rapidamente. 8 . Achei o produto muito complicado de usar. 9 . Eu me senti muito confiante de usar o produto. 10 . Eu precisaria aprender muitas coisas antes que eu possa sair usando este sistema .
  • 29. Monitoramento de interfacesSondagensPercepção da usabilidade – SUS (System Usability Scale)Escala Likert de 1 à 5 para obter a opinião do usuário emrelação à uma declaração sobre a usabilidade do sistema.Ex. Eu acho que este produto é fácil de usar. 1 = completamente em desacordo 2 = em desacordo 3 = neutro 4 = de acordo 5 = completamente de acordo Também é possível a construção de escalas com um número par de opções. Então, o usuário é forçado a tomar uma posição a favor ou contra a declaração.
  • 30. Monitoramento de interfacesSondagensPercepção da usabilidade – SUS (System Usability Scale)Pontuação SUS : entre 0 e100 Cada resposta vale entre 1 e 4 Valor das questões ímpares = posição -1 Valor das questões pares = 5 – posição Multiplicar o total por 2,5 Completamente Completamente em desacordo. de acordo. 1 . Eu acho que eu gostaria de usar este x 4 produto com freqüência. 2 . Eu acho este produto desnecessariamente x 4 complexo. 3 . Eu acho que este produto é fácil de usar. x 3 4 . Eu acho que eu poderei precisar da suporte técnico para poder usar este produto. x 3 1 2 3 4 5
  • 31. Monitoramento de interfacesSondagensPercepção da usabilidade – SUMI50 questões:5 aspectos ligados àusabilidade Eficiência Ajuda Controle Facilidade de aprender Empatia http://sumi.ucc.ie/index.html University College CorkOutros questionários de UCC - Measuring the Usability of Multi-MediaSystems (MUMMS) / Website Analysis and MeasureMent Inventory (WAMMI)
  • 32. Monitoramento de interfaces Sondagens Percepção da satisfação QUIS: Questionnaire for User Interaction Satisfaction 120 questões sobre 11 aspectos Telas Terminologia Feedback Aprendizagem Funções Manuais Tutoriais on-line Multimídia Reconhecimento de voz Ambientes virtuais Acesso à internet Instalação. http://lap.umd.edu/quis/http://www.lap.umd.edu/QUIS/index.htmlHuman-Computer Interaction Lab (HCIL) at the University of Maryland at College Park
  • 33. Monitoramento de interfacesSondagensPercepção da satisfaçãoQUIS: Questionnaire for User Interaction Satisfaction Escala de diferencial semântico Bipolar Entre 1 e 7 posições entre dois extremos
  • 34. Monitoramento deinterfacesSondagensNASA TLX -Task Load IndexPercepção da carga detrabalho 6 fatores compondo a percepção da carga de trabalho: Mental, Física, Urgência, Esforço Desempenho Frustração http:// www.cc.gatech.edu/classes/AY2005/.../manual.pdf
  • 35. Monitoramento deinterfacesSondagensNASA TLXTLX = 1Ʃ(Peso x Valor) / SP àN ➔ aplicar logo após o uso do sistema  Solicitar aos usuários que definam...  a importância relativa  o valor de cada fator.  Peso = 0 à 5  Valor = 1 à 18  SP = soma dos pesos  N = número de fatores aplicáveis http:// www.cc.gatech.edu/classes/AY2005/.../manual.pdf
  • 36. Monitoramento deinterfacesSondagensPANAS - Positive andNegative Affect SchedulePercepção do afetopositivo e negativo Pode ser aplicado.. ➔ logo em seguida ➔ ou algum tempo após a última utilização do sistema.
  • 37. Monitoramento deinterfacesSondagensPANASSolicitar a percepção dos usuários(escala Likert entre 1 e 5) emrelação a… 10 emoções ou sentimentos positivos ativo, alerta, atento, determinado, entusiasta, excitado, inspirado, interessado, orgulhoso, forte 10 emoções ou sentimentos negativos medroso, receoso, nervoso, ansioso, irritado hostil, culpado, envergonhado, perturbado, abalado
  • 38. Monitoramento deinterfacesSondagensAttrackDiffPercepção dossentimentos dos usuáriosSolicitar a percepção dos usuários(escala diferencial semântico entre 1e 7) em relação à 21 emoções ousentimentos, organizados em 3grupos: Pragmáticos Hedônicas – estimulação Hedônicas – identificação
  • 39. Monitoramento de interfacesSondagensAttrackDiff Todas as questões são aplicáveis eHQI alta indica percepção todas têm o mesmo peso!de alta capacidade decomunicar suaidentidade para os outros.(identificação)HQS(HQE) alto indicapercepção de novidade,estimulação e desafio.PQ alto indica percepçãode alta usabilidade.Todas as questões sãoaplicáveis e todas têm omesmo peso! Uma tradução possível!
  • 40. Monitoramento deinterfacesSondagensFerramentasSurveyMonkeyKeySurveyOnlineOpinionOpinonLabPermitem aimplementação dequestionáriosgenéricos eespecializados
  • 41. Web AnalíticaDefinição e caracterização Conjunto de abordagens, Servidor Cliente - Usuário técnicas e ferramentas visando à melhoria constante de sites Web a partir da análise de medidas e informações Arquivos de Log sobre as maneiras como os usuários navegam nestes sites Medidas e informações produzidas pela análise de registros do histórico das transações entre um servidor web e seus clientes (dados de log).
  • 42. Web AnalíticaDefinição e caracterização Arquivos de log em um servidor WebDados de Log ou em um servidor de Web analítica Interações individuais com um site Web Registros dados de log
  • 43. Web AnalíticaDefinição e caracterizaçãoFerramentas tradicionais: Google Analytics WebTrends Omniture TeaLeaf
  • 44. Web AnalíticaDefinição e caracterizaçãoAbordagem geral  Ciclos iterativos de análises e melhorias Planificar: Definir os objetivos da intervenção  objetivos do site Web Definir as medidas e os indicadores de desempenho do site (KPI - Key Performance Indicators) a produzir. Definir a melhor maneira de gerar e coletar os dados de log. Medir: Empregar os recursos para coletar os dados e para produzir as medidas. Obter resultados: Produzir medidas e indicadores de desempenho do site. Análise: Acompanhar a evolução das medidas e indicadores no tempo, Comparar as medidas entre sites/páginas do mesmo tipo (A/B); Melhorar: Propor e realizar melhorias nos sites.
  • 45. Web AnalíticaIndicadores de desempenhoObjetivos dos sites  Indicador de desempenho Objetivos dos sites em geral Atrair e manter usuários ativos, produtivos e satisfeitos Indicadores de desempenho gerais Framewrok HEART (Google) Happiness – Satisfação dos usuários (por meio de pesquisas); Engagement – Número de visitantes ativos (que visitam mais de uma vez) por período ; Adoption - Número de novos visitantes ativos por período Retention - Número de visitantes ativos que permanecem ativos depois de algumas semanas/meses. Task success – Eficácia e eficiência nas tarefas (em testes à distância);
  • 46. Web AnalíticaIndicadores de desempenhoSites de Conteúdo  Receber visitasIndicadores de desempenho  HEART +  Profundidade média das visitas = total de páginas visitadas/total de visitas  Popularidade das páginas = total de visitas únicas por página  Concentração do tráfego por conteúdo – quantidade de visitas em uma parte do site;
  • 47. Web AnalíticaIndicadores de desempenhoSites de Comércio Vender produtos e serviçosIndicadores de desempenho  HEART +  Taxa de conversão = número de pedidos/número de visitas  Valor médio dos pedidos = total de vendas / número de pedidos  Faturamento médio por visita = total de vendas / total de visitas (desconsiderando as visitas muito curtas)
  • 48. Web AnalíticaIndicadores de desempenhoMedidas e informações  Usadas na produção dos indicadores de desempenho  # de visitas  Duração das visitas  # de páginas visitadas  L.O. (lista ordenada) de páginas populares  # de visitas por página  # de visitas únicas por página  % de rejeição por página = % pagina é a ultima acessada
  • 49. Web AnalíticaIndicadores de desempenhoMedidas e informações Fontes de tráfego  # - % de acessos diretos  L.O. (lista ordenada) de páginas que originam tráfego  L.O. de palavras-chave usadas nas buscas L.O. de páginas de entrada L.O. de páginas de saída Caminhos de navegação (em relação a uma página)  L.O. Páginas anteriores  L.O. páginas seguintes
  • 50. Web AnalíticaMedidas de baseMedidas e informações Dados demográficos  L.O. (lista ordenada) de origens geográficas dos visitantes  L.O. de navegadores utilizados  L.O. de sistemas operacionais dos usuários  L.O. de resoluções das telas e cores dos usuários
  • 51. Web AnalíticaGeração e coleta de dados de logServidor do site Web Tags que chamam java scriptsServidor de Web Analítica
  • 52. Web AnalíticaFerramentasGoogle Analytics Dashboard
  • 53. Web AnalíticaFerramentasGoogle Analytics Visitantes ou Visitas
  • 54. Web AnalíticaFerramentasGoogle Analytics Dados Contextuais
  • 55. Web AnalíticaFerramentasGoogle Analytics Fontes de Tráfego
  • 56. Web AnalíticaFerramentasGoogle Analytics Conteúdos populares
  • 57. Web AnalíticaFerramentasGoogle Analytics Navegação
  • 58. Web AnalíticaFerramentasGoogle Analytics Conversão de objetivos (do site)
  • 59. Web AnalíticaFerramentasGoogle Analytics Funil de conversões
  • 60. Web AnalíticaFerramentasGoogle Analytics Segmentos personalizados
  • 61. Web AnalíticaFerramentasGoogle Analytics Alertas automáticos
  • 62. Web AnalíticaDefinição e caracterizaçãoAbordagem comportamentalista(behaviorista) Só leva em consideração algumas ações físicas dos usuários Não leva em consideração … Suas ações cognitivas ! Seus sentimentos! Seus objetivos ! Não se pode conhecer o seu desempenho!Uma abordagem orientada aos objetivos do site Tráfego Retorno do investimento.
  • 63. Web AnalíticaDefinição e caracterizaçãoAbordagem não intrusiva  A coleta é totalmente transparente! Os dados de log são criados e estocados por componentes de software instalados no ambiente tecnológico que disponibiliza um site Web. Os métodos intrusivos, como os testes de usabilidade e os estudos em laboratório provocam fortes interferências nos fenômenos observados.  Pela presença dos observadores  Pelas cenários que são trazido para os testes.
  • 64. Web AnalíticaDefinição e caracterizaçãoUma abordagem em grande escala Quantidade  Variedade Grandes populações de usuários  diversos tipos de usuários! Grande número de ações coletadas  diversos tipos de situações e de contextos de operação!Uma abordagem sem limitações temporais Coleta de dados contínua!
  • 65. Web AnalíticaDefinição e caracterizaçãoUma abordagem quantitativa Os laudos e diagnósticos resultam da análise de medidas produzidas por ferramentas que monitoram as interações entre usuários e sites Web.Uma abordagem sistemática Baseada em ferramentas  os estudos e análises podem ser repetidas facilmente
  • 66. Web AnalíticaTendências da indústria  Captura das ações dos usuários em uma pagina (movimentos e cliques do mouse, rolagens, edição)  Relatórios de cliques (heatmaps), rolagens e percursos dos usuários em geral e individualmente.  Integração com outras técnicas da engenharia de usabilidade (ex. Questionários de satisfação, testes à distancia…)
  • 67. Web AnalíticaTendências da indústriaWeb analítica orientada à usabilidade e àexperiência do usuário Framewrok HEART (Google) Happiness – Satisfação dos usuários (por meio de pesquisas); Engagement – Número de visitantes ativos (que visitam mais de uma vez) por período ; Adoption - Número de novos visitantes ativos por período Retention - Número de visitantes ativos que permanecem ativos depois de algumas semanas/meses. Task success – Eficácia e eficiência nas tarefas (em testes à distância); Reflexão : HAERT é realmente orientado àusabilidade e à experiência do usuário ?
  • 68. Web AnalíticaWeb analítica orientada à usabilidade e experiência dos usuáriosObjetivo Tornar os usuários mais eficazes, eficientes e satisfeitos.Abordagem geral Baseada em medidas e indicadores permitindo conhecer e melhorar o desempenho dos usuários.Orientação usabilidade e UX por meio de ferramentastradicionais:  Tornar os sites compatíveis com os usuários principais (por meio dos recursos de segmentação)  Minimizar situações de perda de tempo e confusão (analisar as páginas causando as mensagens de erros, páginas causando consultas aos mapas dos sites)  Eliminar barreiras nas transações (ex. organizar uma promoção e associá-la a um funil de Web analítica)
  • 69. Web AnalíticaWeb analítica orientada à usabilidade e experiência dos usuáriosOrientação usabilidade e UX por meio de recursosespecializados: Usemonitor (desenvolvido por Cybis desde 2005)  Medir e minimizar a carga de trabalho dos usuários (ações sobre o mouse, o teclado e sobre o navegador…)  Medir e maximizar a eficiência evidente dos usuários em transações de sucesso evidente  Conhecer a demanda dos usuários deficientes visuais  Minimizar a carga de trabalho e maximizar a eficiência evidente de usuários deficientes visuais.
  • 70. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteSituações de sucesso evidente Uma mensagem de confirmação é tanto a prova do sucesso do usuário como reveladora de seu objetivo imediato Completar as transações! * Transação  Tarefa  Experiência
  • 71. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteSituações de perda de eficiência evidente Uma mensagem de erro é reveladora de uma situação que seguramente NÃO é objetivo do usuário. Perder tempo inutilmente!
  • 72. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteFuncionamento Logs Configuração dos estudos Motor de analise da eficiência evidente Mapa da transação de sucesso evidente Medidas e indicadores de eficiência
  • 73. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteResultados: Medidas do desempenho evidenteEvolução das medidas
  • 74. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteResultados: Fichas descrevendo o desempenhoevidente # de cocorrencias, duracaoDistribuicao dos média e efciciencia mediatipos de Descricao geral das geraldesempenho estratégias dos usuariosDuracoes médiaspara cada tipo dedesempenho Indicacao de perturbacoes de usabilidade Medidas detalhadas por tipo de desempenho Indicadores de estratégias (entradad e desvios)
  • 75. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteInteligência : Identificação de boas e mássoluções de interface: Por meio de analises longitudinais! Flutuações no desempenho no tempo para uma mesma transação! Por meio de analise transversais Diferenças nas medidas de desempenho dos usuários em transações similares realizadas em contextos similares!
  • 76. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidente 2005: Desenvolvimento e prova de conceito (em colaboração com o INRIA/France); Publicação no : WebIST 2005 - International Conference on Web Information Systems and Technologies, 2005, Miami. 2006: Primeiro protótipo e estudo de validação (em colaboração com a EPM/Montréal); Publicação no: 18eme Conférence Francophone sur lInteraction Humain-Machine. 2006, Montréal, 2007: Protótipo de um serviço web (em parceria coma a Interfacil, Brasil) www.usemonitor.com 2009: Estudo de caso 1 – Site transacional em desenvolvimento (Em colaboração com a Interage - Brasil) Publicação no : , Latin American Conference on Human-Computer Interaction, Mérida, México, 2009 2010: Estudo de caso 2 – Site transacional em produção (Em colaboração com TRF4 - Brasil) Publicação no : Interaction With Computer (em preparação)
  • 77. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteEstudo de caso 1 – Análise longitudinalTrevio/Interage (Brasil, 2009) Painel de controle de um sistema de segurança de comunicações via MSN Site em desenvolvimento (em asp) Interface complexa: formulários em uma estrutura de abas em dois níveis….  Estudo experimental : dados de log gerados manualmente pela observação das interações de 4 + 4 testes gravadas em vídeo  Intervenção : Web analítica orientanda a usabilidade + testes de usabilidade + avaliações heurísticas
  • 78. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteEstudo de caso 1 – Análise longitudinalResultadosConclusões  As perturbações evidentes são apenas uma parte de todas as de que ocorrem na realidade, mas são reais;  Os resultados são bastante detalhados para mostrar quando perturbações evidentes são eliminadas ou ao contrario, introduzidas na medida em que uma interface evolui (Analises longitudinais)
  • 79. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteEstudo de caso 1 – Análise longitudinalResultadosConclusões A duração real na tarefa é cerca de 30% maior do que a duração evidente de todas as transações associadas com a tarefa.
  • 80. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteEstudo de caso 1 – Análise longitudinalResultadosConclusões  A ocorrência de erros de execução nas transações amplifica as perdas de tempo nas tarefas, de onde a relevância das heurísticas que propõem a minimização de erros, de modo a prevenir problemas de planejamento das ações. (Bastien & Scapin, 1993).
  • 81. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteEstudo de caso 2 – Análise TransversalEproc v2/TRF4 (Brasil, 2010) Sistema de processos jurídicos eletrônicos Tribunal Federal da 4a Região  Site em produção (em php)  Interface simples: sistema de formulários estruturados por um menu principal tradicional  Estudo real: os dados de log analisados foram os gerados pelo servidor Web Apache;  Intervenção: Web analítica orientanda a usabilidade + testes de usabilidade + avaliações heurísticas
  • 82. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteEstudo de caso 2 – Análise TransversalResultados: Fichas descrevendo o desempenho evidente dos usuários nas transações: 20 tipos de transações, entre as mais importantes e freqüentes no trabalho cotidiano dos usuários.
  • 83. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteEstudo de caso 2 –Análise TransversalResultados: Desempenho evidente para grupos de transações de mesmo tipo Transações de consulta de processos  menos eficientes – ok ! Transações de movimentação de processos  mais eficientes - ok!
  • 84. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteEstudo de caso 2 – Análise TransversalResultados: Desempenho evidente para grupos de transações Transações de consulta por localizador  a mais popular e a relativamente pouco eficiente! Transações de consulta por tipo de movimentação e por processo parados  as menos eficientes e as menos populares. Ocorrência Eficiência
  • 85. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteBalanço geral da abordagemPontos fortes Sistemática  uma ferramenta que facilita repetições Objetiva baseada em medidas Não intrusiva  invisível para os usuários Rápida e econômica demanda menos recursos Robusta  demanda menos recursos Grande escala  grande numero e variedade de usuários e contextos considerados ÚTIL  para apoiar avaliações (estratégia transversal) e monitoramento (estratégia horizontal).
  • 86. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidenteBalanço geral da abordagemPontos fracos Limitada a transações  busca de informações ? Mas caso a informação seja objeto de uma transação… Comportamentalista erros de intenção ? Mas caso a perspectiva da análise seja a de tarefas… Limitada à eficiência  eficácia (medida mais importante)? Mas pode-se conhecer a variação da eficácia….
  • 87. Web Analítica Orientada à UsabilidadeP&D - Análise do desempenho evidentePerspectivas de P&DCamada de base de serviços de Web analíticapara ferramentas de monitoramento da UX. Questionários de satisfação Testes de usabilidade à distancia Diários e Painéis de usuários Web analítica orientada a usabilidade
  • 88. Monitoramento de interfacesConclusõesVantagens evidentes  O monitoramento se refere a etapa de produção : a mais longa e a mais rica em informação do ciclo de vida de um site Web ou de um sistema interativo.  Os dados e as informações referentes as interações reais no contexto de operação real dos sistemas permitem melhorar sua usabilidade e a experiência dos usuários de modo particularmente efetivo.  O momento é de explosão de abordagens e tecnologias para o monitoramento da usabilidade e da experiência dos usuários.
  • 89. Monitoramento de interfacesConclusõesCarências  Falta avançar mais na direção de uma Web analítica orientada à usabilidade e à experiência do usuário. Produzindo medidas sobre a produtividade e a satisfação dos usuários  Falta ainda um esforço de integração entre os resultados produzidos pelas diferentes ferramentas de monitoramento de interfaces. Ex. testes à distância e a Web analítica (orientada à usabilidade).  Falta ainda uma tecnologia de gerenciamento capaz de armazenar e permitir a interpretação dos resultados produzidos por diferentes ferramentas de monitoramento de interfaces.
  • 90. Monitoramento de interfacesObrigado! Walter de Abreu Cybis, D. Eng walter.cybis@polymtl.ca