• Save
Avaliação cooperativa
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share

Avaliação cooperativa

  • 2,883 views
Uploaded on

Aula do curso de Pós-Graduação em Ergodesign de Interfaces: Usabilidade e Arquitetura de Informação da PUC-Rio. Mais informações em......

Aula do curso de Pós-Graduação em Ergodesign de Interfaces: Usabilidade e Arquitetura de Informação da PUC-Rio. Mais informações em http://www.eduardobrandao.com/aulas/tecnicas-pesquisa/avaliacao-cooperativa/

More in: Education
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
2,883
On Slideshare
2,739
From Embeds
144
Number of Embeds
1

Actions

Shares
Downloads
0
Comments
0
Likes
7

Embeds 144

http://www.eduardobrandao.com 144

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. avaliaçãocooperativaEduardo Rangel Brandão, M.Sc.A reprodução, total ou parcial, dos textos e imagens deste documento só é permitida para fins não comerciais,sendo obrigatória a citação da fonte.
  • 2. O conteúdo desta aula foi ministrado no Curso de Pós-Graduação em Ergodesign de Interfaces: Usabilidade e Arquitetura de Informação da Pontifícia Universidade Católica do Rio de Janeiro
  • 3. avaliação cooperativaCada método para a avaliação deinterfaces gráficas digitais possui umasérie de propriedades que fornecemcertas vantagens ou desvantagens.
  • 4. avaliação cooperativaIsto inclui, por exemplo:•  O tempo.•  O esforço.•  O nível de habilidade e conhecimento•  para a utilizar o método.
  • 5. avaliação cooperativaIsto inclui, por exemplo (continuação):•  As facilidades e equipamentos•  necessários para a condução eficaz do•  método.•  Além do número mínimo de•  participantes para reunir informações•  úteis.
  • 6. avaliação cooperativaA maioria dos métodos para a avaliaçãode interfaces envolve participantes(usuários da interface). Tais métodos sãoconhecidos como empíricos.A avaliação cooperativa está entre esta agama de métodos empíricos para aanálise de problemas em interfaces.
  • 7. avaliação cooperativaA avaliação cooperativa foi desenvolvidana Universidade de York e, num primeiromomento, foi utilizada somente comouma ferramenta de pesquisa.Por ser muito prática, seu potencialrapidamente se tornou aparente e aavaliação cooperativa passou a seradotada por uma série de empresasdurante o processo de desenvolvimentodos seus produtos.
  • 8. avaliação cooperativa:definição
  • 9. definiçãoAs características que distinguem aavaliação cooperativa são a cooperaçãoque ocorre, na medida que osparticipantes e o pesquisador avaliam,juntos, uma determinada interface.
  • 10. definiçãoNeste método:•  Os participantes são encorajados a•  perguntar sobre o processo de interagir•  com esta interface.•  Enquanto o pesquisador faz perguntas•  sobre o entendimento do participante•  em relação à mesma.
  • 11. definiçãoA avaliação cooperativa pode serconsiderada como uma técnica de projetoparticipativo, pois promove uma maneirade colocar os participantes e ospesquisadores em comunicação arespeito da própria interface.
  • 12. definiçãoSuas principais vantagens são:•  Possibilidade de trabalhar com•  protótipos e simulações parciais ao•  invés da interface final.•  Facilidade de utilização, pois é um•  procedimento de baixo custo e quepode•  ser aplicado por qualquer indivíduo sem•  conhecimento prévio.
  • 13. definiçãoSuas principais vantagens são(continuação):•  Promove o máximo de feedback sobre•  como o projeto deve ser reformulado.
  • 14. definiçãoO passo-a-passo para a realização deuma avaliação cooperativa pode serdescrito da seguinte maneira:•  1º passo: recrutamento de•  participantes, que devem ser típicos da•  população que irá utilizar a interface.
  • 15. definiçãoO passo-a-passo para a realização deuma avaliação cooperativa pode serdescrito da seguinte maneira(continuação):•  2º passo: preparação das tarefas, que•  devem ser escolhidas a fim de permitir•  que o participante explore as áreas da•  interface consideradas como relevantes•  e/ou principais.
  • 16. definiçãoO passo-a-passo para a realização deuma avaliação cooperativa pode serdescrito da seguinte maneira(continuação):•  3º passo: interação e registro - tudo•  deve ser anotado ou gravado na medida•  que o participante trabalha•  (verbalizações dos problemas,•  comportamentos não esperados e•  comentários sobre a interface).
  • 17. definiçãoO passo-a-passo para a realização deuma avaliação cooperativa pode serdescrito da seguinte maneira(continuação):•  4º passo: análise dos resultados,•  quando o pesquisador, com base nas•  suas anotações e/ou gravações,•  identifica os problemas encontrados e•  propõe soluções.
  • 18. definiçãoDesta forma, a avaliação cooperativapossibilita a união:•  Do pesquisador.•  Da interface.•  Do seu público-alvo.
  • 19. definiçãoHá o envolvimento do participante com oprojeto, ou seja, cada pessoa explicita:•  Suas dificuldades.•  Suas ações.•  Suas experiências relacionadas com a•  interface.
  • 20. definiçãoRecomenda-se a utilização da avaliaçãocooperativa:•  Em produtos que necessitam de•  aprimoramento técnico.•  Em protótipos em um estágio•  intermediário.•  Em protótipos funcionando em sua•  plenitude.
  • 21. definiçãoPor utilizar certas tarefas previamenteformuladas, este método não é indicadopara os casos onde a interface seencontra em sua fase embrionária.
  • 22. avaliação cooperativa:procedimentos
  • 23. procedimentosOs procedimentos para a realização deuma avaliação cooperativa são:•  Etapa 1: preparar o protótipo.•  Etapa 2: recrutar usuários.•  Etapa 3: preparar as tarefas.•  Etapa 4: cuidados especiais.
  • 24. procedimentosOs procedimentos para a realização deuma avaliação cooperativa são(continuação):•  Etapa 5: interagir e gravar.•  Etapa 6: tabular as informações.•  Etapa 7: mesa redonda (opcional,•  embora seja altamente recomendável).
  • 25. 1. preparar o protótipoÉ necessário utilizar um protótipo de umainterface.Este protótipo pode ser totalmentefuncional, ou pelo menos apresentarpartes funcionais (aquelas onde astarefas serão realizadas).
  • 26. 1. preparar o protótipoTambém é possível trabalhar comsimulações como protótipos de papel ouwireframes interativos.Uma versão antiga, ou uma interfaceprestes a ser substituída, também sãoexemplos de protótipos.
  • 27. 2. recrutar usuáriosRecrutar (no mínimo 1 e no máximo 5)pessoas, através de uma seleção maispróxima possível do usuário típico dainterface.
  • 28. 2. recrutar usuáriosDeve-se considerar certas característicasdurante o processo seletivo:•  O nível de experiência que os usuários•  possuem com computadores.•  O conhecimento dos usuários sobre a•  tarefa a ser realizada.
  • 29. 2. recrutar usuáriosDeve-se considerar certas característicasdurante o processo seletivo(continuação):•  As habilidades dos usuários com•  teclados e com mecanismos/periféricos•  de entrada de comandos.•  O grau de escolaridade dos•  participantes.
  • 30. 2. recrutar usuáriosDeve-se considerar certas característicasdurante o processo seletivo(continuação):•  Como os participantes lidam com•  situações que necessitam de uma•  conduta própria na solução de•  problemas diversos.
  • 31. 3. preparar as tarefasEspecificar tarefas que contemplem áreasda interface consideradas comoprincipais, levando em conta:•  Tarefas possíveis de serem realizadas.•  Tarefas de real representatividade dos•  principais elementos e serviços contidos•  na interface.
  • 32. 3. preparar as tarefasEspecificar tarefas que contemplem áreasda interface consideradas comoprincipais, levando em conta(continuação):•  Tarefas que sejam apresentadas em•  forma de lista, em um documento•  impresso que será entregue para o•  usuário no início da sessão de avaliação•  cooperativa.
  • 33. 3. preparar as tarefasAlém disso, não se pode deixar deconsiderar questões como:•  As tarefas podem ser executadas no•  estágio em que se encontra o protótipo?•  As tarefas contemplam as partes do•  protótipo em que o pesquisador está•  interessado?
  • 34. 3. preparar as tarefasAlém disso, não se pode deixar deconsiderar questões como (continuação):•  Quanto tempo terá cada usuário para•  completar a tarefa?•  As tarefas foram escritas de forma que•  um usuário iniciante possa compreendê-•  las?
  • 35. 4. cuidados especiais•  Deixe o usuário à vontade.•  Comece a gravar a sessão.•  Apresente-se, para em seguida explicar•  o propósito da avaliação.•  Enalteça o foco da análise no sistema e•  não no usuário.
  • 36. 4. cuidados especiais•  Explique, rapidamente, o significado da•  avaliação cooperativa.•  Mencione o fato da seção estar sendo•  registrada em áudio ou vídeo.•  Mencione o caráter confidencial das•  gravações em áudio ou vídeo.•  Apresente o documento com as tarefas.
  • 37. 4. cuidados especiais•  Explique que a avaliação não é um teste•  para o usuário. Ao contrário disso, é•  apenas uma forma de apresentar a•  interface e as partes que serão•  avaliadas.
  • 38. 5. interagir e gravarCada usuário deve verbalizar osproblemas encontrados (sendoconstantemente estimulados para isso).Enquanto isso, o pesquisador anota(papel e caneta) ou grava (áudio, vídeo,arquivos log, etc.) as observações e asações dos usuários.
  • 39. 5. interagir e gravarTodo o processo deve ser conduzido deuma maneira informal, possibilitando umadiscussão franca.Além disso, deve-se permitir que osusuários cometam erros, apontemproblemas e façam perguntas.O pesquisador não deve antecipar oserros para os usuários nem corrigi-losantes do tempo.
  • 40. 5. interagir e gravarOs dois tipos de informação maisimportantes sobre a interação dosusuários com a interface são:•  Comportamento inesperado dos•  usuários.•  Comentários dos usuários.
  • 41. 5. interagir e gravarAlgumas perguntas úteis durante asessão de avaliação cooperativa:•  Como podemos fazer isso?•  O que você pretende fazer?•  O que pode acontecer se...?•  O que o sistema fez agora?
  • 42. 5. interagir e gravarAlgumas perguntas úteis durante asessão de avaliação cooperativa(continuação):•  O que você estava esperando acontecer•  em seguida?•  O que o sistema está tentando dizer•  para você com esta mensagem?•  Por quê o sistema fez isso?
  • 43. 5. interagir e gravarQuando o usuário finalizar as tarefas daavaliação cooperativa, o pesquisadordeve passar um tempo conversandosobre a avaliação, sem esquecer deregistrar as respostas.Os assuntos discutidos neste momentopodem estar relacionados com ametodologia de avaliação e com ausabilidade da interface.
  • 44. 5. interagir e gravarAlgumas perguntas úteis neste momento:•  Qual foi a melhor coisa que o protótipo•  apresentou?•  O que mais necessita de mudança no•  protótipo?•  Qual o nível de dificuldade das tarefas?
  • 45. 5. interagir e gravarAlgumas perguntas úteis neste momento(continuação):•  Você achou o equipamento de gravação•  uma intrusão?•  As tarefas propostas foram similares às•  suas atividades cotidianas?•  Quão realista lhe pareceu o protótipo?
  • 46. 6. tabular as informaçõesCom base nas anotações, gravações ena própria memória do pesquisador:•  Os problemas são identificados.•  Soluções são propostas para eliminar•  tais problemas.
  • 47. 6. tabular as informaçõesPara evitar um longo tempo de tabulação,gravações em vídeo ou áudio:•  São utilizadas como backup.•  São utilizadas como uma prova concreta•  para demonstrar os problemas•  encontrados à terceiros.
  • 48. 6. tabular as informaçõesA tabulação dos dados deve ser rápida ebaseada, principalmente, nas anotaçõese na memória do pesquisador.
  • 49. 7. mesa redondaCaso seja possível organizar um segundoencontro com cada um dos usuários,recomenda-se:•  Que os resultados encontrados sejam•  comunicados para tais pessoas.•  Que as melhorias que serão realizadas•  na interface sejam comunicadas para•  tais pessoas.
  • 50. 7. mesa redondaOutra alternativa (altamenterecomendável) apresenta-se sob a formade uma mesa redonda.Neste caso, todos os usuários sãoreunidos para discutir, com opesquisador, os problemas encontrados eas possíveis soluções.
  • 51. exemplos:avaliação cooperativana prática
  • 52. exemplo 1A análise da interface inserida no processo de desenvolvimento desoftware em uma empresa de engenharia de sistemas de grande porte:recomendações a partir de um estudo de caso.(Christiane Melcher, 2005)•  Teste-piloto com 2 pessoas.» 1 protótipo de papel avaliado por um especialista em usabilidade.» 1 protótipo HTML avaliado por um especialista em usabilidade.•  Avaliação cooperativa com 9 pessoas (protótipo HTML).» 3 usuários.» 3 analistas de sistemas.» 3 especialistas em usabilidade.•  Mesa redonda com 6 pessoas (wireframes).» 2 usuários.» 2 analistas de sistemas.» 2 especialistas em usabilidade.
  • 53. * Fonte: monografia “A análise da interface inserida no processo de desenvolvimento de software em uma empresa de engenharia de sistemas de grande porte: recomendações apartir de um estudo de caso”, de Christiane Melcher avaliação cooperativa na prática: exemplo 1 Caracterização e posição serial do sistema Restrições: Em análise Meta: Inclusão de Nova Versão de Contrato Entradas Saídas Tipos de Módulo de Código e Ano Sistema Sistema Serviços, Manutenção cadastrados Alimentador: Ulterior: Etapas, de Versão na base, Sistema de Sistema de Especialidade de Contrato: associados a Engenharia Engenharia e Serviços Inclusão tipos de serviços, Pré- Etapas, cadastrados. Especialidades e Serviços Requisitos: Tipos de Serviço, Etapas, Especialidades e Serviços cadastrados
  • 54. * Fonte: monografia “A análise da interface inserida no processo de desenvolvimento de software em uma empresa de engenharia de sistemas de grande porte: recomendações apartir de um estudo de caso”, de Christiane Melcher avaliação cooperativa na prática: exemplo 1
  • 55. * Fonte: monografia “A análise da interface inserida no processo de desenvolvimento de software em uma empresa de engenharia de sistemas de grande porte: recomendações apartir de um estudo de caso”, de Christiane Melcher avaliação cooperativa na prática: exemplo 1
  • 56. * Fonte: monografia “A análise da interface inserida no processo de desenvolvimento de software em uma empresa de engenharia de sistemas de grande porte: recomendações apartir de um estudo de caso”, de Christiane Melcher avaliação cooperativa na prática: exemplo 1
  • 57. exemplo 2Avaliação da usabilidade do canal Shoptime Interativo da SKY, segundoótica dos usuários.(Katja Aquino, 2005)•  Avaliação cooperativa.» Obter julgamento, pensamentos, linha de raciocínio, levantamento do» mapa mental do usuário, sem influências do pesquisador.•  Mesa redonda (5 pessoas).» Técnica qualitativa para registro da troca de opinião entre os» participantes das atividades aplicadas na avaliação cooperativa.
  • 58. * Fonte: monografia “Avaliação da usabilidade do canal Shoptime Interativo da SKY, segundo ótica dos usuários”, de Katja Aquino avaliação cooperativa na prática: exemplo 2 As seguintes tarefas foram entregues aos 5 usuários: 1. Acionar a interatividade do canal do Shoptime. 2. Encontrar o produto “Grill Aroma”. 3. Encontrar o valor do produto. 4. Comprar o produto, escolhendo a opção de cartão. 5. Entrar com os dados de cadastro. 6. Finalizar a compra.
  • 59. * Fonte: monografia “Avaliação da usabilidade do canal Shoptime Interativo da SKY, segundo ótica dos usuários”, de Katja Aquino avaliação cooperativa na prática: exemplo 2 •  Somente 2 dos 5 usuários conseguiram executar com •  sucesso todas as tarefas. •  A maioria já tinha usado algum tipo de aplicação da SKY, •  sendo que 4 aprenderam a navegação da área de compra •  interativa durante a experiência. •  2 participantes encontraram dificuldades para localizar o •  botão no controle remoto que remetesse a entrada da área •  interativa. •  Os 3 usuários que não conseguiram encontrar o produto, •  acharam a experiência péssima. •  A maioria acredita que pessoas mais velhas terão •  dificuldades de operar o controle remoto para acessar as •  aplicações interativas.
  • 60. * Fonte: monografia “Avaliação da usabilidade do canal Shoptime Interativo da SKY, segundo ótica dos usuários”, de Katja Aquino avaliação cooperativa na prática: exemplo 2Realização de uma mesa redonda após todas as avaliações cooperativas:1. Como foi utilizar a SKY para comprar um produto através da TV?2. Como você avalia o conforto de fazer compras através da TV, usando controle remoto?3. O que vocês acharam da opção de acessar a interatividade?4. Como seria a interatividade ideal para comprar um produto pela TV?5. O que você acha que é interatividade na TV?6. Uma foto do produto iria ajudar vocês a descobrir e saber o que vocês querem comprar?7. Uma imagem ao lado do menu, atrapalha?
  • 61. * Fonte: monografia “Avaliação da usabilidade do canal Shoptime Interativo da SKY, segundo ótica dos usuários”, de Katja Aquino avaliação cooperativa na prática: exemplo 2Sai do menu e entrei novamente, Não encontrei o produto. [...] Tipo, o produto que [...] Se agora isso táesperando que o TV UD entrasse Como homem não eu to vendo não existe funcionando dee ele não entrou. Então eu compraria nunca mais uma sincronização do acordo com nossasdesisti da compra do produto e naquela “budega”[...] produto que eu tô necessidades, praolha que sou usuário do canal vendo na hora com o mim não está, mas euShoptime. ato de comprar. Tipo, acho que é um grande ah! do caceta: “Se você passo comparado com clicar AGORA!” Este o que não tinha. Eu acho que o lance da televisão produto que sai por R é bacana porque você viu, você $99,00, pra você que quer. Tenho a vontade, você foi clicar agora sai por R$ lá e comprou. Apertou o botão e 85,00. Ahhhh! Clico e comprou! compro.
  • 62. avaliação cooperativa: referênciasbibliográficas
  • 63. referências bibliográficas: livros
  • 64. referências bibliográficas: livros •  An introduction to usability •  Patrick W. Jordan
  • 65. referências bibliográficas: livros•  Improving your human-computer interface: a pratical technique•  Andrew Monk•  Peter Wright•  Jeanne Haber•  Lora Davenport
  • 66. referências bibliográficas: artigos
  • 67. referências bibliográficas: artigos•  Avaliação da interface de um site de comércio eletrônico através da•  técnica avaliação cooperativa•  Flávia Miranda•  Anamaria de Moraes•  2º Congresso Internacional de Ergonomia e Usabilidade, Design de Interfaces e Interação Humano-•  Computador (2003)•  Avaliação cooperativa da interface de sites hipermídias focados na•  “banda larga”•  Eduardo Ariel de Souza Teixeira•  Anamaria de Moraes•  3º Congresso Internacional de Ergonomia e Usabilidade, Design de Interfaces e Interação Humano-•  Computador(2004)
  • 68. referências bibliográficas: monografias,dissertações e teses
  • 69. referências bibliográficas: monografias, dissertações e teses•  A análise da interface inserida no processo de desenvolvimento de•  software em uma empresa de engenharia de sistemas de grande•  porte: recomendações a partir de um estudo de caso•  Christiane Melcher•  Monografia do curso de Especialização em Ergonomia, Usabilidade e Interação Humano-Computador:•  Ergodesign e Avaliação de Interfaces (PUC-Rio - 2005)•  Avaliação da usabilidade do canal Shoptime Interativo da SKY,•  segundo ótica dos usuários•  Katja Aquino•  Monografia do curso de Especialização em Ergonomia, Usabilidade e Interação Humano-Computador:•  Ergodesign e Avaliação de Interfaces (2005)
  • 70. avaliação cooperativa:sobre o professor
  • 71. sobre o professor Eduardo Rangel Brandão atua desde 1995 na criação de produtos digitais. É gestor da equipe de UX (User eXperience) na área de novas mídias da Globosat, onde desenvolve projetos de sites e aplicativos (smartphones, tablets, smart-TVs, set-top boxes, consoles de games, etc.) para canais de televisão como GNT, SporTV, Multishow, Viva, Gloob, Telecine, Universal Channel, GloboNews, Canal Brasil, MegaPix, SyFy, Futura, PremiereFC, Combate, Sexy-Hot, Off, Muu, Philos, entre outros. É professor em cursos de pós-graduação, em disciplinas correlatas a arquitetura de informação, design de interfaces, usabilidade, interação humano-computador e metodologia de pesquisa. Participa do comitê organizador e do comitê técnico científico de congressos internacionais nas áreas de ergonomia, usabilidade, design de interfaces e interação humano-computador. Trabalhou como arquiteto de informação na Globo.com e como designer de interfaces nas empresas Agência Click, Starmedia, Cadê?, MTEC Informática e Rio Datacentro. Atuou em projetos para Amil, Banco do Brasil, Brasil Telecom, Oi, Petrobras, White Martins, Fundação Planetário, Museu Villa-Lobos, Projeto Portinari, Plaza Shopping Niterói, Pinto de Almeida Engenharia, Decta Engenharia, Programa das Nações Unidas para o Desenvolvimento e Programa de Despoluição da Baía de Guanabara. Publicou diversos trabalhos (entre capítulos de livros, monografias, dissertações e artigos em congressos), concluiu 7 orientações e 38 co-orientações de monografias de alunos de pós-graduação lato sensu e participou de 44 bancas examinadoras em cursos de pós-graduação lato sensu. TITULAÇÃO: mestre em interação humano-computador, especialista em ergonomia e usabilidade e bacharel em desenho industrial, nas habilitações de comunicação visual e projeto de produto.
  • 72. fim :-)Eduardo Rangel Brandão, M.Sc.brandaoedu@gmail.comwww.eduardobrandao.com