A contribuição da
história oral e dos
testes de campo
na pesquisa de arquitetura de informação

Luiz AGNER
Laboratório de ...
Apresentação
Designer e ilustrador
Tecnologista em informações do IBGE
Professor (UniverCidade-Rio)
Doutorando em Design (...
Objeto
Introdução
“O IBGE é o órgão oficial
de estatísticas do país, que
transforma dados em
informação e –
principalmente -
info...
Introdução
Problema
Problema
Comunidade do Orkut - “para todos os
pesquisadores, universitários ou não, que:
 – sentem calafrios quando precis...
Pesquisa de AI

(ROSENFELD e
MORVILLE)
Pesquisa de AI

(ROSENFELD e
                          Objetivos da organização,
                          políticas, cult...
Pesquisa de AI

(ROSENFELD e
                                            Objetivos da organização,
                       ...
Pesquisa de AI

(ROSENFELD e
                                                 Objetivos da organização,
                  ...
Arquitetura de
informação
 Definições de AI
 – AI é a atividade que combina a aplicação de
   esquemas de navegação, de or...
Arquitetura de
informação
 – AI é a arte e a ciência de estruturar e
   classificar websites e intranets para auxiliar
   ...
Arquitetura de
informação
 Papéis do arquiteto:
 – Clarificar a missão e a visão do site fazendo
   o balanceamento entre ...
Arquitetura de
informação
 Componentes da AI:
 – Sistemas de Organização – como é apresentada a
   organização e a categor...
Ciência da informação
O método
Concepções filosóficas e epistemológicas
diferentes sustentam paradigmas
metodológicos diferentes (GRESLER, 2003)...
O método
Abordagem quantitativa - caracteriza-se pela
formulação de hipóteses, definições operacionais de
variáveis, quant...
O método
Abordagem qualitativa - não emprega instrumentos
estatísticos como base para a análise.

É utilizada quando se bu...
O método
Há domínios quantificáveis e outros qualificáveis.
Segundo RICHARDSON (1999), as investigações que se
voltam para...
O método
História oral
Testes de usabilidade no campo
História oral
 A história oral - como método de pesquisa - se
 revela importante instrumento para
 compreensão das constru...
História oral
 É utilizada no registro da história de grandes
 empresas e de organizações governamentais.
 O registro oral...
História oral
 Permite abordar o mundo fechado da
 burocracia “de dentro”, rachando a fachada de
 neutralidade e de racion...
História oral
 Privilegia a recuperação do vivido conforme
 concebido por quem o viveu.
 É um diálogo entre entrevistado e...
História oral
 A escolha de entrevistados não é orientada por
 critérios quantitativos (amostragens), mas pela
 posição do...
História oral
 16 entrevistas (2004 – 2007).
  – Técnicos
  – Conteudistas
  – Designers
  – Gerentes
  – Profissionais de...
História oral
 “(...) A busca no portal é [realizada pela]
 pessoa que está fazendo uma pesquisa, que
 vai ali ter uma res...
História oral
 “(...) O que a Internet permitiu (...) é
 justamente colocar, democraticamente, este
 maior banco de dados ...
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Testes de usabilidade
 O feedback vivo de usuários operando
 tarefas reais
 Processo empírico de aprender a partir
 dos us...
Testes de usabilidade
 Registrados em vídeo
 ou em áudio, usuários
 interagem com o
 sistema, em condições
 controladas, p...
Testes de usabilidade




 NIELSEN propôs testes com melhor relação custo-
 benefício, utilizando entre quatro e cinco usu...
Testes de usabilidade
 Participantes:
 – Os objetivos específicos de cada teste
   definem os participantes e as tarefas
 ...
Testes de campo
Laboratório portátil:
 – Notebook
 – Internet Explorer 6.
 – Webcam.
 – Mouse.
 – Headphone com microfone
...
Testes de campo
Vantagens:
 – ir ao usuário em vez de convidá-lo a vir até
   ele;
 – observar o ambiente real onde o usuá...
Testes de campo
Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas.
Variáveis intervenient...
Testes de campo
Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas.
Variáveis intervenient...
Testes de campo
Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas.
Variáveis intervenient...
Tarefa 1
 “A partir da home page do portal IBGE,
 identifique em que estado do Brasil
 reside a maior concentração de pess...
Tarefa 2
 “A partir da home page do portal IBGE,
 descubra em que bairro da cidade de
 Recife reside a maior concentração ...
Testes de campo
Exemplo de
registro

Protocolos
de verba-
lização


-   concorrente
-   retrospectivo
Análise dos dados
 Após o registro e a categorização das
 descobertas, procurou-se determinar a
 causa dos problemas de us...
Análise dos dados
 Estes critérios heurísticos foram
 consubstanciados em uma lista de
 verificação (checklist).

 Checkli...
Participantes
          Nível de instrução



    29%



                               Mestrado

                        ...
Participantes
                                Participantes
                 0
                 1
                 2
     ...
Participantes
                             Doutorado

3


2



1


0
     ciência da   ciências    comunicação   design   ...
Participantes
            Instituição acadêmica



                   USP
                   4%
           UFRJ
          ...
Participantes
           Experiência com computadores

12
10
 8
 6
 4
 2
 0




                                          ...
Participantes
            Horas diárias na web

12

10

 8

 6

 4

 2

 0
     1-3h             3-8h         mais de 8h
Participantes
   Conhecimento ou utilização de estatística




                                  sim
        não
         ...
Resultados
             Resultados - tarefa 1



                    sucesso
                      13%



                ...
Resultados
       Resultados - tarefa 2


       sucesso
         0%



                               sucesso
           ...
Resultados
             Causas de insucesso - tarefa 1

                 desistência
                     5%


           ...
Resultados
             Causas de insucesso - tarefa 2




   desistência
      17%




                                  ...
Resultados
                 Encontrar informações estatísticas é

         muito difícil                            7

   ...
Resultados
                                    O que menos gostou


                                                      ...
Avaliação da técnica
Participante 10 – Achou “ótimo”. Considerou o procedimento de “pensar
   alto” para gravação válido p...
Conclusões parciais

 Os problemas relacionam-se
 largamente à ineficiência dos
 mecanismos de busca, à taxonomia
 aparent...
Obrigado.

        Luiz Agner


      luizagner@gmail.com
        www.agner.com.br
Divulgação de livro
           ERGODESIGN E
           ARQUITETURA DE INFORMAÇÃO:
           Trabalhando Com o Usuário
   ...
Upcoming SlideShare
Loading in …5
×

A contribuição da história oral e dos testes de campo na pesquisa em Arquitetura de Informação

2,684 views

Published on

Este artigo trata da usabilidade e arquitetura de informação de um portal do governo brasileiro, que dissemina dados e informações estatísticas oficiais. O artigo apresenta as técnicas de pesquisa empregadas neste estudo de caso. A história oral foi aplicada com o objetivo de levantar informações a respeito dos seus públicos-alvo, suas tecnologias, seus conteúdos e formatos, seu contexto segundo as palavras e visões dos profissionais que participaram de sua criação. Testes de usabilidade em campo demonstraram que pesquisadores com mestrado ou doutorado tiveram grandes dificuldades para chegar a informações essenciais. Nas observações no campo, o usuário é convidado a completar as tarefas que poderia realizar em um laboratório. O teste em campo é uma técnica adequada para avaliar a interação em um determinado ambiente, uma vez que as influências causadas por este podem ser críticas para a usabilidade de um produto. É importante ressaltar que os sites de governo eletrônico (e-Gov) deveriam orientar-se para as demandas concretas dos cidadãos – entre as quais está o efetivo acesso a informações e serviços do Estado, baseando-se em seu modelo mental. Esta pesquisa pretende contribuir para gerar novas recomendações de usabilidade e de Arquitetura de Informação para o design de portais de governo, a partir do estudo de caso, visando a auxiliar a disseminação dos dados e das informações do País para toda a sociedade.

Published in: Technology, Education
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,684
On SlideShare
0
From Embeds
0
Number of Embeds
37
Actions
Shares
0
Downloads
55
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

A contribuição da história oral e dos testes de campo na pesquisa em Arquitetura de Informação

  1. 1. A contribuição da história oral e dos testes de campo na pesquisa de arquitetura de informação Luiz AGNER Laboratório de Ergonomia e Usabilidade Pesquisa de doutorado, PUC-Rio
  2. 2. Apresentação Designer e ilustrador Tecnologista em informações do IBGE Professor (UniverCidade-Rio) Doutorando em Design (PUC-Rio)
  3. 3. Objeto
  4. 4. Introdução “O IBGE é o órgão oficial de estatísticas do país, que transforma dados em informação e – principalmente - informação em conhecimento.”
  5. 5. Introdução
  6. 6. Problema
  7. 7. Problema Comunidade do Orkut - “para todos os pesquisadores, universitários ou não, que: – sentem calafrios quando precisam procurar algum dado no site; – sabem que o lema do site é quot;quem procura NUNCA acha!quot;; – sabem que é mais fácil descobrir qualquer informação lendo borra de café do que acessando o site; – na hipótese de encontrar a planilha desejada, ela provavelmente fará seu computador trancar; – reconhecem o mérito dos pesquisadores do instituto mas quase nunca acham os dados pesquisados por eles.”
  8. 8. Pesquisa de AI (ROSENFELD e MORVILLE)
  9. 9. Pesquisa de AI (ROSENFELD e Objetivos da organização, políticas, cultura, MORVILLE) Contexto tecnologia e recursos humanos
  10. 10. Pesquisa de AI (ROSENFELD e Objetivos da organização, políticas, cultura, MORVILLE) Contexto tecnologia e recursos humanos Documentos, formatos/tipos, objetos, metadados, estrutura existente Conteúdo
  11. 11. Pesquisa de AI (ROSENFELD e Objetivos da organização, políticas, cultura, MORVILLE) Contexto tecnologia e recursos humanos Perfil dos usuários, Documentos, identificação das audiências, formatos/tipos, objetos, tarefas, necessidades, metadados, estrutura comportamento de busca de existente informação, experiência, Conteúdo Usuários vocabulário
  12. 12. Arquitetura de informação Definições de AI – AI é a atividade que combina a aplicação de esquemas de navegação, de organização e de rotulagem dentro de um sistema informacional. – AI é o Design estrutural de um espaço de informação com o objetivo de facilitar as tarefas e o acesso intuitivo aos conteúdos.
  13. 13. Arquitetura de informação – AI é a arte e a ciência de estruturar e classificar websites e intranets para auxiliar as pessoas a encontrar e a gerenciar informação. – AI é uma disciplina emergente e uma comunidade de prática profissional. (Morville)
  14. 14. Arquitetura de informação Papéis do arquiteto: – Clarificar a missão e a visão do site fazendo o balanceamento entre necessidades da organização e as necessidades de seus usuários. – Determinar qual o conteúdo e a funcionalidade que o site conterá. – Especificar como usuários encontrarão informação no site, por meio da definição da sua organização, navegação, rotulagem e sistemas de busca.
  15. 15. Arquitetura de informação Componentes da AI: – Sistemas de Organização – como é apresentada a organização e a categorização do conteúdo. – Sistemas de Rotulação – signos verbais (terminologia) e visuais (icônicos). – Sistemas de Navegação – formas de o usuário se mover através do espaço. – Sistemas de Busca – define as perguntas que o usuário pode fazer e o conjunto de respostas do banco de dados.
  16. 16. Ciência da informação
  17. 17. O método Concepções filosóficas e epistemológicas diferentes sustentam paradigmas metodológicos diferentes (GRESLER, 2003). Existem duas grandes abordagens: a quantitativa e a qualitativa.
  18. 18. O método Abordagem quantitativa - caracteriza-se pela formulação de hipóteses, definições operacionais de variáveis, quantificação na coleta de dados e utilização de tratamentos estatísticos. O modelo quantitativo estabelece hipóteses que exigem uma relação entre causa e efeito e apóia conclusões em dados estatísticos, comprovações e testes. Os critérios são a verificação, a demonstração, os testes e a lógica matemática.
  19. 19. O método Abordagem qualitativa - não emprega instrumentos estatísticos como base para a análise. É utilizada quando se busca descrever a complexidade de determinado problema - não envolvendo manipulação de variáveis ou estudos experimentais. Ela contrapõe-se à abordagem quantitativa, uma vez que busca levar em consideração todos os componentes de uma situação e suas interações e influências recíprocas, numa visão holística.
  20. 20. O método Há domínios quantificáveis e outros qualificáveis. Segundo RICHARDSON (1999), as investigações que se voltam para uma análise qualitativa têm como objeto de estudo situações complexas ou bastante particulares (como é o caso do objeto de estudo deste trabalho). Estudos que empregam a metodologia qualitativa podem descrever a complexidade dos problemas, analisar a interação de variáveis, compreender e classificar processos dinâmicos vividos por grupos sociais, e contribuir no processo de mudança.
  21. 21. O método História oral Testes de usabilidade no campo
  22. 22. História oral A história oral - como método de pesquisa - se revela importante instrumento para compreensão das construções das estratégias de ação e das representações, de grupos ou de indivíduos, em uma dada sociedade. FERREIRA, Marieta (coord.) “Entrevistas: abordagens e usos da história oral”. Ed.FGV, 1994.
  23. 23. História oral É utilizada no registro da história de grandes empresas e de organizações governamentais. O registro oral mostra-se a única possibilidade de recuperar um passado que - apesar de recente - deixou poucos traços. DIAS, José L. Mattos. “Entrevistas: abordagens e usos da história oral”. Ed.FGV, 1994.
  24. 24. História oral Permite abordar o mundo fechado da burocracia “de dentro”, rachando a fachada de neutralidade e de racionalidade, que busca isolá-lo do público “externo”. Motta, Marly Silva. “Entrevistas: abordagens e usos da história oral”. Ed.FGV, 1994.
  25. 25. História oral Privilegia a recuperação do vivido conforme concebido por quem o viveu. É um diálogo entre entrevistado e entrevistadores, uma construção e uma interpretação do passado, atualizada através da linguagem falada. Não é fator negativo o fato de o depoente poder “distorcer” a realidade, ter “falhas” de memória ou “errar” em seu relato. (ALBERTI).
  26. 26. História oral A escolha de entrevistados não é orientada por critérios quantitativos (amostragens), mas pela posição do entrevistado no grupo ou por sua experiência. Entrevistados estão entre os que participaram, viveram, presenciaram ou se inteiraram de ocorrências e que possam fornecer depoimentos significativos. O processo de seleção de entrevistados se aproxima da antropologia, tomados não como unidades estatísticas mas como unidades qualitativas.
  27. 27. História oral 16 entrevistas (2004 – 2007). – Técnicos – Conteudistas – Designers – Gerentes – Profissionais de atendimento ao usuário
  28. 28. História oral “(...) A busca no portal é [realizada pela] pessoa que está fazendo uma pesquisa, que vai ali ter uma resposta no [site] Cidades@. Ou uma criança que vai lá no site Teen e consegue fazer o levantamento dele. Agora, na Loja Virtual, você já tem um perfil de empresas, de consultorias, de pesquisadores (...)” Alcides Braga – Administrador da Loja Virtual
  29. 29. História oral “(...) O que a Internet permitiu (...) é justamente colocar, democraticamente, este maior banco de dados sobre o Brasil à disposição de todo o público. (...) Então, acho, é mais um papel de cumprimento da missão do IBGE - em levar a informação à sociedade.” Francisco Alchorne - Jornalista
  30. 30. Conteúdo
  31. 31. Conteúdo
  32. 32. Conteúdo
  33. 33. Conteúdo
  34. 34. Conteúdo
  35. 35. Conteúdo
  36. 36. Conteúdo
  37. 37. Conteúdo
  38. 38. Conteúdo
  39. 39. Conteúdo
  40. 40. Conteúdo
  41. 41. Conteúdo
  42. 42. Conteúdo
  43. 43. Testes de usabilidade O feedback vivo de usuários operando tarefas reais Processo empírico de aprender a partir dos usuários, sobre a usabilidade de um produto, observando-os durante a sua utilização. (RUBIN, 1994; DUMAS & REDISH, 1994; BARNUM, 2002).
  44. 44. Testes de usabilidade Registrados em vídeo ou em áudio, usuários interagem com o sistema, em condições controladas, para checar o sucesso das interfaces, observando dados comportamentais.
  45. 45. Testes de usabilidade NIELSEN propôs testes com melhor relação custo- benefício, utilizando entre quatro e cinco usuários dispensa das gravações em laboratórios, para se encaixar dentro dos orçamentos das empresas.
  46. 46. Testes de usabilidade Participantes: – Os objetivos específicos de cada teste definem os participantes e as tarefas executadas. – Os participantes devem representar usuários reais: membros do grupo que utiliza ou que vai utilizar o produto. – Os participantes devem executar tarefas reais.
  47. 47. Testes de campo Laboratório portátil: – Notebook – Internet Explorer 6. – Webcam. – Mouse. – Headphone com microfone – Software de captura de telas – Câmera digital – Gravador analógico – Acesso wireless à Internet – Questionários e documentação
  48. 48. Testes de campo Vantagens: – ir ao usuário em vez de convidá-lo a vir até ele; – observar o ambiente real onde o usuário trabalha ou vive; – observar o usuário com todas as interrupções e distrações do ambiente; – verificar os artefatos criados pelos usuários para as tarefas; – pode acessar documentações específicas.
  49. 49. Testes de campo Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas. Variáveis intervenientes – Inúmeras, típicas dos testes de campo. Locais – Campi universitários do Rio, residências e locais de trabalho dos pesquisadores.
  50. 50. Testes de campo Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas. Variáveis intervenientes – Inúmeras, típicas dos testes de campo. Locais – Campi universitários do Rio, residências e locais de trabalho dos pesquisadores.
  51. 51. Testes de campo Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas. Variáveis intervenientes – Inúmeras, típicas dos testes de campo. Locais – Campi universitários do Rio, residências e locais de trabalho dos pesquisadores.
  52. 52. Tarefa 1 “A partir da home page do portal IBGE, identifique em que estado do Brasil reside a maior concentração de pessoas idosas (com mais de 60 anos)”.
  53. 53. Tarefa 2 “A partir da home page do portal IBGE, descubra em que bairro da cidade de Recife reside a maior concentração de cidadãos da terceira idade”.
  54. 54. Testes de campo Exemplo de registro Protocolos de verba- lização - concorrente - retrospectivo
  55. 55. Análise dos dados Após o registro e a categorização das descobertas, procurou-se determinar a causa dos problemas de usabilidade, avaliou-se seu impacto individual e recomendaram-se soluções. O resultado do processo levou ao estabelecimento de um conjunto de critérios heurísticos específicos para a avaliação do portal IBGE.
  56. 56. Análise dos dados Estes critérios heurísticos foram consubstanciados em uma lista de verificação (checklist). Checklist foi submetida a validação junto à uma equipe com grande experiência no desenvolvimento do portal IBGE.
  57. 57. Participantes Nível de instrução 29% Mestrado Doutorado 71%
  58. 58. Participantes Participantes 0 1 2 3 4 5 6 administração ciência da informação ciências sociais comunicação Mestrado design economia/ finanças engenharia geografia relações internacionais
  59. 59. Participantes Doutorado 3 2 1 0 ciência da ciências comunicação design geografia informação sociais
  60. 60. Participantes Instituição acadêmica USP 4% UFRJ 17% PUC-Rio 34% PUC-SP 4% UFF/ IBICT 33% UERJ 8%
  61. 61. Participantes Experiência com computadores 12 10 8 6 4 2 0 ta a a a ta ad um m al al gu er te nh od en al ne m am ad er od m
  62. 62. Participantes Horas diárias na web 12 10 8 6 4 2 0 1-3h 3-8h mais de 8h
  63. 63. Participantes Conhecimento ou utilização de estatística sim não 50% 50%
  64. 64. Resultados Resultados - tarefa 1 sucesso 13% sucesso insucesso insucesso 87%
  65. 65. Resultados Resultados - tarefa 2 sucesso 0% sucesso insucesso insucesso 100%
  66. 66. Resultados Causas de insucesso - tarefa 1 desistência 5% dado errado 47% expiração do tempo 48%
  67. 67. Resultados Causas de insucesso - tarefa 2 desistência 17% expiração do tempo 83%
  68. 68. Resultados Encontrar informações estatísticas é muito difícil 7 difícil 13 nem fácil nem difícil 3 fácil 1 muito fácil 0 0 2 4 6 8 10 12 14
  69. 69. Resultados O que menos gostou 3 descrições dos arquivos 3 excesso de informações/links 3 comunicação visual 4 outros 5 classificação de informações 5 dificuldade 5 falta de clareza 6 busca 0 1 2 3 4 5 6
  70. 70. Avaliação da técnica Participante 10 – Achou “ótimo”. Considerou o procedimento de “pensar alto” para gravação válido pois às vezes “fazemos coisas sem perceber”. Participante 20 – Considerou o método utilizado “perfeitamente válido” e um “modelo aplicável” em outras pesquisas. Participante 22 – Avaliou como “bastante completo”. Considera que há diferenças no ato de navegar, quando as ações estão sendo gravadas e que, fora do ambiente de teste, sua navegação seria “mais ágil”. Participante 26 – Relatou inibição pelo fato de ser observada. Sentiu-se “pressionada” e isto “interferiu de forma negativa na sua performance”.
  71. 71. Conclusões parciais Os problemas relacionam-se largamente à ineficiência dos mecanismos de busca, à taxonomia aparentemente ilógica ou incompleta, à falta de clareza dos rótulos e links, e aos problemas de redação – todos problemas típicos de arquitetura de informação.
  72. 72. Obrigado. Luiz Agner luizagner@gmail.com www.agner.com.br
  73. 73. Divulgação de livro ERGODESIGN E ARQUITETURA DE INFORMAÇÃO: Trabalhando Com o Usuário Ed. Quartet, 2006 Luiz Agner Saraiva, Submarino e 2AB

×