Apresentação challenges13 teresa vista

337 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
337
On SlideShare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Apresentação challenges13 teresa vista

  1. 1. 1 Teresa Vasconcelos e J. António Moreira 15 de julho de 2013 O DESENHO, DESENVOLVIMENTO E AVALIAÇÃO DA USABILIDADE DE UM PROTÓTIPO EDUCATIVO MULTIMÉDIA PARA A DISCIPLINA DE PORTUGUÊS
  2. 2. 2 Análise, Desenho e Desenvolvimento do Protótipo Multimédia Educativo Introdução Problema, objetivos, metodologia e procedimentos da investigação Análise Desenho Usabilidade Avaliação da usabilidade Conclusões Apresentação do estudo
  3. 3. Introdução 3 Os recursos educativos multimédia têm o potencial de fornecer acesso à educação para todos, por isso, o desenvolvimento de um protótipo adaptado a um número muito elevado de estudantes e que seja potenciador da aprendizagem é um grande desafio. A usabilidade, especificamente os testes conduzidos com utilizadores, constitui uma importante modalidade de avaliação de qualquer produto multimédia, sobretudo no caso de software educativo, porque estes testes permitem detetar problemas que, de outro modo, não seriam facilmente encontrados pelo designer do protótipo.
  4. 4. 4 O Projeto: “QIMTERATIVO DE PORTUGUÊS” Para criar um curso, ou um módulo de um curso, Allen (2007, 2006, 2003) e Clark (2000) referem cinco passos essenciais: Analisar; Desenhar; Desenvolver; Implementar e Avaliar. Figura 1 - Adaptado de Allen, 2003 e Clark, 2000
  5. 5. 5 O Projeto O “QIMTERATIVO DE PORTUGUÊS” tem por objetivos: aumentar a frequência de utilização dos QIM; potenciar uma exploração mais diversificada dos QIM; propiciar momentos pedagógicos atrativos para os alunos; avaliar a conceção, desenvolvimento e implementação de um protótipo multimédia; analisar se os materiais estruturados nos QIM (protótipo multimédia /elaborados pelos professores), promovem o alcance das metas de aprendizagem definidas para a disciplina de Português.
  6. 6. 6 Ponto de Partida Constatámos: (i) ensino centrado na transmissão de conhecimentos desligados da realidade social e tecnológica; (ii) necessidade de capacitar os professores para o desenvolvimento de mudanças na disciplina de Português; (iii) falta de recursos pedagógicos para QIM.
  7. 7. 7 A metodologia utilizada no processo de criação do protótipo multimédia QIMTERATIVO de Português foi a Development Research (i) Investigação Preliminar; (ii) Fundamentação Teórica, (iii) Testagem das soluções no terreno (iv) Documentação sistemática, aná lise e reflexão sobre o processo de conceção. Refinamento dos problemas, soluções e métodos Metodologia de Investigação
  8. 8. 8 Análise - Instrumentos de recolha de dados População-Alvo (Professores de Português) Todos os Professores de Português do AEA Inquérito por questionário. Foram validados 20 inquéritos. Grelhas de observação. Entrevistas não-estruturadas (focus group).
  9. 9. 9 Análise Grupo de estudo (Professores de Português) Pré-requisitos: • Nível de qualificação na utilização das ferramentas de Tecnologias de Informação e Comunicação (TIC); • Possuírem alguns conhecimentos na utilização dos Quadros Interativos Multimédia; • A utilização dos QIM na prática docente (uso deste software no processo de ensino-aprendizagem).
  10. 10. 10 Desenho O Desenho é o processo onde pretendemos especificar a forma e sequência dos conteúdos a serem apresentados, definir o conteúdo do projeto, determinar a estrutura das atividades e apresentar tarefas conducentes à avaliação.
  11. 11. 11 Desenho 1. Definição dos objetivos. 2. Recolha e seleção de conteúdos. 3. Definição da interface 4. Criação da versão “alpha”. 5. Avaliação Heurística. Passos seguidos no desenho do protótipo:
  12. 12. 12 Desenho do protótipo O desenvolvimento do protótipo multimédia teve como linhas orientadoras o modelo de investigação e desenvolvimento ADDIA: Analisar Desenhar Desenvolver Implementar Avaliar Este modelo consiste num processo dinâmico e interativo entre as fases que o constituem permitindo o constante melhoramento através da avaliação contínua do processo de design.
  13. 13. 13 Desenho - O Protótipo de Português Menu de Navegação pelos vários conteúdos Título da disciplina Conteúdo Formativo
  14. 14. Desenho - Protótipo a) Estrutura b) Navegação c) Interface e layout d) Rapidez de acesso e) Níveis de interatividade f) Informação 14
  15. 15. Usabilidade Usabilidade é a “facilidade de utilização” ou o conhecimento necessário para fazer algo funcionar. Nielsen (1993) indica cinco critérios para medir a usabilidade: • Fácil de aprender • Eficiente para usar • Fácil de lembrar • Pouco sujeito a erros • Agradável de usar 15
  16. 16. 3 grandes objetivos do Protótipo Objetivos do Protótipo Multimédia Educativo – Allen (2007) Experiências de aprendizagem significativas Experiências de aprendizagem memoráveis Experiências de aprendizagem motivadoras Resultados Mesuráveis 16
  17. 17. Usabilidade • Avaliação Heurística: realizada por peritos, segundo parâmetros definidos (10 heurísticas). Esta avaliação foi feita à versão alpha do protótipo no final da fase de desenho. • Avaliação com utilizadores: realizada com uma amostra de utilizadores cujo perfil é semelhante ao do público-alvo. Este teste foi realizado na fase de desenvolvimento. 17
  18. 18. • Para avaliar as 10 heurísticas (da Xerox - Heuristic Evaluation - A System Checklist de Deniese Pierotti) foram efetuadas 68 subquestões às quais os peritos poderiam responder Sim, Não ou Não Avaliado. • Em cada uma destas subquestões o perito poderia, ainda, efetuar um comentário. A usabilidade 18
  19. 19. A Avaliação heurística Resultados obtidos na avaliação heurística ao protótipo Gráfico 1 - Distribuição das respostas das 10 heurísticas (versão alpha) 19
  20. 20. Desenvolver Com base nos resultados das fases de análise e desenho, nesta etapa foi produzida a versão beta do protótipo multimédia educativo. Após a correção dos erros apontados pelos peritos, detetados na avaliação heurística, o designer instrucional avaliou o seu protótipo através de testes de usabilidade com utilizadores. 20
  21. 21. Avaliação da Usabilidade Recolha de dados: • inquérito por questionário (guião de participação) constituído por três partes: a. identificação das características dos participantes b. guião de utilização do protótipo com uma série de tarefas a realizar c. questionário com treze questões de resposta fechada e uma de resposta aberta d. observação, de forma a aferir os resultados dos utilizadores na execução de tarefas definidas (registo numa grelha), a duração da realização do teste e o registo de ocorrências durante o teste (erros, dúvidas, etc.). 21
  22. 22. Avaliação da Usabilidade Condições de realização do teste de usabilidade • O Monitor De acordo com Rubin (1994) será necessário abordar o como, o quando, o onde, a quem, o porquê e o quê do teste de usabilidade. • Número de Participantes Cinco participantes são capazes de expor cerca de 80 por cento dos erros de um protótipo (Nielsen, 2000) no entanto a nossa amostra foi constituída por (n=7, média de idades de 40,1% anos). 22
  23. 23. Avaliação da Usabilidade Os utilizadores que participaram no teste da usabilidade do protótipo deveriam ter as mesmas características dos utilizadores finais, estudadas na fase da análise. Podemos classificar estas características quanto a: • atributos pessoais (idade, género, habilitações académicas, etc.); • quanto à experiência dos utilizadores. 23
  24. 24. Avaliação da Usabilidade - Realização do teste de usabilidade Os procedimentos gerais para testes de usabilidade de acordo com Dumas e Redish (1993) e Rubin (1994) são os seguintes: (i) planificação do teste; (ii) seleção e recrutamento dos participantes; (iii) preparação dos materiais para além do software que se pretende testar; (iv) realização do teste de usabilidade; (v) diálogo com o participante; (vi) compilação e análise de dados e (vii)relatório final. 24
  25. 25. Avaliação da Usabilidade - Recolha e tratamento dos dados Todos os problemas encontrados apresentaram um grau de severidade cosmético ou sem importância, concretamente nas heurísticas um, três, cinco e nove - resultados do teste de avaliação da usabilidade considerando uma escala de 0 (sem importância) a 4 (catastrófico). Tabela 2 - Grau de severidade dos problemas de usabilidade 25
  26. 26. Avaliação da Usabilidade - Recolha e tratamento dos dados Tabela 1 - Análise estatística das respostas às dez heurísticas (versão alpha) 26
  27. 27. Avaliação da Usabilidade - Recolha e tratamento dos dados Tabela 3 - Avaliação da versão beta do protótipo 27
  28. 28. Avaliação da Usabilidade - Análise dos dados Considerando os cinco critérios apresentados por Nielsen (1993) para medir a usabilidade e com base nos resultados obtidos podemos concluir que o protótipo é: • Fácil de aprender (Easy to learn): as participantes, em média, terminaram as tarefas em 37 minutos, quando o tempo previsto era de 50 minutos. Apenas uma participante necessitou de 45 minutos. 95,3% Sentiram-se sempre à-vontade a interagir com o protótipo enquanto 4,6% revelaram, por vezes, algumas dificuldades. 28
  29. 29. Avaliação da Usabilidade - Análise dos dados • Eficiente para usar (Efficiency):a avaliação à realização das tarefas foi muito positiva, com uma aprovação média de 78 pontos em 100. Todos os participantes indicaram que a informação fornecida pelo protótipo foi sempre fácil de entender e que a informação disponibilizada pelo protótipo foi útil para completar as tarefas. • Fácil de lembrar (Memorability): este critério não pôde ser avaliado convenientemente porque o teste só foi realizado uma única vez. No entanto, sendo que uma das condições para que o protótipo seja fácil de memorizar é ter um bom design, a avaliação obtida neste parâmetro (81%) permite-nos pensar que o protótipo possui estas características. 29
  30. 30. Avaliação da Usabilidade - Análise dos dados • Pouco sujeito a erros (Errors): 71% das utilizadoras conseguiram sempre recuperar dos erros que cometeram. Pela observação direta pudemos constatar que os erros que existiram deveram-se, principalmente, a distrações (fechar janela do browser em vez do separador, por exemplo). • Agradável de usar (Satisfaction): 86% das participantes conseguiram sempre completar eficazmente as tarefas e, na globalidade, ficaram totalmente satisfeitas. 30
  31. 31. Avaliação da Usabilidade - Análise dos dados Apesar desta avaliação da usabilidade ter sido francamente positiva, um produto deste tipo poderá sempre sofrer ajustes. Futuramente, poderemos atualizar a aplicação complementando-a com novos módulos, caso as características do público-alvo se alterem. 31
  32. 32. Conclusão A necessidade de realizarmos os testes de avaliação de usabilidade evidencia uma clara vantagem de reconhecimento de potenciais erros no protótipo multimédia, que podem ser identificados e corrigidos pelos peritos e pelos utilizadores. A multiplicidade de instrumentos de recolha de dados permitiu-nos certificar o desenho do nosso protótipo. Após a avaliação do “QIMTERATIVO de Português” junto de peritos (versão alpha) e de utilizadores (versão beta) podemos comprovar que é fácil de aprender, fácil de usar e satisfaz os utilizadores (Smith & Mayes, 1996), pelo que está pronto a ser aplicado com o público-alvo e em contexto de ensino e de aprendizagem. 32
  33. 33. 33 Muito Obrigada pela Vossa Atenção! Apesar de fazermos a apologia do QIM em detrimento de outras tecnologias, pensámos que caberá ao docente a seleção daquela que se coadune melhor em função do público-alvo, dos conteúdos a abordar, das estratégias a seguir e das atividades a implementar dentro do espaço sala de aula.

×