Apresentação realizada no Congresso Brasileiro de Engenharia de Produção 2013 na UTFPR em Ponta Grossa, PR, Brasil. O artigo apresenta um relato inicial sobre nossa pesquisa para concepção, construção, aplicação e avaliação do uso de um software para aplicação abrangente e contínua de Testes Adaptativos Computadorizados (TAC) em cursos de Educação à Distância (EaD). Apenas recentemente o estudo e uso dos TACs tem despertado o interesse de pesquisadores brasileiros. Este trabalho apresenta a conceituação básica sobre TAC e uma relação das pesquisas acadêmicas desenvolvidas sobre o assunto no Brasil classificando-os conforme suas abordagens e focos. Não encontrou-se relatos de usos abrangentes de TAC na realidade diária de estudantes de cursos de EaD e propõe-se o desenvolvimento de um módulo de software para o sistema de gestão de aprendizagem Moodle com o objetivo de permitir a realização de exercícios de fixação e avaliações formativas com feedbacks constantes enquanto diminui o esforço e tempo necessários à execução do conjunto de atividades ligadas ao processo avaliativo por parte de professores e tutores.

1. PROPOSTA DE FERRAMENTA PARA USO
ABRANGENTE DE TESTES ADAPTATIVOS
COMPUTADORIZADOS NA EDUCAÇÃO A
DISTÂNCIA
Paulo Rogério Pires Manseira (UNISOCIESC) paulo.manseira@sociesc.og.br
Mehran Misaghi (UNISOCIESC) mehran@sociesc.org.br

2. Introdução
Instituições de Ensino
Busca e
exploração de
dados
Perfilamento,
retenção e
qualidade
Complexidade
maior em EaD
Personalização do ensino
Postura ativa, ritmo de
aprendizagem e ênfase na
formação
Testes diagnósticos e análise
de proficiência
Maior esforço na
elaboração, análise e
feedback
Computer-Based
Testing
Uso de TI em avaliação
para classificação,
seleção e aferição
Computerized
Adaptive Testing
JOHNSON et al., 2013; ALVES et al., 2011; SCHEUERMANN; BJORNSSON, 2009; MOREIRA JUNIOR, 2011.

3. Objetivos
Propor uma ferramenta de software que torne abrangente
o uso do TAC em cursos de EaD
– desde a execução de avaliações formais em sala de aula até a
realização de exercícios em ambientes virtuais de aprendizagem,
– permitindo dessa maneira a personalização do processo de ensinoaprendizagem com avaliações formativas e feedbacks constantes
– enquanto diminui o esforço e tempo necessários à execução do
conjunto de atividades ligadas ao processo avaliativo realizado por
professores e tutores

4. Metodologia
Trabalho em andamento
Pesquisa
bibliográfica
• TAC
• TRI
• Modelos de uso
Estudo de caso
• Escolha do
modelo
• Implementação
do módulo
• Projeto piloto
Avaliação dos
resultados
• Análise
quantitativa
• Análise
qualitativa

5. Revisão Bibliográfica
O TAC é um
–
–
–
–
teste computadorizado flexível e adaptável
ao indivíduo que está sendo examinado,
em tempo real,
e que gera dados estatísticos tanto do indivíduo quanto do
grupo a que o indivíduo pertence,
– em função do nível de proficiência inferido a partir das questões
apresentadas
– que seguem certa metodologia psicométrica em sua formulação
PINTON-GONÇALVES, 2012.

6. Revisão Bibliográfica
Unidimensional
Testes Adaptativos
Computadorizados
Multidimensional
• Existência de uma relação entre habilidade (traço latente) e
probabilidade de resposta correta
• Estimadores de proficiência obtidos através de inferência estatística
RECKASE, 2009; DEMARS, 2010; MOREIRA JUNIOR, 2011; PINTON-GONÇALVES, 2013.

7. Revisão Bibliográfica
Algoritmo básico de um TAC
Seleção e
apresentação de um
item
Início
Avaliação da
resposta
não
Fim
sim
Critério de
parada foi
atingido?
Adaptado de FETZER et al., 2011.
Estimação da(s)
habilidade(s)

8. Revisão Bibliográfica
Exemplo de um TAC
MOREIRA JUNIOR, 2011.

9. Revisão Bibliográfica
Arquitetura de um TAC
Banco de
itens
Critério de
término
Critério de
início
TAC
Algoritmo
para
estimação de
habilidade
Algoritmo
para seleção
de itens
THOMPSON; WEISS, 2011.

10. Revisão Bibliográfica
Vantagens
•
•
•
•
•
•
•
•
•
•
•
•
A correção automática.
Controle do tempo de exposição.
A personalização do teste.
Diminuição do tempo necessário.
Diminuição do número de questões.
Possibilidade de aplicação na EaD.
Testes em dias, horários e locais
diferentes.
Permite comparação entre indivíduos.
Feedback instantâneo.
Não necessita impressão.
Questões com uso de multimídia.
Acompanhamento evolutivo dos
indivíduos.
Desvantagens
•
Banco de itens
– Elaboração de questões com
qualidade psicométrica.
– Metodologia de calibração inicial.
– Potencial aumento de custos
(profissionais de estatística).
– Sistema computacional rápido e
seguro.
– Necessita de procedimentos
criteriosos na inclusão/exclusão de
itens.
MOREIRA JUNIOR, 2011; PITON-GONÇALVES, 2012.

11. Resultados e Discussão
Resumo das pesquisas acadêmicas brasileiras sobre TAC
Abordagem
Implementação
Foco
Ferramenta
Banco de itens
Diagnóstico
Arquitetura
Modelos
Ferramenta
Inteligência
Computacional
Modelos
Seleção de item
Algoritmo
TRI
Banco de itens
TAC
Multidimensional
Seleção de item
Banco de itens
Implementação
Taxonomia
Quant
3
2
3
2
2
2
3
1
6
4
2
1
1
1
2
1
1
1
1
1
1
Trabalhos
Monografias: Dalpiaz (2007); Fernandes (2009); Carvalho e Coelho (2011)
Artigos: Ferreira et al. (2011); Abreu e Silva (2012)
Dissertações: Santos (2003); Piton-Gonçalves (2004); Abreu (2012)
Artigos: Oliveira, Aluísio e Piton-Gonçalves (2004); Karino, Costa e Laros (2009)
Dissertações: Oliveira (2002); Monzón (2008)
Artigos: Pimentel e Omar (2007); Cura Junior et al. (2007)
Artigos: Aluísio et al. (2003); Pimentel e Omar (2006); Piton-Gonçalves, Monzón e Aluísio
(2009)
Relatórios técnicos: Piton-Gonçalves e Aluísio (2004)
Artigos: Piton-Gonçalves et al. (2004); Santos et al. (2004a); Santos et al. (2004b); Santos
e Guedes (2004); Santos e Guedes (2005); Andrade e Justino (2007)
Dissertações: Descovi (2008); Becher (2009); Murlick (2009); Dallemole (2010)
Artigos: Sassi e Curi (2010); Galvão, Neto e Borges (2012)
Artigos: Moreira Junior et al. (2013)
Relatórios técnicos: Oliveira e Aluísio (2002)
Artigos: Labarrére, Da-Silva e Costa (2011)
Dissertações: Costa (2009); Ricarte (2013)
Artigos: Piton-Gonçalves e Aluísio (2012a)
Teses: Piton-Gonçalves (2012)
Artigos: Costa et al. (2009)
Dissertações: Sassi (2012)
Teses: Moreira Junior (2011)
Artigos: Piton-Gonçalves e Aluísio (2012b)

12. Resultados e Discussão
Resultados esperados
Este é um trabalho em andamento e em estágio inicial
Uso de TAC de forma simples em diferentes momentos de estudo.
A propiciação de avaliações formativas e feedbacks constantes.
O diagnóstico e a personalização do processo de ensino-aprendizagem.
A diminuição do esforço e tempo necessários.

13. Considerações Finais
Percebe-se a partir da literatura brasileira analisada
Não apresenta (ou apresenta pouco)
• Aplicações abrangentes.
• Aplicações em EaD.
Com foco
• na melhora qualitativa do processo de
ensino-aprendizagem.
• no favorecimento de uma experiência
personalizada de aprendizagem.

14. Considerações Finais
Próximas etapas
Pesquisa
bibliográfica
• Levantar
técnicas para
criação do
banco de
itens
Estudo de caso
• Mapear o
processo
• Identificar o
tipo de TAC
ideal
• Implementar
módulo de
software
Avaliação dos
resultados
• Análise
quantitativa
• Análise
qualitativa
• Apresentação
dos
resultados

15. Referências
ALVES, Danilo T. et al. Análise de metodologia baseada no sistema de ensino individualizado de Keller aplicada em um curso
introdutório de eletromagnetismo. Revista Brasileira de Ensino de Física, São Paulo, v. 33, n. 1, Mar. 2011. Disponível em
<http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1806-11172011000100014& lng=en&nrm=iso>. Acesso em 07 jul. 2013.
DEMARS, C. Item response theory. Oxford: Oxford University Press, 2010.
FETZER, M. et al. Computer Adaptive Testing (CAT) in an Employment Context. White paper. Roswell, USA: PreVisor, 2011.
JOHNSON, L. et al. NMC Horizon Report: 2013 Higher Education Edition. Austin, Texas: The New Media Consortium, 2013.
MOREIRA JUNIOR, F. J. Sistemática para a implantação de Testes Adaptativos Informatizados baseados na Teoria da Resposta
ao Item. 2011, 334 f. Tese (Doutorado) – Centro Tecnológico, UFSC, Florianópolis.
OLIVEIRA, L. H. M. Testes Adaptativos Sensíveis ao Conteúdo do Banco de Itens: uma Aplicação em Exames de Proficiência
em Inglês para Programas de Pós-Graduação. 2002, 200 f. Dissertação (Mestrado) – ICMC-USP, Instituto de Ciências
Matemáticas e de Computação, ICMC/USP, São Carlos.
PITON-GONÇALVES, J. Desafios e perspectivas da implementação computacional de Testes Adaptativos Multidimensionais
para avaliações educacionais. 2012, 153 f. Tese (Doutorado) – Instituto de Ciências Matemáticas e de Computação, ICMC/USP,
São Carlos.
RECKASE, M. D. Multidimensional Item Response Theory. New York: Springer, 2009.
SCHEUERMANN, F,; BJÖRNSSON, J. (Eds.). The Transition to Computer-Based Assessment: New Approaches to Skills
Assessment and Implications for Large-scale Testing. Luxemburgo: European Communities, 2009.
THOMPSON, N. A.; WEISS, D. J. A Framework for the Development of Computerized Adaptive Tests. Practical Assessment,
Research & Evaluation, 16(1), 2011. Disponível em: <http://pareonline.net/getvn.asp? v=16&n=1>. Acesso em 10 jul. 2013.

16. Obrigado!
Paulo Rogério Pires Manseira
paulo.manseira@sociesc.og.br