1. Diseño y validación inicial de una batería adaptativa
informatizada para la evaluación de procesos implicados
en la lectura y comprensión de textos (EDPL-BAI)
Diana Martella, MahiaSaracostti & Juan Jose Navarro
Fondef ID1l10067
2. ¿Por qué una batería de evaluación adaptativa/dinámica de procesos implicados en la
lectura (EDPL-BAI)?
Evaluación estática
Descontextualización del
proceso de evaluación
Desconexión con el proceso de
evaluación
Información limitada e
incompleta
Se evalúa el producto
Escasa adaptabilidad
Evaluación adaptativa y
dinámica
Información sobre tipo y
grado de apoyo
Evaluación orientada a la
intervención
Información valiosa sobre
dificultades
Se evalúa el proceso
Elevada adaptabilidad
3. • Evaluación que se caracteriza por la interacción entre el sujeto evaluado y otro más competente, a través de un proceso de
mediación entre la capacidad actual del sujeto y las exigencias de la tarea (Navarro et al., 2014).
• Se constituye una zona de desarrollo próximo o potencial (Elliott, 2003; Vygotsky, 1934/1995) para
determinar el tipo de apoyo educativo necesario y establecer una medida dinámica de los procesos cognitivos en desarrollo.
• Información adicional, orientada a la intervención, en particular de las dificultades que presenta un sujeto en el
proceso de aprendizaje y resolución de una tarea.
• La ED contempla el aspecto social del aprendizaje, incrementando la validez ecológica del modelo en el que se
basa y obteniendo resultados mas generalizables y validos en el contexto escolar (Wells, 2001).
• Interés para las aportaciones de la ED al proceso de enseñanza y aprendizaje escolar (Resing y
Elliott, 2011).
• La ED permite establecer diferencias interindividuales minimizando las influencias relativas a la
historia previadel sujeto (Calero et al., 2013).
• El principal destinatario de la metodología dinámica es el alumnado con deprivación sociocultural,
dificultades de aprendizaje o necesidades educativas especialesasociadas a algún tipo
de discapacidad, población que habitualmente muestra escaso rendimiento en pruebas de carácter estático (Doffler et al., 2009).
Evaluación Dinámica (ED)
5. • Proceso interactivo y dinámico (Hacker et al., 2009).
• Construcción social que tiene lugar en contextos de interacción (Vygotsky, 1934/1995).
• Proceso de construcción, representación y comunicación de significados, que se basa a su vez en
procesos cognitivos y metacognitivos, motivacionales, lingüísticos y socio-culturales (Sanchez et
al., 2010).
• Proceso activo y consciente, que puede ser controlado, regulado y puede ser objeto de reflexión
(Souvignier y Mokhlesgerami).
• Esta al servicio del aprendizaje y la comprensión, el pensamiento y el análisis critico, la
imaginación y las emociones (Valls et al., 2003).
• Generalmente se aplican estrategias que permitan al sujeto interpretar los textos de forma
progresivamente autónoma, auto interrogarse sobre su contenido, evaluar todo el proceso y la
propia comprensión (Thiede et al., 2009).
Características de la Lectura
6. Relevancia de los aspectos cognitivos y metacognitivos.
Evaluación Dinámica de la Lectura y de la
Comprensión
Evaluación dinámica de Procesos Implicados en la Lectura (EDPL; Navarro
et al., 2014)
7. Estado actual de la investigación
• Desarrollo de métodos de análisis basados en la Teoría de Respuesta al Ítem (TRI). Estos métodos consideran la valoración de la
aptitud del sujeto en el contexto de su interacción con los ítems aplicados (Sternberg & Grigorenko, 2003).
• Desarrollo de procedimientos de evaluación adaptativa informatizada (Tests Adaptativos Informatizados, TAI), que ofrecen un
entorno especialmente motivador junto a la posibilidad esencial de adaptar los contenidos de la evaluación en función del nivel
de habilidad y destreza del estudiante (Barrada, 2012).
• Desarrollo de pruebas informatizadas y de diferentes herramientas que permiten la administración de estas pruebas a través de
Internet (QuestionMark (https://www.questionmark.com). Asimismo, se han desarrollado sistemas de gestión de contenidos
educativos con módulos para la administración de tests, como Moodle (https://moodle.org), TopClass
(http://www.wbtsystems.com/product), WebCT (http://www.webct.com/), etc. Sin embargo, todas estas herramientas no
permiten administrar tests empleando la TRI.
• Desarrollo actual de modelos que incluyen la TRI y los TAI como la Evaluación Diagnóstica Cognitiva. Su foco son las estructuras
de conocimiento y las diversas habilidades del estudiante para detectar fortalezas y debilidades cognitivas, con el fin de
desarrollar estrategias de tutorización que permitan al alumnado solventar sus carencias y potenciar sus fortalezas durante el
proceso de aprendizaje (Templin & Henson, 2006).
• No existe en el mercado ninguna herramienta bajo la TRI para la evaluación adaptativa/dinámica de procesos implicados en la
lectura y comprensión de textos.
8. La solución propuesta supone el DESARROLLO y VALIDACIÓN de una batería de Tests
Adaptativos Informatizados (EDPL-BAI)
Los Tests Adaptativos Informatizados (TAI)
• Se trata de pruebas informatizadas construidas con fines de
evaluación psicológica o educativa.
• Los contenidos de las pruebas se van adaptando al nivel de
competencia progresivo del sujeto.
• Los ítems que se presentan a cada estudiante dependen en cada
momento de la capacidad de resolución que éste va manifestando
durante la tarea.
• Están fundamentados en la Teoría de Respuesta al Ítem (TRI)
(Embretson & Reise, 2000).
9. Evaluación adaptativa y dinámica de los procesos de lectura y comprensión
• Si bien las características esenciales de las pruebas
adaptativas otorgan la posibilidad de obtener información
valiosa sobre las dificultades…
• El análisis de los datos no nos proporciona información sobre
el tipo y el grado de apoyo que requiere el sujeto para
resolver con éxito un ítem determinado.
• Se hace necesario incluir en los formatos de evaluación
adaptativa aspectos característicos de la evaluación dinámica,
tales como sugerencias graduadas, feedback o guía
metacognitiva (Navarro & Mora, 2013; Souvignier &
Mokhlesgerami, 2006).
• Es la conjunción de estos aspectos la que otorgaría a este
modelo evaluativo su carácter de evaluación orientada a la
intervención (Gersten & Dimino, 2006; Grigorenko, 2009).
Solución
Dispositivo de evaluación
adaptativa/dinámica de
procesos lectores en soporte
informatizado
El dispositivo permite obtener
información adicional a la
ofrecida por pruebas estáticas,
respecto a los (a) niveles de
habilidad mostrados durante la
resolución de distintas tareas,
así como al (b) tipo y grado de
apoyo requeridos para
resolverlas con éxito.
11. Hipótesis científicas (hipótesis empíricas principales)
• H1. Los resultados obtenidos de la aplicación del dispositivo de evaluación
adaptativo/dinámico EDPL-BAI constituirán un factor explicativo estadísticamente
significativo y adicional del rendimiento en lectura/comprensión en relación a la
predicción efectuada con base en las puntuaciones iniciales de pruebas estáticas de
inteligencia y comprensión lectora.
• H2. Las puntuaciones dinámicas obtenidas en EDPL-BAI constituirán un factor
explicativo estadísticamente significativo y adicional de la valoración del
rendimiento y el progreso en lectura/comprensión efectuado por el profesorado de
aula, en relación a la predicción efectuada con base en las pruebas estáticas de
inteligencia y comprensión lectora.
12. Objetivo General
• Diseñar, construir y validar a pequeña escala una Batería de Tests Adaptativos Informatizados
para la evaluación de procesos implicados en la lectura y comprensión de textos.
Objetivos específicos
• Diseñar el contenido, formato y estructura de los ítems que conformarán el Banco de Ítems (BI).
• Analizar las propiedades psicométricas del BI (revisión y modificación).
• Establecer y validar empíricamente los distintos niveles de dificultad asociados a cada ítem.
• Establecer las diferentes pautas de mediación asociadas a cada ítem o conjunto de ítems.
• Valorar el ajuste del modelo de Teoría de Respuesta al Ítem (TRI) a los datos empíricos obtenidos.
• Calibrar y ensamblar los ítems (configuración de la batería adaptativa EDPL-BAI).
• Aplicar y validar a pequeña escala la batería EDPL-BAI.
• Analizar la validez predictiva incremental de las puntuaciones obtenidas en EDPL-BAI con relación a las
puntuaciones otorgadas por las pruebas estandarizadas utilizadas como criterio.
• Configurar la base de datos que permitirá almacenar la información de las aplicaciones.
• Elaborar el Manual que contiene el tutorial de aplicación y de interpretación de los resultados.
13. Aplicación estándar del conjunto de ítems que conforman el Banco de Ítems
Establecimiento 1
Establecimiento 2
Establecimiento (…) N
*Ítems experimentales (aplicación estándar)
*Prueba de lectura EVALEC (validez convergente)
*Valoración del profesorado sobre rendimiento y progreso (validez de criterio)
*Notas escolares (validez de criterio)
*Prueba de inteligencia (test de matrices progresivas de Raven)
Metodología
Fase inicial Fase intermedia Fase final
Establecimiento 1
Establecimiento 2
Establecimiento (…) N
*Aplicación de la batería EDPL-BAI
*Prueba de lectura
(EVALEC-INICIAL)
*Prueba de inteligencia (RAVEN)
Establecimiento 1
Establecimiento 2
Establecimiento (…) N
*Desarrollo de la acción educativa en el área de
Lenguaje propia de cada establecimiento.
Establecimiento 1
Establecimiento 2
Establecimiento (…) N
*Prueba de lectura
(EVALEC-FINAL)
*Valoración del profesorado sobre el rendimiento y
progreso.
14. Beneficiarios finales: Estudiantes de Educación Básica
Usuarios finales: Establecimientos educacionales y profesionales del ámbito educativo y psicopedagógico
Descripción de la muestra de estudio (beneficiarios)
Estudiantes de Educación Básica de 3º a 6º curso. Se establecerán 4 subgrupos:
• Subgrupo 1. Estudiantes con dificultades específicas de aprendizaje en lectura (DA), en ausencia de discapacidad intelectual (DI) y de
desventaja sociocultural (DES).
• Subgrupo 2. Estudiantes con DES, en ausencia de DI. Se tratará de estudiantes que cumplen el criterio adicional de presentar
dificultades relacionadas con la lectura.
• Subgrupo 3. Estudiantes con DI, cuyas puntuaciones en un test estandarizado de inteligencia no supere los 75 puntos. Se tratará de
estudiantes que cumplen el criterio adicional de presentar dificultades relacionadas con la lectura.
• Subgrupo 4. Estudiantes sin problemas de aprendizaje en lectura/comprensión lectora y sin otras necesidades educativas determinadas.
Participantes Fase 1 (aplicación estándar de los ítems que conforman el BI)
• Se seleccionará una muestra de al menos 400 estudiantes de educación básica de 3° a 6, con edades comprendidas entre 8 y 12 años.
Participantes Fase 2 (aplicación a pequeña escala de la batería EDPL-BAI)
• Se seleccionará una muestra de al menos 400 estudiantes de educación básica de 3° a 6°, con edades comprendidas entre 8 y 12 años.
15. Lectura de
pseudopalabras
Decodificación fonológica y
Asociación G-F
Evaluación de la
conciencia fonológica
Lectura de
palabras
Ordenar frases
Lectura de palabras
apoyada con dibujos
Lectura de
pseudohomófonos y
homófonos
Incorporación de
palabras al léxico
interno visual
Relacionar
frases-dibujos
Elaborar frases
nuevas...
Signos de
puntuación
Uso de la estructura
del texto
Completar oraciones con la
palabra que falte...
Construcción oral de
oraciones
Completar el
final del texto
Integración e
inferencias
Conocimientos
previos
Establecimiento
de relaciones
Incoherencias
lingüísticas
¿Cómo podemos
comprender mejor?
Comparar
dos textos
Evaluación del contexto
Ext. y Construcción
del significado
Elaboración de
hipótesis
Procesos de
Asociación
Grafema-Fonema
Procesos de
Integración Textual
Procesos de
Integración
Texto-Conocimientos
Procesos
Metacognitivos
Procesos de Ajuste
Personal-Social
GalaxiadeactividadesdeEDPL
Tareas de
Seguimiento
Discriminación
Perceptiva
Emparejamiento
de palabras
Composición de
palabras
Secuenciación
Temporal
MemoriaProcesos Psicológicos
Subyacentes
Estructura y contenidos de la batería EDPL-BAI
16. 04.1/04.2 12 16 20
06.1/06.2
21 08 07
33,34
33,34 23
18
17
33,34
22
25
33,34
24
36
38.1/38.2
31
33,34
32
Nosehace
enlaFase2
Diagrama de flujos para la aplicación de la batería EDPL-BAI (Fase 2)
02,03, 04,
05,06
1901.1 /01.2
14
15
13
29,28, 30,
27,26, 35
37.1/37.2
Comienzo
3° (01.1)
4° (12)
5° (19)
6° (21)
Estructura y configuración de la batería EDPL-BAI
18. Gráfico de la arquitectura de la plataforma Siette, donde se ha desarrolla
la batería de tests adaptativos informatizados EDPL-BAI
19. RM (*) IX Región* IV Región (*) Total
Número de establecimientos
participantes
7 3 10 20
Total estudiantes participantes en
esta Fase
1348 499 1257 3104
Total cursos participantes 33 12 30 75
TOTALES PARTICIPANTES
20. RESULTADOS DE PRODUCCIÓN
Software que contiene el dispositivo de
evaluación adaptativa/dinámica de procesos
lectores EDPL-BAI (prototipo).
Manual de aplicación e interpretación de
resultados.
Plataforma con la base de datos relacional
que contiene los resultados de la
aplicación.
Destinatarios:
Estudiantes de
Educación Básica,
especialmente
aquellos que
presentan NEE y
dificultades en lectura
Usuarios son los
profesionales a los que
se dirige: psicólogos,
fonoaudiólogos,
profesores de
educación diferencial y
profesores de aula.
En algunos estudios se ha observado que niños con muy diferentes historias de escolarización, podían igualar su rendimiento en pruebas que evaluaban su capacidad de aprendizaje. Tambien hay evidencias de mejora significativa en el rendimiento cognitivo en estudiantes con NEE cuando estos participan de situaciones de aprendizaje asistido o en colaboración, o en ED.
Asimismo, los estudios muestran mejoras en relación a dominios específicos como la lectura, la aritmética o la memoria de trabajo.
La ED ofrece en principio una situación de valoración mas justa o equitativa para los sujetos con desventaja (cultural, social o cognitiva), al evaluar el desarrollo potencial de su aprendizaje.
La enseñanza y el aprendizaje de la lectura necesita de un proceso de evaluación para determinar las necesidades del alumnado y las posibles dificultades encontradas en el acceso a la comprensión. Esta evaluación también requiere conocer los distintos procesos que están implicados en la lectura: linguisticos, cognitivos, socio-emocionales y contextuales.
El EDPL es una estrategia de evaluación dinámica y continua de los procesos implicados en la actividad lectora, con especial atención a los procesos metacognitivos. Se trata básicamente de un modelo que pretende recabar informaciones útiles para la intervención y la mejora de los problemas de aprendizaje. La mediación del evaluador es continua en todo el proceso y puede llegar a establecer ayudas para que el sujeto realice una determinada tarea.
Teoría de Respuesta al Ítem, y la Psicología Cognitiva, han contribuido significativamente al auge de procedimientos
evaluativos adaptativos (Belloch, 2008; Embretson & Reise, 2000). Estos procedimientos se han desarrollado tanto en
formatos convencionales de lápiz y papel como en formatos de evaluación informatizada. Su característica fundamental
consiste en que los contenidos de las pruebas se van adaptando al nivel de competencia progresivo que va
manifestando el sujeto. De este modo, los ítems que se presentan a cada estudiante dependen en cada momento de la
Capa La Teoría de Respuesta al Ítem. La Teoría de Respuesta al Ítem (TRI) (Hambleton, Swaminathan & Rogers, 1991; van
der Linden & Hambleton, 1997; Embretson & Reise, 2000) se encarga de modelar el conjunto de procesos relacionados
con la respuesta de un alumno a un ítem cidad de resolución que éste va manifestando durante la ejecución de la tarea. La TRI se apoya en dos principios fundamentales (Hambleton et al., 1991): por una parte, los resultados obtenidos por un alumno en un test pueden ser explicados mediante un conjunto de factores denominados rasgos latentes o habilidades, que pueden medirse mediante valores numéricos inicialmente
desconocidos. Además, la relación entre los resultados del alumno en el test y su respuesta a un cierto ítem puede ser
descrita mediante una función monótona creciente denominada Curva (o Función) Característica del Ítem (CCI).
De entre los sistemas que combinan las dos grandes características
anteriores, es decir, administración de tests bajo la TRI, que permitan a su vez la presentación adaptativa de los mismos
de acuerdo con la teoría de los TAI, podemos destacar el sistema Siette (http://www.siette.org), desarrollado por el grupo
de Investigación y Aplicaciones en Inteligencia Artificial de la Universidad de Málaga (España). Este sistema web permite
al profesorado la elaboración de tests con preguntas de diverso tipo (opción múltiple, respuesta múltiple, respuesta libre,
etc.) y al alumnado la resolución de los mismos de forma convencional o adaptativa.
Este sistema posibilita la aplicación de métodos de análisis basados en la TRI, junto con la presentación adaptativa de los ítems. El sistema ha sido desarrollado por el grupo de Investigación y Aplicaciones en Inteligencia Artificial de la Universidad de Málaga (España), permitiendo a los usuarios (profesorado) la elaboración de diversas tipologías de tests y al alumnado la resolución de los mismos de forma convencional o adaptativa.
el presente proyecto se propone configurar un dispositivo adaptativo/dinámico de evaluación en soporte informatizado que contempla distintos procesos implicados en la lectura, distintos niveles de dificultad asociados a cada ítem de la prueba, así como diversas pautas de mediación (sugerencias graduadas, guía metacognitiva y feedback) en función de las respuestas que durante la ejecución de las tareas va ofreciendo el estudiante.
En este sentido, al finalizar el proyecto, cuya duración será de 24 meses, se espera obtener un prototipo informatizado de la Batería Adaptativa Informatizada para la evaluación dinámica de procesos implicados en la lectura y la comprensión de textos.
El contenido de la Batería EDPL-BAI se fundamenta en un dispositivo de Evaluación Dinámica de Procesos Lectores (EDPL, Navarro, Mora, Lama & Molina, 2014). El dispositivo fue validado empíricamente en una muestra integrada por estudiantes españoles, usando un formato de aplicación interpersonal. El dispositivo EDPL fue diseñado para su aplicación en el Sistema Educativo por parte de orientadores, profesorado de Educación Especial y logopedas, con objetivos
de evaluación psico-pedagógica y orientación educativa.
Este sistema posibilita la aplicación de métodos de análisis basados en la TRI, junto con la presentación adaptativa de los ítems. El sistema ha sido desarrollado por el grupo de Investigación y Aplicaciones en Inteligencia Artificial de la Universidad de Málaga (España), permitiendo a los usuarios (profesorado) la elaboración de diversas tipologías de tests y al alumnado la resolución de los mismos de forma convencional o adaptativa.