Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Edutic 2018 Universidad Autónoma de Chile

48 views

Published on

Diseño y validación inicial de una batería adaptativa informatizada

Published in: Education
  • Be the first to comment

  • Be the first to like this

Edutic 2018 Universidad Autónoma de Chile

  1. 1. Diseño y validación inicial de una batería adaptativa informatizada para la evaluación de procesos implicados en la lectura y comprensión de textos (EDPL-BAI) Diana Martella, MahiaSaracostti & Juan Jose Navarro Fondef ID1l10067
  2. 2. ¿Por qué una batería de evaluación adaptativa/dinámica de procesos implicados en la lectura (EDPL-BAI)? Evaluación estática Descontextualización del proceso de evaluación Desconexión con el proceso de evaluación Información limitada e incompleta Se evalúa el producto Escasa adaptabilidad Evaluación adaptativa y dinámica Información sobre tipo y grado de apoyo Evaluación orientada a la intervención Información valiosa sobre dificultades Se evalúa el proceso Elevada adaptabilidad
  3. 3. • Evaluación que se caracteriza por la interacción entre el sujeto evaluado y otro más competente, a través de un proceso de mediación entre la capacidad actual del sujeto y las exigencias de la tarea (Navarro et al., 2014). • Se constituye una zona de desarrollo próximo o potencial (Elliott, 2003; Vygotsky, 1934/1995) para determinar el tipo de apoyo educativo necesario y establecer una medida dinámica de los procesos cognitivos en desarrollo. • Información adicional, orientada a la intervención, en particular de las dificultades que presenta un sujeto en el proceso de aprendizaje y resolución de una tarea. • La ED contempla el aspecto social del aprendizaje, incrementando la validez ecológica del modelo en el que se basa y obteniendo resultados mas generalizables y validos en el contexto escolar (Wells, 2001). • Interés para las aportaciones de la ED al proceso de enseñanza y aprendizaje escolar (Resing y Elliott, 2011). • La ED permite establecer diferencias interindividuales minimizando las influencias relativas a la historia previadel sujeto (Calero et al., 2013). • El principal destinatario de la metodología dinámica es el alumnado con deprivación sociocultural, dificultades de aprendizaje o necesidades educativas especialesasociadas a algún tipo de discapacidad, población que habitualmente muestra escaso rendimiento en pruebas de carácter estático (Doffler et al., 2009). Evaluación Dinámica (ED)
  4. 4. Presencia de diferentes NEE en establecimiento con PIE en 2016
  5. 5. • Proceso interactivo y dinámico (Hacker et al., 2009). • Construcción social que tiene lugar en contextos de interacción (Vygotsky, 1934/1995). • Proceso de construcción, representación y comunicación de significados, que se basa a su vez en procesos cognitivos y metacognitivos, motivacionales, lingüísticos y socio-culturales (Sanchez et al., 2010). • Proceso activo y consciente, que puede ser controlado, regulado y puede ser objeto de reflexión (Souvignier y Mokhlesgerami). • Esta al servicio del aprendizaje y la comprensión, el pensamiento y el análisis critico, la imaginación y las emociones (Valls et al., 2003). • Generalmente se aplican estrategias que permitan al sujeto interpretar los textos de forma progresivamente autónoma, auto interrogarse sobre su contenido, evaluar todo el proceso y la propia comprensión (Thiede et al., 2009). Características de la Lectura
  6. 6. Relevancia de los aspectos cognitivos y metacognitivos. Evaluación Dinámica de la Lectura y de la Comprensión Evaluación dinámica de Procesos Implicados en la Lectura (EDPL; Navarro et al., 2014)
  7. 7. Estado actual de la investigación • Desarrollo de métodos de análisis basados en la Teoría de Respuesta al Ítem (TRI). Estos métodos consideran la valoración de la aptitud del sujeto en el contexto de su interacción con los ítems aplicados (Sternberg & Grigorenko, 2003). • Desarrollo de procedimientos de evaluación adaptativa informatizada (Tests Adaptativos Informatizados, TAI), que ofrecen un entorno especialmente motivador junto a la posibilidad esencial de adaptar los contenidos de la evaluación en función del nivel de habilidad y destreza del estudiante (Barrada, 2012). • Desarrollo de pruebas informatizadas y de diferentes herramientas que permiten la administración de estas pruebas a través de Internet (QuestionMark (https://www.questionmark.com). Asimismo, se han desarrollado sistemas de gestión de contenidos educativos con módulos para la administración de tests, como Moodle (https://moodle.org), TopClass (http://www.wbtsystems.com/product), WebCT (http://www.webct.com/), etc. Sin embargo, todas estas herramientas no permiten administrar tests empleando la TRI. • Desarrollo actual de modelos que incluyen la TRI y los TAI como la Evaluación Diagnóstica Cognitiva. Su foco son las estructuras de conocimiento y las diversas habilidades del estudiante para detectar fortalezas y debilidades cognitivas, con el fin de desarrollar estrategias de tutorización que permitan al alumnado solventar sus carencias y potenciar sus fortalezas durante el proceso de aprendizaje (Templin & Henson, 2006). • No existe en el mercado ninguna herramienta bajo la TRI para la evaluación adaptativa/dinámica de procesos implicados en la lectura y comprensión de textos.
  8. 8. La solución propuesta supone el DESARROLLO y VALIDACIÓN de una batería de Tests Adaptativos Informatizados (EDPL-BAI) Los Tests Adaptativos Informatizados (TAI) • Se trata de pruebas informatizadas construidas con fines de evaluación psicológica o educativa. • Los contenidos de las pruebas se van adaptando al nivel de competencia progresivo del sujeto. • Los ítems que se presentan a cada estudiante dependen en cada momento de la capacidad de resolución que éste va manifestando durante la tarea. • Están fundamentados en la Teoría de Respuesta al Ítem (TRI) (Embretson & Reise, 2000).
  9. 9. Evaluación adaptativa y dinámica de los procesos de lectura y comprensión • Si bien las características esenciales de las pruebas adaptativas otorgan la posibilidad de obtener información valiosa sobre las dificultades… • El análisis de los datos no nos proporciona información sobre el tipo y el grado de apoyo que requiere el sujeto para resolver con éxito un ítem determinado. • Se hace necesario incluir en los formatos de evaluación adaptativa aspectos característicos de la evaluación dinámica, tales como sugerencias graduadas, feedback o guía metacognitiva (Navarro & Mora, 2013; Souvignier & Mokhlesgerami, 2006). • Es la conjunción de estos aspectos la que otorgaría a este modelo evaluativo su carácter de evaluación orientada a la intervención (Gersten & Dimino, 2006; Grigorenko, 2009). Solución Dispositivo de evaluación adaptativa/dinámica de procesos lectores en soporte informatizado El dispositivo permite obtener información adicional a la ofrecida por pruebas estáticas, respecto a los (a) niveles de habilidad mostrados durante la resolución de distintas tareas, así como al (b) tipo y grado de apoyo requeridos para resolverlas con éxito.
  10. 10. Batería de Tests Adaptativos Informatizados EDPL-BAI
  11. 11. Hipótesis científicas (hipótesis empíricas principales) • H1. Los resultados obtenidos de la aplicación del dispositivo de evaluación adaptativo/dinámico EDPL-BAI constituirán un factor explicativo estadísticamente significativo y adicional del rendimiento en lectura/comprensión en relación a la predicción efectuada con base en las puntuaciones iniciales de pruebas estáticas de inteligencia y comprensión lectora. • H2. Las puntuaciones dinámicas obtenidas en EDPL-BAI constituirán un factor explicativo estadísticamente significativo y adicional de la valoración del rendimiento y el progreso en lectura/comprensión efectuado por el profesorado de aula, en relación a la predicción efectuada con base en las pruebas estáticas de inteligencia y comprensión lectora.
  12. 12. Objetivo General • Diseñar, construir y validar a pequeña escala una Batería de Tests Adaptativos Informatizados para la evaluación de procesos implicados en la lectura y comprensión de textos. Objetivos específicos • Diseñar el contenido, formato y estructura de los ítems que conformarán el Banco de Ítems (BI). • Analizar las propiedades psicométricas del BI (revisión y modificación). • Establecer y validar empíricamente los distintos niveles de dificultad asociados a cada ítem. • Establecer las diferentes pautas de mediación asociadas a cada ítem o conjunto de ítems. • Valorar el ajuste del modelo de Teoría de Respuesta al Ítem (TRI) a los datos empíricos obtenidos. • Calibrar y ensamblar los ítems (configuración de la batería adaptativa EDPL-BAI). • Aplicar y validar a pequeña escala la batería EDPL-BAI. • Analizar la validez predictiva incremental de las puntuaciones obtenidas en EDPL-BAI con relación a las puntuaciones otorgadas por las pruebas estandarizadas utilizadas como criterio. • Configurar la base de datos que permitirá almacenar la información de las aplicaciones. • Elaborar el Manual que contiene el tutorial de aplicación y de interpretación de los resultados.
  13. 13. Aplicación estándar del conjunto de ítems que conforman el Banco de Ítems Establecimiento 1 Establecimiento 2 Establecimiento (…) N *Ítems experimentales (aplicación estándar) *Prueba de lectura EVALEC (validez convergente) *Valoración del profesorado sobre rendimiento y progreso (validez de criterio) *Notas escolares (validez de criterio) *Prueba de inteligencia (test de matrices progresivas de Raven) Metodología Fase inicial Fase intermedia Fase final Establecimiento 1 Establecimiento 2 Establecimiento (…) N *Aplicación de la batería EDPL-BAI *Prueba de lectura (EVALEC-INICIAL) *Prueba de inteligencia (RAVEN) Establecimiento 1 Establecimiento 2 Establecimiento (…) N *Desarrollo de la acción educativa en el área de Lenguaje propia de cada establecimiento. Establecimiento 1 Establecimiento 2 Establecimiento (…) N *Prueba de lectura (EVALEC-FINAL) *Valoración del profesorado sobre el rendimiento y progreso.
  14. 14. Beneficiarios finales: Estudiantes de Educación Básica Usuarios finales: Establecimientos educacionales y profesionales del ámbito educativo y psicopedagógico Descripción de la muestra de estudio (beneficiarios) Estudiantes de Educación Básica de 3º a 6º curso. Se establecerán 4 subgrupos: • Subgrupo 1. Estudiantes con dificultades específicas de aprendizaje en lectura (DA), en ausencia de discapacidad intelectual (DI) y de desventaja sociocultural (DES). • Subgrupo 2. Estudiantes con DES, en ausencia de DI. Se tratará de estudiantes que cumplen el criterio adicional de presentar dificultades relacionadas con la lectura. • Subgrupo 3. Estudiantes con DI, cuyas puntuaciones en un test estandarizado de inteligencia no supere los 75 puntos. Se tratará de estudiantes que cumplen el criterio adicional de presentar dificultades relacionadas con la lectura. • Subgrupo 4. Estudiantes sin problemas de aprendizaje en lectura/comprensión lectora y sin otras necesidades educativas determinadas. Participantes Fase 1 (aplicación estándar de los ítems que conforman el BI) • Se seleccionará una muestra de al menos 400 estudiantes de educación básica de 3° a 6, con edades comprendidas entre 8 y 12 años. Participantes Fase 2 (aplicación a pequeña escala de la batería EDPL-BAI) • Se seleccionará una muestra de al menos 400 estudiantes de educación básica de 3° a 6°, con edades comprendidas entre 8 y 12 años.
  15. 15. Lectura de pseudopalabras Decodificación fonológica y Asociación G-F Evaluación de la conciencia fonológica Lectura de palabras Ordenar frases Lectura de palabras apoyada con dibujos Lectura de pseudohomófonos y homófonos Incorporación de palabras al léxico interno visual Relacionar frases-dibujos Elaborar frases nuevas... Signos de puntuación Uso de la estructura del texto Completar oraciones con la palabra que falte... Construcción oral de oraciones Completar el final del texto Integración e inferencias Conocimientos previos Establecimiento de relaciones Incoherencias lingüísticas ¿Cómo podemos comprender mejor? Comparar dos textos Evaluación del contexto Ext. y Construcción del significado Elaboración de hipótesis Procesos de Asociación Grafema-Fonema Procesos de Integración Textual Procesos de Integración Texto-Conocimientos Procesos Metacognitivos Procesos de Ajuste Personal-Social GalaxiadeactividadesdeEDPL Tareas de Seguimiento Discriminación Perceptiva Emparejamiento de palabras Composición de palabras Secuenciación Temporal MemoriaProcesos Psicológicos Subyacentes Estructura y contenidos de la batería EDPL-BAI
  16. 16. 04.1/04.2 12 16 20 06.1/06.2 21 08 07 33,34 33,34 23 18 17 33,34 22 25 33,34 24 36 38.1/38.2 31 33,34 32 Nosehace enlaFase2 Diagrama de flujos para la aplicación de la batería EDPL-BAI (Fase 2) 02,03, 04, 05,06 1901.1 /01.2 14 15 13 29,28, 30, 27,26, 35 37.1/37.2 Comienzo 3° (01.1) 4° (12) 5° (19) 6° (21) Estructura y configuración de la batería EDPL-BAI
  17. 17. Gráfico de la arquitectura de la plataforma Siette, donde se ha desarrolla la batería de tests adaptativos informatizados EDPL-BAI
  18. 18. RM (*) IX Región* IV Región (*) Total Número de establecimientos participantes 7 3 10 20 Total estudiantes participantes en esta Fase 1348 499 1257 3104 Total cursos participantes 33 12 30 75 TOTALES PARTICIPANTES
  19. 19. RESULTADOS DE PRODUCCIÓN  Software que contiene el dispositivo de evaluación adaptativa/dinámica de procesos lectores EDPL-BAI (prototipo).  Manual de aplicación e interpretación de resultados.  Plataforma con la base de datos relacional que contiene los resultados de la aplicación. Destinatarios: Estudiantes de Educación Básica, especialmente aquellos que presentan NEE y dificultades en lectura Usuarios son los profesionales a los que se dirige: psicólogos, fonoaudiólogos, profesores de educación diferencial y profesores de aula.
  20. 20. Resultados
  21. 21. Pautas de mediación
  22. 22. Ejemplo de preguntas de EDPL-BAI
  23. 23. www.comprensionlectora@uautonoma.cl

×