Jornadas de Evaluación de Murcia: Elaboración de pruebas

2,123 views
1,986 views

Published on

Presentación de Ruth Martín en la I Jornada de evaluación de la Región de Murcia. 15 de enero de 2014. Elaboración de pruebas

Published in: Education

Jornadas de Evaluación de Murcia: Elaboración de pruebas

  1. 1. SECRETARÍA DE ESTADO DE EDUCACIÓN, FORMACIÓN PROFESIONAL Y UNIVERSIDADES DIRECCIÓN GENERAL DE EVALUACIÓN Y COOPERACIÓN TERRITORIAL Elaboración de pruebas de evaluación Modelos internacionales Pruebas liberadas http://www.mecd.gob.es/inee Murcia 15 de enero de 2014
  2. 2. Elaboración de pruebas Modelos Internacionales 2 Índice A. 1. Rasgos comunes de los estudios de evaluación 2. Mapa de evaluaciones B. Elaboración de pruebas 1. Marco de evaluación 2. Elaboración de las preguntas 3. Diseño de los cuadernillos y cuestionarios de contexto Ejemplos de ítems liberados 4. Aplicación de las pruebas (trabajo de campo) 5. Análisis de datos y elaboración de informes C. Recursos para el profesorado
  3. 3. Elaboración de pruebas Modelos Internacionales 3 RASGOS COMUNES DE LOS ESTUDIOS DE EVALUACIÓN  Evaluaciones muestrales, cíclicas, a gran escala  Cuadernillo de prueba + cuestionarios de contexto  Rigor metodológico: • Marco teórico: Qué evaluar, elaboración de ítems, distribución de ítems y cuadernillos… • Selección de la muestra • Traducción de materiales, aplicación, corrección, limpieza de datos… • Análisis TRI de las respuestas  Dificultad de los ítems y puntuación lograda por los alumnos  Informes internacionales comparativos
  4. 4. Elaboración de pruebas Modelos Internacionales MAPA DE EVALUACIONES INTERNACIONALES OCDE (Organización para la Cooperación y Desarrollo Económicos) PISA-Programa para la Evaluación Internacional de Estudiantes Programme for International Student Assessment •Alumnos que cumplen 16 años en el año de realización •Periodicidad: 3 años desde el año 2000 TALIS-Estudio Internacional de Enseñanza y Aprendizaje (Teaching and Learning International Survey) •Profesores y directores de Educación Secundaria •Periodicidad: 5 años desde el año 2008 La IEA (Asociación Internacional para la Evaluación del Rendimiento Educativo PIRLS-Estudio Internacional de Progreso en Comprensión Lectora Progress in International Reading Literacy Study •4º Educación Primaria •Periodicidad: 5 años. Última en 2011 TIMSS-Estudio International de Matemáticas y Ciencias Trends in International Mathematics and Science Study •4º Educación Primaria •Opción 8º grado4 años2011 ICILS, ICCS, TEDS-M UNIÓN EUROPEA EECL o ESLC-Estudio Europeo de Competencia Lingüística European Survey Language Competence •4 º ESO •Último estudio en 2011. Próximo en 2016 4
  5. 5. A. 1. Rasgos comunes de los estudios de evaluación 2. Mapa de evaluaciones B. Elaboración de pruebas 1. Marco de evaluación 2. Elaboración de las pruebas 3. Diseño de los cuadernillos y cuestionarios de contexto Ejemplos de ítems liberados 4. Aplicación de las pruebas (trabajo de campo) 5. Análisis de datos y elaboración de informes C. Recursos para el profesorado
  6. 6. Elaboración de pruebas Modelos Internacionales 6 LO DESEABLE DE UN SISTEMA EDUCATIVO Competencias y habilidades para la vida Currículo Evaluación
  7. 7. Elaboración de pruebas Modelos Internacionales 7 LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN Competencias y habilidades para la vida Currículo Evaluación
  8. 8. Elaboración de pruebas Modelos Internacionales 8 MARCO DE LA EVALUACIÓN Definición explícita sobre lo que pretende medir la evaluación Descripción racional del programa de evaluación Definición del área, materia, competencia… Descripción de las variables Guía de construcción de las pruebas Modelos de ítems o preguntas ¿Qué evaluar? Competencias con qué éxito los estudiantes pueden extrapolar lo que han aprendido y aplicar sus conocimientos y habilidades en nuevos contextos PISA, EGD, ED, PIAAC Currículo-Conocimientos qué se espera que los estudiantes hayan aprendido + Contexto Todos los estudios y TALIS TIMSS, PIRLS
  9. 9. Elaboración de pruebas Modelos Internacionales 9 ANÁLISIS DE LA COMPETENCIA Competencia Áreas temáticas Temas de contenido Dimensiones/Dominios Contextos Nivel de dificultad Descriptores: Formulaciones sintéticas de las competencias/capacidades que medirán los ítems Niveles cognitivos (Niveles de complejidad en la resolución de la tarea) Procesos Ponderación Proceso I Proceso II Proceso III Dominio 1 Descriptores Descriptores Descriptores % Dominio 2 Descriptores Descriptores Descriptores % Dominio 3 Descriptores Descriptores Descriptores % % % % Dimensiones/Dominios Ponderación
  10. 10. Elaboración de pruebas Modelos Internacionales 10 COMPETENCIA MATEMÁTICA EN PISA 2012 Capacidad de los individuos (15 AÑOS) para formular, emplear e interpretar las matemáticas en situaciones y problemas presentes en contextos del mundo real. Incluye:  razonamiento matemático y la utilización de conceptos, procedimientos, datos y herramientas matemáticas para describir, explicar y predecir fenómenos. reconocimiento del papel que las matemáticas desempeñan en el mundo a la hora de realizar juicios fundados y tomar decisiones como ciudadanos constructivos, comprometidos y reflexivos.
  11. 11. Elaboración de pruebas Modelos Internacionales 11 COMPETENCIA MATEMÁTICA EN PISA 2012 Procesos matemáticos Formulación matemática de las situaciones Empleo de conceptos, datos, procedimientos y razonamientos matemáticos Interpretación, aplicación y valoración de los resultados matemáticos Cambio y relaciones 25% Espacio y forma 25% Cantidad 25% Incertidumbre y datos 25% 25% 50% 25% Contextos Personal Profesional Social Científico 25% 25% 25% 25% Capacidades matemáticas Comunicación; representación; diseño de estrategias; matematización; razonamiento y argumentación; utilización de operaciones y lenguaje simbólico, formal y técnico; utilización de herramientas matemáticas
  12. 12. Elaboración de pruebas Modelos Internacionales 12 EJEMPLO DE ANÁLISIS DE COMPETENCIA BLOQUES DE CONTENIDOS • Números • Álgebra • Geometría • Funciones y Gráficas • Estadística y Probabilidad • Contenidos comunes Ejemplo: Contenidos y Procesos para Matemáticas 2º ESO DESCRIPTOR
  13. 13. Elaboración de pruebas Modelos Internacionales 13 OBJETIVO DE LOS ESTUDIOS PIRLS Y TIMSS  Evaluar la comprensión lectora (PIRLS) y el rendimiento en matemáticas y ciencias (TIMSS) tras cuatro años de escolarización obligatoria (4º de Educación Primaria en España) ¿Qué evaluar? Contenidos curriculares comunes en todos los países participantes en la evaluación  Obtener información comparada entre los distintos países participantes y medir las tendencias entre ciclos.  Proporcionar información sobre: El contexto de aprendizaje: alumno, familia y centro escolar. Las actitudes de los alumnos hacia la lectura, las matemáticas y las ciencias. El uso que hacen los alumnos del tiempo libre. Factores que favorecen el entorno de aprendizaje y la eficacia de la escuela (recursos, métodos, clima, etc.)
  14. 14. Elaboración de pruebas Modelos Internacionales 14 MARCO TEÓRICO DEL ESTUDIO PIRLS LECTURA Habilidad para comprender y utilizar las formas lingüísticas requeridas por la sociedad y/o valoradas por el individuo. Leer para aprender, para participar en la comunidad de lectores del ámbito escolar y de la vida cotidiana, y para disfrute personal La noción de lectura en PIRLS Habilidad para comprender y utilizar las formas lingüísticas Habilidad para construir significados a partir de distintos textos Con el fin de aprender, participar y disfrutar
  15. 15. Elaboración de pruebas Modelos Internacionales 15 MARCO TEÓRICO DEL ESTUDIO PIRLS Evalúa tres aspectos en la comprensión lectora PROPÓSITOS DE LECTURA • Leer para informarse y aprender (50%) • Leer para disfrutar (50%) PROCESOS COGNITIVOS ACTITUD Y HÁBITOS DE LECTURA •Obtener información (10%+10%) •Hacer inferencias (15%+15%) •Interpretar e integrar (15%+15%) •Analizar y evaluar (10%+10%) CUESTIONARIOS DE CONTEXTO CUADERNILLOS DE LA PRUEBA •Textos literarios (50%) •Textos informativos (50%) Preguntas o ítems para evaluar los procesos cognitivos • • • • Alumnos Padres o tutores legales Profesores Directores de centro
  16. 16. Elaboración de pruebas Modelos Internacionales 16 MARCO TEÓRICO DEL ESTUDIO TIMSS DOMINIOS DE MATEMÁTICAS DOMINIOS DE CONTENIDO • Números (50%) • Formas y mediciones geométricas (35%) • Representación de datos (15%) ÁREAS TEMÁTICAS CAPACIDADES EVALUABLES DOMINIOS DE CIENCIAS DOMINIOS COGNITIVOS COMUNES • Conocer (40%) • Aplicar (40%) • Razonar (20%) HABILIDADES Y DESTREZAS DOMINIOS DE CONTENIDO • Ciencias de la vida (40%) • Ciencias físicas (40%) • Ciencias de la Tierra (20%) ÁREAS TEMÁTICAS CAPACIDADES EVALUABLES
  17. 17. Elaboración de pruebas Modelos Internacionales 17 MATEMÁTICAS Áreas temáticas Dominios de contenido NÚMEROS 50% FORMAS Y MEDICIONES GEOMÉTRICAS 35% REPRESENTACIÓN DE DATOS 15% Se desglosan en capacidades evaluables • Números naturales • Fracciones y decimales • Expresiones numéricas con números naturales • Modelos y relaciones • Puntos, líneas y ángulos • Formas bidimensionales y tridimensionales • Números naturales • Organización y representación Dominios cognitivos CONOCER 40% Hechos, procedimientos, conceptos APLICAR 40% Resolución de problemas habituales y rutinarios RAZONAR 20% Resolución de problemas desconocidos, en contextos complejos, con varios pasos
  18. 18. Elaboración de pruebas Modelos Internacionales 18 CIENCIAS Dominios de contenido Áreas temáticas Se desglosan en capacidades evaluables • Características y procesos de la vida en los seres vivos CIENCIAS DE LA • Ciclos de la vida, reproducción y herencia VIDA • Interacción con el medio ambiente 45% • Ecosistemas • Salud humana CIENCIAS FÍSICAS 35% • Clasificación y propiedades de la materia • Fuentes y efectos de la energía • Fuerzas y movimiento • La estructura de la Tierra, sus características CIENCIAS DE LA físicas y sus recursos. TIERRA • Los procesos, los ciclos y la historia de la 15% Tierra, • La Tierra en el Sistema Solar Dominios cognitivos CONOCER 40% Hechos, procedimientos, conceptos APLICAR 40% Resolución de problemas habituales y rutinarios RAZONAR 20% Resolución de problemas desconocidos, en contextos complejos, con varios pasos
  19. 19. A. 1. Rasgos comunes de los estudios de evaluación 2. Mapa de evaluaciones B. Elaboración de pruebas 1. Marco de evaluación 2. Elaboración de las preguntas 3. Diseño de los cuadernillos y cuestionarios de contexto Ejemplos de ítems liberados 4. Aplicación de las pruebas (trabajo de campo) 5. Análisis de datos y elaboración de informes C. Recursos para el profesorado
  20. 20. Elaboración de pruebas Modelos Internacionales ELABORACIÓN DE LAS PRUEBAS Estímulos Situaciones-problema TEXTOS ESCRITOS IMÁGENES 20 • Anuncios • Textos extraídos de los medios de comunicación • Instrucciones • Carteles informativos • Diálogos, narraciones de hechos • Descripción de situaciones reales o simuladas • Textos literarios o científicos • • • • Fotografías Dibujos Mapas Esquemas Respuesta de elección múltiple Preguntas/ítems Respuesta cerrada Respuesta abierta construida Respuestas abiertas Matriz de especificaciones
  21. 21. Elaboración de pruebas Modelos Internacionales 21 ELABORACIÓN DE LOS ÍTEMS - Redacción de un número elevado de ítems Generación de un banco de ítems - Cobertura de diferentes niveles de desarrollo de la competencia - Redacción de criterios de corrección, contemplando graduación de respuestas Revisión de la calidad de los ítems - Corrección - Defectos en la redacción - Adecuación de las respuestas previstas - Graduación de las respuestas - Adaptación al nivel al que se destinan Pruebas prepiloto y piloto - Independencia CRITERIOS PARA LA SELECCIÓN DE ÍTEMS Cobertura de las competencias objeto de evaluación Presencia de todas las categorías de respuesta Evitar ítems con bajos niveles de discriminación Estudio principal Evitar dificultad o facilidad extrema Inclusión de ítems de diferentes niveles de dificultad Equiparación con otros modelos de pruebas
  22. 22. Elaboración de pruebas Modelos Internacionales DISEÑO Y APLICACIÓN DE LAS PRUEBAS EJEMPLOS DE ÍTEMS TIMSS 2011 TIMSS-matemáticas Preguntas de opción múltiple (una única respuesta correcta) 22
  23. 23. Elaboración de pruebas Modelos Internacionales DISEÑO Y APLICACIÓN DE LAS PRUEBAS EJEMPLOS DE ÍTEMS TIMSS 2011 TIMSS-ciencias Preguntas de opción múltiple (una única respuesta correcta) 23
  24. 24. Elaboración de pruebas Modelos Internacionales EJEMPLOS DE ÍTEMS TIMSS 2011-Matemáticas 24
  25. 25. Elaboración de pruebas Modelos Internacionales EJEMPLOS DE ÍTEMS TIMSS 2011-Matemáticas 25
  26. 26. Elaboración de pruebas Modelos Internacionales 26 TIMSS
  27. 27. A. 1. Rasgos comunes de los estudios de evaluación 2. Mapa de evaluaciones B. Elaboración de pruebas 1. Marco de evaluación 2. Elaboración de las preguntas 3. Diseño de los cuadernillos y cuestionarios de contexto Ejemplos de ítems liberados 4. Aplicación de las pruebas (trabajo de campo) 5. Análisis de datos y elaboración de informes C. Recursos para el profesorado
  28. 28. Elaboración de pruebas Modelos Internacionales DISEÑO DE LOS CUADERNILLOS 28  La obtención de resultados representativos y fiables, y la distribución por niveles requiere gran número de ítems para poder todas las dimensiones descritas en el marco muestral  Distribución de cuadernillos por bloques (Balanced Incomplete Block - BIB) Cuadernillo 1 L1 L2 Cuadernillo 7 I3 I4 Cuadernillo 2 L2 L3 Cuadernillo 8 I4 L1 Cuadernillo 3 L3 L4 Cuadernillo 9 L1 I1 Cuadernillo 4 L4 I1 Cuadernillo 10 I2 L2 Cuadernillo LECTURAS L5 I1 I2 Cuadernillo 11 L3 I3 I5 PIRLS Cuadernillo 6 I2 I3 Cuadernillo 12 I4 L4 Cuadernillo PREGUNTAS L5 Cuadernillo 5 • Textos literarios: L1 a L5 • Textos informativos: I1 a I5 • Cuadernillo “Lecturas”: triple frecuencia • Seis textos (3+3) de anclaje para medir tendencias I5 • Cada bloque tiene entre 10 y 14 preguntas de dominios de contenido y cognitivos en proporción del marco teórico • 175 ítems de matemáticas • 172 ítems de ciencias • 8 bloques de cada materia son de anclaje TIMSS Cuadernillo 1 MO1 MO2 CO1 CO2 Cuadernillo 2 Cuadernillo 3 Cuadernillo 4 Cuadernillo 5 Cuadernillo 6 CO2 CO3 MO3 MO4 CO4 CO5 MO5 MO6 CO6 CO7 MO2 MO3 CO3 CO4 MO4 MO5 CO5 CO6 MO6 MO7 Cuadernillo 7 MO7 MO8 CO7 CO8 Cuadernillo 8 Cuadernillo 9 Cuadernillo 10 Cuadernillo 11 Cuadernillo 12 Cuadernillo 13 Cuadernillo 14 CO8 CO9 MO9 M10 C10 C11 M11 M12 C12 C13 M13 M14 C14 C01 MO8 MO9 CO9 C10 M10 M11 C11 C12 M12 M13 C13 C14 M14 M01
  29. 29. Elaboración de pruebas Modelos Internacionales 29 DISTRIBUCIÓN POR BLOQUES DE LOS CUADERNILLOS EN PISA 2009
  30. 30. Elaboración de pruebas Modelos Internacionales CUESTIONARIOS DE CONTEXTO 30  Contexto personal, social, escolar Sexo, fecha de nacimiento, lengua hablada en casa, número de libros en casa, recursos en casa y frecuencia de uso, interés de los padres en las tareas escolares, opinión sobre el colegio y bienestar en el mismo.  Hábitos de lectura (PIRLS) Lectura fuera del colegio: tiempo de lectura, motivación para leer, tipos de lectura y frecuencia de lectura de cada una, frecuencia de asistencia a bibliotecas, frecuencia de préstamos de bibliotecas, etc. Lectura en clase: frecuencia, hábitos en clase, métodos del profesorado, gusto por la lectura, interés por los temas leídos, autoconcepto en lectura, autoevaluación de su propia lectura, interés de sus padres, etc.  Aprendizaje de las matemáticas y de las ciencias (TIMSS) Gusto por las matemáticas y las ciencias, autoconcepto, percepción de su utilidad, percepción de la clase de matemáticas y ciencias y de la metodología del profesorado, etc.
  31. 31. Elaboración de pruebas Modelos Internacionales 31
  32. 32. Elaboración de pruebas Modelos Internacionales CUESTIONARIOS DE CONTEXTO 32  Contexto personal, antecedentes, satisfacción general Edad, años de experiencia como docente, sexo, nivel de estudios, especialidad en educación, matemáticas, ciencias o lengua, entorno del centro, satisfacción general, recursos, uso de ordenadores, participación y colaboración con el profesorado, formación continua, trabajo en equipo, etc.  Trabajo general con la clase PIRLS/TIMSS Número de alumnos (y en 4º primaria), alumnos con dificultades en lengua evaluada, materia que enseña, hábitos de trabajo, distribución del tiempo de clase, dificultades que entorpecen su tarea docente (alumnos con sueño, ACNEE, problemáticos, sin interés, etc.), frecuencia en la relación con los padres.  Trabajo con la clase PIRLS/TIMSS en lectura, matemáticas y ciencias Materiales, hábitos, distribución de los tiempos, alumnos que necesitan refuerzo de la materia, tipos de lectura, tiempo dedicado a corrección, felicitación, tipo de deberes para casa, importancia concedida a los distintos aspectos del currículo, modo de evaluación, recursos (biblioteca, ordenadores, calculadoras, etc.)
  33. 33. Elaboración de pruebas Modelos Internacionales 33
  34. 34. Elaboración de pruebas Modelos Internacionales CUESTIONARIOS DE CONTEXTO  Características generales del centro Número total de alumnos y en cuarto de primaria, entorno socioeconómico, tipo de población, lengua materna de los alumnos, horario lectivo y de apertura del centro, número de ordenadores disponibles para los alumnos, existencia de biblioteca y su dotación, laboratorio de ciencias, recursos generales del centro y en particular para la enseñanza de la lectura las matemáticas y las ciencias, etc.  Funcionamiento del centro Tipo y frecuencia de la relación con los padres, ambiente general del centro (disciplina, puntualidad, respeto, interés del alumnado, expectativas del profesorado, instrumentos de evaluación del profesorado, distribución del tiempo de actividades de la dirección etc.  ¿Qué saben los alumnos antes de entrar al colegio? Actividades relacionadas con lectura, matemáticas y ciencias Preparación de los alumnos al entrar en el colegio, curso en que se incide en diferentes hábitos y estrategias lectoras, atención dedicada a la lectura y escritura, medidas para alumnos con otra lengua materna, etc. 34
  35. 35. Elaboración de pruebas Modelos Internacionales 35
  36. 36. Elaboración de pruebas Modelos Internacionales CUESTIONARIOS DE CONTEXTO  Contexto general Persona que rellena el cuestionario, lengua hablada en casa, asistencia a Educación Infantil del hijo, edad al entrar en el colegio, nivel de estudios, tipo de trabajo, expectativas sobre los estudios de su hijo, número de libros generales e infantiles en casa, frecuencia de uso de algunos recursos en casa (enciclopedias, ordenadores, DVD, Internet, etc.)  Actividades relacionadas con el colegio Actividades y “logros” al entrar en el colegio, tiempo empleado por su hijo en hacer los deberes, hábitos con los hijos, ayuda prestada, interés por las actividades relacionadas con el colegio, opiniones sobre el colegio, etc.  Actividades personales y con los hijos en relación con la lectura Hábitos familiares relacionados con la lectura con los hijos antes de entrar en el colegio (leer, cantar, contar cuentos, juegos de letras, de construcción, puzzles, etc.), frecuencia de lectura personal, tipos de lectura, gusto por la lectura, etc. 36
  37. 37. Elaboración de pruebas Modelos Internacionales 37
  38. 38. A. 1. Rasgos comunes de los estudios de evaluación 2. Mapa de evaluaciones B. Elaboración de pruebas 1. Marco de evaluación 2. Elaboración de las pruebas 3. Diseño de los cuadernillos y cuestionarios de contexto Ejemplos de ítems liberados 4. Aplicación de las pruebas (trabajo de campo) 5. Análisis de datos y elaboración de informes C. Recursos para el profesorado
  39. 39. Elaboración de pruebas Modelos Internacionales EJEMPLO DE PREGUNTA PISA-MATEMÁTICAS 39
  40. 40. Elaboración de pruebas Modelos Internacionales EJEMPLO DE PREGUNTA PISA-MATEMÁTICAS 40
  41. 41. Elaboración de pruebas Modelos Internacionales EJEMPLO DE PREGUNTA PISA-MATEMÁTICAS 41
  42. 42. Elaboración de pruebas Modelos Internacionales EJEMPLO DE PREGUNTA PISA-MATEMÁTICAS 42
  43. 43. Elaboración de pruebas Modelos Internacionales EJEMPLO DE PREGUNTA PISA-CIENCIAS 43
  44. 44. Elaboración de pruebas Modelos Internacionales EJEMPLO DE PREGUNTA PISA-CIENCIAS 44
  45. 45. Elaboración de pruebas Modelos Internacionales EJEMPLO DE PREGUNTA PISA-CIENCIAS 45
  46. 46. Elaboración de pruebas Modelos Internacionales PRUEBA DE COMPRENSIÓN LECTORA – INGLÉS-EECL (R2-A1) You will read a notice about a cat. For the next 4 questions, answer A, B or C. Leo is lost. He’s my little cat. He’s white with black paws. He’s small and very sweet. He has brown eyes. He wears a grey collar. He didn’t come home on Monday and it’s Thursday today. That’s a long time for a little cat! Leo often sits on top of the houses near here between Smith’s baker’s shop and King Street. If you find him in your garden or under your car, please telephone me immediately. Please note – Leo doesn’t like it when people pick him up, and he doesn’t like milk. Thank you for your help! Sophie Martin. Tel.: 798286 46
  47. 47. A. 1. Rasgos comunes de los estudios de evaluación 2. Mapa de evaluaciones B. Elaboración de pruebas 1. Marco de evaluación 2. Elaboración de las pruebas 3. Diseño de los cuadernillos y cuestionarios de contexto Ejemplos de ítems liberados 4. Aplicación de las pruebas (trabajo de campo) 5. Análisis de datos y elaboración de informes C. Recursos para el profesorado
  48. 48. Elaboración de pruebas Modelos Internacionales APLICACIÓN DE LAS PRUEBAS (PIRLS/TIMSS 2011) PRIMER DÍA Preparación de los alumnos (10 minutos) Primera parte PIRLS/TIMSS 40/36 minutos Descanso 15 minutos Preparación (5 minutos) Segunda parte PIRLS/TIMSS 40/36 minutos Cuestionario del alumno (10-30 minutos) SEGUNDO DÍA Preparación de los alumnos (5 minutos) Primera parte TIMSS/PIRLS 36/40 minutos Descanso 15 minutos Preparación (5 minutos) Segunda parte TIMSS/PIRLS 36/40 minutos Recogida Cuestionario de padres INSTRUMENTOS PARA CONOCER LOS FACTORES DE CONTEXTO CUESTIONARIOS DE CONTEXTO •Alumnos •Padres o tutores legales •Directores de los centros •Profesores ENCYCLOPEDIA Información de cada país sobre su sistema educativo y el currículo de Lectura, Matemáticas y Ciencias 48
  49. 49. Elaboración de pruebas Modelos Internacionales TARGETED TESTING (EECL) 49 Objetivo: Adaptar la dificultad de la prueba al nivel de competencia de Noviembre 2010 PRUEBA DE NIVEL PRUEBA DE NIVEL PROGRESIVA Marzo – Abril 2011 Resultado de nivel bajo PRUEBA PRINCIPAL T A R G E T E D T E S T I N G cada alumno. A1 – A2 Resultado de nivel medio Resultado de nivel alto A2 – B1 B1 – B2 49
  50. 50. Elaboración de pruebas Modelos Internacionales DISEÑO Y APLICACIÓN DE LAS PRUEBAS (EECL) 1- Los alumnos de cada nivel de competencia se distribuyeron al azar en tres grupos y cada alumno fue evaluado de dos destrezas. Todos los alumnos completaron además un cuestionario de contexto. COMPRENSIÓN EXPRESIÓN ORAL GRUPO 1 COMPRENSIÓN LECTORA ESCRITA    GRUPO 2 GRUPO 3    50 CUESTIONARIO    2- Las tareas de cada nivel se distribuyeron en varios cuadernillos según un diseño por bloques. Cada bloque contenía un numero variable de tareas según su dificultad.
  51. 51. A. 1. Rasgos comunes de los estudios de evaluación 2. Mapa de evaluaciones B. Elaboración de pruebas 1. Marco de evaluación 2. Elaboración de las pruebas 3. Diseño de los cuadernillos y cuestionarios de contexto 4. Aplicación de las pruebas (trabajo de campo) 5. Análisis de datos y elaboración de informes C. Recursos para el profesorado
  52. 52. Elaboración de pruebas Modelos Internacionales TIPO DE RESULTADOS PROPORCIONADOS • Promedios globales por países PIRLS/TIMSS/PISA: Punto de referencia 500 • Promedios por Dimensiones/dominios, procesos, por propósitos de lectura/procesos de comprensión, etc. • Niveles de rendimiento • Cada nivel se caracteriza en función de los elementos de competencia logrados en cada uno de ellos • Análisis de factores de contexto asociados • Análisis de tendencias 52
  53. 53. 375 400 425 450 Elaboración475 500pruebas de 525 550 575 Modelos Internacionales 600 625 Hong Kong - China (571) Federación Rusa (568) PROMEDIOS GLOBALES Finlandia (568) Irlanda del Norte (558) 53 Estados Unidos (556) Dinamarca (554) Croacia (553) PIRLS 2011 En Lectura … … Hong Kong-China, Federación Rusa, Finlandia y Singapur obtienen los mejores resultados Irlanda (552) Inglaterra (552) Canadá (548) Países Bajos (546) República Checa (545) Suecia (542) Italia (541) Alemania (541) Portugal (541) Israel (541) Hungría (539) España … … obtiene 513 puntos, por debajo de la media de los países participantes de la OCDE, que se sitúa en 538 puntos Eslovaquia (535) Bulgaria (532) Nueva Zelanda (531) Eslovenia (530) Austria (529) Lituania (528) Australia (527) Polonia (526) Francia (520) Andalucía (515) De la OCDE… … Finlandia consigue el mejor rendimiento de los participantes de la OCDE, con 30 puntos por encima de la media España (513) Noruega (507) Bélgica (C. francesa) (506) Canarias (505) Rumanía (502) Georgia (488) Malta (477) Azerbaiyán (462) Irán (457) … España, junto con Noruega y Bélgica (Comunidad francesa) y Francia son los países con puntuaciones más bajas de la OCDE Colombia (448) Arabia Saudí (430) Catar (425) Media OCDE (538) Media UE (534) Niveles 1 2 3 4
  54. 54. Elaboración de pruebas Modelos Internacionales PROMEDIOS GLOBALES-PISA 2012 (OCDE) Corea del Sur (554) Japón (536) Suiza (531) Países Bajos (523) Estonia (521) Finlandia (519) Canadá (518) Polonia (518) Navarra (517) Bélgica (515) Alemania (514) Castilla y León (509) Austria (506) País Vasco (505) Australia (504) Madrid (504) Rioja (La) (503) Irlanda (501) Eslovenia (501) Dinamarca (500) Nueva Zelanda (500) Asturias (500) República Checa (499) Aragón (496) Francia (495) Reino Unido (494) Cataluña (493) Islandia (493) Cantabria (491) Luxemburgo (490) Noruega (489) Galicia (489) Portugal (487) Italia (485) España (484) Eslovaquia (482) Estados Unidos (481) Suecia (478) Hungría (477) Balears (Illes) (475) Andalucía (472) Israel (466) Murcia (462) Extrem adura (461) Grecia (453) Turquía (448) Chile (423) México (413) Promedio UE (489) Promedio OCDE (494) Nivel 1 400 420 Nivel 2 440 460 Nivel 3 480 500 520 Nivel 4 540 560 54
  55. 55. Elaboración de pruebas Modelos Internacionales DISTRIBUCIÓN POR NIVELES Países Bajos Hong Kong - China Federación Rusa Finlandia Croacia Dinamarca República Checa Estados Unidos Canadá Suecia Italia Alemania Portugal Irlanda del Norte Irlanda Lituania Austria Eslovaquia Inglaterra Hungría Eslovenia Polonia Francia Andalucía Noruega España Bélgica (C. francesa) Israel Bulgaria Australia Canarias Nueva Zelanda Rumanía Georgia Azerbaiyán Malta Irán Colombia Arabia Saudí Catar Mediana OCDE Mediana Internacional PIRLS 2011 10 42 41 7 1 6 26 49 18 1 7 29 44 19 1 7 29 45 18 1 9 36 43 11 1 11 33 43 12 2 11 37 42 8 2 12 30 39 17 2 12 35 38 13 2 13 38 38 9 2 13 39 36 10 2 13 39 36 10 2 14 37 38 9 3 10 29 39 19 3 12 32 37 16 3 17 41 33 6 3 17 41 34 5 4 14 38 36 8 5 12 29 36 18 5 14 33 36 12 5 16 37 34 8 5 18 38 32 7 5 20 40 30 5 5 22 42 27 4 5 24 46 23 2 6 22 41 27 4 6 24 45 23 2 7 13 31 34 15 7 16 32 34 11 7 17 34 32 10 7 23 43 24 3 8 17 30 31 14 14 21 33 25 7 14 26 39 19 2 18 37 36 9 22 23 31 20 4 24 31 32 12 1 28 34 28 9 1 35 31 26 7 1 40 26 22 10 2 3 5 14 15 37 36 36 36 10 8 55
  56. 56. Elaboración de pruebas Modelos Internacionales DISTRIBUCIÓN POR NIVELES-MATEMÁTICAS PISA 2012 56
  57. 57. Elaboración de pruebas Modelos Internacionales EECL RESULTADOS EN LA PRIMERA LENGUA COMPRENSIÓN LECTORA Pre-A1 Suecia (Inglés) 1 10 8 Malta (Inglés) 4 10 7 Holanda (Inglés) 4 21 Estonia (Inglés) 7 23 Navarra (Inglés) 9 Eslovenia (Inglés) 12 Bélgica AL. (Francés) 10 Bélgica Fr. (Inglés) 10 Grecia (Inglés) 15 Croacia (Inglés) 16 Bélgica Fla. (Francés) 12 España (Inglés) 18 Bulgaria(Inglés) 23 Canarias (Inglés) 19 Portugal (Inglés) 20 Polonia (Inglés) 27 Andalucía (Inglés) 24 Francia (Inglés) 28 Inglaterra (Francés) 22 Promedio (sin CC.AA.) 14,3 0% 10% A1 A2 B2 15 16 66 63 15 9 22 34 29 34 47 15 17 12 31 18 17 15 13 46 40 33 40 41 38 45 49 57 17 14 30 25 14 13,6 26,5 10 12 12 18 11 10 23 12 12 17 13 11 15 11 10 14 12 10 9 10 7 6 11 7 3 12,4 50% 20 15 18 13 40% 25 16 18 42 27 31 30% 38 14 33,2 20% B1 60% 70% 80% 90% 100% Orden: mayor a menor (% alumnos en nivel B)/(% alumnos en Pre-A1) 57
  58. 58. Elaboración de pruebas Modelos Internacionales DISTRIBUCIÓN POR NIVELES-TIMSS 2011-MATEMÁTICAS 58
  59. 59. Elaboración de pruebas Modelos Internacionales DESCRIPCIÓN DE NIVELES TIMSS 2011-MATEMÁTICAS NIVEL INTERMEDIO NIVEL BAJO Conocimientos Los alumnos tienen conocimientos matemáticos básicos. Los alumnos son capaces de aplicar conocimientos matemáticos básicos en situaciones sencillas. Destrezas        NIVEL ALTO  Los alumnos son capaces de utilizar sus conocimientos y comprensión para resolver problemas.     NIVEL AVANZADO  Los alumnos son capaces de utilizar sus conocimientos y comprensión en una variedad de situaciones relativamente complejas y de explicar su razonamiento.     Sumar y restar números enteros. Reconocer en cierta medida las líneas paralelas y perpendiculares, formas geométricas comunes y mapas con coordenadas. Leer y completar diagramas de barras y tablas básicos. Comprender los números enteros y cierta comprensión de las fracciones. Visualizar formas en tres dimensiones a partir de representaciones en dos dimensiones. Interpretar diagramas de barras, pictogramas y tablas para resolver problemas sencillos. Resolver problemas que incluyan operaciones con números enteros. Emplear la división en variedad de situaciones con problemas. Utilizar su comprensión del valor posicional para resolver problemas. Capacidad para ampliar patrones para obtener un dato especificado más adelante. Comprender la simetría axial y sus propiedades geométricas. Interpretar y utilizar datos de una tabla o gráfico para resolver problemas. Utilizar información de pictogramas y gráficas de registro para completar diagramas de barras. Resolver una variedad de problemas de varios pasos con números enteros, incluyendo proporciones. Comprensión creciente de fracciones y decimales. Aplicar en variadas situaciones sus conocimientos geométricos sobre formas en dos y tres dimensiones. Obtener una conclusión a partir de datos en una tabla y explicar dicha conclusión. 59
  60. 60. Elaboración de pruebas Modelos Internacionales ANÁLISIS DE FACTORES DE CONTEXTO ASOCIADOS • Actitudes y comportamientos del alumnado • Rasgos del entorno familiar del alumnado • Características de los centros • Relación con los resultados • Identificación de buenas prácticas 60
  61. 61. Elaboración de pruebas Modelos Internacionales PISA 2012-Tendencias (C-Matemática) 61
  62. 62. A. 1. Rasgos comunes de los estudios de evaluación 2. Mapa de evaluaciones B. Elaboración de pruebas 1. Marco de evaluación 2. Elaboración de las pruebas 3. Diseño de los cuadernillos y cuestionarios de contexto Ejemplos de ítems liberados 4. Aplicación de las pruebas (trabajo de campo) 5. Análisis de datos y elaboración de informes C. Recursos para el profesorado
  63. 63. Elaboración de pruebas Modelos Internacionales RECURSOS PARA EL PROFESORADO 1º http://www.mecd.gob.es/inee/portada.html 2º Ítems liberados y otrosrecursos Preguntas liberadas PISA Preguntas liberadas PIAAC (adultos Recursos EECL, TIMSS, PIRLS, EGD, etc. Preguntas liberadas de TIMSS-PIRLS EGD-EECL Acceso a recursos INEE en tiching y SlideShare 63
  64. 64. Elaboración de pruebas Modelos Internacionales Materiales, recursos y difusión de los estudios RECURSOS PARA EL PROFESORADO Estímulos e ítems que han sido liberados después de formar parte de un estudio internacional o nacional. Todas las pruebas de estas recopilaciones forman parte de otras publicaciones más completas donde se desarrollan los marcos teóricos, las características, los resultados, el diseño, etc. de cada estudio. 64
  65. 65. http://www.mecd.gob.es/inee/
  66. 66. Elaboración de pruebas Modelos Internacionales 67 GRACIAS http://www.mecd.gob.es/inee/ Síguenos en Twitter: @educaINEE Y en nuestro blog: http://blog.educalab.es/inee/

×