Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

PISA: resultados y presentación de ítems (Guillermo Montt)

1,481 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

PISA: resultados y presentación de ítems (Guillermo Montt)

  1. 1. PISA Resultados y uso de ítems OECD Septiembre 2013 Guillermo Montt guillermo.montt@oecd.org
  2. 2. Esta presentación • Objetivo: – Resaltar que para estudios de medición educacional la formulación de ítems (su contribución) es fundamental. – La calidad del estudio depende de la calidad del instrumento. (lo es para estudios internacionales como para estudios nacionales como para evaluaciones dentro de la escuela) – Al desarrollar ítems se especifican las competencias y habilidades que se consideran necesarias: reflexionamos sobre qué es lo que esperamos de nuestros alumnos (y de nuestros docentes)
  3. 3. Esta presentación • ¿Qué es PISA? – Resultados para España – Características del estudio • Cómo se construye PISA – Construcción participativa – Proceso cognitivo en la respuesta de ítems – Tipos de ítems – Uso de ítems individuales • Implicancias de PISA en la sala de clases • PISA para centros educativos
  4. 4. ¿Qué es PISA? • Estudio internacional de medición de rendimiento educacional en lectura, matemáticas y ciencia El Gobierno pide un pacto de Estado, tras el fracaso educativo de PISA 09/12/2010 M. MORENO Por último, añaden que «la nefasta política educativa de los últimos diez años llevada a cabo por la Consejería de Educación nos llevará a un pozo del que difícilmente podremos salir».«Pisa certifica el fracaso de la Logse y la LOE del Gobierno de Zapatero» 08/12/2010 C. F. Por qué sube Madrid?—Se debe, principalmente, a la buena dirección de las políticas de Esperanza Aguirre en materia de educación. Pisa certifica el fracaso de la Logse y la LOE del Gobierno de Zapatero. Estancados en la mediocridad 08/12/2010 A.M. SANZ Subimos tres con relación a Pisa 2006 (480), pero seguimos por debajo de los 485 puntos de 2003. Iniciativa del PPAnte el estancameinto de la educación española, las reacciones no se han hecho esperar.La educación española continúa por debajo de la media en el informe PISA 07/12/2010 EFE Esta es una de las principales conclusiones de los resultados de España en el Informe PISA 2009, que ha sido presentado este martes por el secretario de Estado de Educación y Formación Profesional, Mario Bedera.
  5. 5. ¿Qué es PISA? • En PISA 2009: – 75 países – +500 000 alumnos de 15 años que representan una población de más de 30 millones de alumnos – Lectura / Matemáticas / Ciencia • En España – Desde el año 2000, cada tres años – 30 000 alumnos en el 2009 – También en el 2012: resultados en diciembre
  6. 6. Resultados PISA 2009: Lectura 300 400 500 600 Shanghai-China Korea Finland HongKong-China Singapore Canada NewZealand Japan Australia Netherlands Belgium Norway Estonia Switzerland Poland Iceland UnitedStates Liechtenstein Sweden Germany Ireland France ChineseTaipei Denmark UnitedKingdom Hungary Portugal Macao-China Italy Latvia Slovenia Greece Spain CzechRepublic SlovakRepublic Croatia Israel Luxembourg Austria Lithuania Turkey Dubai(UAE) RussianFederation Chile CostaRica Serbia Bulgaria Uruguay Mexico Romania Miranda Thailand TrinidadandTobago Colombia Brazil Montenegro Jordan Tunisia Indonesia Argentina Kazakhstan Albania Qatar Panama Peru Azerbaijan Kyrgyzstan Promedio OCDE: 493 20% de los alumnos españoles no superan las competencias básicas en lectura 3% de los alumnos españoles superan las competencias más altas en lectura
  7. 7. Tendencia en lectura: 2000-2009 -50 -40 -30 -20 -10 0 10 20 30 40 50 60 Peru Chile Albania Indonesia Latvia Israel Poland Portugal Liechtenstein Brazil Korea Hungary Germany Greece HongKong-China Switzerland Mexico Belgium Bulgaria Italy Denmark Norway RussianFederation Japan Romania UnitedStates Iceland NewZealand France Thailand Canada Finland Spain Australia CzechRepublic Sweden Argentina Ireland Aumento en lectura es estadísticamente significativo Disminución en lectura es estadísticamente significativa
  8. 8. Tendencia en lectura: España 2000-09 200 250 300 350 400 450 500 550 600 650 700 2000 2003 2006 2009 Percentil 10 Percentil 25 Percentil 75 Percentil 90 Promedio Percentil 90: 588 puntos Percentil 10: 364 puntos
  9. 9. Tendencia en lectura: España y Portugal 2000- 09 España Portugal 200 250 300 350 400 450 500 550 600 650 700 2000 2003 2006 2009 2000 2003 2006 2009 Percentil 10 Percentil 25 Percentil 75 Percentil 90 Promedio
  10. 10. Resultados PISA 2009: Matemáticas 300 400 500 600 Shanghai-China Singapore HongKong-China Korea ChineseTaipei Finland Liechtenstein Switzerland Japan Canada Netherlands Macao-China NewZealand Belgium Australia Germany Estonia Iceland Denmark Slovenia Norway France SlovakRepublic Austria Poland Sweden CzechRepublic UnitedKingdom Hungary Luxembourg UnitedStates Ireland Portugal Spain Italy Latvia Lithuania RussianFederation Greece Croatia Dubai(UAE) Israel Turkey Serbia Azerbaijan Bulgaria Romania Uruguay Chile Thailand Mexico TrinidadandTobago CostaRica Kazakhstan Montenegro Miranda Argentina Jordan Brazil Colombia Albania Tunisia Indonesia Qatar Peru Panama Kyrgyzstan Promedio OCDE: 496 24% de los alumnos españoles no superan las competencias básicas en matemáticas 8% de los alumnos españoles superan las competencias más altas en matemáticas
  11. 11. Resultados PISA 2009: Matemáticas 400 450 500 550 600 CastileandLeon Navarre BasqueCountry Aragon LaRioja Madrid Catalonia Cantabria Asturias Galicia Murcia BalearicIslands Andalusia CanaryIslands CeutaandMelilla Promedio OCDE: 496
  12. 12. Resultados PISA 2009: Ciencias 300 400 500 600 Shanghai-China Finland HongKong-China Singapore Japan Korea NewZealand Canada Estonia Australia Netherlands ChineseTaipei Germany Liechtenstein Switzerland UnitedKingdom Slovenia Macao-China Poland Ireland Belgium Hungary UnitedStates CzechRepublic Norway Denmark France Iceland Sweden Austria Latvia Portugal Lithuania SlovakRepublic Italy Spain Croatia Luxembourg RussianFederation Greece Dubai(UAE) Israel Turkey Chile Serbia Bulgaria CostaRica Romania Uruguay Thailand Miranda Mexico Jordan TrinidadandTobago Brazil Colombia Montenegro Argentina Tunisia Kazakhstan Albania Indonesia Qatar Panama Azerbaijan Peru Kyrgyzstan Promedio OCDE: 501 18% de los alumnos españoles no superan las competencias básicas en ciencias 4% de los alumnos españoles superan las competencias más altas en ciencias
  13. 13. Dimensiones de equidad en PISA 300 400 500 600 700 800 -2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 300 400 500 600 700 800 -2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 Mayor predictibilidad del nivel socio económico en el rendimiento Menor equidad Mayor equidad
  14. 14. Predictibilidad del NSE y rendimiento a nivel país Iceland Japan Argentina Thailand Peru Russian Federation Italy Norway Lithuania Colombia Liechtenstein Macao-China Netherlands Bulgaria Germany Switzerland Dubai (UAE) Belgium United Kingdom Romania Denmark Singapore Sweden Albania Latvia Brazil Croatia Israel Kazakhstan Panama Montenegro Finland Luxembourg AustriaTurkey Kyrgyzstan Uruguay ChineseTaipei Canada Poland Portugal Spain Mexico Greece Hungary Korea Czech Republic SlovakRepublic Hong Kong-China Tunisia Estonia Jordan Qatar Ireland Chile United States Azerbaijan France New Zealand Indonesia Shanghai-China Serbia Slovenia Trinidad and Tobago Australia Miranda Costa Rica 300 350 400 450 500 550 600 051015202530 Porcentaje de la varianza en el rendimiento en lectura explicado por el nivel socioeconómico (r-cuadrado x 100) Promedio OCDE Promedio OCDE Rendimiento bajo el promedio Rendimiento por sobre el promedio Predictibilidad por debajo del promedio En España, el 14% de la varianza en lectura se explica por el NSE Menor equidad Mayor equidad
  15. 15. 200 493 -3 -2 -1 0 1 2 3 Puntaje lectura 700 Escuela privada o subvencionada Escuela pública rural Escuela pública urbana A nivel de escuelas: España
  16. 16. Diversidad social dentro de la escuela 0 10 20 30 40 50 60 70 80 90 100 Chile Thailand Peru Miranda Hungary Mexico Panama Bulgaria Argentina Uruguay Colombia CostaRica Indonesia Dubai(UAE) Turkey Brazil Macao-China Romania Shanghai-China Tunisia Albania Greece Austria Belgium HongKong-China Qatar UnitedStates RussianFederation Kazakhstan Azerbaijan Kyrgyzstan Portugal Luxembourg Poland Lithuania Italy Korea Slovenia CzechRepublic Latvia Germany Netherlands Australia Jordan Serbia SlovakRepublic Ireland Israel Spain Montenegro Croatia TrinidadandTobago Japan NewZealand ChineseTaipei Estonia UnitedKingdom Singapore Canada Iceland Denmark Switzerland Sweden Liechtenstein Finland Norway En España los índices de diversidad social son buenos: en la escuela los niños en desventaja social tienden a compartir espacio con sus pares aventajados Muchos países con alto rendimiento en PISA son países con alta diversidad social: la inclusión social y el alto rendimiento no son objetivos contrapuestos
  17. 17. Diferencias por estatus migratorio (rendimiento no-migrantes - migrantes) -20 0 20 40 60 80 100 Austria Belgium Sweden Denmark France Spain Greece Germany Luxembourg Norway Switzerland Slovenia Netherlands OECDaverage Estonia Liechtenstein Ireland RussianFederation UnitedKingdom UnitedStates Croatia NewZealand Canada HongKong-China Israel Singapore Kazakhstan Montenegro Macao-China Australia Jordan Serbia En España los alumnos con origen extranjero tienen casi 60 puntos menos en lectura; son casi el 10% de la población (en el 2000 eran solo el 2%) En la mayoría de los países los migrantes tienen peor rendimiento en lectura que los niños
  18. 18. Lecciones de PISA para España • La repitencia escolar (35%) atenta contra el rendimiento y la equidad • Que el uso de evaluaciones, exámenes, libertad de elección favorezcan mejoren la calidad dependen de cómo se implementan estas políticas (por sí solas ellas no traen beneficio alguno) • La inyección de recursos no es tan importante como el dónde se destinan estos recursos – Calidad docente, calidad de directivos • Los mejores sistemas escolares – Atraen los mejores alumnos a la profesión docente y les entregan una preparación rigurosa y de alta calidad – Convencimiento que todos los alumnos pueden rendir: no diferencian a sus alumnos a temprana edad, apoyo constante a aquellos que quedan atrás – Coherencia entre políticas y programas en educación con todos los actores relevantes alineados en torno a estas políticas
  19. 19. ¿Cómo llegamos a estos resultados? • Programme for International Student Assessment – Evaluación del aprendizaje acumulado de alumnos (no de la educación secundaria) – Dirigido a alumnos al final de lo que para muchos países representa la educación básica/obligatoria (15 años) – 2 horas de evaluación + 30 minutos para el cuestionario • Colaboración entre la OCDE y los países participantes • Primer estudio: 2000 y luego cada tres años – España a participado desde el primer estudio, con resultados a nivel de comunidades
  20. 20. ¿Qué mide PISA? • PISA mide las competencias de alumnos para identificar, reorganizar y aplicar sus conocimientos en distintos contextos – No es una evaluación de la reproducción de contenidos
  21. 21. ¿Cómo se construye PISA? 1. Marco teórico (framework) 2. Desarrollo de preguntas /ítems 3. Traducción 4. Pilotaje de preguntas 5. Selección de preguntas para el estudio principal (en paralelo, desarrollo de cuestionarios contextuales para alumnos y directores)
  22. 22. Marco teórico de PISA • Tres marcos: matemáticas, lectura y ciencia – Define el dominio (y sub-dominios) • En matemáticas: – Delimita lo que puede medir la evaluación – Especifica la estructura de la prueba Contenido Procesos Cantidades Formulación Incertidumbre y datos Uso Cambio y relaciones Interpretación Espacio y figuras Desarrollado en consulta constante con un conjunto de expertos internacionales en la materia Marco es evaluado y adaptado cada nueve años
  23. 23. Desarrollo de ítems: Proceso cognitivo El mundo real El mundo de las matemáticas Una situación real Un modelo de la realidad Un modelo matemático Resultados reales Comprensión de la situación, estructuración y simplificación Transformación del problema para ser abordado con matemáticas Interpretación de los resultados matemáticos Utilización de herramientas matemáticas para resolver el problema Validación de los resultados Resultados de la operación (matemáticos)
  24. 24. Desarrollo de ítems: Estructura y tipos • Estructura: – Estímulo (entrega el contexto a las preguntas) – Pregunta – Guía de respuesta
  25. 25. Desarrollo de ítems: Estructura y tipos Estímulo 3 preguntas de opción múltple
  26. 26. Desarrollo de ítems: Estructura y tipos • Estructura: – Estímulo (entrega el contexto a las preguntas) – Pregunta – Guía de respuesta • Tipos de ítems: – Cerrada: opción múltiple (A / B / C / E) – Cerrada: opción múltiple compleja (I / II / III) – Abiertas
  27. 27. Desarrollo de ítems: Estructura y tipos
  28. 28. Desarrollo de ítems: proceso 1. Primeras ideas (tres años antes) 1. Equipo de desarrolladores profesionales 2. Sugerencias de países 2. Revisión de desarrolladores 3. Paneles de estudiantes 1. Entrevistas individuales y grupales, ―en voz alta‖ 4. 2a Revisión de desarrolladores 5. Pilotaje local 6. Panel internacional 7. Pilotaje internacional 8. Revisión final
  29. 29. ¿Uso de preguntas individuales? • Ítems miden no solo los contenidos de la materia que quieren medir • Distintos tipos de preguntas miden distintos tipos de habilidades – Estudiantes japoneses tienen más dificultad con preguntas abiertas que de opción múltiple • Mejoras observadas en PISA en Japón son justamente en estas dimensiones – Mujeres tienden a tener menor dificultad en preguntas abiertas
  30. 30. ¿Uso de preguntas individuales? • Predictibilidad a largo plazo: ¿qué tipos de ítems están mejor relacionados con resultados a largo plazo (estudios universitarios, empleo, etc.) – Preguntas que requieren de alumnos la capacidad de comprender e interpretar información que aparece en un contexto o formato no familiar • En matemáticas: • Conocimiento, comprensión y aplicación de estadísticas • Preguntas relacionadas con tasas, proporciones y porcentajes – Preguntas que requieren que los alumnos piensen la solución en varios momentos del proceso (reverse/flexible thinking)
  31. 31. Implicancias en la sala de clases • Las habilidades que mide PISA no son la repetición de formulas y materias, sino la aplicación del conocimiento a situaciones reales • Esto implica, en la sala de clases: – Enseñanza más interactiva: discutir problemas en su solución y sus implicancias – Reducir la repetición: desincentiva la aplicación de conceptos y la independencia en resolución de problemas – Utilizar ejercicios con contextos del mundo real – Promover el aprendizaje de matemáticas a través de la solución de problemas – Utilizar el lenguaje en todas las materias: en la vida real los problemas científicos, matemáticos y demases están inmersos en el lenguaje y requieren habilidades lingüísticas
  32. 32. PISA para centros educativos • Desde este año estará disponible una evaluación para escuelas basada en PISA que cada escuela en el mundo puede implementar libremente
  33. 33. PISA para centros educativos • Herramienta de apoyo a los esfuerzos de centros educativos, redes de escuelas y educadores locales por realizar comparaciones internacionales (―benchmarking‖) para mejorar • Brindar los resultados y el análisis comparativo sobre las competencias, los conocimientos, la actitud y la disposición de los alumnos hacia el aprendizaje …parte de un proceso local de reflexión, discusión y transformación
  34. 34. PISA para centros educativos Sí es... • Una herramienta en apoyo a los procesos de ―benchmarking‖ • Una herramienta que brinda información útil a los centros educativos - y comparables a las escalas PISA • Una herramienta que ayude a vincular los centros educativos y los educadores con las discusiones de políticas educativas • Una herramienta a disposición de las autoridades educativas para su uso apropiado… No pretende… • Ser una prueba estandarizada obligatoria • Ser una prueba que influya – por sí misma - en las practicas docentes cotidianas • Ser una alternativa a la prueba PISA nacional o regional • Ser una prueba que este alineada completamente con los contenidos o los estándares de un país en especifico, si bien hay coincidencias • Ser una herramienta meramente para los rankings
  35. 35. I. Introducción: Cómo interpretar los resultados de su escuela en la prueba PISA for Schools II. Resultados: Lo que los alumnos de su escuela conocen y saben hacer en Lectura, Matemáticas y Ciencias III. El clima de aprendizaje en su centro escolar y la disposición de los alumnos hacia el aprendizaje IV. Comparaciones de su centro educativo con otros centros en su país V. Comparaciones internacionales: Los resultados de su escuela en un contexto internacional PISA para centros educativos
  36. 36. Esta presentación • Objetivo: – Resaltar que para estudios de medición educacional la formulación de ítems (su contribución) es fundamental. – La calidad del estudio depende de la calidad del instrumento. (lo es para estudios internacionales como para estudios nacionales como para evaluaciones dentro de la escuela) – Al desarrollar ítems se especifican las competencias y habilidades que se consideran necesarias: reflexionamos sobre qué es lo que esperamos de nuestros alumnos (y de nuestros docentes)
  37. 37. Más información • PISA ( http://www.oecd.org/pisa/ ) – ―Take the Test‖ / Banco de preguntas – Informe técnico – Marco teórico 2012 – Resultados 2009 – Resultados 2012: 3 de diciembre, 2013 • PISA para centros educativos

×