Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

PISA más allá de los datos. Marco teórico. Valencia 24 Julio 2014

1,829 views

Published on

PISA OCDE. Jornada "PISA más allá de los datos" 24 de julio de 2014. Marco Teórico

Published in: Education

PISA más allá de los datos. Marco teórico. Valencia 24 Julio 2014

  1. 1. SECRETARÍA DE ESTADO DE EDUCACIÓN, FORMACIÓN PROFESIONAL Y UNIVERSIDADES DIRECCIÓN GENERAL DE EVALUACIÓN Y COOPERACIÓN TERRITORIAL http://www.mecd.gob.es/inee David Cervera Consejero Técnico del Área Internacional del INEE @dcerverao Instituto Nacional de Evaluación Educativa MECD PISA, más allá de los datos
  2. 2. ¿QUÉ ES INEE? ● El Instituto Nacional de Evaluación Educativa es el organismo responsable de la evaluación del sistema educativo en el Ministerio de Educación, Cultura y Deporte. ● Sus funciones son:  Evaluación general del sistema educativo y realización, en colaboración con las Administraciones educativas, de las evaluaciones generales de diagnóstico.  Coordinación de la participación del Estado español en las evaluaciones internacionales.  Elaboración del Sistema Estatal de Indicadores de la Educación.  Participación en la elaboración de los indicadores internacionales de la educación  Revista de Educación: publicación científica del MECD para la difusión de los avances en la investigación y en la innovación educativa.  Boletín de Educación: resumen informativo de los temas de mayor relevancia de los últimos informes publicados por el INEE.
  3. 3. ¿Has visto que prueba han hecho? ¿A quién se le habrá ocurrido? Mira este ítem. ¡Qué barbaridad!
  4. 4. LO DESEABLE DE UN SISTEMA EDUCATIVO Currículum Competencias y habilidades para la vida Evaluación
  5. 5. LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN EXTERNA Currículum Competencias y habilidades para la vida Evaluación
  6. 6. Video: Finalidad objetivos y diseño de una prueba http://www.youtube.com/watch?v=QHzpPflDiMY Evaluaciones externas internacionales Curso de formación INEE-INTEF Video: Evaluaciones Externas Internacionales http://www.youtube.com/watch?v=mKTpCsvYJus Video Aplicación y trabajo de campo http://www.youtube.com/watch?v=VL5dl_clJqk Video: Análisis de resultados http://www.youtube.com/watch?v=imTfIyeX7_8 Todas las preguntas PISA liberadas en http://recursostic.educacion.es/inee/pisa
  7. 7. MAPA DE EVALUACIONES INTERNACIONALES Evaluación Externa Internacional Competencias Destinatarios Periodicidad Última realizada OCDE PISA Programa para la Evaluación Internacional de Estudiantes Programme for International Student Assessment Lectora Matemática Científica Alumnos que cumplen 16 años en el año de realización 3 años 2012 Siguiente 2015 TALIS Estudio Internacional de Enseñanza y Aprendizaje Teaching and Learning International Survey Encuesta al profesorado Profesores y directores de Educación Secundaria 5 años 2013 IEA PIRLS Estudio Internacional de Progreso en Comprensión Lectora Progress in International Reading Literacy Study Lectora 4º EP 5 años 2011 Siguiente 2016 TIMSS Estudio International de Matemáticas y Ciencias Trends in International Mathematics and Science Study Matemática Científica 4º EP 4 años 2011 Siguiente 2015 TIMSS ADVANCED Estudio International de Matemáticas y Ciencias Trends in International Mathematics and Science Study Matemáticas y Física avanzadas 2º Bachillerato No definida 2008 Siguiente 2015
  8. 8. EVALUACIONES EXTERNAS INTERNACIONALES
  9. 9. http://pisa-sq.acer.edu.au/showQuestion.php?testId=2295&questionId=5http://www.youtube.com/watch?v=QHzpPflDiMY PONGÁMONOS A PRUEBA
  10. 10. PONGÁMONOS A PRUEBA
  11. 11. PONGÁMONOS A PRUEBA
  12. 12.  Evaluaciones muestrales, cíclicas, a gran escala  Cuadernillo de prueba + cuestionarios de contexto  Rigor metodológico: • Marco teórico: Qué evaluar, elaboración de ítems, distribución de ítems y cuadernillos… • Selección de la muestra • Traducción de materiales, aplicación, corrección, limpieza de datos… • Análisis TRI de las respuestas  Dificultad de los ítems y puntuación lograda por los alumnos  Informes internacionales comparativos RASGOS COMUNES DE LOS ESTUDIOS DE EVALUACIÓN
  13. 13. EJEMPLO DE CONSTRUCCIÓN DE PRUEBAS
  14. 14. ítems Prepilotaje Pilotaje Estudio principal Análisis de resultados Elaboración de una prueba Respuesta de elección múltiple Respuesta cerrada Respuesta abierta construida Respuestas abiertas Matriz de especificaciones EJEMPLO DE CONSTRUCCIÓN DE PRUEBAS estímulo UNIDAD
  15. 15. DESCRIPTOR BLOQUES DE CONTENIDOS • Números • Álgebra • Geometría • Funciones y Gráficas • Estadística y Probabilidad • Contenidos comunes Ejemplo: Contenidos y Procesos para Matemáticas 2º ESO EJEMPLO DE CONSTRUCCIÓN DE PRUEBAS
  16. 16. NIVEL 1 NIVEL 2 NIVEL 3 NIVEL 4 NIVEL 5 NIVEL 6 Mayordificultaddentrodelproceso CONSTRUCCIÓN DE PRUEBAS
  17. 17. CONSTRUCCIÓN DE PRUEBAS
  18. 18. Marcos Teóricos Evaluaciones internacionales ¿Qué es un marco teórico? • Explica lo que trata de medir la evaluación • Objetivos del marco teórico:  Servir de guía para la elaboración de unidades y preguntas  Compartir un lenguaje sobre el que los implicados puedan discutir el tema  Asegurar una continuidad en un estudio a largo plazo  Establecer y hacer públicas las características del programa de evaluación
  19. 19. El Estudio PISA: Marco Teórico Definición de LECTURA en PISA Lectura (competencia lectora) es la comprensión, el uso, la reflexión y el interés por los textos escritos, para conseguir los propios objetivos, desarrollar el conocimiento y el potencial individuales, y participar en la sociedad
  20. 20. El Estudio PISA: Marco Teórico Para elaborar las preguntas, PISA atiende a 4 características de los textos: – Contexto (escolar, personal, profesional, etc) – Tipo (continuo, discontinuo, mixto, múltiple) – Aspecto (acceder y recabar, integrar e interpretar, reflexionar y valorar) – Formato (impreso o digital)
  21. 21. El Estudio PISA: Marco Teórico Tipos de texto Continuo Discontinuo Mixto Múltiple Aspecto  Acceder y recabar información  Integrar e interpretar  Reflexionar y valorar
  22. 22. El Estudio PISA: Marco Teórico Tipos de texto Continuo La información se presenta en frases y párrafos – Argumentativo – Descriptivo – Expositivo – Narrativo Mixto Discontinuo La información se presenta en otros formatos - Tablas - Gráficos - Diagramas - Mapas
  23. 23. El Estudio PISA: Marco Teórico Ejemplo de texto mixto Formado por textos continuos y discontinuos
  24. 24. El Estudio PISA: Marco Teórico Aspectos:  Acceder y recabar información  Integrar e interpretar  Reflexionar y valorar
  25. 25. El Estudio PISA: Marco Teórico Ejemplo de “acceder y recabar información” MACONDO Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios. ¿Cuánto costaba ir al cine en Macondo? o Un centavo o Dos centavos o Tres centavos o Cuatro centavos
  26. 26. El Estudio PISA: Marco Teórico Ejemplo de “integrar e interpretar ” MACONDO Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios. Al final del pasaje, ¿por qué la gente de Macondo decide no volver al cine?
  27. 27. El Estudio PISA: Marco Teórico Ejemplo de “reflexionar y valorar” MACONDO Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios. ¿Estás de acuerdo con el criterio final de la gente de Macondo sobre el valor del cine? Explica tu respuesta comparando tu propia actitud hacia el cine con la de ellos.
  28. 28. La LECTURA en PISA  Sí, estoy de acuerdo, ya hay bastante sufrimiento en el mundo sin que haya que inventárselo.  No, la gente no entiende que cuando vas al cine lo que ocurre en la pantalla no es de verdad.  Depende. Si la peli es “aburrida” me dan ganas de irme, pero si es buena te enganchas y no me importa si no es de verdad. Ejemplo de respuestas de alumnos a la pregunta de “reflexionar y valorar” ¿Estás de acuerdo con el criterio final de la gente de Macondo sobre el valor del cine? Explica tu respuesta comparando tu actitud hacia el cine con la de ellos.
  29. 29. La LECTURA en PISA Educación Secundaria: PISA digital ¿Qué es la lectura digital?  En el siglo XXI, la competencia lectora incluye saber leer en los formatos impreso y digital (o electrónico)  La lectura digital no es sólo leer texto impreso en una pantalla de ordenador  La lectura digital añade al proceso de textos una faceta específica: la navegación
  30. 30. CBA en PISA Educación Secundaria: PISA digital Preguntas liberadas CBA (Computer-Based Assessment) (navegador: Firefox) Lectura http://erasq.acer.edu.au/index.php?cmd=home Matemáticas http://erasq.acer.edu.au/index.php?cmd=toMaths Resolución de Problemas http://erasq.acer.edu.au/index.php?cmd=toProble mSolving
  31. 31. La Lectura en PISA: Ejemplo de unidad
  32. 32. La Lectura en PISA: Ejemplo de unidad
  33. 33. La Lectura en PISA: Ejemplo de unidad
  34. 34. La Lectura en PISA: Ejemplo de unidad
  35. 35. La Lectura en PISA: Ejemplo de unidad
  36. 36. La Lectura en PISA: Ejemplo de unidad
  37. 37. La Lectura en PISA: Ejemplo de unidad
  38. 38. La Lectura en PISA: Ejemplo de unidad
  39. 39. La Lectura en PISA: Ejemplo de unidad
  40. 40. Elaboración de unidades y preguntas La elección de textos y la elaboración de preguntas para evaluar la comprensión lectora ¿Cómo hacer?
  41. 41. Elaboración de preguntas para un estudio a gran escala Redacción preliminar de preguntas Revisión de preguntas Laboratorios cognitivos (Cog Labs) Revisiones de preguntas Revisión externa (países) Pregunta aceptada o rechazada (después de Cog Labs)) Estudio Piloto Análisis psicométrico y revisión Elaboración del marco teórico Pregunta para el Estudio Principal
  42. 42. Elaboración de unidades y preguntas Textos que no sirven: lo que tenemos que evitar Ofender o molestar: • Trauma (accidentes de tráfico, violencia) • Sexo, religión, política u otros temas polémicos o delicados • Mal comportamiento, agresividad, racismo, inmoralidad o irresponsabilidad • Modelos indeseables (drogas, alcohol, inducción a diversos posibles peligros) • Palabrotas Esperar demasiado o demasiado poco de los alumnos: • Textos con lenguaje enrevesado • Textos que ofrecen un conocimiento que los alumnos ya deberían saber • Textos aburridos!!
  43. 43. Elaboración de unidades y preguntas Lo importante es saber elegir un texto Un buen texto… • es interesante y motivador • plantea retos – no es muy fácil ni muy difícil • no plantea retos artificiales (lenguaje retorcido, p.e.) • es (más o menos) igualmente accesible para diferente tipo de alumnos • ofrece oportunidades para plantear cuestiones inquisitivas, cuya respuesta no sea obvia
  44. 44. Elaboración de unidades y preguntas MACONDO Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios. Una frase inicial que nos intriga... ¿¿Qué invenciones?? ¿De qué va esto? ... Algo familiar desde una perspectiva extraña Esto es de locos... ¿Pero hay algo de cierto en ello?
  45. 45. Elaboración de unidades y preguntas Y, por último, lo importante es redactar unidades Una unidad es un grupo de preguntas construidas a partir de un texto / estímulo o parte del mismo
  46. 46. Elaboración de unidades y preguntas ¿Qué caracteriza a una buena unidad? • Las preguntas cubren un amplio espectro de dificultad • Las preguntas responden a distintos aspectos del marco teórico • Cada pregunta es independiente de las demás • El grupo de preguntas consigue llegar al “corazón” del texto
  47. 47. MARCO TEÓRICO DEL ESTUDIO PISA Cambioyrelaciones Expresiones algebraicas, ecuaciones e inecuaciones, representaciones tabulares y gráficas. Representar datos y relaciones utilizando estadísticas. Medidas geométricas. Relaciones entre longitudes de los lados de triángulos. Espacioyforma Reconocer las formas en diferentes representaciones y diferentes dimensiones. Comprender las propiedades de los objetos y sus posiciones relativas. Orientarnos por el espacio y a través de las construcciones y formas. Relación entre formas e imágenes. Representación en dos dimensiones de objetos tridimensionales. La formación de las sombras y cómo interpretarlas. Qué es la perspectiva y cómo funciona. Cantidad Comprensión del tamaño relativo. Reconocimiento de las regularidades numéricas. Utilización de los números para representar cantidades y atributos cuantificables de los objetos del mundo real. Procesamiento y comprensión de los números. Representación de los números de diferentes maneras. Comprensión del significado de las operaciones. Percepción de la magnitud de los números. Cálculos matemáticamente elegantes. La estimación y el cálculo mental Incertidumbreydatos Estadística y probabilidad. Recogida de datos y error en la medida. Análisis y presentación de datos. Deducción. Crear, interpretar y evaluar conclusiones extraídas de situaciones donde se presenta incertidumbre.
  48. 48. PISA. PROCESOS COGNITIVOS FORMULACIÓN matemática EMPLEO de conceptos, datos, procedimientos y razonamientos matemáticos INTERPRETACIÓN, aplicación y valoración de los resultados
  49. 49. PISA. PROCESOS COGNITIVOS FORMULACIÓN EMPLEO INTERPRETACIÓN Comunicación Leer, descodificar e interpretar enunciados, preguntas, tareas, objetos, imágenes o animaciones (en la evaluación electrónica) para crear un modelo mental de la situación Articular una solución, mostrar el trabajo asociado a la obtención de la misma y/o resumir y presentar los resultados matemáticos intermedios Elaborar y presentar explicaciones y argumentos en el contexto del problema Matematización Identificar las variables y estructuras matemáticas subyacentes al problema del mundo real y formular supuestos de modo que puedan utilizarse Utilizar la comprensión del contexto para guiar o acelerar el proceso de resolución matemático, p. ej., trabajando a un nivel de precisión apropiado al contexto Comprender el alcance y los límites de una solución matemática que son el resultado del modelo matemático empleado Representación Crear una representación matemática de información del mundo real Interpretar, relacionar y utilizar distintas representaciones cuando se interactúa con un problema Interpretar los resultados matemáticos en distintos formatos con relación a una situación o uso; comparar o valorar dos o más representaciones con relación a una situación Razonamiento y argumentación Explicar, defender o facilitar una justificación de la representación identificada o elaborada de una situación del mundo real Explicar, defender o facilitar una justificación de los procesos y procedimientos utilizados para determinar un resultado o solución matemática. Relacionar datos para llegar a una solución matemática, hacer generalizaciones o elaborar un argumento de varios pasos Reflexionar sobre la soluciones matemáticas y elaborar explicaciones y argumentos que apoyen, refuten o proporcionen una solución matemática a un problema contextualizado Diseño de estrategias para resolver problemas Seleccionar o diseñar un plan o estrategia para reformular matemáticamente problemas contextualizados Activar mecanismos de control eficaces y sostenidos en un procedimiento con múltiples pasos conducente a una solución, conclusión o generalización matemática Diseñar e implementar una estrategia para interpretar, valorar y validar una solución matemática a un problema contextualizado
  50. 50. MATEMÁTICAS MARCO TEÓRICO DEL ESTUDIO PISA Cambio y relaciones 25 % Espacio y forma 25% Cantidad 25% Incertidumbre y datos 25% Formulación 25% 6,25% 6,25% 6,25% 6,25% Empleo 50% 12,5% 12,5% 12,5% 12,5% Interpretación 25% 6,25% 6,25% 6,25% 6,25%
  51. 51. CIENCIAS MARCO TEÓRICO DEL ESTUDIO PISA Versión on line de PIAAC, Education and Skills on line, modelo de prueba por medios informáticos. http://www.starttest.com/templates/StartTest/esol/demo- launch.htm
  52. 52. MÉTODO DE CORRECCIÓN EECL  Comparación de las producciones de los alumnos con pruebas de referencia (exemplars, copies-étalon). Comparación en relación a dos criterios: comunicación y lenguaje. Ventaja de este método: Neutraliza en gran medida la subjetividad del corrector (severidad-benevolencia) ya que los juicios son comparativos y no absolutos. Corrección de las tareas de nivel B1-B2Corrección de las tareas de nivel A1-A2 Producción escrita
  53. 53. http://www.mecd.gob.es/inee WEB INEE
  54. 54. 1º http://www.mecd.gob.es/inee 2º Ítems liberados de pruebas de evaluación y otros recursos RECURSOS PARA EL PROFESORADO http://www.oecd.org/pisa/test/
  55. 55. BOLETINES DE EDUCACIÓN
  56. 56. PROGRAMA DE VISITAS
  57. 57. Síguenos en Twitter: @educaINEE @sanz_ismael @dcerverao En nuestro blog: http://blog.educalab.es/inee/ Y en slideshare: http://www.slideshare.net/INEE_MECD http://www.mecd.gob.es/inee/ GRACIAS

×