Your SlideShare is downloading. ×
PISA más allá de los datos. Marco teórico. Valencia 24 Julio 2014
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

PISA más allá de los datos. Marco teórico. Valencia 24 Julio 2014

1,417

Published on

PISA OCDE. Jornada "PISA más allá de los datos" 24 de julio de 2014. Marco Teórico

PISA OCDE. Jornada "PISA más allá de los datos" 24 de julio de 2014. Marco Teórico

Published in: Education
0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,417
On Slideshare
0
From Embeds
0
Number of Embeds
12
Actions
Shares
0
Downloads
25
Comments
0
Likes
4
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. SECRETARÍA DE ESTADO DE EDUCACIÓN, FORMACIÓN PROFESIONAL Y UNIVERSIDADES DIRECCIÓN GENERAL DE EVALUACIÓN Y COOPERACIÓN TERRITORIAL http://www.mecd.gob.es/inee David Cervera Consejero Técnico del Área Internacional del INEE @dcerverao Instituto Nacional de Evaluación Educativa MECD PISA, más allá de los datos
  • 2. ¿QUÉ ES INEE? ● El Instituto Nacional de Evaluación Educativa es el organismo responsable de la evaluación del sistema educativo en el Ministerio de Educación, Cultura y Deporte. ● Sus funciones son:  Evaluación general del sistema educativo y realización, en colaboración con las Administraciones educativas, de las evaluaciones generales de diagnóstico.  Coordinación de la participación del Estado español en las evaluaciones internacionales.  Elaboración del Sistema Estatal de Indicadores de la Educación.  Participación en la elaboración de los indicadores internacionales de la educación  Revista de Educación: publicación científica del MECD para la difusión de los avances en la investigación y en la innovación educativa.  Boletín de Educación: resumen informativo de los temas de mayor relevancia de los últimos informes publicados por el INEE.
  • 3. ¿Has visto que prueba han hecho? ¿A quién se le habrá ocurrido? Mira este ítem. ¡Qué barbaridad!
  • 4. LO DESEABLE DE UN SISTEMA EDUCATIVO Currículum Competencias y habilidades para la vida Evaluación
  • 5. LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN EXTERNA Currículum Competencias y habilidades para la vida Evaluación
  • 6. Video: Finalidad objetivos y diseño de una prueba http://www.youtube.com/watch?v=QHzpPflDiMY Evaluaciones externas internacionales Curso de formación INEE-INTEF Video: Evaluaciones Externas Internacionales http://www.youtube.com/watch?v=mKTpCsvYJus Video Aplicación y trabajo de campo http://www.youtube.com/watch?v=VL5dl_clJqk Video: Análisis de resultados http://www.youtube.com/watch?v=imTfIyeX7_8 Todas las preguntas PISA liberadas en http://recursostic.educacion.es/inee/pisa
  • 7. MAPA DE EVALUACIONES INTERNACIONALES Evaluación Externa Internacional Competencias Destinatarios Periodicidad Última realizada OCDE PISA Programa para la Evaluación Internacional de Estudiantes Programme for International Student Assessment Lectora Matemática Científica Alumnos que cumplen 16 años en el año de realización 3 años 2012 Siguiente 2015 TALIS Estudio Internacional de Enseñanza y Aprendizaje Teaching and Learning International Survey Encuesta al profesorado Profesores y directores de Educación Secundaria 5 años 2013 IEA PIRLS Estudio Internacional de Progreso en Comprensión Lectora Progress in International Reading Literacy Study Lectora 4º EP 5 años 2011 Siguiente 2016 TIMSS Estudio International de Matemáticas y Ciencias Trends in International Mathematics and Science Study Matemática Científica 4º EP 4 años 2011 Siguiente 2015 TIMSS ADVANCED Estudio International de Matemáticas y Ciencias Trends in International Mathematics and Science Study Matemáticas y Física avanzadas 2º Bachillerato No definida 2008 Siguiente 2015
  • 8. EVALUACIONES EXTERNAS INTERNACIONALES
  • 9. http://pisa-sq.acer.edu.au/showQuestion.php?testId=2295&questionId=5http://www.youtube.com/watch?v=QHzpPflDiMY PONGÁMONOS A PRUEBA
  • 10. PONGÁMONOS A PRUEBA
  • 11. PONGÁMONOS A PRUEBA
  • 12.  Evaluaciones muestrales, cíclicas, a gran escala  Cuadernillo de prueba + cuestionarios de contexto  Rigor metodológico: • Marco teórico: Qué evaluar, elaboración de ítems, distribución de ítems y cuadernillos… • Selección de la muestra • Traducción de materiales, aplicación, corrección, limpieza de datos… • Análisis TRI de las respuestas  Dificultad de los ítems y puntuación lograda por los alumnos  Informes internacionales comparativos RASGOS COMUNES DE LOS ESTUDIOS DE EVALUACIÓN
  • 13. EJEMPLO DE CONSTRUCCIÓN DE PRUEBAS
  • 14. ítems Prepilotaje Pilotaje Estudio principal Análisis de resultados Elaboración de una prueba Respuesta de elección múltiple Respuesta cerrada Respuesta abierta construida Respuestas abiertas Matriz de especificaciones EJEMPLO DE CONSTRUCCIÓN DE PRUEBAS estímulo UNIDAD
  • 15. DESCRIPTOR BLOQUES DE CONTENIDOS • Números • Álgebra • Geometría • Funciones y Gráficas • Estadística y Probabilidad • Contenidos comunes Ejemplo: Contenidos y Procesos para Matemáticas 2º ESO EJEMPLO DE CONSTRUCCIÓN DE PRUEBAS
  • 16. NIVEL 1 NIVEL 2 NIVEL 3 NIVEL 4 NIVEL 5 NIVEL 6 Mayordificultaddentrodelproceso CONSTRUCCIÓN DE PRUEBAS
  • 17. CONSTRUCCIÓN DE PRUEBAS
  • 18. Marcos Teóricos Evaluaciones internacionales ¿Qué es un marco teórico? • Explica lo que trata de medir la evaluación • Objetivos del marco teórico:  Servir de guía para la elaboración de unidades y preguntas  Compartir un lenguaje sobre el que los implicados puedan discutir el tema  Asegurar una continuidad en un estudio a largo plazo  Establecer y hacer públicas las características del programa de evaluación
  • 19. El Estudio PISA: Marco Teórico Definición de LECTURA en PISA Lectura (competencia lectora) es la comprensión, el uso, la reflexión y el interés por los textos escritos, para conseguir los propios objetivos, desarrollar el conocimiento y el potencial individuales, y participar en la sociedad
  • 20. El Estudio PISA: Marco Teórico Para elaborar las preguntas, PISA atiende a 4 características de los textos: – Contexto (escolar, personal, profesional, etc) – Tipo (continuo, discontinuo, mixto, múltiple) – Aspecto (acceder y recabar, integrar e interpretar, reflexionar y valorar) – Formato (impreso o digital)
  • 21. El Estudio PISA: Marco Teórico Tipos de texto Continuo Discontinuo Mixto Múltiple Aspecto  Acceder y recabar información  Integrar e interpretar  Reflexionar y valorar
  • 22. El Estudio PISA: Marco Teórico Tipos de texto Continuo La información se presenta en frases y párrafos – Argumentativo – Descriptivo – Expositivo – Narrativo Mixto Discontinuo La información se presenta en otros formatos - Tablas - Gráficos - Diagramas - Mapas
  • 23. El Estudio PISA: Marco Teórico Ejemplo de texto mixto Formado por textos continuos y discontinuos
  • 24. El Estudio PISA: Marco Teórico Aspectos:  Acceder y recabar información  Integrar e interpretar  Reflexionar y valorar
  • 25. El Estudio PISA: Marco Teórico Ejemplo de “acceder y recabar información” MACONDO Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios. ¿Cuánto costaba ir al cine en Macondo? o Un centavo o Dos centavos o Tres centavos o Cuatro centavos
  • 26. El Estudio PISA: Marco Teórico Ejemplo de “integrar e interpretar ” MACONDO Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios. Al final del pasaje, ¿por qué la gente de Macondo decide no volver al cine?
  • 27. El Estudio PISA: Marco Teórico Ejemplo de “reflexionar y valorar” MACONDO Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios. ¿Estás de acuerdo con el criterio final de la gente de Macondo sobre el valor del cine? Explica tu respuesta comparando tu propia actitud hacia el cine con la de ellos.
  • 28. La LECTURA en PISA  Sí, estoy de acuerdo, ya hay bastante sufrimiento en el mundo sin que haya que inventárselo.  No, la gente no entiende que cuando vas al cine lo que ocurre en la pantalla no es de verdad.  Depende. Si la peli es “aburrida” me dan ganas de irme, pero si es buena te enganchas y no me importa si no es de verdad. Ejemplo de respuestas de alumnos a la pregunta de “reflexionar y valorar” ¿Estás de acuerdo con el criterio final de la gente de Macondo sobre el valor del cine? Explica tu respuesta comparando tu actitud hacia el cine con la de ellos.
  • 29. La LECTURA en PISA Educación Secundaria: PISA digital ¿Qué es la lectura digital?  En el siglo XXI, la competencia lectora incluye saber leer en los formatos impreso y digital (o electrónico)  La lectura digital no es sólo leer texto impreso en una pantalla de ordenador  La lectura digital añade al proceso de textos una faceta específica: la navegación
  • 30. CBA en PISA Educación Secundaria: PISA digital Preguntas liberadas CBA (Computer-Based Assessment) (navegador: Firefox) Lectura http://erasq.acer.edu.au/index.php?cmd=home Matemáticas http://erasq.acer.edu.au/index.php?cmd=toMaths Resolución de Problemas http://erasq.acer.edu.au/index.php?cmd=toProble mSolving
  • 31. La Lectura en PISA: Ejemplo de unidad
  • 32. La Lectura en PISA: Ejemplo de unidad
  • 33. La Lectura en PISA: Ejemplo de unidad
  • 34. La Lectura en PISA: Ejemplo de unidad
  • 35. La Lectura en PISA: Ejemplo de unidad
  • 36. La Lectura en PISA: Ejemplo de unidad
  • 37. La Lectura en PISA: Ejemplo de unidad
  • 38. La Lectura en PISA: Ejemplo de unidad
  • 39. La Lectura en PISA: Ejemplo de unidad
  • 40. Elaboración de unidades y preguntas La elección de textos y la elaboración de preguntas para evaluar la comprensión lectora ¿Cómo hacer?
  • 41. Elaboración de preguntas para un estudio a gran escala Redacción preliminar de preguntas Revisión de preguntas Laboratorios cognitivos (Cog Labs) Revisiones de preguntas Revisión externa (países) Pregunta aceptada o rechazada (después de Cog Labs)) Estudio Piloto Análisis psicométrico y revisión Elaboración del marco teórico Pregunta para el Estudio Principal
  • 42. Elaboración de unidades y preguntas Textos que no sirven: lo que tenemos que evitar Ofender o molestar: • Trauma (accidentes de tráfico, violencia) • Sexo, religión, política u otros temas polémicos o delicados • Mal comportamiento, agresividad, racismo, inmoralidad o irresponsabilidad • Modelos indeseables (drogas, alcohol, inducción a diversos posibles peligros) • Palabrotas Esperar demasiado o demasiado poco de los alumnos: • Textos con lenguaje enrevesado • Textos que ofrecen un conocimiento que los alumnos ya deberían saber • Textos aburridos!!
  • 43. Elaboración de unidades y preguntas Lo importante es saber elegir un texto Un buen texto… • es interesante y motivador • plantea retos – no es muy fácil ni muy difícil • no plantea retos artificiales (lenguaje retorcido, p.e.) • es (más o menos) igualmente accesible para diferente tipo de alumnos • ofrece oportunidades para plantear cuestiones inquisitivas, cuya respuesta no sea obvia
  • 44. Elaboración de unidades y preguntas MACONDO Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios. Una frase inicial que nos intriga... ¿¿Qué invenciones?? ¿De qué va esto? ... Algo familiar desde una perspectiva extraña Esto es de locos... ¿Pero hay algo de cierto en ello?
  • 45. Elaboración de unidades y preguntas Y, por último, lo importante es redactar unidades Una unidad es un grupo de preguntas construidas a partir de un texto / estímulo o parte del mismo
  • 46. Elaboración de unidades y preguntas ¿Qué caracteriza a una buena unidad? • Las preguntas cubren un amplio espectro de dificultad • Las preguntas responden a distintos aspectos del marco teórico • Cada pregunta es independiente de las demás • El grupo de preguntas consigue llegar al “corazón” del texto
  • 47. MARCO TEÓRICO DEL ESTUDIO PISA Cambioyrelaciones Expresiones algebraicas, ecuaciones e inecuaciones, representaciones tabulares y gráficas. Representar datos y relaciones utilizando estadísticas. Medidas geométricas. Relaciones entre longitudes de los lados de triángulos. Espacioyforma Reconocer las formas en diferentes representaciones y diferentes dimensiones. Comprender las propiedades de los objetos y sus posiciones relativas. Orientarnos por el espacio y a través de las construcciones y formas. Relación entre formas e imágenes. Representación en dos dimensiones de objetos tridimensionales. La formación de las sombras y cómo interpretarlas. Qué es la perspectiva y cómo funciona. Cantidad Comprensión del tamaño relativo. Reconocimiento de las regularidades numéricas. Utilización de los números para representar cantidades y atributos cuantificables de los objetos del mundo real. Procesamiento y comprensión de los números. Representación de los números de diferentes maneras. Comprensión del significado de las operaciones. Percepción de la magnitud de los números. Cálculos matemáticamente elegantes. La estimación y el cálculo mental Incertidumbreydatos Estadística y probabilidad. Recogida de datos y error en la medida. Análisis y presentación de datos. Deducción. Crear, interpretar y evaluar conclusiones extraídas de situaciones donde se presenta incertidumbre.
  • 48. PISA. PROCESOS COGNITIVOS FORMULACIÓN matemática EMPLEO de conceptos, datos, procedimientos y razonamientos matemáticos INTERPRETACIÓN, aplicación y valoración de los resultados
  • 49. PISA. PROCESOS COGNITIVOS FORMULACIÓN EMPLEO INTERPRETACIÓN Comunicación Leer, descodificar e interpretar enunciados, preguntas, tareas, objetos, imágenes o animaciones (en la evaluación electrónica) para crear un modelo mental de la situación Articular una solución, mostrar el trabajo asociado a la obtención de la misma y/o resumir y presentar los resultados matemáticos intermedios Elaborar y presentar explicaciones y argumentos en el contexto del problema Matematización Identificar las variables y estructuras matemáticas subyacentes al problema del mundo real y formular supuestos de modo que puedan utilizarse Utilizar la comprensión del contexto para guiar o acelerar el proceso de resolución matemático, p. ej., trabajando a un nivel de precisión apropiado al contexto Comprender el alcance y los límites de una solución matemática que son el resultado del modelo matemático empleado Representación Crear una representación matemática de información del mundo real Interpretar, relacionar y utilizar distintas representaciones cuando se interactúa con un problema Interpretar los resultados matemáticos en distintos formatos con relación a una situación o uso; comparar o valorar dos o más representaciones con relación a una situación Razonamiento y argumentación Explicar, defender o facilitar una justificación de la representación identificada o elaborada de una situación del mundo real Explicar, defender o facilitar una justificación de los procesos y procedimientos utilizados para determinar un resultado o solución matemática. Relacionar datos para llegar a una solución matemática, hacer generalizaciones o elaborar un argumento de varios pasos Reflexionar sobre la soluciones matemáticas y elaborar explicaciones y argumentos que apoyen, refuten o proporcionen una solución matemática a un problema contextualizado Diseño de estrategias para resolver problemas Seleccionar o diseñar un plan o estrategia para reformular matemáticamente problemas contextualizados Activar mecanismos de control eficaces y sostenidos en un procedimiento con múltiples pasos conducente a una solución, conclusión o generalización matemática Diseñar e implementar una estrategia para interpretar, valorar y validar una solución matemática a un problema contextualizado
  • 50. MATEMÁTICAS MARCO TEÓRICO DEL ESTUDIO PISA Cambio y relaciones 25 % Espacio y forma 25% Cantidad 25% Incertidumbre y datos 25% Formulación 25% 6,25% 6,25% 6,25% 6,25% Empleo 50% 12,5% 12,5% 12,5% 12,5% Interpretación 25% 6,25% 6,25% 6,25% 6,25%
  • 51. CIENCIAS MARCO TEÓRICO DEL ESTUDIO PISA Versión on line de PIAAC, Education and Skills on line, modelo de prueba por medios informáticos. http://www.starttest.com/templates/StartTest/esol/demo- launch.htm
  • 52. MÉTODO DE CORRECCIÓN EECL  Comparación de las producciones de los alumnos con pruebas de referencia (exemplars, copies-étalon). Comparación en relación a dos criterios: comunicación y lenguaje. Ventaja de este método: Neutraliza en gran medida la subjetividad del corrector (severidad-benevolencia) ya que los juicios son comparativos y no absolutos. Corrección de las tareas de nivel B1-B2Corrección de las tareas de nivel A1-A2 Producción escrita
  • 53. http://www.mecd.gob.es/inee WEB INEE
  • 54. 1º http://www.mecd.gob.es/inee 2º Ítems liberados de pruebas de evaluación y otros recursos RECURSOS PARA EL PROFESORADO http://www.oecd.org/pisa/test/
  • 55. BOLETINES DE EDUCACIÓN
  • 56. PROGRAMA DE VISITAS
  • 57. Síguenos en Twitter: @educaINEE @sanz_ismael @dcerverao En nuestro blog: http://blog.educalab.es/inee/ Y en slideshare: http://www.slideshare.net/INEE_MECD http://www.mecd.gob.es/inee/ GRACIAS

×