¡Novedades en nuestro @SlideShare!Presentación curso #UIMP:Factores determinantes de la auto-eficacia #docente: su efecto sobre el rendimiento de los estudiantes
Presentación realizada por J. Ignacio García-Pérez Marisa Hidalgo-Hidalgo (Universidad Pablo Olavide) en el curso de la UIMP "Mejorando la Educación entre todos", celebrado en Santander del 30 de Junio al 2 de Julio, en la que se expone el efecto del Plan de Refuerzo, Orientación y Apoyo sobre el rendimiento de los estudiantes.
Este programa nació con el objetivo de apoyar a los centros educativos que atienden a un número significativo de alumnos en situación de desventaja educativa, para mejorar la calidad educativa y los resultados escolares, utilizando para la evaluación de su efecto sobre los resultados académicos de los estudiantes a nivel individual los resultados de pruebas externas al centro (PISA 2012) y datos de centros que no han formado parte del programa.
Similar to ¡Novedades en nuestro @SlideShare!Presentación curso #UIMP:Factores determinantes de la auto-eficacia #docente: su efecto sobre el rendimiento de los estudiantes
1.6 revista mexicana de investigación educativa.pptxDaii Castillo
Similar to ¡Novedades en nuestro @SlideShare!Presentación curso #UIMP:Factores determinantes de la auto-eficacia #docente: su efecto sobre el rendimiento de los estudiantes (20)
Desarrollo y Aplicación de la Administración por Valores
¡Novedades en nuestro @SlideShare!Presentación curso #UIMP:Factores determinantes de la auto-eficacia #docente: su efecto sobre el rendimiento de los estudiantes
1. J. Ignacio García-Pérez Marisa Hidalgo-Hidalgo
(Universidad Pablo de Olavide, Sevilla)
UIMP (Santander) Julio 1-2, 2014
Evaluación de PROA: su efecto sobre el
rendimiento de los estudiantes
2. 2/29
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
Motivación
Aumento competencia internacional interés diferencias en
los resultados académicos entre países centro del debate
educativo: medidas para mejorar la calidad del sistema
educativo español.
Esta calidad se refleja en:
los resultados que obtienen los alumnos.
y en la eficacia de las acciones dirigidas a alcanzar la igualdad de
oportunidades.
Entre todas las medidas tomadas para mejorar la calidad:
programa de apoyo dirigido a centros con estudiantes de origen
socioeconómico bajo (PROA)
Introducción
3. 3/29
¿Qué es PROA?
Plan de Refuerzo, Orientación y Apoyo destinado a
centros de Primaria y Secundaria.
Objetivo: apoyar a los centros educativos que atienden a
un número significativo de alumnos en situación de
desventaja educativa, para mejorar la calidad educativa y
los resultados escolares.
Modalidades:
A) Programa de Acompañamiento Escolar
B) Programa de Apoyo y Refuerzo
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
Introducción
4. 4/29
¿Qué es PROA?
A) Programa de Acompañamiento Escolar
Centros de Primaria y Secundaria
Apoyo en pequeños grupos y horario extraescolar
Monitores o profesores del propio centro
Dirigido a:
Primaria: Alumnos de dos últimos ciclos, seleccionados
por el tutor.
Secundaria: Alumnos de cualquier ciclo, seleccionados
por el equipo de profesores y el tutor.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
Introducción
5. 5/29
¿Qué es PROA?
B) Programa de Apoyo y Refuerzo
Centros de Secundaria
Apoyo global al centro
Conjunto de actuaciones sobre el ámbito escolar, familiar
y del entorno
Dirigido a:
Centros que se encuentran en entornos difíciles y con
una proporción elevada de alumnos con dificultades.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
Introducción
6. 6/29
Objetivo estudio
Actualmente existe cierta evaluación previa:
Porcentaje de alumnos que promocionan, que abandonan, etc.
Grado de satisfacción de los agentes implicados (monitores o
profesores, tutores, coordinadores, alumnos, familias, equipo
directivo y jefes de departamento)
Evaluar efectividad PROA en sobre los resultados académicos de
los estudiantes a nivel individual.
Utilizaremos resultados de pruebas externas al centro: PISA
2012.
Compararemos los resultados de centros con características
similares que se diferencian en que unos han tenido PROA en el
periodo 2005-2012 y otros no.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
Introducción
7. 7/29
Literatura previa
Evaluaciones de políticas educativas consistentes en clases de
recuperación, apoyo o refuerzo dirigidas a estudiantes con bajo
rendimiento educativo (remedial education)
Problema: estas políticas son difíciles de evaluar debido al
problema de selección muestral:
Las características personales de estos estudiantes afectan
tanto a la probabilidad de ser seleccionados como al éxito del
programa.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
Introducción
8. 8/29
Literatura previa
Distingue entre tres tipos de efectos:
Corto plazo: Lavy and Schlosser, 2005; Jacob and Lefgren, 2004;
Hanushek et al., 2002; Banerjee et al., 2007.
Largo plazo: ¿Desaparece el efecto tras el programa?
Banerjee et al., 2007 encuentran que, sólo un año después de la
finalización del programa, su efecto desaparece.
Duración/ Intensidad: ¿El efecto de este tipo de intervenciones es
acumulativo?
Banerjee et al., 2007 también encuentran que, aquellos estudiantes que
participaron en el programa durante dos años consecutivos, pudieron
experimentar incrementos en su capital humano que aumentaron sus
puntuaciones académicas en los dos años siguientes.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
Introducción
9. 9/29
Literatura previa
Estos resultados sugieren que este tipo de programas pueden ser
efectivos en la reducción de las diferencias de rendimiento
académico entre estudiantes con diferentes características socio-
económicas,
…pero que los diseñadores de políticas deben tener como objetivo
intervenciones de largo plazo.
Así, siguiendo esta literatura en este trabajo analizaremos los
efectos de PROA en el corto y largo plazo, así como el efecto de la
intensidad de la intervención.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
Introducción
10. 10/29
Principales resultados
1) En general PROA tiene efectos positivos, aunque reducidos,
sobre el rendimiento académico de los alumnos: ambas
modalidades de PROA mejoran los resultados sobre todo en
lectura, tanto en el corto como en el largo plazo.
2) La modalidad PAE (Programa de Acompañamiento) es la más
efectiva en el Corto Plazo. En el largo Plazo el PAR (Programa de
refuerzo) es el programa PROA más efectivo.
3) El efecto de las intervenciones a través de PROA es
acumulativo: los estudiantes que se encuentran en centros que
recibieron PROA uno o dos años más obtienen mejores
resultados que el resto.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
Introducción
14. 14/29
Análisis descriptivo
Centros PROA-PISA 2012: 2008-2012
Por lo tanto tenemos varios tipos de centros:
No han sido tratados con PROA ningún año.
Han sido tratados con PROA-Acompañamiento de éstos
tenemos el número de cursos que han participado en dicho
programa
Han sido tratados con PROA-Refuerzo de éstos tenemos el
número de cursos que han participado en dicho programa
Han participado en ambos programas también tenemos el
número de años que lo han hecho.
Compararemos centros tratados con centros no tratados
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
15. 15/29
Análisis descriptivo
PISA 2012
Resultados académicos: lengua, matemáticas y ciencias
Variables que utilizamos como controles:
Individuales: sexo, estatus inmigrante, si es alumno repetidor o
no, si ha asistido a educación infantil o no
Socio-familiares: educación y ocupación de los padres
Centro educativo: porcentaje estudiantes del centro cuyos
padres tienen estudios superiores
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
19. 19/29
El principal problema para evaluar este programa es que la
selección de los individuos tratados no es aleatoria.
Por tanto, los individuos tratados y no tratados pueden diferir en
otras características, diferentes de la asignación o no al tratamiento.
Si no se tienen en cuenta dichas características, se podría estar
atribuyendo de forma espúrea al tratamiento un efecto sobre la
variable de interés que realmente es debido a la influencia de otras
características.
Por tanto, para poder obtener efectos causales es necesario
controlar por las diferencias entre individuos tratados y no
tratados.
El objetivo con el matching es el de emparejar cada participante con
aquellos no participantes similares a él es como si
construyéramos un experimento con datos no experimentales.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
Metodología: matching (emparejamiento)
20. 20/29
Una vez tenemos individuos tratados y controles con los mismos
valores en cuanto a la probabilidad de ser tratados (haber recibido
PROA), evaluamos el efecto de la política mediante tres
metodologías distintas:
Estratificación:
Se construyen intervalos de tratados y controles con igual probabilidad
de ser tratados.
Vecino más cercano:
Asigna un peso de 1 al control más cercano al tratado en cuestión y cero
al resto de controles.
Radio:
Usa todos los controles de un entorno cercano al tratado para construir
la comparación
Asigna pesos diferentes a cada observación dentro del entorno, siendo
los pesos menores cuanto mayor es la distancia del tratado en cuestión.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
Metodología: matching (emparejamiento)
21. 21/29
Metodología: matching
Nos centramos en una muestra restringida (estudiantes
cuya puntuación en PISA, matemáticas, ciencias y lectura,
está por debajo de la mediana).
Variables que se evalúan:
puntuación en PISA en cada una de las materias (diferencia entre
el grupo de control y el de tratamiento): “Mates”, “Ciencias” y
“Lectura”
probabilidad de estar en el percentil 25 de la distribución de
resultados en PISA (diferencia entre el grupo de control y el de
tratamiento): “Mates25”, “Ciencias25” y “Lectura25”.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
22. 22/29
Resultados: corto plazo
El PAE (Programa de acompañamiento) es más efectivo que el PAR (Programa de
refuerzo) en el Corto Plazo.
Destacan los efectos positivos del PAE sobre los resultados de Lectura, tanto la
puntuación como la probabilidad de salir del percentil más bajo.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
23. 23/29
Resultados: largo plazo
El PAR (Programa de refuerzo) es más efectivo que el PAE (Programa de
acompañamiento en el Largo Plazo.
Destacan los efectos positivos del PAR sobre los resultados de Ciencias y Lectura,
tanto la puntuación como la probabilidad de salir del percentil más bajo.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
24. 24/29
Resultados: intensidad/duración
Si el PAE se mantiene 3 cursos en lugar de 2 esto implica mejoras en los
resultados de Matemáticas.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
25. 25/29
Resultados: intensidad/duración
Si el PAR se mantiene 4 cursos en lugar de 2 esto implica mejoras en los
resultados de Lectura.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
26. 26/29
Conclusiones
1) El PAE (Programa de acompañamiento) es más efectivo
que el PAR (Programa de refuerzo) en el Corto Plazo.
2) Sin embargo, el PAE (Programa de acompañamiento) es
menos efectivo que el PAR (Programa de refuerzo) en el
Largo Plazo.
3) Esto puede deberse a las características de cada
programa:
a) mientras el PAE implica acciones inmediatas durante el curso
académico (clases extra) cuyos efectos también deben serlo…
b) …el PAR puede implicar realizar inversiones adicionales
(material escolar, bibliotecas, laboratorios, etc.) por parte de
los centros, cuyos efectos son más visibles en el largo plazo,
cuando se termina de implementar el programa.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
27. 27/29
Conclusiones
4) Los efectos del PAE son más fuertes en Matemáticas y
Lectura.
Esto puede deberse de nuevo a las características propias del
programa (clases extra de asignaturas que requieren un mayor
esfuerzo)
5) Los efectos del PAR son más fuertes en Ciencias y
Lectura.
De nuevo, en la medida que los recursos complementarios que
recibe el centro los destina a mejoras en las instalaciones:
biblioteca, laboratorios, etc. esto podría implicar mejoras en estas
materias.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
28. 28/29
Conclusiones
6) El efecto de estas intervenciones es acumulativo:
Los alumnos que se encuentran en centros que
tuvieron PAR dos años más (4 en lugar de 2) tienen
mejores resultados.
Estos mejores resultados son más evidentes en Lectura.
Los alumnos que se encuentran en centros que
tuvieron PAE un año más (4 en lugar de 3, o 3 en
lugar de 2) tienen mejores resultados.
Estos mejores resultados son más evidentes en Matemáticas y
Ciencias.
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
29. 29/29
Conclusiones
7) Cautela: es muy complicado establecer
relaciones causales en general en este tipo de
programas.
8) Importante: disponer de más y mejores datos
relativos a su implementación:
Criterios específicos de selección del centro
Número de alumnos implicados
Modalidad concreta
Etc..
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014