Carrasco sanmartin

909 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
909
On SlideShare
0
From Embeds
0
Number of Embeds
189
Actions
Shares
0
Downloads
15
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Carrasco sanmartin

  1. 1. ¿Están los cuasi mercados de educación logrando su propósito en Chile?Re-examinando hipótesis desde modelos de valor agregado Alejandro Carrasco∗ y Ernesto San Martín∗,‡,† ∗ Facultad de Educación, Pontificia Universidad Católica de Chile ‡ Centro de Medición MIDE UC † Departamento de Estadística, Pontificia Universidad Católica de Chile Seminario sobre Elección de Escuelas, Competencia y Resultados Estudios de Economía, Departamento de Economía, Universidad de Chile CEPPE, Pontificia Universidad Católica de Chile Santiago, Septiembre 12, 2011
  2. 2. Motivación ¿Por qué re-examinar las hipótesis de fondo de los mecanismos de cuasi-mercado en educación? Son una política educativa (i.e., contingente). Treinta años de funcionamiento. Examen ex-post: política implementada sin evidencia de base. Política implementada sin deliberación pública.
  3. 3. Antecedentes Replantearse lo que sabemos sobre el impacto de los vouchers: Diferencias de rendimiento entre colegios públicos y privados: evidencia mixta, levemente a favor de colegios particulares subvencionados (Gallego & Sapelli, 2003; McEwan, 2003; Mizala & Romaguera, 2000; Bellei, 2007; Paredes & Drago, 2011). Impacto en segregación escolar del sistema escolar: concluyente (Mizala & Romagera, 2000; Carnoy, 1998; Hsieh & Urquiola, 2006; Valenzuela et al 2008; Elacqua, 2009). Libertad de elección por parte de las familias: incipiente evidencia y controversial. Padres eligen por cercanía (Elacqua, 2009), calidad (Chamucero et al, 2008; Gallego, 2006), composición social pares (Elacqua & Schneider, 2006), families escogidas por escuelas (Contreras et al, 2007).
  4. 4. Preguntas de Interés Pregunta 1: En términos de efectividad escolar, ¿existen diferencias entre colegios municipalizados (MUN) y colegios particulares subvencionados (PS)? Hipótesis de cuasi-mercado: La existencia de diversos proveedores que compiten por capturar los vouchers los estimulará a mejorar su desempeño, siendo los proveedores privados quienes responderán de manera más eficiente y así ofreciendo una educación de mejor calidad. Pregunta 2: Al buscar el bienestar de sus hijos/as, ¿están los padres y apoderados eligiendo las escuelas más efectivas? Hipótesis de cuasi-mercado: Buscando el bienestar de sus hijos/as, los padres y apoderados elegirán escuelas de mejor calidad, y retirarán a sus hijos/as de las que no lo son.
  5. 5. Características de la Información Disponible Características de la información sobre la cual podemos ofrecer respuestas: Datos observacionales en oposición a datos experimentales. No hay asignación aleatoria de estudiantes en escuelas. Existe información socio-económica y cultural tanto a nivel de estudiantes como a nivel de escuela. Existen dos mediciones estandarizadas a nivel de estudiantes: la primera tomada en 2004 y la segunda tomada en 2006.
  6. 6. Herramientas de Modelamiento Modelamiento de datos observacionales: la información subyacente al fenómeno estudiado es caracterizada por medio de relaciones estructurales de dependencia entre las variables que capturan dicha información. Conditional independence is the key concept of structural modelling (Novick, 1979). Condicionalización: sean X , Y y Z tres conjuntos de variables. E(Y | X , Z ): La predicción de Y por (X , Z ). X ⊥ Y | Z : X depende de (Y , Z ) por medio de Z sólo, siendo Y ⊥ redundante (relación es simétrica en X e Y ). Ejemplo: un procedimiento de selección universitaria (X ) puede depender del sexo del candidato (Y ) y del puntaje Z en una prueba de selección. Un procedimiento justo está caracterizado por X ⊥ Y | Z . ⊥
  7. 7. Información Disponible Puntaje SIMCE Matemáticas 2006 de estudiante i de colegio j: Yij . Puntaje SIMCE Matemáticas 2004 de estudiante i de colegio j: Xij . Sexo, Repitencia con anterioridad a 2006 (y, por tanto, a 2004), Cambio de colegio entre 2004 y 2006. Efecto composicional X •j , promedio de SIMCE 2004 de estudiantes de colegio j en 2006. Grupo socio-económico de la escuela, Proporción de Selectividad. Las covariables tanto individuales como a nivel de escuela serán denotados por T j . En cada caso, se explicitará qué variables específicas se incluye.
  8. 8. Estructura Básica de Modelamiento Efecto escuela θj : corresponde a un efecto no-observable. Una vez que se fijan las covariables T j , el efecto θj permite explicar la dependencia entre los puntajes Yij ’s: Yij ⊥ Yi j | T j , θj . ⊥ Interpretación: la dependencia entre los puntajes individuales se debe tanto a las covariables T j , como al efecto escuela θj , y no a cierta influencia directa entre los estudiantes. Si se asume que E(Yij | Tj , θj ) = f (Tj ) + θj , la dependencia inducida se reduce a una correlación positiva entre los puntajes Yij ’s (controlando por las covariables T j ).
  9. 9. Estructura Básica de Modelamiento Descomposición básica de Yij : Yij = E(Yij | T j ) + E(Yij | T j , θj ) − E(Yij | T j ) + Yij − E(Yij | T j , θj ) Modelo Valor agregado Error de medición Estadístico VAj ij Por construcción, los componentes a la derecha de la igualdad anterior están no-correlacionados. En T j es necesario incluir las variables que representen los procesos de selección realizados por las escuelas, además del puntaje inicial Xij . Practicamente todas las aproximaciones metodológicas que tienen por objetivo modelar efectividad escolar (en particular, todas las que aparecen en el meta-análisis de Drago & Paredes, 2011) pueden describirse estructuralmente en los términos anteriores.
  10. 10. Modelos sin Puntaje Previo Una forma de estimar la efectividad de una escuela ha sido por medio del uso de Modelos Lineales Jerárquicos (HLM). Conceptualmente, el error de medición ij está “separado” del valor agregado VAj pues, po rconstrucción„ la correlación entre ambos es nula. Sin embargo, en estos modelos no se ha incluido como covariable un puntaje inicial medido con anterioridad al puntaje Yij . Esto se debe al hecho que, hasta antes de 2006, en Chile no existían medidas repetidas a nivel de estudiante.
  11. 11. Modelos sin Puntaje Previo La falta de puntaje inicial tiene consecuencias sobre la estructura básica de los modelos: Yij = E(Yij | T j ) + E(Yij | T j , θj ) − E(Yij | T j ) + Yij − E(Yij | T j , θj ) = Tjβ + PVAj + ij donde, por ejemplo, T j = (GSEj , Prop.Selectj , Sexoij , Cambioij , Repiteij .Ed. Madreij , Ed.Padreij ) Aquí, PVAj representa una pseudo-efectividad de la escuela j.
  12. 12. Modelos sin Puntaje Previo La base de datos SIMCE 2004-2006 incluye 163.286 estudiantes, repartidos en 1.886 colegios. Se estimó la pseudo-efectividad PVAj y se clasificaron las escuelas en 4 grupos de acuerdo a los cuartiles de la disttribución empírica de dichos indicadores: Grupo 1: escuelas con valor agregado menores o iguales al primer cuartil. Grupo 2: escuelas con valor agregado mayores que el primer cuartil y menores o iguales que la mediana. Grupo 3: escuelas con valor agregado mayores que la mediana y menores o iguales que el tercer cuartil. Grupo 4: escuelas con valor agregado mayores que el tercer cuartil. Reportamos los resultados por medio de tablas de contingencia condicional.
  13. 13. Modelos sin Puntaje Previo Tabla de contingencia dependencia dada pseudo-efectividad: Grupo 1 Grupo 2 Grupo 3 Grupo 4 (MUN | Pseudo-Efect) 30,3 % 29,9 % 32,4 % 34,2 % (PS | Pseudo-Efect) 63,1 % 53,1 % 49,9 % 56,5 % (PP | Pseudo-Efect) 6,6 % 17,0 % 17,7 % 9,3 % Tabla de contingencia pseudo-efectividad dada dependencia: MUN PS PP (Grupo 1 | Dependencia) 23,9 % 28,4 % 13,0 % (Grupo 2 | Dependencia) 23,6 % 23,8 % 33,6 % (Grupo 3 | Dependencia) 25,4 % 22,3 % 34,9 % (Grupo 4 | Dependencia) 27,1 % 25,5 % 18,5 %
  14. 14. Modelos sin Puntaje Previo PVAj corresponde a una pseudo-efectivdsd pues conceptualmente: PVAj incluye el efecto composicional X •j y, en consecuencia, está correlacionado con las covariables T ij . El error de medición ij incluye el puntaje inicial Xij y, en consecuencia, está correlacionado con PVAj . Por lo tanto, las estimaciones de efectividades de escuela están sesgadas.
  15. 15. Modelamiento de Valor Agregado Considerar el puntaje inicial significa contemplar un aspecto educacional relevante: el aprendizaje que los estudiantes experimentaron entre una y otra medición. Estimar el valor agregado de una escuela significa estimar la contribución de ésta al aprendizaje de cada estudiante. Dada la actual disponibilidad de datos, buscamos conectar la evaluación de los cuasi-mercados educacionales con el concepto sustantivo de efectividad escolar.
  16. 16. Modelamiento de Valor Agregado Hipótesis 1: θj representa los aspectos educacionales no-observables del colegio j. Hipótesis 2: Zj = (GSEj , Prop.Selectj ) representa los aspectos socio-selectivos de la escuela j. Hipótesis 3: θj ⊥ Zj . ⊥ Es decir, consideramos que Zj no es informativo para determinar θj , e inversamente. Si lo fuera, asumiríamos que los aspectos socio-selectivos son suficientes para determinar la totalidad de los aspectos educacionales del colegio.
  17. 17. Modelamiento de Valor Agregado Covariables educacionales: el puntaje inicial Xij y el efecto composicional X •j . Bajo estas hipótesis, los aspectos educacionales θj están correlacionados con (Xij , X •j ). Es necesario separar estos dos aspectos. Hipótesis 4: (Ed. Padrej , Ed. Madrej ) ⊥ θj | Zj , ⊥ es decir, el nivel educacional de padre y de madre depende de (θj , Zj ) sólo por medio de los aspectos socio-selectivos del colegio, siendo θj redundante.
  18. 18. Modelamiento de Valor Agregado Bajo las hipótesis anteriores, se deduce que (Ed. Padrej , Ed. Madrej ) ⊥ θj , ⊥ por lo que (Ed. Padrej , Ed. Madrej ) es un buen candidato para ser variable instrumental. Además, están correlacionados con las otras covariables exógenas. Usando la metodología desarrollada por Manzi, Van Bellegem & San Martín (2011), se estimaron los indicadores de valor agregado.
  19. 19. Modelamiento de Valor Agregado ¿Cuál es el impacto del puntaje previo sobre la estimación de efectividad escolar? Modelo sin Puntaje Inicial (PVAj ) Grupo 1 Grupo 2 Grupo 3 Grupo 4 Modelo con Grupo 1 216 119 77 57 Puntaje Grupo 2 127 116 125 106 Inicial Grupo 3 82 127 132 131 (VAj ) Grupo 4 47 109 135 180 El 65.8 % de las escuelas cambió su clasificación: el 33.2 % subió su clasificación inicial definida con PVAj , mientras que el 32.6 % bajó su clasificación inicial con PVAj .
  20. 20. Modelamiento de Valor Agregado Municipalizados: el 65.4 % cambió su clasificación con respecto a PVAj . Modelo sin Puntaje Inicial (PVAj ) Grupo 1 Grupo 2 Grupo 3 Grupo 4 Modelo con Grupo 1 58 36 30 18 Puntaje Grupo 2 45 37 36 35 Inicial Grupo 3 30 40 51 48 (VAj ) Grupo 4 10 28 35 61 Particulares Subvencionados: el 71.3 % cambió su clasificación con respecto a PVAj . Modelo sin Puntaje Inicial (PVAj ) Grupo 1 Grupo 2 Grupo 3 Grupo 4 Modelo con Grupo 1 142 64 30 29 Puntaje Grupo 2 79 62 67 54 Inicial Grupo 3 49 68 58 74 (VAj ) Grupo 4 28 56 79 11
  21. 21. Modelamiento de Valor Agregado Particulares Pagados: el 73.1 % cambió su clasificación con respecto a PVAj . Modelo sin Puntaje Inicial (PVAj ) Grupo 1 Grupo 2 Grupo 3 Grupo 4 Modelo con Grupo 1 16 19 17 10 Puntaje Grupo 2 3 17 22 17 Inicial Grupo 3 3 19 23 9 (VAj ) Grupo 4 9 25 21 8 Resumiendo, PVAj ↑ VAj VAj ↓ PVAj MN 31.4 % 33.9 % PS 37.8 % 33.5 % PP 33.6 % 39.5 %
  22. 22. Modelamiento de Valor Agregado Tabla de contingencia dependencia dada efectividad: Grupo 1 Grupo 2 Grupo 3 Grupo 4 (MN | Efectividad) 30,3 % 32,3 % 35,8 % 28,5 % (PS | Efectividad) 56,5 % 55,3 % 52,8 % 58,2 % (PP | Efectividad) 13,2 % 12,4 % 11,4 % 13,4 % Tabla de contingencia efectividad dada dependencia: MN PS PP (Grupo 1 | Dependencia) 23,7 % 25,2 % 26,1 % (Grupo 2 | Dependencia) 25,6 % 25,0 % 24,8 % (Grupo 3 | Dependencia) 28,3 % 23,7 % 22,7 % (Grupo 4 | Dependencia) 22,4 % 26,1 % 26,5 %
  23. 23. Elección de Escuelas y Efectividad Escolar De los 1886 establecimientos bajo estudio, hay 601 que albergan a estudiantes nuevos. Se trata 79.073 estudiantes repartidos sólo en colegios MUN y PS. En el cuestionario de padres y apoderados de 2006 hay información acerca de las razones por las cuales padres y apoderados han escogido el colegio en el que han sido medidos los estudiantes. Para la submuestra mencionada, dichas razones tienen un horizonte temporal de al menos dos años.
  24. 24. Elección de Escuelas y Efectividad Escolar Por medio de análisis factoriales exploratorios, se pudieron determinar tres razones: Calidad: buen SIMCE; buena PSU; Prestigio; GSE. Acceso: cercanía de colegio; único en la comuna; costo accesible. Familia: miembros de la familia ya están en el colegio.
  25. 25. Elección de Escuelas y Efectividad Escolar Con la información disponible, podemos ofrecer una primera aproximación descriptiva. Las correlaciones de los indicadores de valor agregado y la proporción (a nivel de colegio) de padres que lo escoge por calidad es igual a 0.03 (pero no es estadísticamente significativa). Las correlaciones de los indicadores de valor agregado y la proporción (a nivel de colegio) de padres que lo escoge por acceso es igual a 0.02 (pero no es estadísticamente significativa). Patrones similares se obtienen si dichas correlaciones se calculan por dependencia.
  26. 26. Elección de Escuelas y Efectividad Escolar Si dichas correlaciones se calculan parra cada uno de los grupos de efectividades definidos anteriormente, se observa las siguientes correlaciones estadísticamente significativas: Para el Grupo 2, la correlación entre efectividad y el factor acceso es 0.3. Para el Grupo 4, la correlación entre efectividad y el factor acceso es 0.17.
  27. 27. Implicaciones Conceptules y Metodológicas La evaluación del impacto del esquema de cuasi-mercado educacional requiere metodologías basadas en efectividad sustantiva. De esta manera, la atención se focaliza sobre efectividad escolar en términos de valor agregado, en lugar de diferencias de desempeño. Para ello, es necesario conectar dos tradiciones de investigación educacional desconectadas ante un objeto común. Los modelos de valor agregado se caracterizan por incluir como variable explicativa el puntaje inicial. En este tipo de modelos es importante considerar la naturaleza observacional de los datos y, por tanto, explicitar las hipótesis estructurales subyacentes al análisis.
  28. 28. Implicaciones Conceptules y Metodológicas Las limitaciones tanto de mediciones longitudinales, como conceptuales, reconfiguran nuestra óptica de clasificación de escuelas: un 65.8 % de las escuelas ha sido reclasificada en términos de efectividad al considerar modelos de valor agregado. Al considerar las diferentes dependencias educacionales, la conclusión es similar. Re-definir efectividad escolar (calidad educacional) y su medición: Estimar la contribución de las escuelas, en términos de agregación de valor, en el desarrollo integral de todos y cada uno de sus alumnos, más allá de lo que sería previsible teniendo en cuenta su rendimiento inicial y su situación social, cultural y económica.
  29. 29. Re-examinando supuestos de mercado educacional Los proveedores privados no son más eficientes: Los privados (PS y PP) no lo hacen ni mejor ni peor que los municipales en términos de agregación de valor. PS proporcionalmente mayor en grupo de menor agregación de valor (56,5 %). Pese a restricciones económicas y organizacionales, un cuarto de las escuelas municipalizadas son muy efectivas. La competencia no redunda en efectividad (calidad): Provisión mixta contribuyó en cobertura, pero no en efectividad (calidad). Enorme dispersión de efectividad (calidad), no de proyectos educativos. Presión competitiva por vouchers parece no haber expulsado del sistemas las escuelas no-efectivas.
  30. 30. Re-examinando supuestos de mercado educacional Mecanismo de “accountability corta” estático: La definición de las familias de una escuela de calidad es idiosincrática (sólo homología semántica). El principio regulador del desempeño de las escuelas desde el lado de la demanda es desconocido. Reguladores son necesarios ante espirales opuestos de desempeño con fondos públicos: Muchas escuelas efectivas sobre-exigidas al máximo. Muchas escuelas, a la vez, muy inefectivas, operando de modo invisible bajo tolerancia del sistema. Familias con un poder de decisión sobre un sistema con máxima opacidad sobre términos calidad educacional.
  31. 31. Implicaciones de Política Pública Re-balancear papel excesivo de auto-regulación de mercados educacionales, implementando una suerte de accountability larga. Consenso político de qué tipo de información es necesario medir a fin de remediar en el modelamiento estadístico de valor agregado la falta de asignación aleatoria de alumnos en escuelas (GSE, procedimientos de selectividad, . . . ). Clasificación de escuelas: ¿podemos atribuir a las escuelas la responsabilidad por sus resultados desconociendo si agregan o no valor? Responsabilización justa del desempeño de las escuelas. Políticas que apunten a caracterizar escuelas efectivas (efectividad sustantiva), para así construir capacidades (mejora escolar).
  32. 32. Esta presentación está principalmente basada en Are quasi-markets ineducation meeting their policy in Chile? Re-examining empirical hypothesis fromvalue-added models, por A. Carrasco & E. San Martín.También se ha utilizado el trabajo School System Evaluation by Value AddedAnalysis Under Endogeneity, por J. Manzi, E. San Martín & S. Van Bellegem.Estos trabajos, como esta presentación, han sido parcialmente financiados porel Proyecto FONDECYT No. 1110315 School Effectiveness and Value AddedModels: From Quantitative Analysis to Qualitative Outcomes.

×