Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

¿Podemos identificar maestros efectivos al momento de contratación? Las clases de práctica clínica

6,297 views

Published on

Las prácticas clínicas y su potencial como un instrumento útil para la toma de decisiones sobre la contratación y asignación de nuevos docentes.

Published in: Education

¿Podemos identificar maestros efectivos al momento de contratación? Las clases de práctica clínica

  1. 1. ¿Podemosidentificarmaestros efectivosalmomentodecontratación? Lasclasesdeprácticaclínica AlejandroJ.Ganimian*,AndrewD.Ho*&MarianaAlfonso** *UniversidaddeHarvard**BancoInteramericanodeDesarrollo UniversidadAutónomadeMadrid Madrid,España-11defebrerodel2015
  2. 2. Motivación ‣Variosestudioshandemostradoquelosmaestrosefectivosimportan. dos estudiantes promedio 8años 11años 10%con mejores resultados enpruebas 40%con peores resultados enpruebas asignadoa maestroefectivo asignadoamaestroinefectivo dos estudiantes promedio 8años 28años salario promedio +$80,000 aumentode porvido salario promedio unañodeun maestroefectivo unañodeunmaestroinefectivo dos estudiantes promedio 8años 13a19años 13% embarazadas enla adolescencia 12% embarazadas enla adolescencia asignadoa maestropromedio asignadoamaestroefectivodos estudiantes promedio 8años 20años 38%vaala universidad 37%vaala universidad asignadoa maestroefectivo asignadoamaestropromedio Source:Chettyetal.2014, SandersandRivers1996.
  3. 3. Motivación ‣Losdatosquelossistemas escolaresrecolectansobresus docentescuandoloscontratan nopredicesiéstosvanaser docentesefectivos. ‣Losdatosquelos investigadoresrecolectan explicansólounapequeña partedelavariabilidadenla productividaddocente. títulos docentes títulosde postgrado (Clotfelter,etal.,2006,2007; Darling-Hammond,etal.,2001; Darling-Hammond,et.al,2005; Goldhaber&Brewer,2000; Hanushek,etal.,2005; Kaneetal.,2008) (Hanushek,1989; Hanusheketal.,2005; Hanushek&Rivkin,2006; Rivkinetal.,2005) conocimiento pedagógico paracada materia (Gitomer,etal.,2014; Hill,etal.,2011) habilidades socio- emocionales (Duckworth,etal.,2009; Rockoff,etal.,2011)
  4. 4. Motivación ‣Enelmundo,hay35+entradasalternativasaladocenciaque requierendossemanasdeprácticaantesdeejercerlaprofesión: Uruguay Chile Argentina Perú Ecuador Colombia Haití México Estados Unidos Australia NuevaZelanda España India Malasia Filipinas Japón Bangladesh Nepal Qatar Pakistán China Suecia ReinoUnido Estonia Letonia Lituania Alemania Bulgaria Eslovaquia Austria Rumania Bélgica Israel Jordania
  5. 5. Motivación ‣Estudiospreviossugierenque,unavezquelosmaestrosentranal sistema,suefectividadunañopredicesuefectividadenelfuturo. Desempeño anticipado (en desviaciones estándares) -0.10 -0.05 0 0.05 0.10 Desempeñoobservado (endesviacionesestándares) 0.15 0.10 0.05 0 -0.05 -0.10 -0.15 Anticipado = Observado Desempeño anticipado (en desviaciones estándares) -0.10 -0.05 0 0.05 0.10 0.15 0.10 0.05 0 -0.05 -0.10 -0.15 Anticipado = Observado Fuente:Kaneetal.(2013) Matemática Lectura
  6. 6. Preguntas ‣Lasdospreguntasquelainvestigaciónexistentenocontestason: 1) ¿Podemosrealmente distinguirentremaestros efectivoseinefectivos cuandoestosenseñan clasesdepráctica? 2) ¿Podemosusarlasclases deprácticaparapredecirla efectividaddelosmaestros unavezqueentrenal sistemaescolar? Maestro inefectivoen clasedeprueba Maestroefectivo enclasede práctica Maestro efectivoen escuela Maestro efectivoen clasedeprueba
  7. 7. Contexto Etapa1: Postulación porInternet Etapa2: Centrode Evaluación Etapa3: Institutode Verano Etapa4: Añoescolar ‣ Aspirantes completanuna postulaciónpor Internet ‣ Postulantes participanen: - discusióngrupal - entrevista - clase demostración - ejercicioescrito - evaluaciónde pensamiento crítico ‣ Postulantes participanen: - talleresde formación - prácticaclínica ‣ Maestrosenseñan enlasescuelas ‣Unaentradaalternativaaladocencia(EnseñáporArgentinaoExA) tieneunprocesodeseleccióndecuatropasos:
  8. 8. Contexto ‣Encadaetapa,ExAusadiferentesinstrumentos: ‣ ExAcalificalas postulaciones usandorúbricas estructuradas ‣ ExAcalificacada actividaddelcentro deevaluación usandorúbricas estructuradas ‣ ExAcalificaclases deprácticausando: - encuestasde alumnos - observacionesde clase ‣ ExAcalificaclases delañousando: - encuestasde alumnos - observacionesde clase - encuestasde directores Etapa1: Postulación porInternet Etapa2: Centrode Evaluación Etapa3: Institutode Verano Etapa4: Añoescolar
  9. 9. Instrumentos ‣Encadaetapa,ExAevalúadiferentescompetencias: Etapa1: Postulación porInternet liderazgo perseverancia logros
  10. 10. Instrumentos actividades individuales (entrevista,clase demostración, ejercicioescrito, evaluaciónde pensamientocrítico) ‣Encadaetapa,ExAevalúadiferentescompetencias: Etapa2: Centrode Evaluación actividadgrupal (discusióngrupal) organización comunicación pensamiento crítico comunicaciónliderazgo perseverancia aperturaal feedback respetoporla diversidad
  11. 11. Instrumentos observaciones declase ‣Encadaetapa,ExAevalúadiferentescompetencias: Etapa3: Institutode Verano presentación delcontenido verificacióndel entendimiento manejode disciplina procedimientos declase ambientepara elaprendizaje importancia delesfuerzo
  12. 12. Instrumentos encuestasde estudiantes ‣Encadaetapa,ExAevalúadiferentescompetencias: Etapa3: Institutode Verano empatíaporel alumno consolidacióndel entendimiento promociónde nuevasideas magnetismoen supresentación rigor demandado manejode disciplina claridadde exposición
  13. 13. Instrumentos ‣Encadaetapa,ExAevalúadiferentescompetencias: Etapa4: Añoescolar observaciones declase presentación delcontenido verificacióndel entendimiento manejode disciplina procedimientos declase ambientepara elaprendizaje planificación declase oportunidadesde práctica importancia delesfuerzo
  14. 14. Instrumentos ‣Encadaetapa,ExAevalúadiferentescompetencias: Etapa4: Añoescolar encuestasde directores presentación delcontenido verificacióndel entendimiento manejode disciplina planificación declase evaluaciones estudiantiles procedimientos declase importancia delesfuerzo ambientepara elaprendizaje oportunidadesde práctica análisisde resultados seguimiento docente seguimiento estudiantil
  15. 15. Instrumentos ‣Encadaetapa,ExAevalúadiferentescompetencias: Etapa4: Añoescolar encuestasde estudiantes empatíaporel alumno consolidacióndel entendimiento promociónde nuevasideas magnetismoen supresentación rigor demandado manejode disciplina claridadde exposición
  16. 16. Asignación ‣Entodaslasetapas,seasignóaleatoriamentea losmaestrosaquienesobservaronsusclases. sorteopor computadoramaestro#1 observador#1 observador#2 observador#3 pareja asignada aleatoriamente
  17. 17. Asignación ‣Durantelasclasesde,seasignóaleatoriamente alosmaestrosaquienesobservaronsusclases. sorteopor computadoramaestro#1 grupo#1 grupo#2 grupo#3 claseasignada aleatoriamente
  18. 18. Muestra2013 ‣Observamos24maestrosenlacohortedel2013entresetapasy 32maestrosenlacohortedel2014enlascuatroetapas: 2014 Etapa1: Postulación porInternet Etapa2: Centrode Evaluación Etapa3: Institutode Verano Etapa4: Añoescolar
  19. 19. EstrategiaEmpírica 1) LapostulaciónporInternet¿predicelaefectividaddocente? Yi = j + k + t + Xi + ✏ijkt efectosfijos deobservadores enetapa1 efectosfijos deobservadores enetapa4 efectosfijos decohortes desempeñoen postulación (rúbricas estructuradas) efectividad docente (observacionesde clase+encuestas dealumnos+ encuestasde directores)
  20. 20. Resultados ‣El puntaje que los maestros obtienen en la postulación por Internet tiene una relación negativacon su efectividad docente. (1) (2) (3) (4) (5) (6) (7) Etapa 4 Etapa 4 Etapa 4 Etapa 4 Etapa 4 encuestas de alumnos Etapa 4 observaciones de clase Etapa 4 encuestas de directores Etapa 1 -0.0001 -0.689** -0.527** -0.516** -0.697* -0.272 -0.476* (0.181) (0.257) (0.222) (0.221) (0.358) (0.278) (0.266) EF Etapa 1? ✔ ✔ ✔ ✔ ✔ ✔ EF Etapa 4? ✔ ✔ ✔ ✔ ✔ EF Cohortes? ✔ ✔ ✔ ✔ N 47 47 47 47 52 54 51
  21. 21. Resultados ‣Pero el puntaje en la postulación por Internet fue usado para seleccionar maestros. Es posible que haya descartado a los menos efectivos. 0510152005101520 1 2 3 4 5 1 2 3 4 5 Admitido, 2013 Admitido, 2014 No-Admitido, 2013 No-Admitido, 2014 Percent Etapa 1 Graphs by pexa and sel_cohort Losadmitidostienenun mejordesempeño promedioquelosno admitidos Losadmitidostambién varíanmenosensu desempeñoquelosno admitidos Esposiblequepocas diferenciasaestenivel dedesempeñonollevena mayorefectividad docente
  22. 22. EstrategiaEmpírica 2) Elcentrodeevaluación¿predicelaefectividaddocente? Yi = j + k + t + Xi + ✏ijkt efectosfijos deobservadores enetapa2 efectosfijos deobservadores enetapa4 efectosfijos decohortes desempeñoen centrode evaluación (rúbricas estructuradas) efectividad docente (observacionesde clase+encuestas dealumnos+ encuestasde directores)
  23. 23. Resultados (1) (2) (3) (4) (5) (6) (7) Etapa 4 Etapa 4 Etapa 4 Etapa 4 Etapa 4 encuestas de alumnos Etapa 4 observaciones de clase Etapa 4 encuestas de directores Etapa 2 -0.012 0.169 0.114 0.122 0.090 0.311 -0.083 (0.141) (0.207) (0.211) (0.229) (0.211) (0.261) (0.215) EF Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔ EF Etapa 4? ✔ ✔ ✔ ✔ ✔ EF Cohortes? ✔ ✔ ✔ ✔ N 47 47 47 47 52 54 51 ‣No hay una clara relación entre el puntaje de los maestros en el centro de evaluación y su efectividad docente.
  24. 24. Resultados ‣Si se considera sólo el puntaje en las actividades individuales del centro de evaluación, no hay relación alguna con la efectividad docente. (1) (2) (3) (4) (5) (6) (7) Etapa 4 Etapa 4 Etapa 4 Etapa 4 Etapa 4 encuestas de alumnos Etapa 4 observaciones de clase Etapa 4 encuestas de directores Etapa 2 actividades individuales 0.074 0.023 0.0004 0.021 -0.059 0.177 0.064 (0.104) (0.118) (0.108) (0.113) (0.165) (0.128) (0.156) EF Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔ EF Etapa 4? ✔ ✔ ✔ ✔ ✔ EF Cohortes? ✔ ✔ ✔ ✔ N 47 47 47 47 52 54 51
  25. 25. Resultados ‣Estos puntajes también fueron usados para seleccionar a los maestros. Es posible que hayan descartado a los maestros inefectivos. 01020300102030 1 2 3 4 5 1 2 3 4 5 Admitido, 2013 Admitido, 2014 No-Admitido, 2013 No-Admitido, 2014 Percent Etapa 2 (Actividades Individuales) Graphs by pexa and sel_cohort 0510152005101520 1 2 3 4 5 1 2 3 4 5 Admitido, 2013 Admitido, 2014 No-Admitido, 2013 No-Admitido, 2014Percent Etapa 2 (Actividad Grupal) Graphs by pexa and sel_cohort Losmaestrosadmitidosse desempeñaronmejorenlasactividades individuales,peronovaríanmenosque losnoadmitidos Losmaestrosadmitidosse desempeñaronmejoryvaríanmenosen laactividadgrupalquelosnoadmitidos
  26. 26. Resultados (1) (2) (3) (4) (5) (6) (7) Etapa 4 Etapa 4 Etapa 4 Etapa 4 Etapa 4 encuestas de alumnos Etapa 4 observaciones de clase Etapa 4 encuestas de directores Etapa 2 actividad grupal -0.096 -0.101 -0.107 -0.103 -0.265 -0.037 -0.055 (0.108) (0.120) (0.119) (0.122) (0.173) (0.142) (0.157) EF Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔ EF Etapa 4? ✔ ✔ ✔ ✔ ✔ EF Cohortes? ✔ ✔ ✔ ✔ N 47 47 47 47 52 54 51 ‣Si se considera el puntaje en la actividad grupal del centro de evaluación, la relación es negativa, pero no estadísticamente significativa.
  27. 27. Resultados (1) (2) (3) (4) (5) (6) (7) Etapa 4 Etapa 4 Etapa 4 Etapa 4 Etapa 4 encuestas de alumnos Etapa 4 observaciones de clase Etapa 4 encuestas de directores Etapa 2 clase de prueba 0.158 0.122 0.116 0.127 0.101 0.300** 0.097 (0.106) (0.117) (0.106) (0.108) (0.157) (0.116) (0.151) EF Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔ EF Etapa 4? ✔ ✔ ✔ ✔ ✔ EF Cohortes? ✔ ✔ ✔ ✔ N 47 47 47 47 52 54 51 ‣Las clases de prueba del centro de evaluación predicen el desempeño en las observaciones de clase.
  28. 28. EstrategiaEmpírica efectividad docente (observacionesde clase+encuestas dealumnos+ encuestasde directores) 3) Laprácticaclínica¿predicelaefectividaddocente? efectosfijos deobservadores enetapa3 efectosfijos deobservadores enetapa4 desempeñoen prácticaclínica (observacionesde clase+encuestas dealumnos) Yi = j + k + Xi + ✏ijk
  29. 29. Resultados ‣El puntaje en la práctica clínica predice la efectividad docente en las observaciones de clase y encuestas de directores. (1) (2) (3) (5) (6) (7) Etapa 4 Etapa 4 Etapa 4 Etapa 4 encuestas de alumnos Etapa 4 observaciones de clase Etapa 4 encuestas de directores Etapa 3 0.284 0.338 0.435 0.401 1.060** 0.796* (0.216) (0.370) (0.376) (0.631) (0.364) (0.427) EF Etapa 3? ✔ ✔ ✔ ✔ ✔ EF Etapa 4? ✔ ✔ ✔ ✔ N 32 32 32 29 31 29
  30. 30. Resultados ‣La relación entre las encuestas de alumnos en práctica y la efectividad docente es positiva, pero no estadísticamente significativa. (1) (2) (3) (5) (6) (7) Etapa 4 Etapa 4 Etapa 4 Etapa 4 encuestas de alumnos Etapa 4 observaciones de clase Etapa 4 encuestas de directores Etapa 3 encuestas de alumnos 0.215 0.149 0.043 0.238 0.280 0.117 (0.156) (0.231) (0.215) (0.344) (0.259) (0.269) EF Etapa 3? ✔ ✔ ✔ ✔ ✔ EF Etapa 4? ✔ ✔ ✔ ✔ N 26 26 26 29 31 29
  31. 31. Resultados ‣Lo mismo sucede con las observaciones de clase durante práctica. (1) (2) (3) (5) (6) (7) Etapa 4 Etapa 4 Etapa 4 Etapa 4 encuestas de alumnos Etapa 4 observaciones de clase Etapa 4 encuestas de directores Etapa 3 observaciones de clase 0.073 0.076 0.158 0.001 0.412* 0.399 (0.152) (0.196) (0.179) (0.315) (0.228) (0.249) EF Etapa 3? ✔ ✔ ✔ ✔ ✔ EF Etapa 4? ✔ ✔ ✔ ✔ N 26 26 26 29 31 29
  32. 32. EstrategiaEmpírica efectividad docente (observacionesde clase+encuestas dealumnos+ encuestasde directores) 4) Laprácticaclínica¿predicelaefectividaddocente, teniendoencuentaeldesempeñoenetapasprevias? efectosfijos deobservadores enetapa3 efectosfijos deobservadores enetapa4 desempeñoen prácticaclínica (observacionesde clase+encuestas dealumnos) Yi = j + k + Xi + ✏ijkt
  33. 33. Resultados (1) (2) (3) (5) (6) (7) Etapa 4 Etapa 4 Etapa 4 Etapa 4 encuestas de alumnos Etapa 4 observaciones de clase Etapa 4 encuestas de directores Etapa 3 observaciones de clase 0.294 0.462 0.493 0.442 1.089** 0.872** (0.243) (0.405) (0.384) (0.546) (0.380) (0.349) Etapa 1? ✔ ✔ ✔ ✔ ✔ ✔ Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔ EF Etapa 3? ✔ ✔ ✔ ✔ ✔ EF Etapa 4? ✔ ✔ ✔ ✔ N 26 26 26 29 31 29 ‣La práctica clínica predice la efectividad docente aún cuando se tiene en cuenta el puntaje de los maestros en etapas anteriores.
  34. 34. Resultados ‣Las relaciones no varían por cohorte(2013 y 2014). ‣Las relaciones tampoco varían por momento del año en el que se recolectaron los datos (comienzo v. fin de año). ‣Las relaciones no varían por quintil de desempeño en etapas 1 ó 2. - La única relación que varía por quintil de desempeño es aquella entre las etapas 3 y 4 varían por quintil. - La relación entre estas etapas es más estrecha entre los maestros con bajo desempeño en la etapa 3.
  35. 35. 0102030405060708090100 PercentilenEtapa4,2014 0 20 40 60 80 100 Percentil en... Etapa 1 Etapa 2 Etapa 3 Resultados ‣El poder predictivo de la práctica clínica resulta principalmente de poder identificar a quienes serán los maestros menos efectivos. LaEtapa1ylaEtapa2 nopredicendesempeño enlaEtapa4enninguna partedeladistribución LaEtapa3prediceel desempeñoenlaEtapa4 enla“colaizquierda”de ladistribución
  36. 36. Conclusiones ‣En el contexto estudiado, las clases de práctica clínica demuestran promesa para predecir la efectividad docente. - Estas clases agregan información no capturada por el proceso de postulación y selección docente. - Son más útiles para identificar a maestros que van a tenergran dificultad en el sistema escolar y menos útiles para identificar a maestros que van a tener un gran desempeño. - Son más útiles para predecir desempeño en observaciones de clase y encuestas de directores. ‣Las medidas de postulación y selección no predicen diferencias entre individuos que entraron al programa. - Sin embargo, estas variables fueron utilizadas para seleccionar a quienes entraron al programa, así que es posible que hayan dejado fuera individuos que hubiesen sido poco efectivos como maestros.
  37. 37. ¡Muchasgracias! Email:alejandro_ganimian@mail.harvard.edu Sitioweb:http://scholar.harvard.edu/alejandro_ganimian

×