1. Métodos e instrumentos para la Evaluación
de programas de intervención social y
educativa
Taller pre-congreso
AMEPSO 2010
M. en I.E. Leticia Domínguez Guedea
PSICOM-UNISON
2. El análisis de la estructura es central
en la discusión de política pública*
Rodríguez Guerra, R. Seminario doctoral: evaluación de políticas educativas. Enero 2010. Universidad Anáhuac Norte
3. EVALUACION DE POLITICAS PUBLICAS EN EDUCACIÓN
Operación
Implementación
Evaluación
Evaluación operativa
operativa
CICLO DE LAS
POLITICAS
Planeación de proyectos Resultados
Programación Evaluación de impacto
“Marco lógico” Libros blancos
Tipo de Diagnósticos Valor agregado
evaluación
Domínguez-Guedea, R.L. y Rodríguez Guerra, R. Seminario doctoral: evaluación de políticas educativas. Enero 2010. Universidad Anáhuac Norte
4. Los programas y proyectos son la
traducción operacional de las políticas
sociales. Es por ello que su
formulación y evaluación son el
capítulo más importante del proceso
de asignación de recursos .
No obstante existen múltiples
problemas que no son
fáciles de solucionar al momento de
establecer
prioridades presupuestales y de
políticas públicas
de un país.
5. El Estado enfrenta entonces la
demanda de responder preguntas
como ¿cuánta inversión se debe
destinar a cada nivel educativo?,
¿qué política y programas son
más apropiados? ¿hasta que
punto han sido beneficiados los
destinatarios del programa de
salud?
6. La evaluación de las políticas públicas tiene por función:
•La mejora
•Proveer información para la implementación de nuevas
fases
•Guiar las evaluaciones específicas
Las evaluaciones específicas:
•Generan información sobre
programas sociales
•Auxilian el diseño de políticas
públicas
Matos Bazó, 2004
7. Siguiendo la lógica de la tabla que se presenta, determine un programa de intervención que
puede ser un campo de acción para ud. como evaluador
Programa a analizar Materiales de referencia Información
(sujeto a la estructura normativa y de la política pública)
Evaluación docente en la Constitución
unison Ley organica Leer art. 2 que justifia la creación de la sep
como máximo departamento para el
despacho de los negocios del orden
administrativo en el ámbito de la educación
Art. 3
Ley general de educacion Artículo 25,26 27, 28, 30, 37
http://basica.sep.gob.mx/dgei/pdf/normateca/LeyGeneraldeEducacion.pdf Artículo 1
Art. 9
Art 10
Plan de desarrollo Plan Nacional de desarrollo
http://pnd.calderon.presidencia.gob.mx/igualdad-de-oportunidades/transformacion-educativa.htmloportunidades
Eje 3: Igualdad de
3.3 Transformación educativa
OBJETIVO 14
Ampliar la cobertura, favorecer la equidad
y mejorar la calidad y pertinencia de la
educación superior.
ESTRATEGIA 14.3 Consolidar el perfil y
desempeño del personal académico y
extender las prácticas de evaluación y
acreditación para mejorar la calidad de los
programas de educación superior.
Programa sectorial
Operación institucional
Misión, visión, plan de desarrollo institucional
Programa de estimuls a los profesores
9. La evaluación de
programas sociales es un
elemento técnico que corrige
el diseño y operación de los mismos.
10. La evaluación de programas es:
• Un proceso sistemático, metódico y neutral que hace posible el
conocimiento de los efectos de un programa, relacionándolos con
las metas propuestas y los recursos movilizados.
• Es un proceso que facilita la
identificación, la recolección y la
interpretación de informaciones útiles
a los encargados de tomar decisiones
y a los responsables de la ejecución y
gestión de los programas.
11. Tipos de evaluación de programas
Tipo Descripción
En ellas, se cumple un proceso evaluatorio, pero con fuerte injerencia
Pseudoevaluacion de alguna de las partes comprometidas con el proyecto y que
es presiona para que aparezcan resultados preestablecidos. El evaluador no actúa neutralmente.
Evaluaciones Son evaluaciones exclusivamente cuantitativas. Este diseño exige que se constituya un grupo
experimentales y de control (tarea ardua y compleja). Se mide el impacto por comparación estadística entre el
cuasi grupo de control y el grupo beneficiario de las acciones del programa.
experimentales Se miden: incremento del bienestar de los beneficiarios, según empleo (empleabilidad,
inserción laboral posterior, tipo de trabajo, satisfacción laboral) ingresos y ciudadanía.
Asimismo, puede medirse focalización, deserción, retención, cobertura.
Evaluaciones El abordaje mixto permite tener los datos señalados en el grupo
verdaderas mixtas anterior y agrega el aporte cualitativo.
cuanticualitativas Entre estos:
_ cambios actitudinales
_ cambios psicosociales
_ autoestima
_ empleabilidad
_ necesidad y satisfacción con el programa
Puede medirse también el impacto sobre los restantes actores
(capacitadores, empresarios, informantes claves de la población).
Se utilizan los estudios de casos, las observaciones, las entrevistas,
en profundidad.
El aporte mixto ayuda a entender más por qué unos programas son
exitosos y otros fracasan.
Fuente: http://www.cinterfor.org.uy/public/spanish/region/ampro/cinterfor/publ/man_eva/pdf/cap2.pdf
12. Momentos de realización
EX ANTE Se cumple antes del inicio de la ejecución.
Se evalúan el contexto socioeconómico e institucional; los problemas
identificados; las necesidades detectadas; la población objetivo;
los insumos; las estrategias de acción.
INTRA Se desarrolla durante la ejecución del programa.
Se evalúan las actividades del proceso mientras estas se están desarrollando,
identificando los aciertos, los errores, las dificultades.
POST Se corresponde con la finalización inmediata de la ejecución del
proyecto, detectando, registrando y analizando los resultados
tempranos.
EX POST Se realiza tiempo después (meses o años) de concluida la ejecución.
Evalúa los resultados mediatos y alejados, consolidados en el
tiempo.
Fuente: http://www.cinterfor.org.uy/public/spanish/region/ampro/cinterfor/publ/man_eva/pdf/cap2.pdf
13.
14. Evaluación de
valor
agregado
Implica el seguimiento a una medición inicial en una población o
en un sujeto sobre beneficios que se supone deben permanecer
debido a las características de la intervención
Para ello deberá programarse una serie de tomas de información
http://www.simce.cl/index.php?id=245
15. El planteamiento de Valor agregado escolar tiene fundamentalmente
tres aplicaciones: la rendición de cuentas, la toma de decisiones
administrativas y el desarrollo de las escuelas.
En primer lugar, el Valor agregado
escolar posibilita hacer una
rendición de cuentas más ajustada
de la escuela a las familias y a la
sociedad.
Los resultados brutos nos aportan
más información sobre los factores
contextuales que sobre el trabajo de
la escuela.
Sólo mediante estos planteamientos
es posible saber hasta qué punto una
escuela está logrando contribuir a los
alumnos más de lo que sería
esperable.
16. En segundo término, el Valor agregado posibilita una toma de
decisiones más ajustada por parte de las administraciones. Con la
información que aporta es posible, entre otros elementos, que la
administración detecte aquellos centros con más dificultades, con más
necesidades de docentes, de apoyo técnico o de recursos económicos, y
tome las medidas para ayudarles. De esta forma es un recurso
fundamental para el trabajo de los inspectores.
17. El tercer término es que:
•Permite adoptar medidas para la mejora del centro por parte del propio
centro. Entre otras:
•Contribuye a mejorar la docencia, dado que aporta datos sobre los
elementos débiles y fuertes del desarrollo de los alumnos. Así, facilita la
formulación de objetivos docentes, permite optimizar las metodologías y ajustar
los énfasis e las necesidades de aprendizaje de los estudiantes.
•La tecnología de Valor agregado ayuda a identificar a los estudiantes con
mayores necesidades de apoyo y a hacer un seguimiento más ajustado de su
desarrollo.
•Aporta datos para el diseño y seguimiento de innovaciones y procesos
de mejora escolar. Conociendo la situación de partida "real" es posible diseñar
estrategias de cambio ajustadas a las necesitadas y, posteriormente, evaluar el
impacto de las mismas sobre el desempeño de los estudiantes.
•Una de las funciones más relevantes de la evaluación es aportar datos que
refuercen los logros conseguidos, el trabajo bien hecho.
18. Evaluación
operativa
Lo que distingue a la IO de otras actividades de asistencia
técnica es la aplicación de técnicas sistemáticas de
investigación para mejorar los programas (Ross y cols.,
1987)
Lo que distingue a la IO de otros tipos de investigación es
su enfoque en factores que están bajo el control de los
gerentes y la inclusión de indicadores de éxito del programa.
Las principales áreas
temáticas de la investigación operativa:
Impacto, Acceso, Recursos y Calidad de
los programas
http://www.popcouncil.org/pdfs/investigacionoperativa.pdf
19. La investigación que no cumple con los criterios de control
gerencial de las variables independientes ni con la inclusión de
indicadores de éxito del programa como variables dependientes no
es IO.
Por lo tanto, los estudios en los que se informa que la falta de
educación, la residencia en áreas rurales o el apego a sistemas de
valores tradicionales son barreras para la utilización de un
programa de planificación familiar, no son investigación operativa,
ya que ninguno de estos factores está bajo el control de los
gerentes.
Esta definición no se propone para argumentar que los factores
que no se encuentren potencialmente bajo su control sean
irrelevantes. Por el contrario, es responsabilidad del gerente de
programa diseñar y probar intervenciones para superar las
barreras que representan los factores contextuales.
http://www.popcouncil.org/pdfs/investigacionoperativa.pdf
20. Evaluación de
impacto
Proceso evaluatorio orientado a medir los
resultados de las intervenciones,
en cantidad, calidad y extensión según las
reglas preestablecidas
La medida de los resultados, característica principal de la
evaluación de impacto, permite comparar el grado de realización
alcanzado con el grado de realización deseado.
Compara, de esta forma, la planeación con el resultado de la
ejecución.
La evaluación de impacto abarca todos los efectos secundarios a la
planeación y a la ejecución: específicos y globales; buscados (según
los objetivos) o no; positivos, negativos o neutros; directos o
indirectos (la puesta en marcha del programa puede generar por sí
misma efectos sobre los directamente involucrados, hasta la
sociedad toda).
http://www.oitcinterfor.org/public/spanish/region/ampro/cinterfor/publ/man_eva/pdf/cap2.pdf
21. La evaluación de impacto, al medir los resultados permite:
• Registrar y analizar todas las experiencias (positivas y negativas),
mediante la comparación en el grupo control, sistematizándolas
• Evaluar el contexto socioeconómico y político en que se da la
experiencia;
• Identificar los actores involucrados y su peso específico en los
resultados;
• Estudiar la articulación interinstitucional y público-privado
• Ofrecer estudios de costo-beneficio;
• Concertar aportes de los técnicos en gestión, mediante la difusión
de la información proveniente de la evaluación y su posterior discusión
entre todos los responsables de la gestión
• Informar de forma clara y objetiva a los responsables de la toma de
decisiones sobre la marcha de los programas
http://www.oitcinterfor.org/public/spanish/region/ampro/cinterfor/publ/man_eva/pdf/cap2.pdf
22. Las etapas básicas de la evaluación son:
• Toma de decisión respecto al cumplimiento de la
evaluación y su estructuración;
• Constitución del marco de referencia;
• Selección de evaluadores y planeación de la
evaluación (incluyendo costos, organigrama y
cronograma);
• Implementación y gestión;
• Difusión de resultados.
http://www.oitcinterfor.org/public/spanish/region/ampro/cinterfor/publ/man_eva/pdf/cap2.pdf
