Evaluaci ón de impacto de Red Solidaria:  Línea de base FUSADES/IFPRI
Temas a discutir <ul><li>Introducci ón general </li></ul><ul><li>Aspectos metodológicos </li></ul><ul><li>Indicadores de i...
Introducción <ul><li>Una evaluación de impacto es un proceso sistemático que permite medir resultados a posteriori para co...
Aspectos metodológicos Página
Objetivo de la evaluación cuantitativa <ul><li>Medir el  impacto  de dos componentes principales de Red Solidaria en educa...
Midiendo impactos causales <ul><li>Se busca identificar el impacto de un “tratamiento” (en este caso Red Solidaria) en un ...
Medimos un incremento en el resultado a través del tiempo después de una intervención Page  Y 0 Y 1 Linea basal(t 0 ) Segu...
Se necesita identificar el  contrafactual —¿qué hubiera pasado sin el programa? Page  Y 0 Y 1 línea basal(t 0 ) seguimient...
Metodologías para evaluación de impacto <ul><li>Formas de construir un grupo de control o comparación, por ejemplo: </li><...
<ul><ul><li>La randomización no era factible : Red Solidaria inició en 2005. Para 2007 ya estaba en 47 de los 100 municipi...
¿Por qué falla el emparejamiento  en programas focalizados?: Page  TRATAMIENTO COMPARACIÓN
Cómo el DDR mide impactos <ul><li>Antes de Red Solidaria </li></ul>Page
<ul><li>Después de Red Solidaria </li></ul>Cómo el DDR mide impactos Page  beneficiarios No beneficiarios
<ul><li>Después de Red Solidaria </li></ul>Cómo el DDR mide impactos Page  IMPACTO beneficiarios No beneficiarios
Método de “Doble diferencia” Página  A B Diferencia antes del programa: A Diferencia después del programa: B Doble Diferen...
Un desafío para la evaluación de Red Solidaria:  Línea de base <ul><li>¡Se necesita información de línea base para las com...
Estrategias para tratar la falta de  una línea basal <ul><li>Preguntas “retrospectivas” en la encuesta </li></ul><ul><ul><...
Entonces… <ul><ul><li>Se consideran tres comparaciones (3 umbrales para la metodología de DDR) </li></ul></ul><ul><ul><li>...
Indicadores de impacto principales Página
Indicadores de impacto principales Página
Indicadores de utilización de los servicios Página
Encuesta de Línea Basal: aspectos generales Página
Encuesta de línea base: aspectos generales <ul><li>Muestra diseñada para detectar impactos esperados </li></ul><ul><ul><li...
Organización del personal <ul><li>Todas las etapas de la encuesta de línea basal fueron llevadas a cabo bajo la responsabi...
Trabajo de campo <ul><li>El trabajo de campo de las encuestas de hogares se llevó a cabo del 14 de enero al 21 de febrero ...
Tomando medidas antropométricas <ul><li>Se tomaron medidas antropométricas (peso y talla/longitud) a niños menores de 3 añ...
Trabajo de campo Página
Muestra efectiva <ul><li>Hogares: 2,921 </li></ul><ul><li>Centros escolares:  191 </li></ul><ul><li>Establecimientos de sa...
Resultados principales Página
¿Qué buscamos con los resultados  de la encuesta? <ul><li>Construir los indicadores de línea basal </li></ul><ul><li>Deter...
Algunas comparaciones de los hogares  de la encuesta de línea basal con los de la EHPM 2006 Indicadores Línea basal  Red S...
Pobreza: Ingreso per c ápita Ingreso anual (US$)   Año de ingreso a  Red Solidaria 2006 2007 Inicios  Finales 2008 2008 In...
Componentes del ingreso total de los hogares Año de ingreso a  Red Solidaria 2006 2007 Inicios  2008 Finales 2008 Ingreso ...
Educación: Tasa de repetición en primer grado Proporción de niños en primer grado que estaban repitiendo   Año de ingreso ...
Educación: Tasa de matr ícula entre los niños  de 7 a 12 años   Año de ingreso a  Red Solidaria 2006 2007 Inicios  2008 Fi...
Matr í cula en  Escuela  (edad: 6 a ños inicios 2007) <ul><ul><li>Cerca de la mitad en parvularia </li></ul></ul><ul><ul><...
Matr í cula en  Parvularia  (edad: 5 a ños inicios 2007) <ul><ul><li>Alta en ninos que ingresaron al programa en 2006 y 20...
Salud : La prevalencia de diarrea en ni ños <5 años Proporción de niños menores de 5 años que tuvieron diarrea en los 15 d...
Acceso a agua por cañería
Las tasas de desnutrición (peso para la edad) en niños de 0 a 23 meses de edad
 
Tasa de retardo en Talla (Z<-2) ALTERNATIVA
Cobertura de control de crecimiento (< 1 a ñ o)
Niños con controles adecuados(< 1 a ñ o)  El 94.1% se inscriben; Pero solo 63% cumplen con número de visitas esperado  ALT...
Cobertura de vacunaci ón con SPR  ( primera dosis)
Cobertura de  otras vacunas Niños de 0 a 3 años ALTERNATIVA Vacuna % niños que la han recibido BCG (dosis 1) 84.0 BCG (dos...
% Embarazadas inscritas en controles prenatales
% Embarazadas con por lo  menos 5 controles ALTERNATIVA
Partos atendidos por personal calificado
Trabajo Infantil
Resumen y conclusiones Página
¿Potencial para demostrar impacto? Página  Impacto sobre: Indicador Potencial Pobreza Ingreso per cápita Sí Educación Tasa...
¿Potencial para demostrar impacto? Página  Impacto sobre: Indicador Potencial Utilización de los servicios de educación Ma...
Encuesta de L ínea Basal IFPRI/FUSADES Thursday, June 4, 2009
Upcoming SlideShare
Loading in...5
×

Evaluación de impacto de Red Solidaria: Línea de base

2,556

Published on

FUSADES/IFPRI
http://www.redsolidaria.gob.sv/content/view/828/

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
2,556
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
53
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Evaluación de impacto de Red Solidaria: Línea de base

  1. 1. Evaluaci ón de impacto de Red Solidaria: Línea de base FUSADES/IFPRI
  2. 2. Temas a discutir <ul><li>Introducci ón general </li></ul><ul><li>Aspectos metodológicos </li></ul><ul><li>Indicadores de impacto principales </li></ul><ul><li>Encuesta de L ínea Basal: aspectos generales </li></ul><ul><li>Resultados principales e indicadores alternativos </li></ul><ul><li>Resumen </li></ul>Página
  3. 3. Introducción <ul><li>Una evaluación de impacto es un proceso sistemático que permite medir resultados a posteriori para constatar que se han alcanzado los objetivos propuestos… comprobando que esos resultados sean atribuibles a la intervención directa de un programa. </li></ul><ul><li>La Evaluación de Impacto Externa de Red Solidaria es un proyecto de 40 meses </li></ul><ul><li>Componentes de la evaluación </li></ul><ul><ul><li>Cuantitativo </li></ul></ul><ul><ul><ul><li>4 rondas de encuestas (línea basal +3) </li></ul></ul></ul><ul><ul><ul><li>Evaluación del mecanismo de focalización </li></ul></ul></ul><ul><ul><li>Cualitativo </li></ul></ul>Página
  4. 4. Aspectos metodológicos Página
  5. 5. Objetivo de la evaluación cuantitativa <ul><li>Medir el impacto de dos componentes principales de Red Solidaria en educación, salud y nutrición, y bienestar de los hogares </li></ul><ul><ul><li>Transferencias Monetarias Condicionadas (TMC) </li></ul></ul><ul><ul><ul><li>Transferencias son condicionadas a actividades relacionadas con </li></ul></ul></ul><ul><ul><ul><ul><li>Salud de preescolares </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Participación escolar de niños en edad de primaria </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Capaciación y servicios de salud para madres </li></ul></ul></ul></ul><ul><ul><li>Servicios Básicos (SB) </li></ul></ul><ul><ul><ul><li>Busca mejorar la oferta de servicios de educación y salud </li></ul></ul></ul><ul><ul><ul><li>Proporciona agua potable, saneamiento básico, electrificación en clínicas y escuelas </li></ul></ul></ul>Página
  6. 6. Midiendo impactos causales <ul><li>Se busca identificar el impacto de un “tratamiento” (en este caso Red Solidaria) en un resultado a través del tiempo. Pero… </li></ul><ul><li>¿Cómo saber si los impactos medidos se deben al programa o tratamiento? </li></ul><ul><li>Si se quiere afirmar que el efecto es causal , se necesita una estrategia de identificación </li></ul>Page
  7. 7. Medimos un incremento en el resultado a través del tiempo después de una intervención Page Y 0 Y 1 Linea basal(t 0 ) Seguimiento(t 1 ) Intervención (observado)
  8. 8. Se necesita identificar el contrafactual —¿qué hubiera pasado sin el programa? Page Y 0 Y 1 línea basal(t 0 ) seguimiento(t 1 ) Intervención Comparación Y 1 * Impacto= Y 1 -Y 1 * (contrafactual) (observado)
  9. 9. Metodologías para evaluación de impacto <ul><li>Formas de construir un grupo de control o comparación, por ejemplo: </li></ul><ul><li>Randomización </li></ul><ul><li>Emparejamiento (incluyendo Propensity-score matching, covariate matching) </li></ul><ul><li>Diseño de Discontinuidad en la Regresión (DDR) </li></ul><ul><li>La estrategia de focalización de Red Solidaria determina la selección de la metodología de evaluación </li></ul>Page
  10. 10. <ul><ul><li>La randomización no era factible : Red Solidaria inició en 2005. Para 2007 ya estaba en 47 de los 100 municipios que se anticipa recibirán el programa </li></ul></ul><ul><ul><li>Los métodos de emparejamiento no son factibles : después de controlar por las variables observadas en el Mapa de Pobreza y el IIMM, no hay grupos factibles para emparejar </li></ul></ul><ul><ul><li>El método más factible para el caso de Red Solidaria </li></ul></ul>Metodologías para evaluación de impacto Page
  11. 11. ¿Por qué falla el emparejamiento en programas focalizados?: Page TRATAMIENTO COMPARACIÓN
  12. 12. Cómo el DDR mide impactos <ul><li>Antes de Red Solidaria </li></ul>Page
  13. 13. <ul><li>Después de Red Solidaria </li></ul>Cómo el DDR mide impactos Page beneficiarios No beneficiarios
  14. 14. <ul><li>Después de Red Solidaria </li></ul>Cómo el DDR mide impactos Page IMPACTO beneficiarios No beneficiarios
  15. 15. Método de “Doble diferencia” Página A B Diferencia antes del programa: A Diferencia después del programa: B Doble Diferencia: B-A <ul><ul><li>Pero... se busca medir solamente el impacto del programa y no de otras cosas que estén cambiando en la sociedad y el entorno. </li></ul></ul>
  16. 16. Un desafío para la evaluación de Red Solidaria: Línea de base <ul><li>¡Se necesita información de línea base para las comunidades de tratamiento y control! </li></ul><ul><li>Pero, a la fecha de la encuesta de línea basal, Red Solidaria ya estaba en 47 de los 100 municipios </li></ul><ul><li>Esos 47 se consideran las comunidades más pobres </li></ul><ul><ul><li>Aunque ese es un buen diseño de programa, es igualmente un reto para la evaluación </li></ul></ul><ul><ul><li>Y hace que encontrar comunidades de control sea un reto aún más complicado </li></ul></ul>Página
  17. 17. Estrategias para tratar la falta de una línea basal <ul><li>Preguntas “retrospectivas” en la encuesta </li></ul><ul><ul><ul><li>Historia de fertilidad (desde 2005) </li></ul></ul></ul><ul><ul><ul><li>Historia educativa (desde 2005) </li></ul></ul></ul><ul><ul><ul><li>Historia de acceso a servicios básicos (desde 2005) </li></ul></ul></ul><ul><ul><li>Esto ayuda a reconstruir una lína base para algunos indicadores </li></ul></ul><ul><ul><li>Por lo tanto, esto permite incluir algunas de las comunidades más pobres en la evaluación (las que entraron en 2006) </li></ul></ul><ul><li>Para algunos de los resultados esperados (e.g. ingreso per cápita), no tendrá una verdadera línea base para municipios que ingresaron antes de 2008 </li></ul>Página
  18. 18. Entonces… <ul><ul><li>Se consideran tres comparaciones (3 umbrales para la metodología de DDR) </li></ul></ul><ul><ul><li>2006 vs 2007 </li></ul></ul><ul><ul><li>2007 vs 2008 </li></ul></ul><ul><ul><li>2008 (inicios) vrs 2008 (finales) -  sin intervención antes de la línea basal </li></ul></ul>Página
  19. 19. Indicadores de impacto principales Página
  20. 20. Indicadores de impacto principales Página
  21. 21. Indicadores de utilización de los servicios Página
  22. 22. Encuesta de Línea Basal: aspectos generales Página
  23. 23. Encuesta de línea base: aspectos generales <ul><li>Muestra diseñada para detectar impactos esperados </li></ul><ul><ul><li>- hogares con niños menores de 3 años </li></ul></ul><ul><ul><li>hogares con niños de 7 a 12 años </li></ul></ul><ul><li>La muestra responde a la metodología principal: Diseño de Discontinuidad en la Regresión (DDR) </li></ul><ul><li>50 municipios, 2 cantones en cada uno, seleccionados por año de ingreso a Red Solidaria </li></ul>Página
  24. 24. Organización del personal <ul><li>Todas las etapas de la encuesta de línea basal fueron llevadas a cabo bajo la responsabilidad directa del Centro de Investigación e Información </li></ul><ul><li>de FUSADES. </li></ul>Página <ul><li>Participaron 102 personas </li></ul>
  25. 25. Trabajo de campo <ul><li>El trabajo de campo de las encuestas de hogares se llevó a cabo del 14 de enero al 21 de febrero </li></ul><ul><li>El trabajo de campo para comunidades del 21 de febrero al 7 de marzo </li></ul>Página
  26. 26. Tomando medidas antropométricas <ul><li>Se tomaron medidas antropométricas (peso y talla/longitud) a niños menores de 3 años y sus madres </li></ul>Página
  27. 27. Trabajo de campo Página
  28. 28. Muestra efectiva <ul><li>Hogares: 2,921 </li></ul><ul><li>Centros escolares: 191 </li></ul><ul><li>Establecimientos de salud: 54 </li></ul>Página
  29. 29. Resultados principales Página
  30. 30. ¿Qué buscamos con los resultados de la encuesta? <ul><li>Construir los indicadores de línea basal </li></ul><ul><li>Determinar si los datos obtenidos (variabilidad) permitirían observar impactos de Red Solidaria </li></ul>Página
  31. 31. Algunas comparaciones de los hogares de la encuesta de línea basal con los de la EHPM 2006 Indicadores Línea basal Red Solidaria EHPM 2006 Promedio rural EHPM 2006 Hogares pobres rurales Características del hogar Tamaño del hogar 5.44 4.38 5.44 Edad promedio – jefe del hogar 40.9 45.9 46.6 Edad promedio – todos los miembros 20.7 25.5 22.8 Ingreso promedio Ingreso total - mensual 146.17 284.21 146.87 Ingreso per cápita – mensual 29.35 77.47 27.73
  32. 32. Pobreza: Ingreso per c ápita Ingreso anual (US$)   Año de ingreso a Red Solidaria 2006 2007 Inicios Finales 2008 2008 Ingreso familiar total 1,542 1,947 1,933 1,436 Ingreso per cápita 323.3 361.1 381.7 319.1
  33. 33. Componentes del ingreso total de los hogares Año de ingreso a Red Solidaria 2006 2007 Inicios 2008 Finales 2008 Ingreso agropecuario 329.4 622.4 445.7 203.1 Ingreso laboral 608.1 912.9 1059.7 831.9 Ingreso por migración 323.6 280.8 412.6 365.7 Transferencias Red Solidaria 163.9 100.0 2.8 0.0 Otro ingreso 116.4 30.5 12.0 35.8 Ingreso total 1,542 1,947 1,933 1,437
  34. 34. Educación: Tasa de repetición en primer grado Proporción de niños en primer grado que estaban repitiendo   Año de ingreso a Red Solidaria 2006 2007 Inicios 2008 Finales 2008 En 2006 15.5% 16.7% 20.1% 10.4% En 2007 15.6% 24.4% 20.0% 14.6%
  35. 35. Educación: Tasa de matr ícula entre los niños de 7 a 12 años   Año de ingreso a Red Solidaria 2006 2007 Inicios 2008 Finales 2008 En 2005 92.1% 90.5% 88.3% 91.9% En 2007 98.7% 95.0% 94.2% 95.0%
  36. 36. Matr í cula en Escuela (edad: 6 a ños inicios 2007) <ul><ul><li>Cerca de la mitad en parvularia </li></ul></ul><ul><ul><li>Alta en ninos que ingresaron al programa en 2006 y 2007 </li></ul></ul>ALTERNATIVA
  37. 37. Matr í cula en Parvularia (edad: 5 a ños inicios 2007) <ul><ul><li>Alta en ninos que ingresaron al programa en 2006 y 2007 </li></ul></ul>ALTERNATIVA
  38. 38. Salud : La prevalencia de diarrea en ni ños <5 años Proporción de niños menores de 5 años que tuvieron diarrea en los 15 días anteriores
  39. 39. Acceso a agua por cañería
  40. 40. Las tasas de desnutrición (peso para la edad) en niños de 0 a 23 meses de edad
  41. 42. Tasa de retardo en Talla (Z<-2) ALTERNATIVA
  42. 43. Cobertura de control de crecimiento (< 1 a ñ o)
  43. 44. Niños con controles adecuados(< 1 a ñ o) El 94.1% se inscriben; Pero solo 63% cumplen con número de visitas esperado ALTERNATIVA
  44. 45. Cobertura de vacunaci ón con SPR ( primera dosis)
  45. 46. Cobertura de otras vacunas Niños de 0 a 3 años ALTERNATIVA Vacuna % niños que la han recibido BCG (dosis 1) 84.0 BCG (dosis 2) 1.0 DPT (refuerzo 1) 30.6 DPT (refuerzo 2) 8.2 DT (dosis 1) 4.5 DT (dosis 2) 3.7 DT (dosis 3) 3.6 Pentavalente (dosis 1) 69.0 Pentavalente (dosis 2) 64.0 Pentavalente (dosis 3) 59.0 Polio (dosis 1) 79.4 Polio (dosis 2) 73.3 Polio (dosis 3) 66.8 Rotavirus 38.5
  46. 47. % Embarazadas inscritas en controles prenatales
  47. 48. % Embarazadas con por lo menos 5 controles ALTERNATIVA
  48. 49. Partos atendidos por personal calificado
  49. 50. Trabajo Infantil
  50. 51. Resumen y conclusiones Página
  51. 52. ¿Potencial para demostrar impacto? Página Impacto sobre: Indicador Potencial Pobreza Ingreso per cápita Sí Educación Tasa de repitencia de primer grado Sí Salud Prevalencia de diarrea en niños menores de cinco años Sí Nutrición Prevalencia de la desnutrición (peso/edad) en niños de 0 a 23 meses Sí, pero otro indicador
  52. 53. ¿Potencial para demostrar impacto? Página Impacto sobre: Indicador Potencial Utilización de los servicios de educación Matrícula de niños de 7 a 12 años Sí, pero otro indicador Utilización de los servicios de salud Cobertura de vacunación con SPR en niños de 12 a 23 meses Sí, pero otro indicador Cobertura de inscripción en control de crecimiento en niños menores de 1 año Sí, pero otro indicador Cobertura de inscripción en controles prenatales Sí, pero otro indicador   Partos atendidos por personal calificado Sí
  53. 54. Encuesta de L ínea Basal IFPRI/FUSADES Thursday, June 4, 2009
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×