Presentacion scorecards tool_central_america_mh_mt

293 views

Published on

test

Published in: Food
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
293
On SlideShare
0
From Embeds
0
Number of Embeds
91
Actions
Shares
0
Downloads
7
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Presentacion scorecards tool_central_america_mh_mt

  1. 1. Manuel Hernandez y Maximo Torero, IFPRI San Salvador, 4 de diciembre del 2013 Programa de Innovación en Acceso a Mercados Evaluación de Impacto de la Herramienta PSC
  2. 2. Índice Implementación de metodología y Selección de proyectos Resultados Evaluación de impacto: Diseño Encuesta de Línea de Base y Seguimiento Análisis costo-beneficio Conclusiones Diseño de la metodología de Scorecards
  3. 3. ¿Que es lo que se busca? • En proyectos de desarrollo, es posible que proyectos con mayor potencial para reducción de pobreza no sean sostenibles en el tiempo y viceversa (tradeoff). • La metodología de Scorecards busca asegurarse de que los proyectos no solo se focalicen en disminuir la pobreza, sino que además sean sostenibles.
  4. 4. Metodología de Scorecards Comprende dos dimensiones: • Primera etapa: score de riesgo. Se estima un nivel de riesgo para cada proyecto y solo aquellos que superan cierto nivel mínimo de riesgo pasan a una segunda instancia. (Modelo semi-paramétrico) • Segunda etapa: score de pobreza. Se evalúan los proyectos sobre la base de sus potenciales efectos en la reducción de pobreza y se eligen los proyectos con mayor puntuación. (Método de componentes principales)
  5. 5. Universo de proyectos
  6. 6. Proyectos que pasan el criterio de score de riesgo
  7. 7. Proyectos que pasan el score de riesgo y de pobreza
  8. 8. Metodología de Scorecards Comprende dos dimensiones: • Primera etapa: score de riesgo. Se estima un nivel de riesgo para cada proyecto y solo aquellos que superan cierto nivel mínimo de riesgo pasan a una segunda instancia. (Modelo semi-paramétrico) • Segunda etapa: score de pobreza. Se evalúan los proyectos sobre la base de sus potenciales efectos en la reducción de pobreza y se eligen los proyectos con mayor puntuación. (Método de componentes principales)
  9. 9. Características de la Empresa • Experiencia en el sector • Cantidad de trabajadores o asociados • Calificación crediticia • Activos que posee • Nivel de endeudamiento
  10. 10. Características de los asociados • Edad • Género • Situación civil • Número de miembros de la familia • Nivel de educación
  11. 11. Metodología de Scorecards Comprende dos dimensiones: • Primera etapa: score de riesgo. Se estima un nivel de riesgo para cada proyecto y solo aquellos que superan cierto nivel mínimo de riesgo pasan a una segunda instancia. (Modelo semi-paramétrico) • Segunda etapa: score de pobreza. Se evalúan los proyectos sobre la base de sus potenciales efectos en la reducción de pobreza y se eligen los proyectos con mayor puntuación. (Método de componentes principales)
  12. 12. Ubicación en zona de alta pobreza rural
  13. 13. Acceso limitado a mercados
  14. 14. Numero de nuevos puestos de trabajo generados
  15. 15. Porcentaje de mano de obra no calificada
  16. 16. Porcentaje de mano de obra femenina
  17. 17. Numero de empleos directos
  18. 18. Numero de empleos indirectos
  19. 19. Índice Implementación de metodología y Selección de proyectos Resultados Evaluación de impacto: Diseño Encuesta de Línea de Base y Seguimiento Análisis costo-beneficio Conclusiones Diseño de la metodología de Scorecards
  20. 20. Postulación, evaluación y selección de proyectos Etapa # Proyectos Cierre de postulación (7 de enero del 2011) 58 Hábiles (completaron toda la información requerida y establecida en las bases) 39 Superaron mínimo nivel de riesgo (67%) 24 Seleccionados (a partir de su puntuación de pobreza) (24 de enero del 2011) 9 5 proyectos de Honduras; 2 de Nicaragua; 1 de El Salvador y 1 de Guatemala por un monto total de US$1,630,663.
  21. 21. Proyectos seleccionados -5 -4 -3 -2 -1 0 1 2 3 4 5 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 CP2(19.98%) CP1 (31.70 %) Banhcafé (Honduras) Mayor alivio de pobreza Menor alivio de pobreza WWF (Guatemala) Lemenigi (Honduras) Las Segovias (Nicaragua) COMUCAP (Honduras) TechnoServe (Honduras) Helvetas (Nicaragua) Desarrollo Sostenible (El Salvador) Aldea Global (Honduras)
  22. 22. Proyectos seleccionados # pais empresa # beneficiarios directos # empleos monto (US$) total mujeres directos 1 Honduras Fundación Banhcafé 391 155 1,571 212,176 2 Honduras Empresa Agroindustrial del Coco Lemenigi Lomba 30 19 308 176,300 3 Nicaragua COOPERATIVA MULTIFUNCIONAL LAS SEGOVIAS RL 120 48 251 212,299 4 El Salvador FUNDACION PARA EL DESARROLLO SOSTENIBLE 70 22 94 187,075 5 Honduras PROYECTO ALDEA GLOBAL 150 53 1,810 212,500 6 Honduras Asociación Coordinadora de Mujeres campesinas de La Paz (COMUCAP) 50 50 144 212,500 7 Nicaragua Intercooperation-Helvetas 30 29 3 87,460 8 Guatemala World Wildlife Fund 98 3 1,257 186,700 9 Honduras Cooperativa CARUCHIL 80 27 85 143,623 1,019 406 5,523 1,630,663
  23. 23. Observaciones • Los siete primeros proyectos seleccionados obtuvieron la mayor puntuación en cuanto al scorecard de pobreza. • Tal como se estableció en las bases de la convocatoria, el octavo proyecto seleccionado, World Wildlife Fund de Guatemala, obedeció a la disposición de agencias donantes de al menos un proyecto por país (y a la posterior tacha de la Red Nacional de Grupos Gestores). • El noveno proyecto seleccionado, Cooperativa CARUCHIL de Honduras, reemplazo a TechnoServe que luego se retiro, y era precisamente el siguiente en línea.
  24. 24. Índice Implementación de metodología y Selección de proyectos Resultados Evaluación de impacto: Diseño Encuesta de Línea de Base y Seguimiento Análisis costo-beneficio Conclusiones Diseño de la metodología de Scorecards
  25. 25. ¿Por qué la evaluación de impacto? 1. Evidencia de que sí funciona ▫ ¿Cuánto mejoro la situación de los beneficiarios debido al programa? 2. Rendición de cuentas (transparencia) ▫ ¿Cuales fueron los resultados? 3. Herramienta de política fiscal y de gestión ▫ ¿Seguimos invirtiendo en el programa o mejor invertimos en otra cosas?
  26. 26. 4. Los resultados son esenciales para su sostenibilidad y difusión ▫ ¿Es el programa costo-efectivo? 5. Replicabilidad ▫ ¿Podemos expandir el programa a otras áreas? ¿Por qué la evaluación de impacto? (2)
  27. 27. ¿Como se realiza? A: $100 ingresos B: $100 ingresos P: $140 ingresos SP: ? P: ? SP: $120 ingresos Beneficiarios Grupo de Control Antes de programa (2011) Después de programa (2012/13) Situación observable Situación no observable 140 - ?  Compara situación de beneficiarios “con el programa (P)” vs. situación “sin el programa (SP)”. Impacto del programa: (140-100) – (120-100) = $20  Se requiere realizar una encuesta de línea de base y por lo menos una encuesta de seguimiento.
  28. 28. Índice Implementación de metodología y Selección de proyectos Resultados Evaluación de impacto: Diseño Encuesta de Línea de Base y Seguimiento Análisis costo-beneficio Conclusiones Diseño de la metodología de Scorecards
  29. 29. Encuestas de Línea de Base y Seguimiento Diciembre 2011 Enero 2012 Encuesta de Línea de Base 721 beneficiarios Diciembre 2012 Enero 2013 Encuesta de Seguimiento 681 beneficiarios 625 beneficiarios en ambas encuestas Para evaluar la herramienta PSC se llevaron a cabo dos encuestas diseñadas por IFPRI. Muestra representativa según ubicación y género de los beneficiarios (usando información brindada en las postulaciones). Menos encuestados debido a migración temporal (corte de café), migración permanente, problemas de convocatoria
  30. 30. Encuestas de Línea de Base y Seguimiento (2) • Se contó con la colaboración de Research & Planning, empresa con amplia experiencia en recolección de datos en Centroamérica. • Apoyo de RUTA (Francisco Olivet) en coordinaciones entre Research & Planning y Coordinadores de los Proyectos. • Para el levantamiento de información se utilizaron tabletas electrónicas (mayor consistencia en el recojo de información).
  31. 31. El Salvador: 1 proyecto Canton Valle Nuevo, Candelaria La Frontera Hombres Mujeres Total Encuestados Línea de Base Seguimiento Ambas 566165 698087 131922 Fundación para el Desarrollo Sostenible (El Salvador: Santa Ana)
  32. 32. Guatemala: 1 proyecto Comunidad Monte Blanco, Purulha Hombres Mujeres Total 33 34 33 97 97 96 Encuestados Línea de Base Seguimiento Ambas 64 63 63 World Wildlife Fund (Guatemala: Baja Verapaz, Alta Verapaz)
  33. 33. Honduras: 4 proyectos (1) Mohaga – Belen Gualcho Hombres Mujeres Total 13 11 11 94 91 88 Encuestados 81 80 77 Línea de Base Seguimiento Ambas Poyecto Aldea Global (Honduras: Ocotepeque) Hombres Mujeres Total 16 13 Encuestados AmbasSeguimientoLínea de Base Fundación Banhcafé (Honduras: La Paz, Intubuca) 89 82 73 606674 15
  34. 34. Honduras: 4 proyectos (2) Punta Piedra - Limon Hombres Mujeres Total 65 81 54 73 88 58 Ambas Encuestados 478 Línea de Base Seguimiento Empresa Agroindustrial de Coco (Honduras: Iriona, Limon) Hombres Mujeres Total Asociación Coordinadora de Mujeres Campesinas de La Paz (Honduras: La Paz) 100 91 90 100 91 90 Encuestados Línea de Base Seguimiento Ambas 0 0 0
  35. 35. Nicaragua: 2 proyectos Comunidad Rio Blanco Hombres Mujeres Total Encuestados Línea de Base Seguimiento Ambas 58 53 34 30 30 92 83 83 Cooperativa Multifuncional Las Segovias (Nicaragua: Nueva Segovia) 53 Hombres Mujeres Total 83 66 65 89 69 68 Intercooperacion-Helvetas (Nicaragua: Matagalpa) Encuestados Línea de Base Seguimiento Ambas 6 3 3
  36. 36. Muestra para análisis Número de beneficiarios encuestados por proyecto 97 96 TOTAL 721 681 625 8 Wold Wildlife Fund Guatemala 97 91 90 7 Intercooperation- Helvetas Nicaragua 89 69 68 6 COMUCAP Honduras 100 80 69 5 Proyecto Aldea Global Honduras 94 91 88 4 Fundación para el Desarrollo El Salvador 87 88 58 3 Cooperativa multifuncional Las Nicaragua 92 83 83 2 Empresa Agroindustrial de Honduras 73 Nº de beneficiarios encuestados en la Encuesta de Seguimiento Nº de beneficiarios encuestados en ambas encuestas 1 Fundación Banhcafe Honduras 89 82 73 Ranking de proyecto Nombre del proyecto País Nº de beneficiarios encuestados en Línea de Base
  37. 37. Índice Implementación de metodología y Selección de proyectos Resultados Evaluación de impacto: Diseño Encuesta de Línea de Base y Seguimiento Análisis costo-beneficio Conclusiones Diseño de la metodología de Scorecards
  38. 38. Evaluación de impacto Umbral 1 itY Línea de base (2011/12) Fundación Banhcafé Empresa Agroindustrial del Coco World Wildlife Fund Intercooperation-Helvetas Asociación de Mujeres Campesinas de La Paz Proyecto Aldea Global Fundación para el Desarrollo Sostenible Cooperativa Multifuncional Las Segovias Fundación Banhcafé Empresa Agroindustrial del Coco World Wildlife Fund Intercooperation-Helvetas Asociación de Mujeres Campesinas de La Paz Proyecto Aldea Global Fundación para el Desarrollo Sostenible Cooperativa Multifuncional Las Segovias Seguimiento (2012/13)
  39. 39. Evaluación de impacto (2) Umbral 2 itY Fundación Banhcafé Empresa Agroindustrial del Coco World Wildlife Fund Intercooperation-Helvetas Asociación de Mujeres Campesinas de La Paz Proyecto Aldea Global Fundación para el Desarrollo Sostenible Cooperativa Multifuncional Las Segovias Fundación Banhcafé Empresa Agroindustrial del Coco World Wildlife Fund Intercooperation-Helvetas Asociación de Mujeres Campesinas de La Paz Proyecto Aldea Global Fundación para el Desarrollo Sostenible Cooperativa Multifuncional Las Segovias Línea de base (2011/12) Seguimiento (2012/13)
  40. 40. Evaluación de impacto (3) Umbral 7 itY Fundación Banhcafé Empresa Agroindustrial del Coco World Wildlife Fund Intercooperation-Helvetas Asociación de Mujeres Campesinas de La Paz Proyecto Aldea Global Fundación para el Desarrollo Sostenible Cooperativa Multifuncional Las Segovias Fundación Banhcafé Empresa Agroindustrial del Coco World Wildlife Fund Intercooperation-Helvetas Asociación de Mujeres Campesinas de La Paz Proyecto Aldea Global Fundación para el Desarrollo Sostenible Cooperativa Multifuncional Las Segovias Línea de base (2011/12) Seguimiento (2012/13)
  41. 41. Evaluación de impacto (4) Listado de los indicadores considerados VARIABLES DEPENDIENTES Horas recreación Horas descanso Log producción cultivo principal Solicitud crédito Recibo crédito Cuenta bancaria Acceso mercados locales Uso fertilizante Nivel de estrés Nivel de bienestar Nivel de satisfacción Ln ingreso mensual total Ln ingreso mensual pc Ln gasto mensual total Ln gasto mensual pc Ln gasto total alimentos Ln gasto total educación Ln gasto total salud Horas actividad principal Horas ambas actividades
  42. 42. Evaluación de impacto (5) Porcentaje de beneficiarios que recibieron alguna de las tres principales intervenciones por proyecto • Ayuda 1: Capacitación/ Asistencia técnica en aspectos organizativos • Ayuda 2: Capacitación/Asistencia técnica en producción y/o transformación de productos • Ayuda 3: Capacitación/Asistencia técnica en comercialización de productos • Ayuda 7: Provisión de insumos (donación) Variación en el numero de ayudas a cada beneficiario.
  43. 43. Índice Implementación de metodología y Selección de proyectos Resultados Evaluación de impacto: Diseño Encuesta de Línea de Base y Seguimiento Análisis costo-beneficio Conclusiones Diseño de la metodología de Scorecards
  44. 44. Valoración subjetiva de los proyectos Nota promedio del conjunto de ayudas recibidas (rango 1 al 10) 7.4 6.3 8.7 7.7 8.2 8.0 8.3 9.1 0.0 1.0 2.0 3.0 4.0 5.0 6.0 7.0 8.0 9.0 10.0 Fbanhcafe ECACOLL COOPMULSE FUNDAPAES PAldeaGlobal COMUCAP Inter-Helvetas WWF
  45. 45. Valoración subjetiva de los proyectos (2) Porcentaje de beneficiarios que participarían en un proyecto similar en un futuro próximo • Claro interés en volver a participar en un proyecto similar • Mas del 70% de beneficiarios por proyecto definitivamente participaría en un proyecto similar
  46. 46. Valoración subjetiva de los proyectos (3) Aspectos donde los beneficiarios creen consiguieron un mayor impacto
  47. 47. Resultados Variación del ingreso mensual total y per cápita • Incremento entre 30% y 45 % del ingreso (total y per cápita) entre el antes y el después de la aplicación de los proyectos • Los beneficiarios de los siete primeros proyectos incrementaron en mayor proporción su ingreso en comparación con los beneficiarios del octavo proyecto
  48. 48. Resultados (2) Variación del gasto mensual total y per cápita • Incremento entre 15% y 35% del gasto mensual (total y per cápita) entre el antes y el después de la aplicación de los proyectos • Los beneficiarios de los dos primeros proyectos en su conjunto fueron los que más incrementaron su gasto en comparación con los beneficiarios de los seis proyectos restantes
  49. 49. Resultados (3) Variación del gasto mensual total en salud (y educación) • Aumento del 20- 40% en el gasto en salud para los distintos umbrales de selección considerados
  50. 50. Resultados (4) Variación de las horas de trabajo dedicadas a la actividad principal • 6 horas más de trabajo para los beneficiarios de la Fundación Banhcafé en comparación con los beneficiarios de los otros proyectos. • 4 horas menos de trabajo para los beneficiarios de todos los proyectos en conjunto en comparación con los beneficiarios de WWF
  51. 51. Resultados (5) Variación en la probabilidad de solicitar un crédito • Incremento en la probabilidad de solicitar un crédito para los distintos umbrales • 11 puntos % mas para el umbral 2 y 20 puntos % más para el umbral 7
  52. 52. Resultados (6) Variación en la probabilidad de vender producción en el mercado local • Mayor variación en probabilidad de vender producción en el mercado local para beneficiarios de WWF versus los demás beneficiarios (38 puntos %) • Diferencia no significativa en los otros umbrales
  53. 53. Comparaciones adicionales • Se comparan pares de proyectos con cultivos principales similares pero con distintas posiciones en el ranking. itY Fundación Banhcafé (puesto 1) Proyecto Aldea Global (puesto 5) Fundación Banhcafé (puesto 1) Proyecto Aldea Global (puesto 5) FUNDAPAES (puesto 4) COOPMULSE (puesto 3) FUNDAPAES (puesto 4) COOPMULSE (puesto 3) COMUCAP (puesto 6) WWF (puesto 8) COMUCAP (puesto 6) WWF (puesto 8) Hortalizas Granos básicos Café Línea de base (2011/12) Seguimiento (2012/13)
  54. 54. Comparaciones adicionales (2) Variación del ingreso total mensual • El ingreso mensual total se incrementó para todos los proyectos en una posición más alta en el ranking en comparación con aquellos en las posiciones más bajas. • 16% al comparar proyecto 1 con proyecto 5, 8% al comparar proyecto 3 con proyecto 4 y 20% al comparar proyecto 6 con proyecto 8
  55. 55. Comparaciones adicionales (3) Variación en la probabilidad de solicitar un crédito • La probabilidad de solicitar un crédito aumentó al hacer la comparación entre los pares de proyectos seleccionados. • Cambios de 1 punto %, 11.8 puntos % y 20.3 puntos %.
  56. 56. Análisis Cualitativo – Colaboración GWU • Visitas a Fundación Banhcafé y Proyecto Aldea Global en Honduras. • Grupos de enfoque con beneficiarios y entrevistas con representantes de los proyectos. • Grupos divididos por género, ocho comunidades visitadas. • Total de 12 grupos de enfoque Grupo de enfoque de mujeres en Yamaranguila (seis por proyecto).
  57. 57. Análisis Cualitativo – Colaboración GWU (2) Temas en los que se centraron las entrevistas:  Asistencia técnica  Infraestructura productiva (incluyendo sistemas de riego e invernaderos)  Acceso a mercados formales  Acceso al crédito  Generación de ingresos  Generación de empleo  Calidad de vida (incluyendo vivienda, salud, educación y dieta)  Autonomía de las mujeres Entrevista con productor de San Isidro (FUNBANHCAFE) Productor de tomate en invernadero (PAG)
  58. 58. • Satisfacción general de los beneficiarios de ambos proyectos en temas de asistencia técnica, mejoras de sistemas de riego, incremento de ingresos y mejora de calidad de vida. Análisis Cualitativo – Colaboración GWU (3) Parte del equipo de GWU en una de las comunidades visitadas Temas FunBanhcafé PAG Invernaderos Propiedad comunal Propiedad privada Riesgo económico Acceso a mercados formales Falta de coordinación en algunas comunidades Venta del 80-90% de la producción en mercados formales Acceso al crédito Acceso al crédito como una estrategia de largo plazo Acceso al crédito limitado a la duración del proyecto Empleo Mayor generación de empleo adicional (contratación) y empoderamiento de las mujeres Sólo agricultores con mayores recursos consiguieron contratar personal
  59. 59. Índice Implementación de metodología y Selección de proyectos Resultados Evaluación de impacto: Diseño Encuesta de Línea de Base y Seguimiento Análisis costo-beneficio Conclusiones Diseño de la metodología de Scorecards
  60. 60. Análisis costo-beneficio  ¿Cuanto dólares se generaron por cada dólar invertido?  Se llevo a cabo un análisis costo-beneficio donde: – El costo es el monto total otorgado a cada proyecto para su implementación. – El beneficio es el cambio estimado en los ingresos de los beneficiarios directos en cada proyecto.  Se consideraron tres escenarios: – Aumento en ingresos de beneficiarios solo durante periodo de ejecución de proyectos. – El ingreso de los beneficiarios aumenta en un horizonte temporal de 5 años. – El ingreso de los beneficiarios aumenta en un horizonte temporal de 10 años.
  61. 61. Análisis costo-beneficio (2) Beneficio neto total y beneficio neto por beneficiario • Si el aumento de ingresos ocurre únicamente durante el periodo de ejecución de los proyectos, el beneficio neto total sería de $2,929,187 y el beneficio neto por beneficiario sería de $1,840. • Los beneficios netos se incrementarían en casi 3 veces en un horizonte de 5 años y 5 veces en un horizonte de 10 años.
  62. 62. Análisis costo-beneficio (3) Beneficio neto total por proyecto • Se obtiene un balance positivo de la implementación de la herramienta Se omite WWF del cálculo porque se usa como proyecto base.
  63. 63. Diseño de la metodología de Scorecards Índice Implementación de metodología y Selección de proyectos Resultados Evaluación de impacto: Diseño Encuesta de Línea de Base y Seguimiento Análisis costo-beneficio Conclusiones
  64. 64. Resumen y conclusiones 1. Los proyectos se caracterizaron por brindar distintos tipos de ayuda y en distintos niveles de cobertura. - Ayudas mas populares: capacitación/asistencia técnica en aspectos organizativos, producción y comercialización; y provisión de insumos. 2. En términos de percepción, alto nivel de calificación por parte de los beneficiarios. - La gran mayoría estaría dispuesto a participar en un similar proyecto a futuro. - Aspectos donde se cree el programa tuvo mayor impacto: volúmenes de producción y ventas.
  65. 65. Resumen y conclusiones (2) 3. Los resultados permiten validar la herramienta en cuanto a la identificación de proyectos con gran (y menor) potencial. - Resultados de evaluación de la herramienta guardan estrecha correlación con la puntuación inicial obtenida por los proyectos a través de la PSC. - Los dos primeros proyectos seleccionados son los que mostraron mayores cambios en varios indicadores respecto a los demás proyectos; el octavo proyecto seleccionado muestra menores cambios relativos. - Principales diferencias entre los primeros proyectos y el resto se dan en ingresos y gastos totales y per cápita, horas dedicadas a actividad principal y acceso a canales formales de crédito.
  66. 66. Resumen y conclusiones (3) 4. El análisis costo-beneficio arroja, en líneas generales, un balance positivo. - Beneficio neto total y por beneficiario positivo. - Proyectos con mejor posición en el ranking muestran un mayor beneficio neto. 5. Importancia de expandir el programa piloto para refinar evaluación de herramienta. - Capturar heterogeneidades dentro de cada proyecto (debido a diferentes niveles y tipos de ayuda) e identificar efectos de mediano y largo plazo.

×