Successfully reported this slideshow.
Grant agreement No. EIE/05/212/SI2.420249-
Intelligent Energy – Europe (IEE) COOPENER
Type 1 Actions
Acronismo CRECER CON ...
D26 Monitoreo y Evaluación de programas y
proyectos energéticos-Manual de Capacitación
Revisión 0
Autores
Alba Gamarra (CI...
CRECER CON ENERGIA D26 – Manual de M&E página 3 de 134
Tabla de Contenidos
PREFACIO: ........................................
CRECER CON ENERGIA D26 – Manual de M&E página 4 de 134
Prefacio:
CRECER CON ENERGIA es un proyecto financiado por el progr...
CRECER CON ENERGIA D26 – Manual de M&E página 5 de 134
Introducción
Este manual de capacitación en Monitoreo y Evaluación ...
CRECER CON ENERGIA D26 – Manual de M&E página 6 de 134
Legitimación: Es un instrumento importante frente a los contraparte...
CRECER CON ENERGIA D26 – Manual de M&E página 7 de 134
Tiempo: Es el tiempo sugerido que debería emplearse para el total d...
CRECER CON ENERGIA D26 – Manual de M&E página 8 de 134
• Equipo del proyecto. (Coordinador, responsables de área o departa...
CRECER CON ENERGIA D26 – Manual de M&E página 9 de 134
Modulo 1: Introducción al Monitoreo y Evaluación
TABLA DE CONTENIDO...
CRECER CON ENERGIA D26 – Manual de M&E página 10 de 134
Información acerca del Módulo
Objetivo del Módulo Entender los con...
CRECER CON ENERGIA D26 – Manual de M&E página 11 de 134
para el Desarrollo.
MPP Matriz de planificación de proyectos.
PNUD...
CRECER CON ENERGIA D26 – Manual de M&E página 12 de 134
o dicho de otra manera, en qué medida el proyecto alcanza el máxim...
CRECER CON ENERGIA D26 – Manual de M&E página 13 de 134
intervención para el desarrollo, indicaciones sobre el avance y el...
CRECER CON ENERGIA D26 – Manual de M&E página 14 de 134
Páginas Internet recomendadas y Literatura.
CIVICUS, Monitoreo y E...
CRECER CON ENERGIA D26 – Manual de M&E página 15 de 134
Planificación del proceso enseñanza - aprendizaje
Tiempo Agenda Me...
CRECER CON ENERGIA D26 – Manual de M&E página 16 de 134
carácter ambiental, disponibilidad local, eficiencia, entre otros)...
CRECER CON ENERGIA D26 – Manual de M&E página 17 de 134
Si bien se han definido los conceptos de Monitoreo y Evaluación, p...
CRECER CON ENERGIA D26 – Manual de M&E página 18 de 134
1.1.3 ¿Cuáles son los principios que deben guiar al M&E?
El proces...
CRECER CON ENERGIA D26 – Manual de M&E página 19 de 134
1.1.6 ¿Qué niveles de monitoreo y evaluación se tienen?
Monitoreo ...
CRECER CON ENERGIA D26 – Manual de M&E página 20 de 134
elimina la posibilidad, y a veces la conveniencia, de contar con a...
CRECER CON ENERGIA D26 – Manual de M&E página 21 de 134
Este ciclo de observación, reflexión y decisión, se concreta por p...
CRECER CON ENERGIA D26 – Manual de M&E página 22 de 134
¿Qué, Quién, Cuándo, Cómo y Con qué recursos?
¿Qué?: ¿Qué se debe ...
CRECER CON ENERGIA D26 – Manual de M&E página 23 de 134
1.4 Tipos de Monitoreo y Evaluación.
¿Qué es lo que el Monitoreo y...
CRECER CON ENERGIA D26 – Manual de M&E página 24 de 134
1.4.2 Monitoreo y Evaluación de medio término.
El Monitoreo y Eval...
CRECER CON ENERGIA D26 – Manual de M&E página 25 de 134
El monitoreo y evaluación del impacto se interesa por los efectos ...
CRECER CON ENERGIA D26 – Manual de M&E página 26 de 134
Para la correcta introducción e implementación del M&E de impacto,...
CRECER CON ENERGIA D26 – Manual de M&E página 27 de 134
han sido reclasificados en 7 temas y 19 sub temas por la Comisión ...
CRECER CON ENERGIA D26 – Manual de M&E página 28 de 134
• Las unidades de medida son el número y el porcentaje.
• Los prin...
CRECER CON ENERGIA D26 – Manual de M&E página 29 de 134
microempresas que manifiestan interés por conocer tecnologías ener...
CRECER CON ENERGIA D26 – Manual de M&E página 30 de 134
A manera de ejemplo, se muestra un indicador que está compuesto po...
CRECER CON ENERGIA D26 – Manual de M&E página 31 de 134
La idea no es sólo monitorear lo que hemos hecho o hemos logrado, ...
CRECER CON ENERGIA D26 – Manual de M&E página 32 de 134
Puesto que existen diferencias entre el diseño de un sistema de mo...
CRECER CON ENERGIA D26 – Manual de M&E página 33 de 134
1.10 Pasos para conducir la evaluación.
En la evaluación nosotros ...
CRECER CON ENERGIA D26 – Manual de M&E página 34 de 134
Asesorar sobre si la organización del proyecto tiene el impacto pl...
CRECER CON ENERGIA D26 – Manual de M&E página 35 de 134
1.12 Metodología.
“Metodología” es diferente a “Métodos”, tiene má...
CRECER CON ENERGIA D26 – Manual de M&E página 36 de 134
1.13 Diferentes enfoques para la Evaluación.
Un resumen de los dif...
CRECER CON ENERGIA D26 – Manual de M&E página 37 de 134
1.14 Ventajas y desventajas de la evaluación interna y externa de ...
CRECER CON ENERGIA D26 – Manual de M&E página 38 de 134
depende la calidad del plan de M&E. En ese sentido, recomendamos r...
CRECER CON ENERGIA D26 – Manual de M&E página 39 de 134
hacerlo, la frecuencia o periodicidad con la que debe generarse el...
CRECER CON ENERGIA D26 – Manual de M&E página 40 de 134
1.15.4 Investigación, negociación y acuerdos.
Establecido el conju...
CRECER CON ENERGIA D26 – Manual de M&E página 41 de 134
1.15.6 Procedimiento para la construcción de indicadores.
Describi...
CRECER CON ENERGIA D26 – Manual de M&E página 42 de 134
• Comunicación de la información.
• Toma de decisiones (uso de la ...
CRECER CON ENERGIA D26 – Manual de M&E página 43 de 134
1.16.4 Desarrolle indicadores / Plan de M&E y recolección de infor...
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"
Upcoming SlideShare
Loading in …5
×

Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"

1,781 views

Published on

Manual de capacitación Monitoreo y Evaluación. Gamarra Alba y Canedo Walter.

Published in: Education
  • Be the first to comment

  • Be the first to like this

Manual de Monitoreo y Evaluación (M&E) Programa "Crecer con energía"

  1. 1. Grant agreement No. EIE/05/212/SI2.420249- Intelligent Energy – Europe (IEE) COOPENER Type 1 Actions Acronismo CRECER CON ENERGIA Título Vinculando microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza del Chaco Sudamericano. D26 Monitoreo y Evaluación de programas y proyectos energéticos-Manual de Capacitación WP7: Estrategias de Monitoreo y Evaluación para proyectos de Energía orientados a reducción de la pobreza. Fecha de Entrega 28 / 06 / 2007 Nombre y organización del responsable de este producto: Manuel Fuentes / IT Power Fecha de iniciación del Proyecto 01 / 01 / 2006 Duración: 30 meses Nombre y organización del coordinador: Dr. Manuel Fuentes / IT Power
  2. 2. D26 Monitoreo y Evaluación de programas y proyectos energéticos-Manual de Capacitación Revisión 0 Autores Alba Gamarra (CINER, Bolivia) Walter Canedo (CINER, Bolivia) X PU Público PP Restringido a otros participantes del proyecto (incluidos servicios de la EU) RE Restringido a un grupo especificado por el consorcio (incluidos servicios de la EU) CO Confidencial, solo para miembros del consorcio (incluidos servicios de los EU) Disclaimer: Vinculando microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza del Chaco Sudamericano.- CRECER CON ENERGIA recibe fondos del programa Intelligent Energy Europe (IEE) COOPENER bajo el contrato EIE/05/212/SI2.420249. El contenido de este documento solo compromete a su autor y no refleja necesariamente la opinión de las Comunidades Europeas. La Comisión Europea no es responsable de la utilización que se podrá dar a la información que figura en el mismo.
  3. 3. CRECER CON ENERGIA D26 – Manual de M&E página 3 de 134 Tabla de Contenidos PREFACIO: ............................................................................................................................................. 4  INTRODUCCIÓN..................................................................................................................................... 5  CONSIDERACIONES PRELIMINARES ................................................................................................. 5  MODULO 1: INTRODUCCIÓN AL MONITOREO Y EVALUACIÓN....................................................... 9  MODULO 2: ESTRUCTURA DEL MONITOREO Y EVALUACIÓN...................................................... 51  MÓDULO 3: ANÁLISIS DE LOS PARTICIPANTES EN EL MONITOREO Y EVALUACIÓN............... 65  MODULO 4: INDICADORES DE MONITOREO Y EVALUACIÓN ....................................................... 83  MODULO 5: PROCESO DE IMPLEMENTACIÓN DE UN PLAN DE MONITOREO Y EVALUACIÓN118 
  4. 4. CRECER CON ENERGIA D26 – Manual de M&E página 4 de 134 Prefacio: CRECER CON ENERGIA es un proyecto financiado por el programa COOPENER de la Agencia Intelligent Energy–Europe (IEE) que vincula microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza en una de las regiones más pobres de América Latina, la región Chaqueña en Paraguay y Bolivia. Para lograr este objetivo hay varias barreras que tienen que ser superadas y este proyecto se dirige a todas ellas. Se creará una plataforma de comunicación horizontal para estimular el diálogo entre todos los ministerios públicos de gobierno y las organizaciones involucradas en la electrificación rural y reducción de la pobreza. Se desarrollarán herramientas para capacitar a personal clave de los ministerios involucrados en la evaluación del impacto de servicios de energía en el desarrollo social y económico y se ayudará a tomadores de decisión a entender cómo los programas de energía pueden se diseñados para satisfacer sus metas sectoriales. El proyecto ayudará a desarrollar políticas energéticas coordinadas con el fin de contribuir al cumplimiento de las Metas de Desarrollo del Milenio y Estrategias de Reducción de Pobreza. El proyecto fortalecerá los conocimientos en temas como energía para el desarrollo rural, financiamiento rural y micro-emprendimientos rurales de los gobiernos regionales y nacionales con un vasto y ambicioso programa de capacitación.
  5. 5. CRECER CON ENERGIA D26 – Manual de M&E página 5 de 134 Introducción Este manual de capacitación en Monitoreo y Evaluación ha sido diseñado para apoyar a los grupos meta del proyecto “Vinculando microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza del Chaco Sudamericano”: elaboradores de políticas de ministerios afines al tema del desarrollo de la energía para el sector rural, de gobiernos regionales y/o municipales, así como a personas de instituciones que trabajan con estrategias de alivio a la pobreza, grupos comunitarios, microempresarios, instituciones financieras; así como a directivos y técnicos de organizaciones no gubernamentales que trabajan en el sector energético y de desarrollo rural, a la comunidad donante e implementadores de programas, respecto de los conceptos del Monitoreo y Evaluación (M&E), así como también sobre cómo diseñar y desarrollar un plan, respecto de los conceptos del Monitoreo y Evaluación (M&E). El manual ha sido elaborado de manera ecléctica, compilando información contenida en diversos documentos relacionados con la temática de M&E como también del sector energético. Cabe mencionar que además de la sistematización de la información, los aportes de los autores con su experiencia en M&E y en particular con la temática energética, permiten brindar al lector la seguridad de contar con un documento que les oriente con certeza en el desarrollo de su trabajo cotidiano. La elaboración del manual se realizó bajo la responsabilidad institucional de IT Power y el equipo de redacción estuvo conformado por: Alba Gamarra de Guardia, Walter Canedo Espinoza y Manuel Fuentes. El Manual tiene 5 módulos que cubren lo esencial del M&E: desarrollo e indicadores, conducción de análisis de actores, así como el proceso de ejecución y análisis. Los módulos del manual son los siguientes: Módulo 1: Introducción al M&E. Módulo 2: Estructura de M&E. Módulo 3: Análisis de actores. Módulo 4: Indicadores de M&E. Módulo 5: Proceso de ejecución del plan de M&E. Cada módulo contiene una sección final denominada “Puntos de discusión” que orienta en la reflexión personal y grupal respecto a la temática abordada. Esta sección se complementa con ejercicios que el facilitador del curso explicará y conducirá de acuerdo al grupo de participantes. Consideraciones preliminares Necesidad del monitoreo y evaluación. El M&E es necesario, visto no como una imposición sino como una herramienta de: Reflexión: El M&E es un instrumento para mejorar continuamente la calidad del trabajo. Complementa el proceso de acción con la reflexión sobre lo ejecutado. Con esto se puede hacer los ajustes necesarios de manera oportuna. Conocimiento: Es un instrumento para satisfacer demandas de información internas y externas, y – de esta manera - en función del análisis sistemático de las experiencias del proyecto pueda basar en ellas su marco de acción.
  6. 6. CRECER CON ENERGIA D26 – Manual de M&E página 6 de 134 Legitimación: Es un instrumento importante frente a los contrapartes, financiadores, instancias superiores, instituciones y personas del entorno del proyecto para demostrar que se conserva el contacto con la realidad del proyecto y que se toman decisiones adaptándose dinámicamente a las condiciones cambiantes de un entorno complejo. Es importante indicar que el M&E debería ser de utilidad para los beneficiarios, en los diferentes niveles y no solamente como una oferta o exigencia de las entidades de cooperación sino más bien como una herramienta necesaria y útil desde la demanda como parte de su empoderamiento. Control: También es un instrumento para medir el avance y verificar la calidad de las diferentes prestaciones desarrolladas en el proyecto, cuestionando muchas veces su validez.1 Toma de decisiones: Es un instrumento para realizar ajustes o correcciones "concurrentes", es decir durante la ejecución de las actividades y también a la "conclusión" o "ex – post", en el caso de programas o proyectos con características similares. Objetivos del programa de capacitación en monitoreo y evaluación. El objetivo general del programa de capacitación es el de brindar elementos para iniciar o profundizar un proceso de cambio en los proyectos, programas, acciones o instituciones de los participantes, a través de la toma de conciencia sobre el M&E, el incremento de conocimientos, así como el familiarizarse con un conjunto de técnicas y procedimientos que sean orientados a la sostenibilidad de las realizaciones. Se espera que la capacitación utilizando el manual, brinde a los participantes -de manera general- conocimientos y destrezas para facilitarles planificar, conducir y analizar actividades del M&E. De manera particular, se espera que la capacitación permita a los participantes: Disponer de una apreciación global de M&E. Diseñar un sistema de Monitoreo. Desarrollar un plan de evaluación. Conducir actividades de M&E. Analizar datos recolectados durante las actividades de M&E. Usar los hallazgos del M&E para mejorar los programas específicos. Módulos de capacitación. Cada módulo del manual de capacitación tiene el mismo formato y consta de las siguientes partes: Título del Módulo: Se tiene el título de la unidad y su numeración. Propósito y objetivos del Módulo: Estos puntos del documento indican qué se espera alcanzar con el módulo y refleja el conocimiento, además de las destrezas que los participantes deben adquirir al final de la sesión. Resultados esperados: Los puntos del módulo indican qué resultados se esperan por parte de los participantes, para lograr los objetivos de la capacitación. 1 Plan de Monitoreo y Evaluación (M&E), del Proyecto Componente de Energía – PROAGRO GTZ, con fondos de donación del Reino de los Países Bajos. Período de planificación: 01.06. -08/08. GAMARRA, ALBA, diciembre de 2005.
  7. 7. CRECER CON ENERGIA D26 – Manual de M&E página 7 de 134 Tiempo: Es el tiempo sugerido que debería emplearse para el total de la unidad. Dependiendo del nivel de habilidades que tengan los participantes. Las sesiones individuales pueden llevar mayor o menor tiempo. Glosario y Acrónimos: Para facilitar la comprensión del lector respecto a siglas, acrónimos y conceptos utilizados en el manual, se tiene una sección específica que contiene esta información. Páginas Internet recomendadas y literatura: Cada módulo cuenta con referencias de literatura recomendada, tanto impresa como la accesible por Internet, con la finalidad de permitir al lector ampliar la información pertinente a cada módulo. Estructura de la capacitación y proceso. De acuerdo a su concepción de Curso – Taller, durante el evento, se conjugarán los dos elementos básicos: la teoría y la práctica. La teoría, girará alrededor del monitoreo y la evaluación, como partes consustanciales de la gestión del ciclo del proyecto y se sustentarán a su vez, en tres componentes complementarios: los conceptos, los procesos y las herramientas del Monitoreo y la Evaluación. Para la revisión de la teoría se recurrirá a breves exposiciones complementadas por la reflexión en grupo y su relación, sea con ejemplos o con experiencias propias de los participantes sobre cada uno de los temas tratados. Para la revisión teórica, se usará el presente manual de M&E como texto guía, además del material adicional que los instructores preparen y crean conveniente utilizar. La aplicación práctica de la teoría impartida, se concretará a través de ejercicios y tareas individuales o en pequeños grupos de trabajo. Recursos que se precisan para el programa de capacitación La Pre-planeación es esencial para el éxito del programa de capacitación y debe contar con: a) Recursos humanos: Los recursos humanos son vitales para el éxito del programa de entrenamiento. Los facilitadores deben ser responsables de la preparación y manejo del programa completo, tomando en cuenta aspectos: conceptuales, técnicos, logísticos, etc. relacionados con el M&E de proyectos y programas energéticos. b) Participantes: El grupo meta al que se dirige la capacitación en monitoreo y evaluación es el siguiente: • Autoridades del sector público o líderes con reconocimiento local (Viceministerios, Gobiernos regionales, Prefecturas, Sub prefecturas, Consejos departamentales, Gobiernos municipales o alcaldías, corregimientos, capitanías). • Donantes. (Cooperación financiera o de asistencia técnica). • Financiadores. (Instituciones financieras, cooperativas, mutuales, cajas). • Usuarios / clientes. (Comunidades o beneficiarios)
  8. 8. CRECER CON ENERGIA D26 – Manual de M&E página 8 de 134 • Equipo del proyecto. (Coordinador, responsables de área o departamentos, otro personal del proyecto: promotores, facilitadores sociales, capacitadores, comunicadores, director técnico u otros). • Actores del sector privado. (Consultores, productores, proveedores, instaladores, inspectores o evaluadores externos) • Administradores. Las personas que participen deben ser invitadas en base a una convocatoria concreta para aclarar el alcance del curso y expectativas de los/las participantes. Deben manifestar también su disponibilidad de tiempo y voluntad de aprendizaje. c) Materiales: Algunos de los materiales principales para el programa de capacitación son: Proyector o data display Lápices/cuadernos/bolígrafos Tarjetas en blanco Pantalla de proyección Tajadores Grapadora Rotafolios (mínimo 2) Cables de extensión Alfileres Papel para rotafolio / almohadilla Facilidades para fotocopias Pegamento Marcadores permanentes, resaltadores Hojas y bolígrafos extras. Tijeras Marcadores para transparencias Transparencias en blanco Cinta adhesiva (masking tape resistente y normal)
  9. 9. CRECER CON ENERGIA D26 – Manual de M&E página 9 de 134 Modulo 1: Introducción al Monitoreo y Evaluación TABLA DE CONTENIDOS MODULO 1   1.1  CONCEPTOS BÁSICOS SOBRE EL MONITOREO Y EVALUACIÓN. ........................................................15  1.2  PROCESOS DEL MONITOREO Y EVALUACIÓN. .................................................................................19  1.3  EL SISTEMA DE MONITOREO Y EVALUACIÓN. ..................................................................................21  1.4  TIPOS DE MONITOREO Y EVALUACIÓN............................................................................................23  1.5  ¿QUÉ SON LOS INDICADORES? ......................................................................................................26  1.6  ¿QUÉ PUEDE LOGRAR EL M&E?....................................................................................................30  1.7  CAMBIOS EN LOS ENFOQUES DEL MONITOREO A NIVEL INTERNACIONAL. .........................................30  1.8  ¿DE DÓNDE SALE LA INFORMACIÓN PARA LA TOMA DE DECISIONES?...............................................31  1.9  PASOS PARA CONDUCIR EL MONITOREO .........................................................................................31  1.10  PASOS PARA CONDUCIR LA EVALUACIÓN........................................................................................33  1.11  PROPÓSITO DE LA EVALUACIÓN. ....................................................................................................33  1.12  METODOLOGÍA..............................................................................................................................35  1.13  DIFERENTES ENFOQUES PARA LA EVALUACIÓN. .............................................................................36  1.14  VENTAJAS Y DESVENTAJAS DE LA EVALUACIÓN INTERNA Y EXTERNA DE UN PROYECTO....................37  1.15  PASOS PARA ELABORAR UN PLAN DE MONITOREO Y EVALUACIÓN....................................................37  1.16  PASOS PARA ELABORAR UN PLAN DE MONITOREO Y EVALUACIÓN (GRUPO M&EED). ..................42  1.17  PAUTAS PARA LA TOMA DE DECISIONES EN EL MONITOREO Y EVALUACIÓN.......................................44  1.18  EQUIPO DE PERSONAS PARA MONITOREO Y EVALUACIÓN. ...............................................................45  1.19  SELECCIÓN DE UN EVALUADOR EXTERNO O DE UN EQUIPO DE EVALUACIÓN. ....................................45  1.20  PUNTOS DE DISCUSIÓN ..................................................................................................................47 
  10. 10. CRECER CON ENERGIA D26 – Manual de M&E página 10 de 134 Información acerca del Módulo Objetivo del Módulo Entender los conceptos básicos del Monitoreo & Evaluación. Objetivos de aprendizaje Explicar las ideas claves del Monitoreo y Evaluación. Exponer los marcos generales de M&E, así como el significado de los indicadores. Explicar los logros del M&E para poder ayudar a la consecución de programas o para tomadores de decisiones. Resultados esperados del Módulo Comprender el concepto y diferencia entre Monitoreo y Evaluación. Comprender sobre la importancia de tener el enfoque sistémico de M&E Lograr la capacidad de explicar la importancia del Monitoreo y Evaluación en programas de energía. Desarrollar los pasos básicos para el Monitoreo y Evaluación en programas de energía. Tiempo necesario para la ejecución 125 minutos. Forma de trabajo Auto-estudio y exposición dialogada del facilitador. ACRÓNIMOS CSD Comisión de Desarrollo Sostenible de las Naciones Unidas. DAC-OECD (Development Aid Committee - Organization for Economic Cooperation and Development). Comité de Ayuda al Desarrollo – Organización para la Cooperación Económica y de Desarrollo. FIDA Fondo Internacional para el Desarrollo Agrícola. GTZ Gesellschaft fur Technische Zusammenerbait (Sociedad de Cooperación Técnica Alemana). IVO’s Indicadores Verificables Objetivamente. MDMs Metas de Desarrollo del Milenio. M&E Monitoreo y Evaluación. M&EED Grupo Internacional de trabajo de M&E en Energía
  11. 11. CRECER CON ENERGIA D26 – Manual de M&E página 11 de 134 para el Desarrollo. MPP Matriz de planificación de proyectos. PNUD Programa de Naciones Unidas para el Desarrollo. PCM Project Cycle Management (Gestión del ciclo de proyectos). PO Plan Operativo. ZOPP Ziel Orientierte Projekt Planung. (Sistema de Planificación de Proyectos Orientada a Objetivos). GLOSARIO Actividades Las Actividades son los pasos individuales que se requieren para alcanzar un resultado. Las actividades se formulan en infinitivo. Verbo, objeto y condición. Beneficiarios Individuos, grupos u organismos que se benefician, directa o indirectamente, de una intervención para el desarrollo, hayan sido o no los destinatarios de la intervención. Evaluación Es la apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus resultados. El objetivo es determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo. Una evaluación deberá proporcionar información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso de toma de decisiones de beneficiarios y donantes. La evaluación también se refiere al proceso de determinar el valor o la significación de una actividad, política o programa. Se trata de una apreciación, tan sistemática y objetiva como sea posible, de una intervención para el desarrollo planeada, en curso o concluida. Evaluación del impacto social La Evaluación del impacto social analiza los cambios o variaciones observables en los destinatarios y en el contexto del proyecto. Efectividad Capacidad de lograr el efecto que se desea o se espera. La efectividad es una medida del alcance en el cual un programa de desarrollo o proyecto adquiere los objetivos específicos establecidos. Eficiencia El nivel de Eficiencia compara los resultados obtenidos con los medios empleados. Análisis de costos / realizaciones. Analizar en qué medida el proyecto alcanza sus objetivos usando lo mínimo de recursos
  12. 12. CRECER CON ENERGIA D26 – Manual de M&E página 12 de 134 o dicho de otra manera, en qué medida el proyecto alcanza el máximo impacto para una cantidad dada de recursos. Eficacia El nivel de Eficacia compara objetivos con resultados, aprecia las diferencias entre lo que se realizó y lo que estaba previsto. Externalidad Perjuicio o beneficio experimentado por un individuo o una empresa a causa de acciones ejecutadas por otras personas o entidades. Fuentes de verificación Las Fuentes de verificación son los medios con los cuales se reúnen los datos necesarios para medir los indicadores. Pueden describir el tipo de datos, las fuentes de información o los métodos de recopilación. Es la base para la planificación del sistema de información y documentación del proyecto. Género En términos sociológicos, se refiere a la construcción social y cultural de las diferencias sexuales en un lugar específico y en un tiempo dado. Lo cual quiere decir que es un término que no necesariamente es interpretado de la misma manera en las distintas culturas y grupos sociales, además con el transcurso de los años. Grupo meta Individuos u organismos específicos en cuyo beneficio se lleva a cabo la intervención para el desarrollo. Línea de base Análisis que describe la situación previa a una intervención para el desarrollo, en relación con la cual puede medirse el avance o pueden efectuarse comparaciones. Matriz de Planificación La Matriz de Planificación (también conocida como "logical framework" o “marco lógico”) es una herramienta utilizada para planear la ejecución de una solución. El planeamiento de la solución debe ser elaborado como respuesta a las siguientes preguntas: Qué: ¿Qué acción va ser desarrollada? Cuándo: ¿Cuándo será realizada la acción? Quién: ¿Quién será el responsable de la implantación? Por qué: ¿Por qué fue definida esta solución (resultado esperado)? Dónde: ¿Dónde será implementada la acción (alcance)? Cómo: ¿Cómo va ser implementada (pasos de la acción) Monitoreo El monitoreo es una herramienta que permite tomar decisiones o realizar intervenciones adecuadas para gerentar una institución, un Programa, Proyecto o Plan, que contiene subsistemas de acompañamiento y valoración, con una adecuada información, comunicación, coordinación y participación”, a través de la observación continua, tanto del funcionamiento de las actividades de la institución en el contexto del calendario de implementación, como del uso de los insumos por los grupos meta en el contexto de las expectativas proyectadas. Es también una función continua que utiliza una recopilación sistemática de datos sobre indicadores especificados para proporcionar a los administradores y a las partes interesadas principales de una
  13. 13. CRECER CON ENERGIA D26 – Manual de M&E página 13 de 134 intervención para el desarrollo, indicaciones sobre el avance y el logro de los objetivos así como de la utilización de los fondos asignados. Objetivo de Desarrollo El Objetivo de Desarrollo es el que refleja la mejora de la situación de los grupos destinatarios (beneficiarios del proyecto). El objetivo de desarrollo debe responder a los deseos del grupo destinatario, a sus valores y aspiraciones. Objetivo del Proyecto El Objetivo del Proyecto define el por qué se desarrolla el proyecto y describe los efectos a ser alcanzados. Debe permitir que se reconozcan fácilmente los beneficios para el grupo destinatario (beneficiarios finales) y, en la medida de lo posible, describir los cambios en el modo de pensar y actuar del grupo destinatario como efectos del proyecto. Planificación La Planificación se dedica a tomar decisiones ahora acerca de acciones futuras. Proceso para facilitar el logro de una expectativa. Paso 1: Determinar QUÉ es lo que quiere hacer. Paso 2: Determinar CUÁNDO quiere hacerlo. Paso 3: Determinar CÓMO va a hacerlo. Paso 4: DETERMINAR si su planificación tuvo ÉXITO. Sostenibilidad Continuación de los beneficios de una intervención para el desarrollo después de concluida. Probabilidad de que continúen los beneficios en el largo plazo. Situación en la que las ventajas netas son susceptibles de resistir los riesgos con el correr del tiempo. Supuestos Los Supuestos son factores externos que afectan el logro de lo trazado. Son campos de observación para la gestión. Si los supuestos cambian, el concepto del proyecto debe ser ajustado. Términos de referencia. Son los lineamientos generales, orientativos y no limitativos para la realización de algún trabajo o la prestación de un servicio. Los términos de referencia se elaboran como un documento que se constituye en los requerimientos que tiene el contratante o la persona natural o jurídica que requiere algún servicio. Viabilidad La Viabilidad consiste en estimar la capacidad de continuación de las acciones de manera autónoma. Se evalúan las posibilidades de supervivencia cuando los apoyos externos se retiren.
  14. 14. CRECER CON ENERGIA D26 – Manual de M&E página 14 de 134 Páginas Internet recomendadas y Literatura. CIVICUS, Monitoreo y Evaluación, Janet Shapiro. 2003. Olive Publications. Planning for Monitoring and Evaluation. Olive. 2002. Shapiro, Janet. Evaluation: Judgement Day or Management Tool? Olive. 1996. OED ECD, Seguimiento y Evaluación: Instrumentos, métodos y enfoques. Banco Mundial. 2004. Emma Rotondo, Gloria Vela. Indicadores de género. PREVAL/PROGENERO, FIDA. 2004. M&EED. A Guide to monitoring and evaluation for energy projects. M&EED. 2006. Rai Kavita. IT Power. Monitoring and Evaluation of the impact of renewable energy programmes. IT Power, REEEP. 2005. Rai Kavita. Monitoring and evaluation of energy projects for social development. IT Power. 2007. Mundo de conceptos de la GTZ. Archivo en pdf. http://www.gtz.de/de/dokumente/begriffswelt-2006-es.pdf http://www.gtz.de/de/publikationen/begriffswelt-gtz/es/9071.htm Mundo de conceptos de la GTZ - Matriz de Planificación de Proyectos: http://www.gtz.de/de/publikationen/begriffswelt-gtz/es/include.asp?lang=S&file=8_32_3.inc Mundo de conceptos de la GTZ – Monitoreo basado en resultados: http://www.gtz.de/de/publikationen/begriffswelt-gtz/es/include.asp?lang=S&file=9_6.inc Ziel Orientierte Projekt Planung - Planificación de Proyectos orientada a Objetivos: GTZ. http://www.jjponline.com/marcologico/mpp.html Matriz Identificación de actores, análisis, planeación (Tablas Excel) http://www.google.com.bo/search?q=matriz+de+planificaci%C3%B3n&hl=es&rlz=1T4GGLJ_enBO215B O215&start=30&sa=N Manual para la planificación participativa de proyectos. Lineamientos centrales sindicales de los países nordicos y de Holanda http://www.union-network.org/unisite/in_depth/TU_development/download/Handbook-spart1- Manual_1.pdf Monitoring and Evaluation in Energy for Development (M&EED) International working group. www.gvep.org Biblioteca del Centro de información en Energías Renovables – CINER: ZP 1000 y ZP 2000 http://www.ciner.org/biblioteca/zp.htm#planificacion http://www.ciner.org/biblioteca/zp.htm#monitoreo Achieving The Millennium Development Goals: The Role of Energy Services. Case Studies From Brazil, Mali and the Philippines. PNUD. Editors Jem Porcaro and Minoru Takada Advisors Susan McDade, Vijay Modi and David Nissen. Contributing Authors Bridget Anderson, Martin Berg, Dan Blanchard, Elisabeth Clemens, Cybele Díaz-Wionczek, Silvia Fracchia, Tamy Gelman, Leah Granof, Remi Lang, Jem Porcaro, Hitoshi Shigeoka, Sean Yokota Date January, 2005. Informe del Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH Deutsche Welthungerhilfe (Agro Acción Alemana) a través de la Asociación de Instituciones de Promoción y Educación AIPE, llevado a cabo en la ciudad de Cochabamba, entre el 5 y el 9 de noviembre de 2001. Instructores: GAMARRA Alba, CANEDO Walter, GANGOTENA Juan.
  15. 15. CRECER CON ENERGIA D26 – Manual de M&E página 15 de 134 Planificación del proceso enseñanza - aprendizaje Tiempo Agenda Metodología Requerimientos 30 minutos Secciones: 1.1 a 1.8 Presentación dialogada. Data display y papelógrafos. 30 minutos Secciones: 1.9 a 1.14 Presentación dialogada Data display y papelógrafos. 30 minutos Secciones: 1.15 a 1.19 Presentación dialogada y trabajo grupal. Data display, papelógrafos, marcadores. 45 minutos Sección 1.20 Discusión y casos de estudio. Papelógrafos y marcadores. 1.1 Conceptos básicos sobre el Monitoreo y Evaluación. Antes de entrar en la temática específica del monitoreo y evaluación, conviene contextualizar el enfoque principal que se abordará en el presente manual; en este caso el enfoque está dirigido al tema energético. Los servicios energéticos son esenciales en las dimensiones económicas, sociales y ambientales del desarrollo humano. Estos facilitan el desarrollo económico a través del crecimiento industrial, reforzando la productividad y proporcionan el acceso a los mercados globales y al comercio. Los servicios energéticos modernos contribuyen al desarrollo social, ayudando a completar las necesidades básicas humanas como alimentación, calor, iluminación, además de educación y salud. Asimismo, protegen el ambiente disminuyendo la deforestación y la reducción de emisiones. La energía tiene un rol crucial en el logro de las Metas de Desarrollo de Milenio (MDMs) 2 . Es importante aclarar lo siguiente: los servicios energéticos se refieren específicamente al “producto” utilizable en las diferentes categorías de consumidor y que proviene de los usos finales de la energía, en cualquiera de sus formas y sin importar la fuente primaria de energía. El calor, la iluminación, la refrigeración de ambiente, la cocción de alimentos, la conservación de alimentos, la fuerza motriz y la telecomunicación son ejemplos de servicios energéticos. El concepto de servicio energético supera el sesgo convencional de “ofertismo” de una determinada fuente de energía. Según este enfoque se “privilegia” de antemano una fuente de energía para un uso final determinado, por ejemplo: utilizar necesariamente leña para producir calor, o bien utilizar combustible derivado de petróleo para fuerza motriz. El servicio energético presupone, por el contrario, partir cualquier análisis desde el punto de vista del consumidor, de la demanda. Así, este nuevo enfoque deja más libre el análisis para buscar la relación más conveniente, según criterios previamente establecidos (sean ellos de 2 Achieving The Millennium Development Goals: The Role of Energy Services. Case Studies from Brazil, Mali and The Philippines. PNUD. 2005.
  16. 16. CRECER CON ENERGIA D26 – Manual de M&E página 16 de 134 carácter ambiental, disponibilidad local, eficiencia, entre otros), entre las fuentes de energía, la logística, los equipos de uso final y el servicio que se requiere.3 Ejemplo: Dos proyectos que brindan acceso a servicios energéticos para iluminación, analicemos el supuesto caso de una comunidad que define, previo análisis de alternativas: un sistema de carga de baterías comunales Proyecto 1: verifica regularmente el avance del proyecto, la capacitación y uso de materiales recibidos, así como la satisfacción del beneficiario. Cuando nota que algo no está bien, por ejemplo que los niños sean los enviados para dejar y recoger las baterías por terrenos agrestres, analiza inmediatamente este aspecto con la comunidad y toman decisiones conjuntas que son aplicadas por los actores, sea en el sentido de delegar la responsabilidad en personas mayores, organizar un sistema de transporte o quizás disponer de un sistema fotovoltaico en cada domicilio. El proyecto está bien y el responsable de la ejecución está satisfecho. Proyecto 2: Elabora un sistema de M&E para presentar al financiador, deja todo en manos de los ejecutores en campo, no visita la zona luego de iniciado el proyecto. En la época de la evaluación externa (o semanas antes) se sorprende cuando ve que quizás hay problemas con quemaduras por ácidos, o que la comunidad está molesta por una mala gestión de la persona a cargo de los turnos para el cargado de baterías y -a causa de este malestar - existe ahora desunión en la comunidad. Él queda decepcionado. Este ejemplo nos da la pauta para mencionar que monitoreo es la observación continua, reflexión y corrección de actividades. Esto fue realizado por el personal del Proyecto 1; más no así por el del Proyecto 2. 1.1.1 Definición de Monitoreo y Evaluación. En varios países, los sistemas de diseño y construcción de M&E son normalizados como una herramienta pública de gestión. Mientras tanto, los gobernantes incluyen el establecimiento de presupuestos, recursos humanos y controles; la retroalimentación de resultados y consecuencias de cualquier plan de gobierno o política es un mecanismo que necesita ser trabajado. La definición más utilizada por la OECD sobre Monitoreo y Evaluación es la siguiente: El Monitoreo es una herramienta que usa la recolección sistemática de datos para indicadores específicos, de manera tal que aporten a la gestión y a los principales actores acerca del desarrollo sobre la marcha de las intervenciones, a través de indicadores para el avance y logro de objetivos; así como el progreso en el uso de los recursos colocados. La Evaluación es definida como la valoración objetiva y sistemática del diseño, implementación y resultados de un proyecto, programa o política que está en avance o ha concluido. El objetivo es determinar la importancia y el cumplimiento de los objetivos, avance de eficiencia, efectividad, impacto y sostenibilidad. La evaluación debe proveer información que sea creíble y útil, permitiendo la incorporación de lecciones aprendidas en los procesos de toma de decisiones, tanto de receptores como de donantes. Se ocupa de quién, o qué grupo, se ha beneficiado del sistema interinstitucional de trabajo (o fue adversamente afectado), en qué cuantía, de qué manera y por qué. Con el Monitoreo y Evaluación se pueden establecer las bases para el aprendizaje compartido a partir de la acción conjunta. 3 OXILIA Victorio, aportes a los autores. 2007.
  17. 17. CRECER CON ENERGIA D26 – Manual de M&E página 17 de 134 Si bien se han definido los conceptos de Monitoreo y Evaluación, para desarrollar adecuadamente un proyecto o programa, es necesario establecer una visión de conjunto que englobe al monitoreo y la evaluación como un sistema. Esto es de gran importancia por la estrecha relación entre ambos términos: “el Monitoreo se centra en verificar la adecuación y correspondencia entre un plan y la realidad....y la evaluación mide y reflexiona sobre el impacto que tienen las acciones (a veces corregida o adaptada por medio del monitoreo) en relación con los objetivos y resultados esperados. Son dos lados de una misma moneda....se alimentan entre si y tienen un fin común: que los proyectos, programas y políticas sean efectivas...o bien aprender con las iniciativas buscando el mejoramiento continuo....hacia mejores proyectos, programas y políticas....”4 Ahora bien, para saber quiénes deben realizar el M&E, se debe partir primero por definir cuál es el papel de los grupos esenciales / actores que integrarán el trabajo de M&E, para lo cual se debería disponer de un listado agrupado: Autoridades públicas, instancias internacionales (multi y bilaterales) sectores no gubernamentales (nacionales / regionales) y sector privado (fabricantes/Bancos, etc.) y luego clarificar el rol que desempeñan: si trabajan en la creación de políticas para alivio a la pobreza, de política sectorial, si más bien son ejecutores de políticas / programas para el alivio a la pobreza, si más bien trabajan o diseñan políticas, planes y programas específicos para energía en ámbitos nacionales y regionales o si son ejecutores de las mismas.5 Este tema, por su implicancia en el Monitoreo y Evaluación, será analizado con mayor detalle en el módulo 3: “Análisis de los participantes en el M&E”. A continuación, se presentan los objetivos, contenidos, componentes, principios y criterios que deben ser empleados en el Monitoreo y Evaluación. 1.1.2 Objetivos del monitoreo y evaluación. Estos objetivos son estructurados a partir de una pregunta: ¿Para qué sirve el Monitoreo y Evaluación? ¿Y para quiénes? Las respuestas más frecuentes son: • Suministrar información. • Determinar el estado de un proyecto. • Garantizar la ejecución de un proyecto con efectividad. • Adoptar medidas correctivas en la ejecución. • Tomar decisiones (tanto en la ejecución de un proyecto o programa o política, como también para futuros proyectos, programas etc.). De manera sintética es: “Ayudar a los actores a orientar su trabajo hacia los resultados y objetivos del proyecto e informar sobre su avance, con el propósito de servir de apoyo a la gestión del proyecto, evaluando los resultados que se van alcanzando e introducir los ajustes necesarios para la obtención de los objetivos propuestos. Todo ello para poder adaptarse dinámicamente a las condiciones cambiantes de un entorno complejo y lograr el análisis sistemático de las experiencias del proyecto y basar en ellas su marco de acción”. 4 OXILIA Victorio, aportes a los autores. 2007 5 Monitoring and Evaluation Frameworks and Indicators: A Review of Energy Stakeholders in Bolivia & Paraguay. Kavita Rai/ Alba Gamarra/ Victorio Oxilia/ Maria Emilia de Castel/Elvio Enciso. WP7, Febrero 2007.
  18. 18. CRECER CON ENERGIA D26 – Manual de M&E página 18 de 134 1.1.3 ¿Cuáles son los principios que deben guiar al M&E? El proceso de Monitoreo y Evaluación se debe desarrollar en base a un plan fundamentado en cuatro principios, que son: Transparencia, que permita a todos los actores involucrados en el proyecto, conocer qué información se recopilará y para qué fines. Objetividad, que establezca parámetros para el M&E, sin posibilidad de distorsiones de tipo subjetivo. Pertinencia, que permita a los actores diseñar, levantar información en el momento oportuno y procesarla para la adecuada toma de decisiones en el proceso de evaluación y retroalimentación. Legitimidad, que involucre activamente a los actores del proyecto desde el inicio, para la adecuada recopilación de información y la consecuente toma de decisiones. Flexibilidad, que permita la adecuación del sistema, pues éste debe poder modificarse, adaptarse y mejorar inclusive en el mismo proceso. 1.1.4 ¿Qué requiere? • Amplia base de consenso entre las autoridades institucionales, los ejecutivos/directivos del proyecto y los grupos meta, sobre los objetivos, resultados y actividades del proyecto. • Compatibilidad entre los objetivos, resultados y actividades del proyecto y las condiciones estructurales del medio. • Flexibilidad por parte de los administradores del proyecto, para aprender de las experiencias obtenidas durante la fase de ejecución y poder reaccionar oportuna y apropiadamente. • Efectividad y estabilidad de las instituciones responsables para el proyecto y de la propia organización de éste. • Continuidad en las decisiones a lo largo del tiempo de vida del proyecto. Como base de un sistema de M&E, se debe cuidar la existencia de una lógica vertical, objetivos, resultados, actividades e indicadores claros y realistas en la Matriz de Planificación del Proyecto (MPP), si se utiliza éste u otro esquema de planificación; así como también el disponer de un Plan operativo (PO) adecuado; a fin de permitir un seguimiento sistemático del avance (Monitoreo) y una revisión periódica (Evaluación) de los logros del proyecto. Existe un alto grado de dependencia entre la calidad de la planificación y el sistema de M&E, pues obviamente sería difícil diseñar un buen sistema de M&E, si la planificación de base no es precisa; o procurar modificar o ajustar la planificación sin un monitoreo y una subsiguiente evaluación de las actividades, resultados y efectos. 1.1.5 ¿Qué no es? Una función policiaca de fiscalización o auditoría del desempeño humano, financiero o institucional. Así como un programa o un proyecto...tampoco puede ser un sistema impuesto, prefabricado e inflexible en sus principios.
  19. 19. CRECER CON ENERGIA D26 – Manual de M&E página 19 de 134 1.1.6 ¿Qué niveles de monitoreo y evaluación se tienen? Monitoreo y evaluación de las actividades ¿Cuáles actividades hemos planificado? ¿Cuáles hemos realizado y en que calidad? Monitoreo y evaluación de los resultados / productos ¿Qué hemos logrado? ¿Cuánto y con qué calidad? Monitoreo y evaluación del proceso ¿Por qué lo hemos logrado/ no lo hemos logrado? ¿Cómo lo hemos logrado? Monitoreo y evaluación de los impactos ¿Cuáles son los efectos que ha causado nuestro trabajo? Monitoreo y evaluación del entorno /contexto ¿Qué promueve u obstaculiza nuestro trabajo? Además de: Un Monitoreo y evaluación de la organización interna y de las relaciones externas 1.1.7 Límite de responsabilidades y atribuciones. Las responsabilidades y atribuciones (también denominado “brecha de atribución” del equipo del proyecto) van desde los insumos o recursos hasta el logro de los resultados, tomando en cuenta de acotar o delimitar las responsabilidades de los involucrados en los proyectos. Los beneficios directos e indirectos así como el objetivo de desarrollo corresponden a los impactos del proyecto que se miden generalmente a través de evaluaciones externas. Esta brecha de atribución es simplemente el límite de las responsabilidades del equipo de ejecución y monitoreo del proyecto. 1.2 Procesos del Monitoreo y Evaluación. El Monitoreo y la Evaluación deben entenderse como procesos reiterativos y cíclicos que nacen de la acción y se sirven de la observación, reflexión y decisión para introducir los ajustes necesarios sobre el proceso de ejecución del proyecto (acción). El Monitoreo y la Evaluación se sirven de la Matriz de Planificación –MPP-, esto es: de los objetivos, metas, actividades e indicadores, de manera que el objeto de las acciones de M&E; y, a su vez el instrumento, es el conjunto de elementos allí definidos. Mientras el proceso de planificación va de lo general a lo particular; el de monitoreo y evaluación asume el proceso inverso: de lo particular a lo general, esto es, del examen de los recursos y las actividades, pasa a la revisión de los resultados y, de éstos a los objetivos del proyecto y de desarrollo. El Monitoreo y la Evaluación deben definirse conjuntamente con la formulación del Plan de Acción. Éste pasa a ser un principio necesario, de manera de asegurar la retroalimentación permanente que mejore y optimice el proceso de ejecución del proyecto, con miras al logro de los resultados esperados. El Monitoreo y la Evaluación son “internos” y “participativos”, de manera que deben ser realizados por los propios participantes y responsables. Este principio sin embargo, no
  20. 20. CRECER CON ENERGIA D26 – Manual de M&E página 20 de 134 elimina la posibilidad, y a veces la conveniencia, de contar con apoyos externos para la realización de tareas de evaluación. A continuación se enuncian algunos elementos básicos del monitoreo y evaluación que se desprenden del concepto enunciado: El Plan de Monitoreo y Evaluación pasa a ser un instrumento necesario, de manera de asegurar la retroalimentación permanente que mejore y optimice el proceso de ejecución del proyecto, con miras al logro de los resultados esperados. El monitoreo y evaluación debe fomentar y potenciar los factores positivos observados en la ejecución del proyecto, detectar eventuales problemas o limitaciones, así como sus causas para finalmente, proponer soluciones y procedimientos apropiados para rectificarlos. Estas recomendaciones deben incorporarse a los formularios de reporte. Este proceso supone: partir de la observación de la acción, con el fin de reflexionar y decidir, para volver nuevamente a la acción. Observar: Contar con la información suficiente para establecer el estado de avance de la ejecución e identificar los procesos de contribución de los diversos agentes que intervienen durante el proceso de ejecución del proyecto. La observación requiere un mínimo de sistematización, momentos y agentes diferentes de observación y supone responder a: ¿Qué podemos y queremos observar? ¿Quién observa? ¿Cómo medir y representar lo observado? ¿Cómo presentar esa información? Reflexionar: Comprobar su eficacia mediante la comparación entre objetivos y metas propuestas y los logros obtenidos; identificar los factores de éxito de esos logros y las causas de las limitaciones u obstáculos que impiden su obtención. En la reflexión las preguntas son: ¿Qué diferencia existe con lo previsto? ¿Qué se ha logrado? ¿Qué de positivo hay en nuestro proceso? ¿Cuáles son las limitaciones de nuestro proceso y sus causas? ¿Con quién intercambiar nuestra observación? Decidir acerca de las medidas necesarias para continuar el proceso hacia el logro de los objetivos y velar por su aplicación. Las preguntas al respecto son: ¿Qué queremos cambiar? ¿Qué esperamos conseguir con ello? ¿Cómo hacerlo? ¿Quién puede ayudarnos? Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena Juan. 2001. ACTUAR OBSERVAR REFLEXIONAR DECIDIR ACTUAR
  21. 21. CRECER CON ENERGIA D26 – Manual de M&E página 21 de 134 Este ciclo de observación, reflexión y decisión, se concreta por parte de los diversos agentes involucrados (grupos interesados, entes de contraparte y cooperación externa) sobre todos los pasos del proceso: • Planificación (concepción). • Ejecución (organización, empleo de recursos, relaciones de contribución y cooperación). • Operación • Efectos e impactos. Es importante reconocer que el Monitoreo y la Evaluación no son varitas mágicas que pueden hacer que los problemas desaparezcan, que se solucionen u ocurran cambios milagrosos sin un duro trabajo en el proyecto o la organización. Ellos no son la solución, más son herramientas valiosas. El efecto del Monitoreo y Evaluación puede verse en el siguiente ciclo. Note que usted monitoreará y ajustará varias veces antes que esté listo para evaluar y replanificar. Fuente: CIVICUS, Monitoreo y Evaluación, Janet Shapiro.2003. 1.3 El sistema de Monitoreo y Evaluación. El sistema de M&E- como ya se ha dicho - tiene como referentes a las actividades del proceso, los resultados esperados y los objetivos trazados. El sistema debe contener los elementos que responden a las siguientes preguntas: Planificar Implementar Monitorear Reflexionar/aprender/ decidir /ajustarImplementar Monitorear Reflexionar/aprender/ decidir/ ajustar Implementar Evaluar/aprender/ decidir
  22. 22. CRECER CON ENERGIA D26 – Manual de M&E página 22 de 134 ¿Qué, Quién, Cuándo, Cómo y Con qué recursos? ¿Qué?: ¿Qué se debe medir, controlar o evaluar? La respuesta corresponde a las actividades en el ámbito operativo; los resultados a través de sus indicadores; los efectos y su sostenibilidad. ¿Quién?: ¿Quién controla, evalúa y apoya? El control y evaluación debe en lo posible, corresponder a los propios participantes. ¿Cuándo?: ¿Cuándo se debe controlar o evaluar? El sistema debe proponer la frecuencia o periodicidad con la que deben realizarse el monitoreo y las evaluaciones. ¿Cómo?: ¿Cómo efectuar las tareas de Monitoreo y Evaluación? corresponde a la definición previa de herramientas: Formularios, guías, reuniones y talleres, en los que se concreten las tareas de control de avance y medición de cumplimiento de metas, así como objetivos. ¿Con qué recursos? Los recursos necesarios –adicionales- que demande el Monitoreo y Evaluación (encuestas e investigaciones) deben estar previstos como parte del costo que demande el Plan de Acción. La evaluación se ocupa de quién o qué grupo se ha beneficiado (ó ha sido adversamente afectado), en qué cuantía (en comparación con la situación imperante antes de la actividad de que se trate), de qué manera (directa o indirectamente) y por qué (estableciendo en la medida de las posibles relaciones causales entre las actividades y los resultados). Dentro de la gestión institucional, la evaluación es el cuestionamiento, la revisión y la adecuación de la planificación, así como de las realizaciones. Se realiza interna y externamente: • Antes de la ejecución, examinando la planificación: "Evaluación ex-ante". • Durante la ejecución, para analizar si las hipótesis y supuestos de la evaluación ex- ante siguen válidos, a fin de introducir ajustes: "Evaluación continua" (Interna y/o externa). • Al concluir la ejecución, para valorar el logro de los efectos y el impacto: "Evaluación fin de proyecto". • Años después de terminar las actividades, para obtener enseñanzas para las futuras planificaciones: "Evaluación ex-post". Esta información se dirige a las instancias encargadas de la dirección y de políticas institucionales para tener una orientación óptima hacia la situación/problemas para la nueva planificación ó re-adecuación del sistema de gestión/ejecución. Con la evaluación se califica: Quién, en qué, de qué manera y por qué se ha beneficiado.
  23. 23. CRECER CON ENERGIA D26 – Manual de M&E página 23 de 134 1.4 Tipos de Monitoreo y Evaluación. ¿Qué es lo que el Monitoreo y la Evaluación tienen en común? Pues que ambos conducen hacia el aprendizaje sobre lo que se está haciendo, cómo se lo hace, enfocándose en: • Eficacia. • Efectividad. • Impacto. La Eficacia avisa si los insumos puestos en el trabajo son apropiados en términos del producto de salida. Esto puede ser colocado en términos de dinero, tiempo, personal, equipamiento y otros. Cuando usted conduce un proyecto y está preocupado sobre su replicabilidad o sobre su crecimiento (scaling-up), entonces es muy importante tener este elemento correcto. Ejemplo: • Número de clientes conectados o volumen de ventas. • Frecuencia de enfermedades (tales como problemas respiratorios). • Gasto de energía (con servicio equivalente). La efectividad es una medida del alcance en el cual un programa de desarrollo o proyecto adquiere los objetivos específicos establecidos. Si, por ejemplo, los actores (incluyendo a los usuarios finales) pueden crear “nuevos usos” para el servicio de electricidad. El impacto avisa si lo que uno ha realizado, ha implicado una diferencia sobre la situación o problema al que estamos abocándonos. En otras palabras, ¿fue la estrategia la correcta? Por ejemplo, al haberse incrementado los usos de electricidad ha repercutido en la mejora de condiciones sociales y económicas de los beneficiarios. Antes de que se decida crecer o replicar el proyecto en otro lugar, necesitará estar seguro de que lo que está haciendo tiene sentido en términos del impacto que desea alcanzar. A partir de esto, debe tener claro que el M&E es mejor realizado cuando existe una adecuada planificación contra la cual medir el progreso y los logros. Existen herramientas en este documento que tratan sobre la planificación: una mirada a la planeación estratégica y a la planificación operativa. 1.4.1 Monitoreo y Evaluación de proceso. “Se denomina “monitoreo de proceso” a las tareas obtenidas a través de una selección consciente de determinados pasos y su observación de forma selectiva y sistemática, a fin de compararlos con otros y dialogar sobre ellos para extraer enseñanzas que puedan aplicarse provechosamente en la conducción de procesos”6 . Los indicadores de proceso que se usan, miden y verifican los cambios que se producen en el corto plazo, como resultado inmediato y directo de las actividades realizadas por el proyecto corresponden al nivel de actividades y dan cuenta de la puesta en marcha del proyecto. Se hallan en un nivel operacional. 6 GTZ, “Seguimiento de Procesos, una ayuda para personal de proyectos” Eschborn, 1993.
  24. 24. CRECER CON ENERGIA D26 – Manual de M&E página 24 de 134 1.4.2 Monitoreo y Evaluación de medio término. El Monitoreo y Evaluación de medio término, como su nombre lo indica, se realiza alrededor de la mitad del tiempo previsto para la ejecución del proyecto, con la finalidad de obtener información importante para la toma de decisiones. Cabe mencionar que el M&E es un proceso continuo; sin embargo la evaluación de medio término tendrá un proceso de documentación, reflexión y comparación de las actividades, avances y logros alcanzados, en comparación con las prestaciones establecidas en el Marco Lógico del Proyecto y los compromisos contractuales a los que se arriben. 1.4.3 Evaluación de cierre. La evaluación final del proyecto se realizará una vez recibido el último reporte técnico y financiero del mismo. Este reporte deberá contener ejemplos concretos sobre: lecciones aprendidas en los aspectos técnicos de aplicación de los diferentes componentes del proyecto; construcción de capacidad; promoción de la conciencia pública; participación con enfoque de género; pueblos indígenas involucrados; co-financiamiento; relaciones con política y entidades gubernamentales; acuerdos con donantes y otros programas; así como la replicabilidad para el futuro. En esta evaluación se recomienda que participen activamente los actores involucrados en el proyecto. 1.4.4 Monitoreo y Evaluación de efectos e impacto. Este tipo de monitoreo y evaluación al impacto del Proyecto es necesario para valorar el aporte del proyecto y el cumplimiento de sus objetivos. Los impactos que se esperan lograr están en relación al cambio de hábitos de la población involucrada en el proyecto. También es importante analizar el impacto sobre los involucrados en el proyecto, respecto a la actitud para con los proyectos futuros. El Monitoreo y evaluación de los efectos se refiere sólo a la Planificación, en la medida en que ésta se interesa por los objetivos a largo plazo. De momento, no podemos sino avanzar en supuestos o hipótesis sobre los efectos deseados y los no deseados. Las repercusiones sólo se hacen sentir con el tiempo y están en interacción con las influencias desfavorables y favorables del entorno. Si los efectos son sostenibles en el tiempo, podemos hablar de “impacto”. El "impacto” consta de las consecuencias a mediano y largo plazo que tiene un proyecto para el entorno y su población, sean deseadas (planificadas) o no deseadas. Fuente: Karl Herweg & Kurt Steiner 2002 “Monitoreo y valoración de impacto” (CDMA& GTZ). GOOOOOL … y sus efectos secundarios
  25. 25. CRECER CON ENERGIA D26 – Manual de M&E página 25 de 134 El monitoreo y evaluación del impacto se interesa por los efectos socioeconómicos y ecológicos de un proyecto o de un programa, es decir: los efectos son aquellos que trascienden los objetivos perseguidos y los resultados esperados. Dichos efectos, deseados o no, se manifiestan ya durante el desarrollo del proyecto o únicamente concluido éste. Por este motivo, ya es posible elaborar un monitoreo y evaluación del impacto durante el transcurso del proyecto; pero a menudo se debe proseguir una vez terminado el programa o proyecto para permitir afirmaciones claras. El monitoreo y evaluación del impacto establece un puente entre los resultados y las correlaciones de los efectos en el contexto. Por eso, sirve ante todo para el manejo estratégico y la formulación de la política para los futuros proyectos. Generalmente, el monitoreo y evaluación del impacto requiere muchos esfuerzos cuando trasciende las correlaciones entre resultado del proyecto y transformaciones. La organización del monitoreo y evaluación del impacto debe, si las circunstancias lo requieren, convertirse en un acto independiente durante el desarrollo del proyecto. Por ejemplo, cuando, a nivel de un programa, se crea una pequeña comunidad de trabajo o instancia de coordinación compuesta de asesores/as locales y externos/as para asumir labores de monitoreo de diferentes proyectos. Además, ello posee la ventaja de que se mantiene el conocimiento metodológico adquirido y se sigue desarrollando. De ese modo, también se garantiza mejor el monitoreo del impacto a largo plazo. Los procedimientos e instrumentos para el monitoreo y evaluación de impacto son idénticos a los del M&E de los resultados: resumen de información en cuadros y secuencias temporales, Benchmarking7 , etc., sin embargo, la forma de encarar el monitoreo y evaluación del impacto difiere fundamentalmente. Aquí, el primer paso consiste en formular las hipótesis de impacto. Con estos supuestos sobre posibles efectos seleccionamos los campos de observación, que examinamos periódicamente a la luz de indicadores. El Monitoreo y evaluación de impacto se distingue de otras formas de M&E por la larga duración del período de observación y por la estrecha relación entre los efectos provocados por un proyecto y el contexto. Fuente: Martina Vahlhaus, 1999, ¿Cómo implantar y ejecutar el monitoreo del impacto? GTZ. 7 Benchmarking significa mutua cooperación y aprendizaje común con otros proyectos/programas. Es una forma estructurada de intercambio de experiencias que permite comparar resultados y procedimientos.
  26. 26. CRECER CON ENERGIA D26 – Manual de M&E página 26 de 134 Para la correcta introducción e implementación del M&E de impacto, se deben seguir seis pasos secuenciales, los cuales se explican en el gráfico anterior. Valoración del monitoreo y evaluación de impacto. La valoración del M&E de impacto y la visualización de los cambios en el entorno se puede realizar, por ejemplo, mediante un diagrama de "araña” (véase Gráfico). Para este propósito, es útil una clasificación para cada indicador (por ej. de 5 "el cambio se considera muy bueno” a 1 "el cambio se considera muy malo”). La puntuación para cada indicador ya debería prepararse en esta fase, mediante una discusión entre todos los participantes. Hay que responder en relación con cada indicador seleccionando las preguntas: "¿Dónde estamos?” y "¿Dónde queremos estar?”. El mejor logro realista posible para cada indicador es 5 (muy bien) y el peor 1 (muy mal). Fuente: Karl Herweg & Kurt Steiner 2002 “Monitoreo y valoración de impacto" (CDMA& GTZ). 1.5 ¿Qué son los indicadores? La palabra indicador, que proviene del latín indicare (señalar, avisar y estimar), alude a hechos o datos concretos que prueban la existencia de cambios conducentes hacia los resultados e impactos buscados. Los indicadores son como las marcas de señalización al borde de las carreteras y caminos: muestran si usted sigue en la ruta correcta y cuánto ha avanzado. En la vida cotidiana es muy común el uso de indicadores (horas y minutos como indicadores de tiempo, puntajes en pruebas y exámenes como indicadores de progreso académico, kilogramos y metros como indicadores de peso y longitud respectivamente, entre otros). Un indicador es un instrumento que permite a los actores de un proyecto observar y medir resultados. Los indicadores constituyen señales de cambio reconocidas por diferentes actores. Se establecen preguntando: ¿Cómo saber de modo claro y fehaciente que se está logrando el resultado propuesto o previsto?8 . Los indicadores son parámetros seleccionados para representar una situación compleja y a menudo imposible de medir directamente. Estos pueden ser cuantitativos o cualitativos; y la combinación de ellos resulta en indicadores mixtos. Por ejemplo, para el M&E de indicadores para el desarrollo sostenible han sido formulados 30 indicadores, clasificados en tres dimensiones (social, económica y ambiental), a su vez 8 Emma Rotondo, Gloria Vela. Indicadores de género. PREVAL/PROGÉNERO, FIDA. 2004.
  27. 27. CRECER CON ENERGIA D26 – Manual de M&E página 27 de 134 han sido reclasificados en 7 temas y 19 sub temas por la Comisión de Desarrollo Sostenible de las Naciones Unidas (CSD): Ejemplo en la dimensión social: Tema Sub-tema Indicador de energía Componentes Equidad Accesibilidad Porcentaje de viviendas (o personas) sin electricidad o energía comercial, o altamente dependiente de energía no comercial. Viviendas (o personas) sin electricidad, energía comercial o altamente dependiente de energía no comercial. Número total de viviendas o población. Ejemplo en la dimensión económica: Modelos de Uso y producción Usos finales Intensidad energética en agricultura. (relación entre el consumo de energía de un sector o segmento determinado y el valor agregado de dicho sector o segmento) Uso de energía en sector agrícola. Valor añadido correspondiente. Ejemplo en la dimensión ambiental: Tierra Forestación Tasa de deforestación atribuida al componer parte de la oferta de biomasa para la matriz energética. Área Forestada en dos diferentes momentos. Utilización de biomasa. Fuente: “Energy indicators for sustainable development: guidelines and methodologies”, International Atomic Energy Agency, United Nations Department of Economic and Social Affairs, International Energy Agency, Eurostat and European Environment Agency y aportes propios. En el ámbito de proyectos energéticos se utilizan indicadores cuantitativos, cualitativos o mixtos. 1.5.1 Indicadores cuantitativos. Sus principales características son las siguientes: • Expresan cantidad (cuánto/as) y frecuencia.
  28. 28. CRECER CON ENERGIA D26 – Manual de M&E página 28 de 134 • Las unidades de medida son el número y el porcentaje. • Los principales métodos e instrumentos utilizados para verificarlos son los censos, las encuestas, las entrevistas estructuradas, aplicando –en algunos casos- modelos matemáticos y econométricos. Ejemplos de indicadores cuantitativos: • Nº de personas que han accedido a un sistema de suministro energético, • Con valores: • De 10,000 personas de una población, 80% tienen el suministro energético. 1.5.2 Indicadores cualitativos. Sus principales características son las siguientes: • Expresan cualidades, características o fenómenos intangibles. • Se refieren a percepciones, prácticas, opiniones, habilidades o hechos. • Describen, entre otras cosas, la situación y condiciones de vida de las personas; las relaciones de poder y desigualdad; los cambios en la sensación, satisfacción y comprensión de las personas sobre algún hecho. • Por lo general, las unidades de verificación de los indicadores cualitativos son: tipo, grado y nivel. • Para su formulación se requiere la definición de escalas. En general, los indicadores cualitativos son particularmente útiles para comprender el punto de vista, los intereses y las prioridades de los actores del proyecto. Cuando el cambio esperado se refiere a variaciones en conocimientos, actitudes y prácticas (capacidades) de las personas para desarrollar sus potencialidades y superar la pobreza, la aplicación de este tipo de indicadores es relevante y necesaria durante y después de la implementación del proyecto. Ejemplos de indicadores cualitativos: Existe la predisposición de los pobladores del lugar para la administración del sistema energético en base al marco legal establecido. Grado de capacidad de las mujeres para gestionar recursos, expresado en la siguiente escala: i) Hacen trámites legales relativos a su actividad. ii) Elaboran planes estratégicos y operativos para sus organizaciones. iii) Elaboran y presentan proyectos ante entidades públicas y privadas. 1.5.3 Indicadores mixtos. Son aquellos que permiten verificar cambios cualitativos y, al mismo tiempo, determinar en cuántos individuos, organizaciones o instancias se presentan esos cambios. Por lo anterior, en los indicadores mixtos siempre se presenta una unidad de medida (número o porcentaje) y una unidad de verificación (tipo, grado o nivel). Por ejemplo: Número (cantidad) de mujeres según grado (cualidad) de participación en la toma de decisiones en la gestión de la empresa eléctrica. Número (cantidad) y tipo (cualidad) de
  29. 29. CRECER CON ENERGIA D26 – Manual de M&E página 29 de 134 microempresas que manifiestan interés por conocer tecnologías energéticas limpias para su actividad productiva. Los indicadores mixtos son particularmente importantes en la evaluación, ya que permiten verificar, tanto la magnitud o profundidad de los cambios obtenidos como la amplitud con que se presentan, lo que hace posible una mayor comprensión acerca de la obtención de los resultados esperados. 1.5.4 ¿Cuáles son las características principales de los indicadores? La identificación de un correcto indicador es muy importante para el M&E. Para este fin se deben observar necesariamente las características de los indicadores, verificando la inclusión de estas características, ya sea en la formulación de los indicadores, como también en la revisión de indicadores ya formulados anteriormente. Basándose en la Matriz de Planificación del Proyecto (MPP), se analiza la lógica horizontal y vertical, enfatizando en la segunda columna: Indicadores. Los indicadores permiten verificar el cumplimiento de objetivos y de resultados. Caracterizan su contenido. Especifican / Acotan los objetivos y/o resultados. Son la base para el M&E. Los Indicadores Verificables Objetivamente (IVO’s) que se encuentran en la MPP, son “hechos con los cuales se pueden medir otros hechos”. En otras palabras, es una parte que da cuenta del todo e indican la consecución de los objetivos y resultados. Cabe mencionar que en el contexto de proyectos, los IVO’s son redactados en uno o varios párrafos, que denotan la composición de las variables que se pueden medir o identificar. Las variables involucradas en un indicador pueden ser todas o algunas que se muestran en el cuadro siguiente: Se definen en términos de: Características de un buen indicador Variables Descripción LE AMO MAREA…..R ⇒ Calidad ¿Cuán positivo / cuán bueno? Limitado en tiempo y cantidad Medible ⇒ Cantidad ¿Cuánto? Específico: orientado al logro del objetivo. Alcanzable ⇒ Tiempo ¿Cuándo? ... Realista ⇒ Localización ¿Dónde? Alcanzable Específico ⇒ Grupo meta ¿Quiénes? Medible Acotado Observable Reto Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena Juan. 2001. También hay que tener una visión de proceso al hacer los indicadores. En los primeros años se puede ver si se va a lograr o no.
  30. 30. CRECER CON ENERGIA D26 – Manual de M&E página 30 de 134 A manera de ejemplo, se muestra un indicador que está compuesto por las variables mencionadas en el cuadro anterior. “En la localidad de Charagua perteneciente al Chaco boliviano (Localización), la asociación de pequeños ganaderos (Grupo meta), ha logrado establecer durante el segundo semestre del año 2007 (Tiempo), un sistema de bombeo de agua con sistema fotovoltaico con capacidad de 2 l/s que les permite atender un abrevadero de 30 cabezas de ganado vacuno al día (Cantidad); con lo cual el índice de mortalidad del ganado atribuible a la sequía ha disminuido un 30% (Calidad)”. 1.6 ¿Qué puede lograr el M&E? El monitoreo, al observar la implementación de un proceso (programa, estrategia, planificación) a distintos niveles, desde el inicio hasta el fin, nos permite reflexionar. No siempre las decisiones implican hacer correcciones, a veces la situación observada es la situación esperada. En el caso que no lo sea, es necesario hacer correcciones y se debe reflexionar sobre las medidas de corrección. LAS 4 OPCIONES DE CONDUCCIÓN Y/O DE TOMA DE DECISIONES • Continuar: no hacer nada y seguir sin cambiar algo. • Reorientar: hacer ajustes de implementación. • Reorientar: hacer ajustes del concepto / de los objetivos. • Parar el proyecto / programa. Ajustes de implementación se pueden hacer internamente. En cambio, si se requiere hacer ajustes de concepto o a nivel de estrategia, se involucran otros actores, implica otros niveles de mando. El equipo de monitoreo suele proponer, mas no tomar decisiones. En los años 80, el monitoreo se enfocaba en las actividades; en los noventa se empieza e integrar los productos, resultados y servicios. Actualmente, se habla sobre monitoreo orientado principalmente a impactos. 1.7 Cambios en los enfoques del monitoreo a nivel internacional. Antes Ahora Tendencias en el pasado. Enfoque principal a lo operativo. Finalidad más hacia control y legitimación. Orientación más hacia el pasado y problemas. Afán por acumular datos y documentarlos. Normas y procedimiento definido. Delegación a pocas personas y especialistas. Orientación al futuro. Enfoque principal a lo estratégico. Finalidad hacia mejoramiento de la calidad del trabajo. Orientación hacia cambios en el futuro. Afán por proveer las informaciones que necesitan los usuarios. Procedimientos flexibles. Participan aquéllos / aquéllas que influyen en la calidad del trabajo. Fuente: Memoria del Taller de Monitoreo de Resultados e Impacto. Comisión multisectorial de reducción de riesgos para el desarrollo. PCM – GTZ. Febrero de 2004.
  31. 31. CRECER CON ENERGIA D26 – Manual de M&E página 31 de 134 La idea no es sólo monitorear lo que hemos hecho o hemos logrado, sino si hubo impacto en nuestra sociedad, bajo la idea que nosotros invertimos recursos para lograr cambios en otros. Las actividades y los productos son medios para lograr cambios. En este sentido, se deben gestionar las actividades y los productos orientados hacia estos cambios. ¿Esta actividad sirve para lograr este cambio?; ¿existe una hipótesis lógica detrás de mi estrategia y los impactos que quiero lograr? Cuando se hace una estrategia, plan, proyecto, primero se tienen que identificar los cambios que queremos lograr y establecer nuestras intervenciones en base a una hipótesis sobre el cambio que van a producir. Esta hipótesis es la cadena de impacto. Entonces, se deben monitorear, tanto las actividades como los cambios que se producen y ver si hay enlace entre las dos. Se dice que los cambios se producen después de la implementación; de ser cierto, sólo tendría que monitorear las actividades y los productos. Sin embargo, la realidad no es así, los cambios no se dan de un momento a otro. El cambio se va desarrollando durante el proceso y se pueden reflejar en pequeños aspectos. Por ejemplo, si se quiere cambiar la forma de monitorear estrategias, no se puede trabajar por 2 años en manuales y al final ver que no funciona este método para recién empezar a buscar otra manera. Paralelamente a las acciones, se van a dar los cambios. Esto representa una nueva visión de cómo se gestionan los programas. 1.8 ¿De dónde sale la información para la toma de decisiones? La respuesta es del cambio, después de una intervención se refleja otra. Sin embargo, otro factor a considerar, es que los responsables de los programas tomen como criterio los datos elaborados por la unidad de monitoreo en sus decisiones. 1.9 Pasos para conducir el monitoreo De acuerdo al tipo de proyecto y al énfasis que tenga el mismo, se elaborarán: objetivos, resultados, actividades e insumos; cuidando siempre de incluir la perspectiva de género, pero tomando en cuenta las características de la participación y rol de las mujeres en su grupo social correspondiente. Más allá de la inclusión de la perspectiva de género, se debe cuidar que la planificación sea participativa, legítima y acorde a los “usos y costumbres” de cada grupo social involucrado en el proyecto, ya que las visiones y realidades de cada grupo social, no son necesariamente coincidentes con otros grupos o personas que puedan intervenir en un proyecto. Un ejemplo, a modo de introducción de lógica de planificación, se encuentra en el Anexo del presente módulo, un caso de uso productivo, energía, género y metas de desarrollo del milenio. Actuar DecidirObservar ActuarDecidir ObservarActuar Implementación de la planificación
  32. 32. CRECER CON ENERGIA D26 – Manual de M&E página 32 de 134 Puesto que existen diferencias entre el diseño de un sistema de monitoreo y un proceso de evaluación, trataremos ambos aspectos de manera separada. Cuando diseña un sistema de monitoreo, usted toma un punto de vista para su elaboración y establecerlo proveerá información oportuna en una base concurrente, de tal manera que pueda mejorar lo que hace y cómo lo hace A continuación se encuentra el proceso paso a paso que puede usar para diseñar el sistema de M&E para su organización o proyecto. Paso 1: Introducción del concepto de eficacia, efectividad e impacto (Ver glosario de Términos). Paso 2: Generar una lista de indicadores para cada uno de los tres aspectos y clarifique qué variables (ver Glosario de términos), necesitan estar enlazadas. Realizar este paso de manera participativa en un taller donde podrá seleccionar las variables que lo ayudarán a responder las preguntas que piensa que son importantes, por ejemplo: Edad, género, religión, urbano – rural, categoría económica, ambiente familiar, duración de la iniciativa del proyecto y número de talleres realizados. Con la información correcta Ud. podrá responder preguntas tales como: • ¿El mensaje recibido varía con la edad? • La categoría económica: ¿las personas jóvenes en áreas responden mejor o peor al mensaje o no hay diferencia? • ¿El número de talleres a los que asisten las personas hace una diferencia en temas de impacto? Preguntas a este tipo de inquietudes permiten al proyecto o a la organización tomar decisiones acerca del qué hacer, cómo hacer y también a medir su efectividad e impacto. Respuestas a preguntas tales como: • ¿Más personas participan en sesiones cuando se organizan con antelación? • ¿Existe más participación cuando no se cobra para los cursos? • ¿Participan más jóvenes cuando las sesiones son realizadas en fines de semana o en las noches? • ¿Es mejor realizar un taller en la comunidad o traer a las personas a un centro de capacitación? Paso 3: Decidir cómo realizará la recolección de la información que necesita y dónde se guardará (en la computadora o en archivos manuales). Paso 4: Decidir cuán frecuentemente se analizará la información – esto significa colocarla toda junta y procurar responder a preguntas que piensa son importantes. Paso 5: Recolectar, analizar y reportar.
  33. 33. CRECER CON ENERGIA D26 – Manual de M&E página 33 de 134 1.10 Pasos para conducir la evaluación. En la evaluación nosotros analizamos los términos de referencia, el objetivo de la evaluación, las preguntas claves de evaluación y la metodología. Términos de Referencia: El diseñar el proceso de evaluación significa estar en capacidad de desarrollar términos de referencia para el proceso (si Ud.es parte del proyecto o de la organización) o estar en capacidad de diseñar una propuesta para satisfacer las necesidades del proyecto o de la organización (si Ud. es el consultor). Las principales secciones en los términos de referencia para un proceso de evaluación generalmente incluyen: Antecedentes: Sobre el entorno o condiciones del proyecto o de la organización, información sobre el problema identificado, qué es lo que se hace, hace cuánto que inició actividades y por qué ha decidido realizar la evaluación. Objetivo: En este sector debe indicar qué es lo que la organización o proyecto quiere que la evaluación consiga. Preguntas clave de evaluación: cuáles son las preguntas principales a las que la evaluación debe dirigirse. Objetivos específicos: Cuáles son las áreas específicas, internas y/o externas que debe abordar la evaluación. Por ejemplo, si desea que la evaluación incluya una revisión económica o que incluya ciertos temas específicos del programa. Metodología: en esta parte Ud. debe dar parámetros amplios sobre el tipo de enfoque que favorecerá en la evaluación. Ud. puede sugerir el tipo de técnicas que le gustaría utilice el equipo de evaluación. Temas logísticos: Tiempo, costo, requerimientos en la composición del equipo, etc. 1.11 Propósito de la evaluación. El propósito de una evaluación es la razón por la cual la está realizado. Va más allá de lo que Ud. quiere saber y por qué lo quiere saber. Generalmente es una oración o párrafo que tiene dos partes: • Qué quiere que sea evaluado. • Con qué finalidad quiere realizarla. A continuación se plantea algunos ejemplos de propósitos de evaluación: Proveer a la organización con la información necesaria para tomar decisiones acerca del futuro del proyecto.
  34. 34. CRECER CON ENERGIA D26 – Manual de M&E página 34 de 134 Asesorar sobre si la organización del proyecto tiene el impacto planeado de manera de decidir si se debe o no replicar el modelo en otros lugares. Asesorar al programa en términos de efectividad, impacto en el grupo meta, eficiencia y sostenibilidad de manera de mejorar su funcionamiento. De esta manera, el propósito enunciado dará el enfoque principal al proceso de evaluación. 1.11.1 Preguntas clave de evaluación. Las preguntas clave de evaluación son las preguntas principales que quiere que sean respondidas a través del proceso de evaluación. No son preguntas simples y normalmente raras veces son respondidas por un “sí” o “no”. Una puede hacerse preguntas útiles para la evaluación, analizando por ejemplo si: • Provocan cuestionamientos. • Asumen desafíos. • Enfocan la investigación y reflexión • Provocan otras preguntas adicionales. A continuación, se presentan algunos ejemplos de preguntas clave de evaluación, relacionadas al objetivo del proyecto: El propósito de la evaluación es asesorar sobre cuán eficiente es el proyecto en la entrega de beneficios a la comunidad identificada para así informar las decisiones del Directorio sobre la continuidad y replicación: • ¿Quién se está beneficiando actualmente del proyecto y de qué manera? • ¿Los insumos (tiempo y dinero) justifican los resultados y, si es así o no; sobre qué base se puede justificar? • ¿Qué mejoraría la eficiencia, efectividad e impacto del proyecto? • ¿Cuáles son las lecciones que pueden aprenderse del proyecto en términos de replicabilidad? Note que ninguna de estas preguntas trata sobre un elemento específico o área del funcionamiento interno o externo del proyecto u organización. La mayoría de las respuestas requerirán que el equipo de evaluación pueda manejar un rango de elementos del proyecto u organización de manera de responderlas. Otros ejemplos de preguntas clave de evaluación podrían ser: • ¿Cuáles son las maneras más efectivas en las cuales un proyecto de este tipo puede abordar el problema identificado? • ¿En qué forma el funcionamiento interno y la estructura de la organización impactan positivamente en el programa de trabajo? • ¿Qué aprendizajes de este proyecto tendrían pertinencia a lo largo del desarrollo completo del espectro? Claramente podría haber muchos ejemplos. Nuestra experiencia muestra que un proceso de evaluación está diseñado con tales preguntas en mente, de manera de producir muchos más puntos de vista interesantes que simplemente preguntando cuestiones obvias como: ¿El directorio tiene un rol importante en la organización? o ¿Qué impacto estamos teniendo?
  35. 35. CRECER CON ENERGIA D26 – Manual de M&E página 35 de 134 1.12 Metodología. “Metodología” es diferente a “Métodos”, tiene más relación con el enfoque que usa en el proceso de evaluación. Ud. Puede – por ejemplo – encargar o llevar adelante un proceso de evaluación que se encuentra en gran parte en fuentes escritas, primarias o secundarias: informes, fichas, etc. Por otra parte, Ud. puede solicitar un proceso de evaluación que involucre la obtención de insumos a través de actores clave. La mayoría de los términos de referencia solicitarán una combinación de ambos; pero también se deben especificar cómo se desea que el equipo de evaluación obtenga los insumos de los grupos de actores, por ejemplo: • A través de encuestas. • A través de informantes clave. • A través de grupos focales. La información también servirá para elaborar los estudios de línea de base, tomando en cuenta que se debe prever el control de daños. Por control de daños, nos referimos a lo que se necesita hacer si Ud. falla al obtener la información de línea de base al inicio. En esta parte, también uno esperaría encontrar algunos indicios de los formatos de reporte: ¿Todos los informes serán escritos?; ¿El equipo reportará al gerente, a todo el personal, al personal, al Directorio y a los beneficiarios?; ¿Habrán reportes intermedios o sólo un informe final?; ¿Qué tipo de evidencias requiere la organización o el proyecto para sostener las opiniones vertidas por los evaluadores?; ¿Quiénes estarán involucrados en el análisis? La sección “Metodología” en los Términos de Referencia deben proveer un marco general de cómo se espera que el trabajo de evaluación sea realizado para el proyecto u organización. Cabe aclarar que existe muchas veces una confusión generalizada sobre los términos “metodología”, “métodos”, “técnicas”, “instrumentos de investigación”, entre otros; sin embargo a objeto del presente Manual, lo que se denomina “metodología” en los programas y proyectos son en realidad métodos, técnicas y/o instrumentos de medición o de investigación.
  36. 36. CRECER CON ENERGIA D26 – Manual de M&E página 36 de 134 1.13 Diferentes enfoques para la Evaluación. Un resumen de los diferentes enfoques usados para la evaluación, se puede observar en el siguiente cuadro: Enfoques Objetivos principales Preguntas tipo principales Metodología afín Basada en objetivos Valoración de logro de metas y objetivos. ¿Fueron alcanzados los objetivos?; ¿De manera eficiente?; ¿Eran los objetivos correctos? Comparación de línea de base (ver glosario de términos) y progreso de los datos para encontrar las formas de medir indicadores. Toma de decisiones Provisión de información. ¿Es efectivo el proyecto?; ¿Debería continuar?; ¿Cómo debería ser modificado? Valoración del rango de opciones relacionadas con contexto del proyecto, insumos, procesos y productos. Establecimiento de cierto tipo de consenso en la toma de decisiones. Libre de objetivos Valoración amplia de los efectos del proyecto, tanto de los esperados como de los no esperados. ¿Cuáles son los resultados?; ¿Qué valor tienen los resultados? Determinación independiente de las necesidades y estándares para juzgar la valía del proyecto. Uso de técnicas cualitativas y cuantitativas para descubrir cualquier resultado posible. Juicio de expertos Uso de expertise ¿Cómo valora un profesional externo este proyecto? Revisión crítica basada en la experiencia, encuesta informal y percepciones subjetivas. Fuente: (PACT’s Evaluation Sourcebook, 1984.) Nuestra percepción es que los mejores evaluadores usan una combinación de estos enfoques.
  37. 37. CRECER CON ENERGIA D26 – Manual de M&E página 37 de 134 1.14 Ventajas y desventajas de la evaluación interna y externa de un proyecto. Las evaluaciones de un proyecto o programa pueden ser internas y/externas. Cada una de ellas conlleva una serie de ventajas y desventajas. El cuadro que se muestra a continuación denota estas características. Tipo de evaluación Ventajas Desventajas Evaluación interna Los evaluadores están muy familiarizados con el trabajo, la cultura organizacional, las intenciones y los objetivos. Algunas veces las personas están más dispuestas a hablar con los de adentro que con los externos. Una evaluación interna es una herramienta de gestión, una forma de auto – corrección y mucho menos amenazante que una evaluación externa. Esto puede hacer más fácil para los involucrados el aceptar los hallazgos y críticas. Una evaluación interna cuesta menos que una externa. El equipo de evaluación puede tener intereses vertidos en alcanzar conclusiones positivas acerca del trabajo u organización. Por esta razón, otros actores, tales como los donantes pueden preferir una evaluación externa. El equipo puede no tener las destrezas o entrenamiento en evaluación. La evaluación tomará una cantidad considerable de tiempo de la organización – mientras que tendría un costo menor que la evaluación externa - los costos de oportunidad pueden ser altos. Evaluación externa (realizada por un equipo o persona que no tenga intereses vertidos en el proyecto) La evaluación es más objetiva, puesto que los evaluadores tendrán cierta distancia del trabajo. Los evaluadores deben tener destrezas y experiencias de evaluación. Algunas personas están más predispuestas a hablar con extraños que con los del interior de la organización. Utilizar un evaluador externo da mayor credibilidad a los hallazgos, especialmente a los hallazgos positivos. Alguien extraño a la organización o proyecto puede no entender la cultura o incluso el trabajo que se está tratando de lograr. Aquéllos directamente involucrados pueden sentirse amenazados por extraños y ser menos abiertos a hablar abiertamente y a cooperar en el proceso. La evaluación externa puede ser altamente costosa. Un evaluador externo puede malinterpretar lo que usted espera de la evaluación y no darle lo que precisaba. Fuente: CIVICUS, Monitoreo y Evaluación, Janet Shapiro. 2003. Es recomendable tener ambos tipos de evaluación. 1.15 Pasos para elaborar un plan de monitoreo y evaluación. Previamente a establecer un plan de M&E, es importante que se revise y perfeccione la matriz de planificación del proyecto, ya que de la calidad de la planificación, también
  38. 38. CRECER CON ENERGIA D26 – Manual de M&E página 38 de 134 depende la calidad del plan de M&E. En ese sentido, recomendamos revisar los pasos mencionados en el “M&E Guide for Energy Projects” del Grupo Internacional de trabajo de M&E en Energía para el Desarrollo (M&EED). a) Identifique los actores involucrados en las necesidades de M&E. b) Elabore un diagrama de su proyecto. c) Asigne resultados del proyecto a los vínculos con su cadena de efectos. d) Elija los indicadores y métodos de recolección de información. e) Trate los temas transversales. f) Elabore un borrador del esquema de M&E. g) Valide su esquema con los actores del M&E. h) Integre los aportes de los actores en el diseño del M&E: i) Ejecute el M&E como parte del proyecto. j) Elabore conclusiones, presente los resultados del M&E, los acuerdos para el seguimiento de las recomendaciones. El proceso planteado para el diseño del plan de Monitoreo y Evaluación, prevé cinco pasos que son los siguientes: Construcción de la matriz; Agregación de fuentes; Mapa de fuentes; Investigación, negociación y acuerdos; así como el Diseño de herramientas. 1.15.1 Construcción de la matriz: determinación de datos y variables. El proceso se inicia con la determinación de los datos y variables que posibilitan la construcción de cada uno de los indicadores. Esta operación se efectúa para cada uno de los resultados de la matriz. Establecidas las variables se complementa la matriz con: La identificación de la fuente u origen de cada una de ellas; para lo cual conviene precisar la entidad o instancia en la que se genera el dato y, de ser posible, la persona responsable de Diseño de herramientas Mapa de fuentes Construcción de la matriz Investigación, negociación y acuerdos Agregación de fuentes
  39. 39. CRECER CON ENERGIA D26 – Manual de M&E página 39 de 134 hacerlo, la frecuencia o periodicidad con la que debe generarse el dato, y la herramienta para su recuperación. A continuación se presenta un modelo de matriz: Resultado Indicador Variables / datos Fuente: Frecuencia Herramienta Entidad Responsable 1.15.2 Agregación de fuentes. Una vez establecida la información consignada en la matriz, es posible agregar las variables por fuente, de manera de visualizar toda la información que debe ser recuperada de cada una de las fuentes. 1.15.3 Mapa de fuentes. Con base en la identificación de las diversas fuentes existentes, para generar la información necesaria para el Monitoreo y Evaluación, es posible elaborar un mapa institucional de fuentes. Simplemente consiste en construir un diagrama de los diversos actores que intervienen en la producción de información. FUENTE VARIABLES A Variable X Variable y Variable z B Variable x C Variable y SISTEMA DE INFORMACION B A D A1 A2 B1 C1 B2 A3 C
  40. 40. CRECER CON ENERGIA D26 – Manual de M&E página 40 de 134 1.15.4 Investigación, negociación y acuerdos. Establecido el conjunto de actores que pueden intervenir en la generación de información, es posible iniciar un proceso de investigación, negociación y acuerdos, orientados a asegurar la provisión periódica y oportuna de información necesaria para el sistema. Condición indispensable para poder establecer esta red articulada de transmisión de datos, es que la información a ser recabada por cada uno de los actores o agentes, le sea útil, es decir necesaria a cada uno de ellos. Muchas veces será preciso recurrir a una inducción con miras a sensibilizar a los agentes acerca de la conveniencia y utilidad de la extracción y empleo de la información. 1.15.5 Diseño y acuerdo de herramientas. Establecida esta red articulada de actores del sistema de información, será necesario diseñar, conjuntamente con cada uno de ellos, las herramientas o mecanismos para la generación y transmisión de la información. En el cuadro siguiente se muestran algunos formatos que podrían dar una idea para elaborar, diseñar y manejar un Banco de Indicadores. Es importante mencionar que estos formatos no son los únicos y que el responsable de M&E podría adoptar cualquier otro formato o crear uno nuevo, siempre que mantenga la coherencia lógica. Formato A: Indicador Formato B: Indicador Formato C: Indicador Justificación. Valor inicial. Requerimiento de datos. Momento del levantamiento de datos. Responsabilidad. Requerimiento de recursos. Calidad de los datos. Flujo de datos. Competencias de evaluación / decisión. Logros efectivos. Valoración. Medidas de corrección. Valor inicial. Explicación racional. Explicaciones para la formulación. Dimensiones cualitativas. Metas cuantitativas. Validez. Costo de verificación. Instrucciones para la recolección de datos: Datos requeridos. Fuente de datos. Recolección de datos (fecha, y procedimiento). Control de calidad de los datos. Procesamiento de los datos. Justificación. Medición / levantamiento de datos. Observaciones. Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena Juan. 2001. Teniendo construida la matriz de M&E, ésta servirá para ejecutar las actividades necesarias para la recolección y procesamiento de la información (preparación, análisis y documentación), así como también para el análisis y valoración de la información, con miras a tener la decisión y reacción correctas en el gerenciamiento del proyecto.
  41. 41. CRECER CON ENERGIA D26 – Manual de M&E página 41 de 134 1.15.6 Procedimiento para la construcción de indicadores. Describir el concepto y llegar a un acuerdo por consenso. Por ejemplo: En consecuencia con los objetivos y resultados del proyecto, ¿Qué significa capacidad de gestión? Por ejemplo: para capacidad de gestión se podrían haber identificado las siguientes dimensiones, entre otras: apalancamiento de recursos, manejo administrativo-contable y formulación de proyectos. Revisar si las dimensiones e indicadores corresponden al nivel de resultado que se quiere evaluar (Impactos, efectos, proceso, etc.). La siguiente pregunta puede guiar esta reflexión: ¿Tiene cada indicador de la lista elaborada en relación con el nivel de objetivos que el proyecto debe verificar o medir? Para cada dimensión, formular indicadores medibles, objetivamente verificables y con enfoque de género. Recordar que un paso clave será la determinación de la unidad de análisis: ¿Quiénes serán objeto de la medición o verificación? (personas, instituciones, organizaciones o grupos). Identificar la unidad de medida o verificación: número o porcentaje para información cuantitativa: tipo y nivel o grado para información cualitativa. Una vez obtenida la lista de indicadores, preguntarse si efectivamente los indicadores son medibles, objetivamente verificables. La siguiente pregunta puede guiar esta reflexión: ¿Hasta qué punto indican lo que quiero observar y medir? • Depurar la lista seleccionando los indicadores más relevantes y viables. • Preguntarse quiénes y a través de qué técnicas recogerán la información para cada indicador o para un grupo de ellos. • Estimar la periodicidad del recojo de información y el costo que esto implicará. Algunas recomendaciones que se deben tener en cuenta al formular indicadores: • Un solo indicador no puede captar la compleja totalidad de un hecho ni sus múltiples dimensiones. Por ello, se requiere seleccionar cuidadosamente un conjunto de indicadores que expliquen mejor el hecho o fenómeno que se quieren evaluar y comunicar. • Los indicadores no son rígidos ni invariables, sino más bien referenciales. Estos se podrán ir ajustando o corroborando a la luz de la experiencia práctica. Los indicadores requieren ser puestos a prueba permanentemente. • Es recomendable e importante contar con el número necesario de indicadores, con el fin de asegurar su utilización y de justificar la inversión para el levantamiento de información. • Los indicadores deben corresponder a las necesidades de información de los actores. Una vez identificadas las demandas, será importante acordar qué actores participarán en procesos de: • Recolección de información. • Análisis.
  42. 42. CRECER CON ENERGIA D26 – Manual de M&E página 42 de 134 • Comunicación de la información. • Toma de decisiones (uso de la información). 1.16 Pasos para elaborar un plan de Monitoreo y Evaluación (GRUPO M&EED). El enfoque del M&E que se presenta a continuación fue preparado por el Grupo de M&EED9 con algunas modificaciones. Se debe resaltar que el M&E es una herramienta de apoyo para el proyecto y el involucramiento de especialistas del área que pueden apoyar para mejores resultados. 1.16.1 Acciones necesarias para las mediciones de M&E. Información requerida Responsabilidad Valoración/ Revisión. Análisis de actores. Especialistas sociales/ Jefes de proyecto. Los expertos de M&E. Dibuje el diagrama del proyecto de energía. Líderes del proyecto / Especialistas sociales para obtención de información. Desarrolle indicadores / Plan de M&E y recolección de información. Expertos de M&E / Especialistas sociales con insumos de los actores. Mejora de estructura del informe. Expertos de M&E / Especialistas sociales. Fuente: Curso Taller sobre “Monitoreo y Evaluación para la gestión de Proyectos”, auspiciado por la DWHH Deutsche Welthungerhilfe (Agro Acción Alemana), Gamarra Alba, Canedo Walter, Gangotena Juan. 2001. 1.16.2 Valoración/revisión; Análisis de actores.10 Elabore una lista de los actores más importantes y su interés en el proyecto. Se debe incluir a las autoridades gubernamentales, donantes, implementadores, gestores del proyecto, consultores, usuarios y otros que sean relevantes. ¿Están los actores interesados en el M&E de los proyectos? Si es así, cuáles son sus planes? Si no, entonces pase al próximo paso. ¿Qué información puede ser obtenida de los diversos actores? Haga una lista o tabla de la información requerida. 1.16.3 Dibuje el diagrama del proyecto de energía. El diagrama del proyecto puede ser graficado usando el enfoque de DAC-OECD explicado en el inciso 2.2.5. 9 El M&E para el Grupo de Trabajo de Energía y Desarrollo (M&EED) está representado por varias organizaciones e individuos que trabajan en temas energéticos y de desarrollo. Ver: www.gvep.org para mayores detalles y documentos de trabajo en M&E. 10 El primer informe para el D25 del proyecto “Crecer con Energía” detalla los actores y su involucramiento tanto en Bolivia como Paraguay.
  43. 43. CRECER CON ENERGIA D26 – Manual de M&E página 43 de 134 1.16.4 Desarrolle indicadores / Plan de M&E y recolección de información. Como se mencionó en el marco de M&E DAC, los indicadores específicos necesitan ser desarrollados para cada paso (insumos, resultados, objetivos e impacto). Los indicadores deben ser medibles para obtener resultados concretos. Sin embargo, los indicadores cualitativos, tales como cambios de comportamiento también pueden ser definidos. Es importante imaginar los métodos de recolección de información que serán usados para medición de indicadores. Cuadro para el Plan de M&E Elementos en el diagrama de la cadena causal Indicadores Métodos de recolección de datos Calendario ¿Quién llevará a cabo la recolección de los datos & su procesamiento? Costo estimado Línea de base Frecuencia InsumosActividadesResultadosImpactos Síntesis e informes Fuente: M&EED. A guide to monitoring and evaluation for energy projects. M&EED. 2006.

×