Monitoreo y evaluacion para la Gestion para Resultados

16,785 views

Published on

Published in: Business, Technology
1 Comment
8 Likes
Statistics
Notes
No Downloads
Views
Total views
16,785
On SlideShare
0
From Embeds
0
Number of Embeds
97
Actions
Shares
0
Downloads
725
Comments
1
Likes
8
Embeds 0
No embeds

No notes for slide
  • Presentación personal: Soy de BCN. Crecí en Europa y África. Soy del Barsa Soy Ing Aero  quine hace los aviones? He trabajado en ECHO, ONGs, Admin BCN, ONU. Estructura de sesiones… 14.30 Quien ha participado, estado, supervisado una evaluación? Primer obstáculo: caos terminologico—ejemplo de presentacion previa.
  • Monitoreo y evaluacion para la Gestion para Resultados

    1. 1. Monitoreo y Evaluación para la Gestión para Resultados Estrategia y Plan de Acción para la Efectividad en el desarrollo en Brasil—Taller de arranque Brasilia, 18/Sep/ 2006 Angel Saz-Carranza angel . saz @ nyu . edu
    2. 2. Contenido <ul><li>Introduccion </li></ul><ul><li>La evaluacion </li></ul><ul><li>Sistemas de evaluacion </li></ul><ul><li>La GpR en NYC </li></ul>
    3. 3. Evaluación y Monitoreo <ul><li>Evaluación: la valoración puntual de una intervención. </li></ul><ul><li>Monitoreo: la valoración esporádica y/o continua del avance de una intervención. </li></ul>
    4. 4. EM de resultados <ul><li>Énfasis en las consecuencias, productos o impactos de una intervención </li></ul><ul><li>Diferente de la gestión para resultados </li></ul><ul><ul><li>la evaluación de resultados es una herramienta para la gestión por resultados </li></ul></ul>
    5. 5. La evaluación de los resultados de la gestión pública <ul><li>No es un fin en sí mismo </li></ul><ul><li>No es una herramienta neutral </li></ul>
    6. 6. La organización pública como sistema de producción PROCESO Procesos de producción y prestación de servicios (sistemas de gestión) Servicios & Productos Resultados (cambio) INSUMOS Autorización Recursos humanos Tecnologías & información Recursos financieros Criterios de evaluación: Transparencia Responsividad Efectividad Calidad/Impacto Legitimidad Legalidad/Equidad Eficiencia/Economía OUTPUT
    7. 7. EM de resultados: una herramienta para la gestión por resultados <ul><ul><li>La efectiva evaluación y el monitoreo de los resultados de la gestión pueden promover una cultura orientada a resultados : </li></ul></ul><ul><ul><ul><li>información útil para tomar decisiones en varios niveles </li></ul></ul></ul><ul><ul><ul><li>retroalimentación para mejoramiento continuo de procesos, sistemas y funciones </li></ul></ul></ul><ul><ul><ul><li>información útil para la rendicion de cuentas en varios niveles </li></ul></ul></ul>
    8. 8. La Evaluación en el Sector Público <ul><li>La evaluación cumple funciones diversas en distintos países: </li></ul><ul><li>Las prácticas varían de acuerdo con: </li></ul><ul><ul><li>Quién comisiona la evaluación? </li></ul></ul><ul><ul><li>Qué se va a evaluar? </li></ul></ul><ul><ul><li>Quién realiza la evaluación? </li></ul></ul><ul><ul><li>Quién utiliza la información y las recomendaciones? </li></ul></ul>
    9. 9. Tres grandes “eras” en la evaluación de lo público (programas, políticas y reformas) <ul><li>Racionalizar, fortalecer, mejorar y legitimar el sector publico (énfasis en los resultados -efectividad, eficiencia, calidad, etc) </li></ul><ul><li>Evaluación como parte del ciclo de gestión estratégica </li></ul>Reducción del tamaño; fortalecimiento institucional; flexibilización; agencias independientes; externalizaciónes y contratación - gestión del desempeño Contracción moderada –gerencialismo “ buen gobierno” 95s + <ul><li>Reducir/racionalizar el gasto; legitimizar decisiones (maximizar insumo/producto = eficiencia) </li></ul>Desregulación; privatización; reducción de costos Crisis--Retroceso económico 80s y 90’s <ul><li>Mejorar la política (énfasis en impactos y efectividad de los programas) </li></ul><ul><li>Evaluación de programas como parte de la planeación de las políticas </li></ul>Diseño e implementación de políticas; reorganizaciones; descentralización Prosperidad económica 60’s y 70’s Enfoque de la evaluación Enfoque de la reforma Condiciones Era
    10. 10. Evaluación y Monitoreo de los Resultados <ul><li>Nuevo enfoque es “universal” pero… </li></ul><ul><ul><li>Experiencia, investigación y tecnología desarrolladas en el Norte </li></ul></ul><ul><ul><li>Experiencias en el Sur no han sido suficientemente documentadas </li></ul></ul><ul><li>Además: </li></ul><ul><ul><li>Vienen del sector privado y deben transformarse </li></ul></ul>
    11. 11. Evaluacion Introduccion: la evaluación de proyectos
    12. 12. PROGRAMACIÓN FORMULACIÓN IDENTIFICACIÓN EVALUACIÓN EJECUCIÓN <ul><li>Análisis de “stakeholders” </li></ul><ul><li>Lista de problemas </li></ul><ul><li>Análisis de problemas </li></ul><ul><li>Análisis de objetivos </li></ul><ul><li>Análisis de alternativas </li></ul><ul><li>Matriz </li></ul><ul><li>En base a la Matriz </li></ul><ul><li>En base a la Matriz </li></ul>
    13. 13. Lógica de intervención / Teoría de cambio OBJETIVO ESPECÍFICO
    14. 15. Lógica de intervención / Teoría de cambio A1.1: Identificar deficits tecnológicos. A1.2: Adquirir tecnología necesaria. A2.1: Identificar deficits formativos. A2.2: Formar al personal. OI1: Tecnología utilizada es adecuada OI2: Personal capacitado OE: Agencia Estatal de Infraestructuras es eficaz OG: Transporte y comunicacion mejora
    15. 16. Los indicadores objetivamente verificables <ul><li>Constituyen las descripciones operativas de los objetivos globales, del objetivo específico y de los resultados. </li></ul><ul><li>Permiten observar indirectamente los objetivos del proyecto. </li></ul><ul><li>Un buen indicador debe ser (SMART): </li></ul><ul><ul><li>Específico: El indicador se ha de relacionar directamente con la variable que queremos medir. </li></ul></ul><ul><ul><li>Medible. </li></ul></ul><ul><ul><li>Estar disponible a un coste aceptable. </li></ul></ul><ul><ul><li>Pertinente respecto a un objetivo preciso. </li></ul></ul><ul><ul><li>Estar disponible en un tiempo aceptable. </li></ul></ul>
    16. 17. Ejercicio <ul><li>Construir tres indicadores para los siguientes objetivos: </li></ul><ul><ul><li>Reduccion de la pobreza </li></ul></ul><ul><ul><li>Mejora de la educacion </li></ul></ul><ul><ul><li>Mejora salud humana </li></ul></ul>
    17. 18. Las fuentes de verificación <ul><li>Indican dónde y cómo se pueden encontrar las informaciones necesarias para los indicadores. </li></ul><ul><li>Deberían especificar: </li></ul><ul><ul><li>El formato de presentación de las informaciones (informes intermedios, registros del proyecto, estadísticas oficiales, etc.). </li></ul></ul><ul><ul><li>Quién debe proporcionar las informaciones. </li></ul></ul><ul><ul><li>La periodicidad con la que las fuentes deben ser proporcionadas. </li></ul></ul>
    18. 19. Ejercicio: 2 —construye indicadores e indica sus fuentes de verificación para la siguiente lógica de intervención— FDV.R1: Informe de asesoría técnica externa. FDV.R2: Certificados de formación. I.R1: Tecnología utilizada esta conforme con los estándares profesionales internacionales I.R2: El 100% del personal está capacitado para su posición de trabajo. OI1: Tecnología utilizada es adecuada OI2: Personal capacitado FDV.OE: Informe de monitoreo de la agencia I.OE: Normas de calidad de la red de carreteras controladas OE: Agencia Estatal de Infraestructuras es eficaz FDV.OG: Informes de investigación dirigidas a usuarios I.OG: La duración media de un trayecto via una las carreteras mejoradas se ha reducido un 15% OG: Transporte y comunicacion mejora
    19. 20. PROGRAMACIÓN FORMULACIÓN IDENTIFICACIÓN EVALUACIÓN EJECUCIÓN Evaluación ex-post Evaluación ex-ante Monitoreo
    20. 21. La Evaluación <ul><li>Motivo </li></ul><ul><ul><li>¿Por qué queremos evaluar? </li></ul></ul><ul><ul><li>¿Quién quiere saber? </li></ul></ul><ul><li>Objeto </li></ul><ul><ul><li>¿Qué es lo que se va a evaluar? </li></ul></ul><ul><ul><li>¿Qué espacio de tiempo se quiere evaluar? </li></ul></ul><ul><li>Criterio de la evaluación </li></ul><ul><ul><li>¿Qué queremos saber de lo que vamos a evaluar? </li></ul></ul>
    21. 22. Motivos de la evaluación <ul><li>¿Por qué queremos evaluar? </li></ul><ul><ul><li>Rendición de cuentas “ accountability” (Parlamentos, Boards, etc.) </li></ul></ul><ul><ul><li>Asignación </li></ul></ul><ul><ul><li>Aprendizaje: aprender lecciones </li></ul></ul><ul><li>¿Quién quiere saber? </li></ul><ul><ul><li>¿Es el mismo actor que consumirá información? </li></ul></ul><ul><li>Motivos </li></ul><ul><ul><li>Explícitos – implícitos </li></ul></ul><ul><ul><li>Personales – organizacionales </li></ul></ul>
    22. 23. Objeto de la evaluación <ul><li>Objeto/nivel de la evaluación/unidad de análisis: </li></ul><ul><li>¿Qué es lo que se va a evaluar...? </li></ul><ul><ul><li>Proyecto individual </li></ul></ul><ul><ul><li>Programa/ Sector </li></ul></ul><ul><ul><li>Política </li></ul></ul><ul><li>Espacio de tiempo que se quiere evaluar (un ciclo de programación; más de un ciclo; etc.) </li></ul>
    23. 24. planificacion input aplicado proceso ejecutado output outcome situacion contrafactual objetivo 1 impacto efectividad eficacia 2 eficiencia 1 objetivo 2 eficacia 1 eficiencia 2 input asignado proceso planificado economía
    24. 25. Criterio de la evaluación  ECONOMÍA  Relaci ó n input asignadoi - input aplicado  EFICACIA  Relaci ó n objetivo fijado - resultado conseguido  EFICIENCIA  Relaci ó n input aplicado - output producido  EFECTIVIDAD  Relaci ó n output producido - resultado conseguido  IMPACTO  - Grado de modificaci ó n conseguido  EQUIDAD  Relaci ó n distribuci ó n valor p ú blico fijada - conseguida  SATISFACCI Ó N  Relaci ó n expectativas esperadas - satisfechas
    25. 26. Evaluación absoluta / postmoderna
    26. 27. Evaluación gestora / controladora
    27. 28. Evaluación positivista / científica
    28. 29. El diseño de la Evaluación <ul><li>(El diseño o metodología) </li></ul><ul><li>El evaluador </li></ul><ul><ul><li>¿Quién va a evaluar? </li></ul></ul><ul><li>El marco temporal </li></ul><ul><ul><li>¿Cuándo vamos a evaluar? </li></ul></ul><ul><li>Muestra </li></ul><ul><ul><li>¿Que actores, actividades, datos vamos a utilizar en el análisis? </li></ul></ul><ul><li>Recolecta de datos </li></ul><ul><li>Análisis de datos </li></ul>
    29. 30. Programación Ejecución Evaluación Impacto Programación Ejecución Evaluación Impacto Programación Ejecución Programa 1 Programa 2 Programa 3 Marco temporal
    30. 31. MÉTODOS CUANTITATIVOS Encuestas Análisis bivariante Análisis de clusters Correlaciones MÉTODOS CUALITATIVOS Observación directa Grupos de expertos Entrevistas en profundidad Entrevistas desestructuradas MÉTODOS PARTICIPATIVOS Acceso a recursos Análisis de taréas Mapping Análisis de necesidades Pocket Charts Juego de roles Árboles Ranking Talleres: Planificación por objetivos Marco lógico HERRAMIENTAS ANALÍTICAS Análisis de beneficiarios Análisis de conflictos Análisis de génerio Análisis participativo rural Análisis de riesgo SARAR ( self-esteem, associative strength, resourcefulness, action planning and responsibility) Análisis de escenarios Análisis de stakeholder
    31. 32. Restricciones <ul><li>Recursos disponibles (relación coste-calidad) </li></ul><ul><li>Información disponible (primer y segundo grado) </li></ul><ul><li>Disponibilidad a cooperar de los actores implicados (locales e internacionales) </li></ul>
    32. 33. Impacto A1 B1 A2 (con) B2 (sin) T1 (antes) T2 (después) Con P Sin P Impacto: diferencia entre lo que ha pasado (el outcome) y lo que hubiera pasado V. Estadística V. Interna V. Constructo
    33. 34. Conclusión <ul><li>Motivo </li></ul><ul><li>Objeto </li></ul><ul><li>Criterio </li></ul><ul><li>Evaluador </li></ul><ul><li>Marco temporal </li></ul><ul><li>Muestra </li></ul><ul><li>Datos </li></ul><ul><li>Análisis </li></ul>
    34. 35. Sistemas de Evaluacion y Monitoreo
    35. 36. Marco conceptual <ul><li>Para qu é evaluar? </li></ul><ul><ul><li>las múltiples funciones de la evaluación (visión estratégica para generar valor público) </li></ul></ul><ul><li>Qu é evaluar y a qu é nivel hacerlo? </li></ul><ul><ul><li>el alcance de la evaluación </li></ul></ul><ul><li>Qu é hacer con la información? </li></ul><ul><ul><li>la relación entre el uso de la información y el mejoramiento de la gestión </li></ul></ul>
    36. 37. Para que evaluar? <ul><li>Aprendizaje </li></ul><ul><ul><li>Se lograron los resultados esperados? Cómo alcanzar mayores logros ? Cómo mejorar? </li></ul></ul><ul><li>Asignación </li></ul><ul><ul><li>Se debe re-considerar la asignación actual? (ofrecer mas o menos recursos?) </li></ul></ul><ul><ul><li>Se justifica mantener o eliminar la unidad evaluada o sus partes? </li></ul></ul><ul><li>Legitimación </li></ul><ul><ul><li>Cumple el gobierno sus promesas? Es efectivo? Es transparente? </li></ul></ul>
    37. 38. Para qué evaluar los resultados de la gestión? X X X X Responsabilización y rendimiento de cuentas X X X Planificación estratégica y global de las políticas X X Mejoramiento de políticas sectoriales y programas X X X X Asignación presupuestaria (racionalización del gasto) X X X Mejoramiento de la gestión organizacional Chile SCPG SCG Uruguay SEV Costa Rica SINE Colombia SINERGIA País Propósito declarado
    38. 39. Modernizacion & Democratizacion Alemania Holanda 80 90 Modernizacion Democratizacion Modernizacion Democratizacion
    39. 40. Debate <ul><li>Una orientación a los resultados de la gestión puede ... </li></ul><ul><ul><li>...debilitar la democracia </li></ul></ul><ul><ul><li>...la democracia </li></ul></ul>
    40. 41. Dos Orientaciones Uruguay : OPP - Oficina de Planeamiento y Presupuesto Chile : DIPRES - Division de Presupuesto, Ministerio de Finanzas Colombia : DNP - Departamento Nacional de Planeación Costa Rica : Mideplan - Ministerio de Planificación Organizado en función del ciclo presupuestario Organizado en función del Plan Nacional de Desarrollo Enfasis en la responsabilización gerencial Funcion: Aprendizaje/Asignación Enfasis en la responsabilización política Función: Aprendizaje/legitimación Modelo Presupuesto Modelo Plan
    41. 42. Evaluación de los resultados de la gestión pública para Principal criterio de responsabilización: gerencial Principal criterio de responsabilización: pol í tico Democratizar: Responsabilización y transparencia Relaciona el desempeño con la asignación del presupuesto Relaciona el desempeño con el desarrollo de la política pública Modernizar: El mejoramiento de la gestión Modelo Presupuesto Modelo Plan Objetivos declarados
    42. 43. Qu é evaluar? <ul><li>Que enfocar? </li></ul><ul><ul><li>Componente de cadena de valor </li></ul></ul><ul><ul><li>Criterio </li></ul></ul><ul><li>A que nivel? </li></ul><ul><ul><li>Macro (sector), </li></ul></ul><ul><ul><li>meso (organizacion), </li></ul></ul><ul><ul><li>Micro (persona) </li></ul></ul>
    43. 44. Casos LA Niveles de desempeño CHILE SSPG SCG (mon&eva) URUGUAY SEV (monitoreo) CSTA RICA SINE (monitoreo) COLOMBIA SINERGIA (mon&eva) Nivel Unidad de presupuesto Micro Programas Agencias Agencias Programas Agencias Programas [agencias] Meso Sectores PND PND Sectores Macro
    44. 45. Casos LA (2) <ul><li>Medición, monitoreo, rendición de cuentas </li></ul><ul><li>Monitoreo de objetivos y resultados </li></ul><ul><li>Evaluaciones estratégicas </li></ul><ul><li>Diseminación y rendimiento de cuentas </li></ul><ul><li>SSPG (SEGPRES) Monitoreo de metas y objetivos </li></ul><ul><li>SCG (DIPRES) </li></ul><ul><li>Monitoreo y evaluaciones </li></ul>Uruguay y Costa Rica: un sistema (de monitoreo) Colombia :un sistema, tres componentes Chile : dos sistemas, muchos componentes
    45. 46. Qu é hacer con la información? <ul><li>Preguntas claves sobre la información generada: </li></ul><ul><ul><li>Es confiable? </li></ul></ul><ul><ul><li>Es accesible? </li></ul></ul><ul><ul><li>Se consume? </li></ul></ul><ul><ul><li>Produce consecuencias? </li></ul></ul>
    46. 47. Es confiable la información? <ul><li>Credibilidad de la información depende de: </li></ul><ul><li>Quien decide los indicadores? </li></ul><ul><li>Quien recoge los datos? </li></ul><ul><li>Rigor metodológico, problemas de medición </li></ul><ul><ul><li>Que hay detrás de un indicador? </li></ul></ul>
    47. 48. Se consume la información? Destinatarios/usuarios potenciales <ul><li>Poder Ejecutivo </li></ul><ul><ul><li>Ministerio de Planificación </li></ul></ul><ul><ul><li>Ministerio de Hacienda </li></ul></ul><ul><ul><li>Ministerios sectoriales (ministros) </li></ul></ul><ul><ul><li>Jerarcas y funcionarios de varios niveles de gestión </li></ul></ul><ul><ul><li>Presidente de la Republica </li></ul></ul><ul><ul><li>Organismos de auditoria y control </li></ul></ul><ul><ul><li>Oficina Nacional de Presupuesto </li></ul></ul><ul><li>Poder Legislativo </li></ul><ul><ul><li>Parlamento </li></ul></ul><ul><li>Sociedad civil </li></ul><ul><ul><li>Organizaciones </li></ul></ul><ul><ul><li>Ciudadanos </li></ul></ul>
    48. 49. Tipos de informacion & usuarios INE ME Informacion 1 Informacion 2 Retroalimentacion Informacion 3 Consultores Decisores Gerentes … … Ciudadanos Usuarios 1 Usuarios 2 Informacion 4
    49. 50. Costes <ul><li>De inversion </li></ul><ul><li>De funcionamiento: </li></ul><ul><ul><li>Quien los cubre: </li></ul></ul><ul><ul><ul><li>Usuario de informacion </li></ul></ul></ul><ul><ul><ul><li>Proveedor de informacion </li></ul></ul></ul><ul><ul><li>Depende del formato de la informacion en: </li></ul></ul><ul><ul><ul><li>En output </li></ul></ul></ul><ul><ul><ul><li>En input </li></ul></ul></ul>
    50. 51. Problemas <ul><li>Uso limitado de la información para la toma de decisiones </li></ul><ul><ul><li>Información útil a nivel macro no es útil a nivel meso (muy agregada) </li></ul></ul><ul><ul><li>Información llega demasiado tarde para ser útil </li></ul></ul><ul><ul><li>Información no es confiable para ser útil </li></ul></ul><ul><ul><li>No hay incentivos formales para usar la información </li></ul></ul>
    51. 52. Desafíos <ul><li>Uso limitado de la información </li></ul><ul><ul><li>La información todavía no afecta el aprendizaje ni la asignación como se esperaba. </li></ul></ul><ul><li>Avances técnicos, pero la información aun no es confiable, accesible, usable </li></ul><ul><li>Falta integración </li></ul><ul><li>El ciudadano es el gran ausente de los sistemas de evaluación de los resultados de la gestión </li></ul><ul><li>Cuanta y que tipo de información proporcionar al público  toda info no es susceptible de ser publica </li></ul><ul><li>El ciudadano puede ser el garante para la sostenibilidad de estos sistemas. </li></ul>
    52. 53. Nivel municipal <ul><li>Caracteristica principal: cercania/interaccion general </li></ul><ul><ul><li>Positivo: integracion/coordinacion parece menos problematica </li></ul></ul><ul><ul><li>Negativo: paradoja global/local </li></ul></ul><ul><ul><ul><li>Los representantes de los habitantes de las ciudades “suelen enfrentarse a una empresa imposible, se mire por donde se mira: la de encontrar soluciones locales a contradicciones globales” (p23). </li></ul></ul></ul><ul><ul><li>Negativo: puede entorpecer funcionamiento. </li></ul></ul>
    53. 54. La GpR en NYC Mayor´s Management Report
    54. 55. Elementos del sistema <ul><li>Informe del alcalde </li></ul><ul><li>Indicadores adicionales </li></ul><ul><li>Descripcion de indicadores </li></ul><ul><li>Estadisticas vecinales </li></ul><ul><li>311 </li></ul><ul><li>La tarjeta de resultados de calles limpias </li></ul><ul><li>CapStat: Citywide Accountability Program </li></ul>
    55. 57. Informe del alcalde
    56. 60. Informe 2: Indicadores
    57. 61. Informe 3: Descripcion de indicadores
    58. 62. Estadisticas vecinales
    59. 66. El servicio 311
    60. 69. La tarjeta de resultados ( scorecard )
    61. 70. CapStat: CompStat
    62. 71. CapStat: Campanya politica
    63. 72. Bibliografia <ul><li>Performance evaluation, public management improvement and democratic accountability. Sonia Ospina, Nuria Cunill Grau, Ariel Zaltsman. 2004. Public Management Review </li></ul><ul><li>Evaluación de la gestión pública: conceptos y aplicaciones en el caso latinoamericano. Sonia Ospina Bozzi. Reforma y Democracia. </li></ul><ul><li>OCDE (1997) In search of results: Performance Management Practices. www . oecd . org / dataoecd /10/60/1902712.pdf </li></ul><ul><li>IMF Working Paper. Does Performance Budgeting Work? An Analytical Review of the Empirical Literature. Prepared by Marc Robinson and Jim Brumby </li></ul><ul><li>Evaluación del impacto de los proyectos de desarrollo en la pobreza. Manual para profesionales. Judy L. Baker. Banco Mundial. Washington, D.C. </li></ul><ul><li>Between Democracy and Efficiency: Trends in Local Government Reform in the Netherlands and Germany. F Hendriks, P Tops - Public Administration, 1999 </li></ul><ul><li>Confianza y temor en la ciudad. Zygmunt Bauman. Arcadia, 2006. </li></ul>
    64. 73. &quot;En la medida en que las leyes de la matemática se refieren a la realidad, no son exactas, y en tanto son exactas, no se refieren a la realidad.&quot; Albert EINSTEIN

    ×