Evaluacion de programas de liderazgo - Julie Solomon

  • 107 views
Uploaded on

 

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
107
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
0
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Evaluación de programas de liderazgo: Una visión de conjunto práctica Foro 2013: Fortaleciendo Liderazgo Local el 15 de marzo de 2013 Julie Solomon, Ph.D. J. Solomon Consulting, LLC julie@jsolomonconsulting.com Objetivos   Al fin de la sesión, los/las participantes podrán:   Identificar algunos de los beneficios y los retos principales de llevar a cabo una evaluación de un programa de liderazgo   Articular la teoría de cambio para un programa de liderazgo, en la cual se distinguen los servicios/actividades/productos (outputs) de los resultados   Hacer un plan de evaluación para un programa de liderazgo   Identificar por lo menos tres formas de usar los datos y las conclusiones de una evaluación de un programa de liderazgo   Identificar estrategias para enfrentar algunos retos de llevar a cabo una evaluación de un programa de liderazgo 2J.  Solomon  Consul,ng,  LLC   1  
  • 2. ¿Qué es la evaluación?   La evaluación implica la colección, análisis, e interpretación de datos, de una forma sistemática, para contestar preguntas sobre programas, proyectos, políticas, personal, productos, u organizaciones 3 Algunos beneficios de la evaluación   Monitorear el progreso, identificar retos, y formular cambios a medio curso   Documentar efectos (esperados e inesperados)   Ser responsable a los interesados/socios   Financiadores, organizaciones socios, la(s) población(es) meta, la comunidad   Obtener apoyo de nuevos interesados/socios   Informar a otros/as sobre “prácticas prometedoras”   Influir en las políticas públicas   Planear nuevos programas/proyectos 4J.  Solomon  Consul,ng,  LLC   2  
  • 3. Retos comunes en la evaluación   Recursos limitados   Personal, conocimiento/destrezas, infraestructura, fondos   Acceso a la(s) población(es) meta   Período disponible para llevar a cabo la evaluación   Cómo demostrar impacto cuando el proceso de cambio social es largo   Cómo desarrollar instrumentos válidos   Requisitos diferentes de múltiples financiadores   Temor a las conclusiones negativas   Creencia que no hacer falta evaluar porque “sabemos que el programa tiene resultados positivos” 5 Teorías de cambio   Una teoría de cambio es una hipótesis que trata cómo ciertos recursos (inputs), aplicados a la implementación de estrategias/ actividades específicas, pueden lograr cambios o efectos (resultados) en una(s) población(es) o entidad(es) meta.   Un marco lógico puede representar la teoría de cambio en una forma visual. 6J.  Solomon  Consul,ng,  LLC   3  
  • 4. Teoría de cambio global para programas de liderazgo Población(es) meta: [Puede(n) variar según edad, género, geografía, etc.] Recursos Estrategias/ Resultados Resultados Resultados (Inputs) Actividades a Corto a Mediano a Largo Plazo Plazo Plazo --Personal Cambios --Talleres positivos en: --Fondos Cambios --Proyectos -- Escolaridad, --Colaboradores positivos en el Cambios estatus laboral, (otras --Mentoring conocimiento, positivos en el etc. de la(s) organizaciones, --Becas las actitudes, comporta- población(es) consultores/as, y las miento de meta voluntarios/as) --Oportuni- habilidades la(s) dades para de la(s) --Sus --Modelos y población(es) asistir a organizaciones prácticas población(es) meta congresos prometedores meta --Sus --Etc. comunidades --Etc. --Políticas públicas, etc. 7 Ejemplo (hipotético): Un programa de liderazgo joven en salud sexual y reproductiva (SSR)* Población(es) meta: Cada año, 24 jóvenes (50% mujeres, 50% hombres) de 18-30 años (“becarios/as”) y sus organizaciones, en país X Recursos Estrategias/ Resultados a Resultados a Resultados a (Inputs) Actividades Corto Plazo Mediano Plazo Largo Plazo --Instituto Aumento del Adelante Becarios/as conocimiento Joven: Para becarios/ egresados/as de SSR de Aplicación del Personal as: siguen jóvenes conocimiento --4 talleres trabajando en --Fundación y las SSR interactivos de González: Aumento de las habilidades en 1 semana Personal, habilidades en liderazgo y sobre liderazgo liderazgo Becarios/as fondos y SSR de SSR al trabajo en funciones jóvenes durante (pagado o --Consultores/ de liderazgo Impacto Aumento de la voluntario) as con un año influyentes en Mejor SSR especializa- intención de SSR trabajar en SSR de los/las ciones en Para sus orgs.: jóvenes liderazgo de jóvenes Más servicios --4 talleres de 1 juvenil, SSR, y día durante 1 de SSR fortaleci- año para Aumento del “amigables” miento personal de las conocimiento y para jóvenes Aplicación del institucional orgs. de los/las las habilidades conocimiento --Prácticas becarios/as en en SSR de y las Servicios de prometedoras SSR de jóvenes, jóvenes, habilidades al SSR para de otros planific. estrat., planific. estrat., trabajo jóvenes programas de y sostenibilidad y sostenibilidad sostenidos capacitación 8 * Este modelo tiene algunos elementos de GOJoven: Programa de Liderazgo Joven en Salud Sexual y Reproductivo.J.  Solomon  Consul,ng,  LLC   4  
  • 5. Para planear la evaluación   Si es posible, empiece a planear la evaluación cuando empieza a planear el programa o proyecto, para poder implementar la evaluación cuando se implementa el programa (evaluación prospectiva)   Use el marco lógico/teoría de cambio para:   Decidir qué preguntas quiere contestar por medio de la evaluación   Identificar objetivos e indicadores   Escoja métodos para recopilar y analizar los datos que son apropiados según las preguntas e indicadores y según los recursos disponibles   Acuérdese: Nunca es posible evaluar TODO   ¡Es mejor implementar BIEN una evaluación de estrecho alcance que implementar MAL una evaluación de amplio alcance! 9 Evaluación de la implementación (el proceso)   Se enfoca en las estrategias, las actividades, los servicios, y los productos desarrollados, implementados, o distribuidos con o a la(s) población(es) meta 10J.  Solomon  Consul,ng,  LLC   5  
  • 6. Evaluación de la implementación (el proceso) Compo- Ej. de pregunta de la Ej. de objetivo Ej. de indicador Método de nente del evaluación verificación marco lógico Población ¿Qué población se ha Cada año, 25 Número de Lista de meta alcanzado? jóvenes de participantes control para ¿Se ha alcanzado la 18-30 años se de 18-30 años los/las población meta? graduarán del que se participantes programa de graduaron del liderazgo programa de liderazgo 11 Evaluación de la implementación (el proceso) Compo- Ej. de preguntas de la Ej. de objetivos Ej. de Métodos de nente del evaluación indicadores verificación marco lógico ¿Qué actividades y 4 talleres de 1 semana Número y Registro de talleres servicios se han implementados duración de o lista de control implementado? durante 1 año talleres de los/las ¿Son las actividades y implementados participantes servicios programados? durante 1 año ¿Qué materiales (folletos, Desarrollar 1 folleto Número de Registro o planilla etc.) se han creado? sobre derechos de la folletos de control de ¿Cuántos se han mujer y 1 folleto sobre desarrollados y creación de distribuido? derechos de los/las sus temas materiales niños/as y jóvenes Número de Registro o planilla Estrategias/ ¿Se han distribuido y actividades/ distribuido los materiales Distribuir 500 copias a folletos de control de productos programados otras orgs. y 500 distribuidos a distribución de copias directamente a otras orgs. y a materiales miembros de la miembros de la comunidad comunidad ¿Qué tan satisfechos/as o Por lo menos 90% de Porcentaje de Grupos focales con insatisfechos/as están los/las participantes participantes 80% de partic. los/las participantes con reportarán que están que reportan Cuestionario con el programa? “algo” o “muy” que están “algo” 100% de partic. ¿Qué sugerencias tienen satisfechos” con el o “muy” taller satisfechos con Entrevistas con para mejorar el 75% de partic. programa? el taller 12J.  Solomon  Consul,ng,  LLC   6  
  • 7. Evaluación de los resultados   Se enfoca en los cambios o efectos en la(s) población(es) meta 13 Evaluación de los resultados Componentes Ej. de preguntas de la Ej. de objetivos Ej. de Métodos de del marco evaluación indicadores verificación lógico Resultados a Del comienzo al fin de su Del comienzo al fin de su Nivel de habilidad Cuestionarios corto plazo participación en el participación en el para trabajar en Entrevistas programa, ¿qué cambios programa, un promedio de equipos, ha habido en habilidades 50% aumento en 3 comunicar su Grupos de liderazgo entre los/las habilidades de liderazgo visión, y focales participantes? (trabajar en equipos, desarrollar comunicar su visión a otros, liderazgo en otros desarrollar liderazgo en otros/as) Resultados a 6 meses después del fin Por lo menos 85% de los/las El haber asumido Cuestionarios mediano plazo de su participación en el participantes podrán nuevos cargo de Entrevistas programa, ¿cómo están identificar por lo menos 1 liderazgo los/las participantes manera en que están Grupos El haber focales aplicando sus habilidades aplicando sus habilidades en capacitado a en liderazgo a su trabajo liderazgo a su trabajo (p.e., otros/as en pagado y voluntario? asumir nuevos cargos o de liderazgo mayor influencia, capacitar a otros/as en liderazgo) Resultados a 2 años después de su Por lo menos 75% de los/las % de los/las Cuestionarios largo plazo participación en el participantes están participantes Entrevistas programa, ¿los/las trabajando en [SSR, medio trabajando en participantes están ambiente, derechos [SSR, medio Grupos trabajando en [SSR, humanos, etc.] ambiente, focales medio ambiente, derechos derechos humanos, etc.]? humanos, etc.] 14J.  Solomon  Consul,ng,  LLC   7  
  • 8. ¿Qué tipo de objetivo es: del proceso o del resultado? Nuestro programa pretende…   Aumentar el conocimiento de prácticas del turismo sostenible   Capacitar a 50 mujeres en liderazgo   Aumentar el uso de condones entre adolescentes   Lograr una tasa de ‘alta satisfacción’ con el programa de 70%   Implementar un taller de fortalecimiento institucional de 2 horas 15 Solidez de las pruebas: perspectiva del marco lógico ¿Cuáles pruebas tienen más solidez, y por qué?   Documentación del proceso o de los resultados   Documentación de un cambio en conocimiento o en comportamiento 16J.  Solomon  Consul,ng,  LLC   8  
  • 9. Solidez de las pruebas: perspectiva del marco lógico   Hacia la mano derecha del modelo (sobre todo, para los resultados de mediano y de largo plazo), hay que tomar en cuenta:   La posibilidad de múltiples influencias (contribución vs. atribución)   Factores externos que pueden impedir que se logren los resultados deseados 17 Ejemplos de métodos de verificación para programas de liderazgo Cuantitativo y/ Métodos o Cualitativo Listas de control Cuant Registros/plantillas de actividades y de producción y distribución de Cuant/Cual materiales, etc. Reviso de documentos no creados para la evaluación (actas de Cuant/Cual reuniones, material de los medios masivos, etc.) Cuestionarios/encuestas Cuant/Cual Entrevistas Cuant/Cual Grupos focales Cual Uso de bases de datos de otras organizaciones (escuelas, Ministro Cuant de Salud o Educación, etc.) 18J.  Solomon  Consul,ng,  LLC   9  
  • 10. Frecuencia de la recopilación de datos   Evaluación de la implementación (el proceso)   Es importante recopilar datos prospectivamente– es decir, durante o inmediatamente después de cada actividad   Evaluación de los resultados   Lo más común: pre- (línea de base) y post-actividad   Más seguimiento si es posible   Opción de preguntar a post-actividad: o  Cómo eran los/las participantes a la línea de base (“pre retrospectivo”) o  Cómo/cuánto han cambiado 19 Solidez de las pruebas: métodos cuan o cual?   ¿Qué tipo de pruebas tiene más solidez: las cuantitativas o las cualitativas?   ¿Por qué? 20J.  Solomon  Consul,ng,  LLC   10  
  • 11. Análisis de datos   ¿Qué programas (software) han utilizado para analizar datos cuantitativos?   ¿Cómo aprendió a usar estos programas?   ¿Qué opciones tienen si nadie en su equipo sabe llevar a cabo el análisis de datos cuantitativos?   ¿Qué métodos/prácticas han usado para analizar los datos cualitativos? 21 Cómo usar las conclusiones de la evaluación   Celebrar los logros   Aplicarlas al mejoramiento del mismo programa o proyecto   Aplicarlas al próximo proyecto   Engendrar más apoyo para el programa o proyecto   Informar a otros/as en el sector de prácticas prometedoras   Informar a los políticos/autoridades 22J.  Solomon  Consul,ng,  LLC   11  
  • 12. Para comunicar las conclusiones   ¿Cuáles son los los medios más apropiados para comunicar las conclusiones a…?   Personal del programa/proyecto   Otras organizaciones/socios que son—o que podrían ser— colaboradores/as   Financiadores (actuales y prospectivos)   La(s) población(es) meta   La comunidad   Políticos/autoridades   Otro personal, investigadores, y financiadores que trabajan en el mismo sector 23 Para comunicar las conclusiones   Adapte el contenido y el medio a la audiencia y la situación   Ponga énfasis en las conclusiones con más solidez   Revele las conclusiones negativas (además de las positivas) y explique qué se está haciendo o qué se va a hacer para abordarlas   Explique los métodos usados y resuma las limitaciones de los métodos y las conclusiones 24J.  Solomon  Consul,ng,  LLC   12  
  • 13. Para comunicar las conclusiones   IMPORTANTE:   Respete la confidencialidad de los/las participantes   Tome en cuenta las posibles reacciones de la comunidad   Tome en cuenta los posibles impactos en la comunidad 25 Elementos del plan de evaluación   Marco lógico/la teoría de cambio del programa o proyecto   Propósito(s) de la evaluación   Preguntas de la evaluación claves   Objetivos e indicadores de la implementación y de los resultados   Fuentes de datos y métodos de recopilación y análisis de datos   Cronograma de la evaluación   Equipo de evaluación   Presupuesto y otros recursos disponibles   Audiencias para las conclusiones y cómo se van a reportar/diseminar y usar las conclusiones 26J.  Solomon  Consul,ng,  LLC   13  
  • 14. Actividad en grupo: retos y estrategias   Cada grupo va a abordar un reto común en la evaluación de programas de liderazgo y sugerir estrategias para enfrentar este reto   Cada grupo va a compartir 3 recomendaciones breves con todos/as 27 Preguntas para los grupos   Grupo A y Grupo B   Cuestionarios, entrevistas, y grupos focales son métodos comunes para evaluar programas de liderazgo. Cuando usamos estos métodos, ¿cómo podemos asegurar que nuestros instrumentos sean válidos?   Grupo C y Grupo D   El período de contacto directo del personal del programa con la población meta puede ser breve o largo. ¿Cuándo deberíamos tratar de hacer seguimiento con la población, después del último contacto programático, para recopilar más datos para la evaluación? ¿Qué métodos podemos usar para lograr ese contacto y seguimiento, tomando en cuenta que nuestros recursos para evaluación son muy limitados?   Grupo E y Grupo F   Si nuestro programa desea lograr cambios en políticas públicas a largo plazo, ¿qué tipos de indicadores de resultados podemos usar para demostrar éxito a corto plazo y a mediano plazo? 28J.  Solomon  Consul,ng,  LLC   14  
  • 15. ¿Qué va a hacer Ud.?   Apunte 1-2 acciones o cambios que Ud. va a realizar en sus procesos de evaluación cuando vuelva de este Foro 29J.  Solomon  Consul,ng,  LLC   15