Evaluación de impacto
Upcoming SlideShare
Loading in...5
×
 

Evaluación de impacto

on

  • 544 views

 

Statistics

Views

Total Views
544
Views on SlideShare
544
Embed Views
0

Actions

Likes
0
Downloads
11
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment
  • Activity: Invite the participants to think about situations in which experiments could not be carried out for practical, ethical and political reasons.
  • Activity: Invite the participants to choose one of the examples analyzed in the Exercise of the first part and discuss about other factors, besides the program, that could be affecting the desired outcomes
  • Activity Invite the participants to discuss possible confounding variables for a program whose primary interest is to decrease infant mortality.
  • Speaker Notes : The participant should note that the definition of program theory only includes program elements: inputs, outputs, outcomes, etc. In contrary, the conceptual framework is more comprehensive in nature, since it includes all the other factors that can, potentially, have an effect on the outcomes, whether they are program related or not.
  • Speaker Notes: The concept of program theory is essential for impact evaluation. Before doing an impact evaluation the evaluator must establish what the program theory is. Sometimes (many times) the program theory is not explicit and the evaluator´s first task will be to make it explicit
  • Speaker Notes : Explain the reasons why, in most cases, it is not advisable to do black box evaluation (It is like trying to hit a target with the eye closed). It renders the evaluator incapable to elaborate explanations related why the program works or does not work. Worse, it does not allow him or her to provide recommendations to their clients. Activities: Invite the participants to discuss why it is not appropriate to carry out “black box” evaluation. Can they think of any situation in which black box evaluation might be appropriate?

Evaluación de impacto Evaluación de impacto Presentation Transcript

  • Evaluación de impacto deprogramas socialesDr. Anibal Velásquezanibal.velasquez@gmail.comhttp://reformasalud.blogspot.com/
  • Preguntas que responde la evaluación• ¿Cuál es el resultado de un programa, política o proyecto desalud?• ¿Cuándo se podría decir que un Programa, política oproyecto de salud ha tenido éxito?• ¿Cuánto de los cambios se pueden atribuir al programa?• ¿Cuánto se tiene que invertir para obtener resultados con elprograma?• ¿Qué parte de la intervención es la más efectiva?• ¿Qué factores han impedido que se obtengan resultados conel programa?• ¿El programa debe continuar, expandirse, mejorarse oeliminarse?
  • – Conjunto de procedimientos yherramientas analíticas para examinar eldesempeño de programas, y determinar siobtuvieron el efecto (impacto) para elque fueron diseñadosImportancia:– Identificar si algún componente delprograma necesita mejora– Contribuye a una eficiente asignación yadministración de recursos– Determinar si los objetivos del programa sehan alcanzado o noEvaluación de Programas:
  • II. Evaluación de Impacto• Objetivos:- Determinar el impacto neto del programa en el resultadoa nivel de población (o en productos a nivel de programa)- ¿Cuánto del cambio observado en el resultado esdebido, o puede ser atribuido, al programa y no a otrosfactores?• Características:- Enfasis en productos y resultados- Examina atribución
  • Preguntas que se hace un político, unaagencia donante, o un gerente sobreProgramas Sociales• Hemos invertido millones de dólares en esteprograma ¿Cuál ha sido el impacto de lasintervenciones?• ¿Cuáles han sido los cambios en la población?• ¿En cuánto se ha contribuido a reducir los daños?• ¿En cuánto se ha mejorado la salud o el bienestarde las comunidades atendidas?• ¿Cuáles son las estrategias más efectivas yeficientes?
  • Inicio delprogramaPunto medio ofinal delprogramaTiempoResultadoLa pregunta deevaluación:¿Cuánto deeste cambio esatribuible alprograma?Evaluando el Impacto del Programa
  • ConprogramaSinprogramaInicio delprogramaPunto medio ofinal delprogramaTiempoResultadoImpacto netodel programaEvaluando el Impacto del Programa
  • • El problema de evaluación:El segundo término, el contrafáctico, no es conocido puesno podemos observar al mismo individuo expuesto y noexpuesto al programa al mismo tiempoSin embargo, el segundo término puede ser estimado. Existendiferentes diseños de evaluación disponibles para evaluar elimpacto del programaImpacto del programa =Resultado conel programa-Resultado que sehubiese obtenido si elprograma no se hubieseestablecido
  • Diseños de investigación paraevaluar el impacto• Diseño Experimental• Diseño Observacional
  • Grupo 1(Tratamiento)PoblaciónEsquema básico para evaluar el impacto de programasGrupo 2(Control)PROGRAMAGrupo 1(Tratamiento)Grupo 2(Control)Si “AsignaciónAleatoria”: Grupo 1 = Grupo 2Si Asignación noaleatoria: (datosde encuestas)Grupo 1 ≠ Grupo2Grupo 1 ≠ Grupo 2Diferencia debida al programaGroup 1 ≠ Group 2Diferencia debida al programay a diferencias pre-existentes(observadas y no observadas)
  • Individuos son asignados aleatoriamente a un grupo de“Tratamiento” y a uno de “Control” antes del programa. Si es bienimplementado:Impacto = Promedio(“Tratamiento”) - Promedio(“Control”)Pocas condiciones son necesarias:+ La asignación es aleatoria+ La “intensidad” del programa es homogénea+ Los individuos en el grupo de “Tratamiento” no cambian sucomportamiento por participar en un experimento (no hay efectoHawthorne)+ Los factores externos influyen ambos grupos por igual+ Los individuos permanecen en los grupos durante la duración delexperimento (no hay atrición o ésta no es selectiva)Diseño ExperimentalDiseño Experimental
  • Diseño Experimental (Cont.1)• El diseño experimental clásico es el Gold Standard• Ventajas: SimpleSi bien implementado y el tamaño de la muestra essuficientemente grande, la asignación aleatoria causa quelos grupos sean equivalentes en cuanto a característicasobservadas y no observadas. Es decir, en ausencia delprograma, no habría diferencias en los resultados de los dosgrupos.
  • Diseño Experimental (Cont.2)Desventajas+ Difícil de implementar (factores prácticos, políticos y éticos)+ Contaminación es posible+ Efecto Hawthorne es posible+ Deserción o atrición selectiva es posible+ Programas son intervenciones complejas con muchoscomponentes+ Generalización es dudosa (criterio de validez externa)
  • Entonces, si los experimentos son tan buenospara buscar evidencias causales, ¿por qué esque no se usan más frecuentemente enevaluación de impacto de programas depoblación, salud y nutrición?
  • Los experimentos son difíciles de implementar porrazones:– Prácticas– Eticas (incluyendo el asunto del consentimientoinformado)– Políticas
  • ADEMÁS...• Los experimentos con sujetos humanos se critican entérminos de su validez externa, es decir, su capacidad parageneralizar sus resultados a las poblaciones meta de lasintervenciones
  • Por eso, se han concebido modelos y técnicas de análisis dedatos en las que la estimación del contrafáctico se hace medianteel control estadístico de las “otras” variables relevantes quepueden afectar el resultado de interés
  • Diseño Observacional• No hay asignación aleatoria de los individuos a grupos detratamiento y control. Los propios individuos deciden siparticipan en el programa o no. Por tanto, diversos factoresinfluyen el resultado obsevrado y no hay garantía que esosotros factores relevantes sean equivalentes entre el grupoexpuesto y el grupo no expuesto al programa• Es necesario usar técnicas estadísticas para estimar el efectodel programa controlando por el efecto de los otros factores.Una técnica para ello es el Análisis de Regresión
  • Diseño Observacional (Cont 1)• El análisis de regresión examina la relación entre variasvariables explicativas y la variable dependiente. Permitecuantificar la contribución de cada factor a la variabledependiente• Importante: Se necesita definir cuales son los factoresrelevantes que influyen el resultado de interés y senecesitan datos sobre ellos
  • Con los estudios observacionales se estima elcontrafáctico (qué hubiese ocurrido si no se realiza elprograma) mediante modelos y técnicas de análisisde datos; y se hace mediante el control estadísticode las “otras” variables relevantes que puedenafectar el resultado de interés
  • Los enfoques más comunes se basan enmodelos de regresión
  • Y, variabledependienteX2X1X5X4X3Estas son lasvariablesindependientes,factores relevantes(incluyendo elprograma) quepueden influenciarla variable deinterésEn condiciones “naturales”, por ejemplo,por medio de una encuesta, podemosobservar una variable de respuesta cuyonivel puede ser el resultado de lainfluencia simultánea de muchosfactoresEl programa
  • EN UN MODELO DE REGRESION• Y = f(X1,X2,…,Xn)Y, la variable de respuesta o variable dependiente, es unafunción de las variables independientes• Una vez que el modelo es “ajustado” se puede juzgar laimportancia relativa de cada variable independiente• Nuestro foco de interés, se refiere por supuesto a la(s)variable(s) independiente(s) que identifican al programa
  • Si medimos los otros factores relevantes esposible “aislar” el efecto del programa entrelos efectos de las otras variablesindependientes
  • VARIABLES CONFUSORAS• En el contexto de una evaluación de impactohablamos de variables confusoras cuando nosreferimos a todos los otros factores relevantes,además del programa, que pueden influenciar elresultado de interés• Dejan de ser confusoras cuando se miden eincorporan en el modelo de regresión
  • ES POR ESTO QUE...• Un marco conceptual comprensivo (que incluyael programa y los potenciales factores confusores)es especialmente importante para la aplicaciónde los métodos de regresión en evaluación deimpacto
  • Qué es el marco conceptual de unprograma?
  • EL MARCO CONCEPTUALEl marco conceptual o “de investigacion” es undiagrama que identifica e ilustra las relacionesentre factores sistémicos, organizacionales,individuales y otros elementos relevantes quepueden influenciar la operación de un programao proyecto y el logro exitoso de sus metas yobjetivos
  • El marco conceptual tiene base en...La Teoría del Programa.Es el conjunto de supuestos sobre la forma en que elprograma (o proyecto) provoca los beneficios quese espera que produzca, incluyendo las estrategias ytácticas que ha adoptado para lograr sus metas yobjetivos.
  • LA TEORÍA DEL PROGRAMA ...• A veces no es explícita, no ha sido formalmentearticulada o establecida.• Evaluación de caja negra: cuando se realiza laevaluación sin haber articulado formalmente la teoríadel programa• Nuestra recomendación: no hacer evaluación de cajanegra
  • EN LA TEORÍA DEL PROGRAMA DEFINIMOS...• Hipótesis de acción: son las que ligan o conectan causalmente lateoría del proceso (están bajo el control directo del programa)• Hipótesis conceptuales: son las que ligan o conectancausalmente la teoría del impacto (no están bajo el control delprograma)
  • Vinculando el Programa de capacitación a Resultados deSalud …………………….Característicasdel Individuo ydel HogarCaracterísticasde comunidad Uso deServiciosPráctica desaludResultadode SaludProgramadecapacitaciónGobierno, ONGs,otros donantes,privadoOtras capacitacionesoferta de serviciosde salud
  • Vinculando Insumos del Programa a Resultados de Salud(fuentes de datos)Característicasdel Individuo ydel Hogaroferta deservicios de saludUso deServiciosPráctica desalud HealthyOutcomeProgramacapacitaciónGobierno, ONGs,otros donantes,privadoEncuesta de hogares(ENDESA,ESR,ENV)Enc. Establecimientos (desempeño)Enc. ComunidadesCaracterísticasde comunidad
  • comunidadhogarindividuoClínicasBasado enla comunidadOferta deServicios deSaludOtrasCaracterísticasde la ComunidadNiveles de Factores que influyen Comportamientos yResultados de Salud
  • Encuesta deHogaresEnc. de EstablecimientosEncuesta de ComunidadesFuentes de DatosOferta deServicios deSaludOtrasCaracterísticasde la ComunidadClínicasBasado enla comunidadImportante: Las encuestasdeben estar “vinculadas”
  • Etapas de una evaluación de impacto de programa:1. Definir el alcance de la evaluación: programa a examinar, resultadode salud de interés (objetivo del programa), población de analísis(población objetivo)2. Definir el marco conceptualIdentificar factores relevantes que influyen el resultado de salud y larelación entre ellos. Identificar la “ubicación” del programa en el marcoconceptual3. Operacionalizar los factores relevantes. Seleccionar indicadores4. Recolectar datos apropiados. Mucho mejor si son datoslongitudinales. Se necesita un grupo de comparación (no expuesto)
  • Etapas de una evaluación de impacto de Programa:5. Especificar el modelo empírico y seleccionar el procedimiento deestimaciónCriterios:- Tipo de variable dependiente: contínua o discreta?- Tipo de variables explicativas: exógenas o endogenas?- ¿Hay varios niveles en las variables explicativas?- El diseño de la muestra, ¿fue por etapas múltiples?- ¿Sospecha de factores relevantes no observados?- Tipo de datos disponible: corte transversal o panel?6. Estimar el modelo empírico
  • Etapas de una evaluación de impacto de Programa:7. Examinar la sensibilidad de los resultados a la selección deindicadores, la especificación del modelo empírico y a lossupuestos estadísticos necesarios para la estimación8. Examine el impacto del programaInterpretación de resultados; simulaciones de escenarios dedisponibilidad del programa y su impacto
  • CaracterísticasIndividuo /HogarCaracterísticasde comunidad yde oferta deservicios (IEC)Preferenciastamaño defamiliaUso demétodos PFFecundidadEjemplo: Modelo simplificado de uso de anticonceptivos yfecundidad¿Cuáles son los factores relevantes?Especifique el modelo empírico
  • Un modelo de regresión con uso de anticonceptivos como variabledependiente y variables individuales de la mujer, como educación,edad o número de hijos, como variables independientesóUn modelo de regresión con uso de anticonceptivos como variabledependiente y variables programáticas de los establecimientos desalud como variables independientes, ligando cada mujer alestablecimiento al que asiste y tomando el promedio de la variabledependiente en cada establecimientoóUn modelo de regresión con uso de anticonceptivos como variabledependiente y variables de la comunidad, como acceso a serviciosbásicos, como variables independientes, ligando cada mujer a lacomunidad en que reside y tomando el promedio de la variabledependiente en cada comunidad
  • Pero...• No se puede (no se debe) tener los tres niveles (individual,establecimiento y comunidad) en el mismo modelo de regresión• Esta es una gran limitación ya que entonces no podemos analizarsimultáneamente los efectos de las variables medidas en los tresniveles diferentes de agregación
  • Por el contrario,• Cuando se usa un modelo de regresión multinivel (o de nivelesmúltiples) se puede analizar simultáneamente los efectos de lasvariables del programa, de los establecimientos e individuales delsujeto.• Esta característica hace que estos modelos resulten poderosos parala evaluación de impacto
  • BIBLIOGRAFIABertrand, J.T. et al. (1996). Evaluación de Programas dePlanificación Familiar. The Evaluation Project, USAIDMohr, L. (1995). Impact Analysis for Program Evaluation. SagePublicationsRossi, P.H.; Freeman, H.E. & Lipsey, M.W. (1999). Evaluation: ASystematic Approach. Sage Publications