Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
   “Hacer inteligible lo que pasa en un programa específico, o    en un pequeño ayuntamiento, dentro del horizonte más   ...
• La evaluación no puede desconocer el contexto político delEstado del Bienestar porque los servicios y programas sociales...
POLÍTICAS PÚBLICAS UNIVERSALES: Los sistemas educativos públicos. Escuelas taller, formación profesional.Guarderías, escue...
   Servicios universalistas   Con colectivos profesionales poderosos e instituciones    consolidadas (a menudo centraliz...
Sometidas a la exigencia añadida de constatar la “pertinencia” de la intervención debido a su carácterselectivo: la evalua...
“Los nuevos conceptos de la evaluación están vinculados a nuevas formas deorganización del trabajo social y, por tanto, só...
MODELO BUROCRÁTICO                            MODELO FLEXIBLERegulación mediante normas y el control   Acento en la recepc...
ALCANCES               CRITERIOS                           MOMENTOS• Evaluar la           • Competencias                 •...
 CONTEXTOS:  No puede desconocer  el contexto político. MECANISMOS:  El problema no es si un  programa funciona…  sino e...
La evaluación no está en sí destinada aEvaluar es algo más que investigar,                la construcción teórica, pero de...
La situación ideal: el diseño y la evaluación se     plantean desde los inicios como dos tareas  complementarias y mutuame...
Objetivos de la evaluación integrados con los              objetivos del programa                                         ...
Diseño del plan de evaluación dentro del             programa de intervención                                       Format...
Decisión acercade laevaluabilidad     Determinación                      Diseño del                       Tratamiento     ...
Estudio preliminar y tentativo para diagnosticar la “evaluabilidad” del programa: despejar dudas sobre la viabilidad y con...
SELECCIÓN Y                     ASPECTOS A                                                                                ...
• Evaluación institucional de los centros de    servicios sociales•   Evaluación institucional de centros y servicios    s...
Evaluación según las FUNCIONES                                                  EVALUACIÓN SUMATIVA EVALUACIÓN FORMATIVAOB...
Evaluación según el AGENTE EVALUADOR                         Marta Jiménez Jaén - Máster en Intervención Social Comunitari...
Evaluación según el MOMENTO EVALUACIÓN EX-ANTE                      INTERMEDIA                                    EX-POSTA...
Dilucidar cómo asignar recursos escasos de forma que se logre      satisfacer las necesidades humanas, según las prioridad...
La capacidad que tiene el programa para resolver el problema   IDONEIDAD (pertinencia,   que lo originó. Pertinencia de l...
El tipo de evaluación escogido nunca es una elección                    ingenua… ni neutral                               ...
“Es el gran acto de la imaginación en el campo metodológico, porque en ninguna otra parte, más que en este acto depensamie...
Anticipar aspectos  Cuáles      Diferentes      Tipo de      Técnicas               como el personal, la serán los   mecan...
Validez interna: presume la existencia de                                        una relación lógica entre las principales...
• La forma en la que se mide un concepto                    Validez de        influye necesariamente en los resultados.   ...
“Capacidad de obtener resultados consistentes en      mediciones sucesivas del mismo fenómeno”                            ...
• El tipo de información y las  técnicas que se utilicen para                      • Las técnicas y la metodología        ...
SEGUIMIENTO Y MONITORIZACIÓN                           VALORAR LA                 EVALUAR LA  DEFINICIÓN                  ...
Aplicación (globalReconstruir los                                                      o analítica) de                  En...
ANÁLISIS PERMANENTE DE UNA INFORMACIÓN FIABLE                                                                             ...
DOCUMENTALES         INTERROGATIVOS                DE OBSERVACIÓN• Análisis de         • Datos vinculados           • Comp...
OBJETIVOS    INDICADORES         SOPORTES                                DOCUMENTALES               Indicador 1         Do...
   SELECCIÓN: supone la operativización de las teorías    sobre la sociedad, los servicios sociales y las    estrategias ...
EN LASEN LAS PERSONAS                                        EN LA POBLACIÓN                       ORGANIZACIONES• Medidas...
Efectividad de un programa                                              Indicadores de NIVEL                              ...
Efectos directos o indirectos del programa sobre  la población objetivo o las percepciones del                     persona...
Se supone que la información ha                                         sido suficientemente depurada y• Cuando se aplique...
• Está dirigido no sólo a los destinatarios•Si la evaluación está verdaderamente           directos, sino a una audiencia ...
 Aspectos      a debatir:  • ¿Elaboración participativa o los evaluadores lo negocian? ¿con    quién?  • ¿Quiénes son los...
   Campbell, D. y Stanley, J. (1993): Diseños experimentales y    cuasiexperimentales en la investigación social, Buenos ...
Evaluacion en la intervencion social
Upcoming SlideShare
Loading in …5
×

Evaluacion en la intervencion social

29,004 views

Published on

Material didáctico de la asignatura "Planificación y Evaluación con calidad en la Intervención Social Comunitaria", Máster en Intervención Social Comunitaria de la Universidad de La Laguna

Published in: Education

Evaluacion en la intervencion social

  1. 1.  “Hacer inteligible lo que pasa en un programa específico, o en un pequeño ayuntamiento, dentro del horizonte más amplio de las políticas sociales.” Establecer posiciones acerca de: • lo que suponemos que debe ser el papel del Estado en las políticas sociales (y, con ello, el papel de otros actores potenciales o reales). • Cómo entendemos que se debe organizar el trabajo en la intervención social. Ambos aspectos condicionan • qué vamos a evaluar • con qué supuestos vamos a evaluar Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  2. 2. • La evaluación no puede desconocer el contexto político delEstado del Bienestar porque los servicios y programas socialesson su producto más genuino.• La evaluación aparece asociada a una preocupación por laEFICACIA de las inversiones y de las intervenciones sociales, quesurge a finales de la década de los sesenta del siglo XX.• En los años setenta, se da un impulso decidido a la creación deinstituciones responsables del establecimiento deprocedimientos de evaluación de los servicios y programassociales.• Desde los años ochenta, se va imponiendo un modelo deevaluación inspirado en la empresa privada: “eficacia”,“racionalización del gasto”, devolución de la prestación a lainiciativa privada, resentimiento y malestar frente a lostrabajadores y trabajadoras públicos. Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  3. 3. POLÍTICAS PÚBLICAS UNIVERSALES: Los sistemas educativos públicos. Escuelas taller, formación profesional.Guarderías, escuelas infantiles. Legislación de accidentes de tráfico, uso de radares y medidas preventivas detráfico. Policía local. Salud Pública, epidemiología. Implantación de “Agendas 21” en municipios.POLÍTICAS PÚBLICAS MERITORIAS: Universidades, sistemas de especialización médica. Formación continuaprofesional.POLÍTICAS ARTICULADAS EN FUNCIÓN DE UN SEGMENTO SOCIAL: Políticas, planes y programas de igualdad degénero. Políticas y programas centrados en la intervención con la juventud. programas de sensibilización yeducación para el desarrollo con jóvenes. Programas inespecíficos de prevención de drogas. Programas deprevención de contagio de VIH en jóvenes.POLÍTICAS SOCIALES CON GRUPOS CON PROBLEMÁTICAS MÁS ESPECÍFICAS: Planes municipales de viviendapara población con dificultades. Reasentamientos y realojo de comunidades. Programas socio-sanitarios conpersonas mayores. Intervenciones en salud mental. Programas de atención a drogodependientes. Programas condiscapacitados. Medidas de internamiento para menores infractores.POLÍTICAS CENTRADAS EN GRUPOS DESEMPLEADOS O ÁREAS DEPRIMIDAS: Programas de microcréditos.Centros de orientación sociolaboral. Programas EQUAL, LEADER, NOW, URBAN. Desarrollo rural sostenible,desarrollo rural integrado y programas integrales de desarrollo de barrios.POLÍTICAS CON GRUPOS EXCLUIDOS, EN RIESGO DE EXCLUSIÓN O PROCESOS DE SOCIALIZACIÓN: Programascon jóvenes inmigrantes. Inserción a través de rentas mínimas. Exclusión social. Población gitana. Jóvenes ymenores en situación de riesgo. Algunos dirigidos a mujeres en situación de dificultad. Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  4. 4.  Servicios universalistas Con colectivos profesionales poderosos e instituciones consolidadas (a menudo centralizadas) Que afectan a “políticas de Estado” • Justicia • Servicios sanitarios primarios y hospitalarios • Economía • Seguridad y defensa • Infraestructuras La evaluación no cuestiona ni puede limitar la prestación de estos servicios Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  5. 5. Sometidas a la exigencia añadida de constatar la “pertinencia” de la intervención debido a su carácterselectivo: la evaluación como “rendimiento de cuentas” sobre si la intervención se ajusta a la políticaestablecida, constatando la veracidad de la situación y condición de los usuarios.Sometidas a criterios inspirados en la “eficacia” empresarial y objetivos “económicos”: la evaluaciónvinculada a políticas neoliberales de recortes de gastos públicos reduciendo personal, criterios deproductividad económica (coste/beneficio), valorando sólo los resultados cuantitativos de lasintervenciones.Desarrolladas por colectivos diversos y dispersos, con escaso poder profesional, a menudo encondiciones no reguladas con claridad, o con dependencia burocrática: la evaluación como estrategia decontrol de los contenidos de trabajo.Que se realizan en servicios y programas muy descentralizados, con una mínima regulación estatal y através de programas con un carácter más puntual y coyuntural que estable (débil institucionalización): laevaluación como mecanismo indirecto de regulación de los programas, así como posible fundamentopara determinar su cierre (o privatización).Que más fácilmente pueden integrar una concepción de la participación en términos de “clientela” de sususuarios frente a una concepción democrática: la evaluación como estrategia de limitación de laparticipación en la toma de decisiones (encuestas de opinión vs participación en órganos colegiados). Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  6. 6. “Los nuevos conceptos de la evaluación están vinculados a nuevas formas deorganización del trabajo social y, por tanto, sólo son viables cuando resultancompatibles con organizaciones ágiles, flexibles y democráticas. La evaluación enel sector público NO ES NUEVA, pero sí se ha redefinido en sus alcances, loscriterios valorativos y los momentos en que tiene lugar.” ORGANIZACIÓN BUROCRÁTICA ORGANIZACIÓN FLEXIBLE PUESTOS FIJOS ROTACIÓN DE PUESTOS RESPONSABILIDAD ACOTADA RESPONSABILIDAD COMPARTIDA CUALIFICACIONES CUALIFICACIONES Y COMPETENCIAS ESTRUCTURA PIRAMIDAL ESTRUCTURA HORIZONTAL TRABAJO INDIVIDUAL TRABAJO EN EQUIPO“Hoy no basta que el funcionario cumpla su deber en las tareas que tiene asignadas;es necesario que afronte muchos problemas de naturaleza distinta, trabajar conotros profesionales, resolver conflictos nuevos y tener buenas dosis de autonomía” Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  7. 7. MODELO BUROCRÁTICO MODELO FLEXIBLERegulación mediante normas y el control Acento en la recepción y el tratamiento jerárquico de su cumplimiento de información actualizada, capaz de permitir intervenciones más ágiles y mejor adaptadas a la diversidad de situaciones. Ponderar constantemente los cambios Evaluación aislada del desempeño de que operan a distintos niveles y cada funcionario/a direcciones (en el entorno, en la gestión de las intervenciones, en el equipo responsable, en los beneficiarios). Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  8. 8. ALCANCES CRITERIOS MOMENTOS• Evaluar la • Competencias • Planificación totalidad de la personales estratégica gestión (del (menos valor de la (“anticipar el servicio, del titulación en sí futuro de las programa). misma). decisiones de hoy• Efectividad para • Centralidad de la en día”) resolver los opinión de los • La evaluación problemas: se usuarios/as. como actividad evalúa todo lo que inherente al puede contribuir a programa en todos la mejora de los y cada uno de los servicios y momentos de su programas que se desarrollo. gestionan. Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  9. 9.  CONTEXTOS: No puede desconocer el contexto político. MECANISMOS: El problema no es si un programa funciona… sino explicar por qué. RESULTADOS: Conclusiones realizables. Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  10. 10. La evaluación no está en sí destinada aEvaluar es algo más que investigar, la construcción teórica, pero debepuesto que debe emitirse un JUICIO DE contribuir a desarrollar las teoríasVALOR sobre el objeto que se está previas de quienes la practican, deevaluando. quienes participan y de quienes toman las decisiones políticas.• Cuanto más fundamentada esté la valoración, y más rigurosa sea la recogida de • La evaluación necesita tener en cuenta a las información y su tratamiento, más “partes interesadas” que tengan un interés credibilidad tendrá frente a la audiencia. legítimo en el programa: desde los usuarios a los administradores.La realización de una evaluación suponela aplicación de procedimientos En la investigación evaluativa debensistemáticos y rigurosos de recogida de aplicarse los mismos requisitos en lainformación y análisis. recogida de la información que en la• Es necesario que los resultados de la investigación social para que las evaluación sean útiles y que lo sean en el conclusiones sean válidas y fiables. momento en que se los necesita, que es cuando pueden tener efecto en las • Validez del diseño decisiones. • Validez de la medición • Fiabilidad Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  11. 11. La situación ideal: el diseño y la evaluación se plantean desde los inicios como dos tareas complementarias y mutuamente enriquecedoras. Los proyectos NO SON EVALUABLES cuando: Los proyectos y programas SON La evaluación - la planificación es difusa EVALUABLES cuando:considerada como unproceso “ad hoc” no – los objetivos son puramente retóricos - Están bien estructurados y se han diseñado con precisión permite introducir - es escaso el análisis del contexto - Tienen consistencia cambios ni - falta la estimación de recursos humanos - Pueden convertir las políticas sociales en reprogramar los y materiales objetivos en función intervenciones viables de las necesidades - no existen expectativas respecto a la - Se asume la utilidad de su evaluación cambiantes que utilidad o receptividad de la evaluación - Existen condiciones laborales,pueden ir surgiendo. - Las condiciones del contexto laboral, administrativas y políticas que facilitan la administrativo o político no hacen legitimad de la evaluación recomendable la evaluación Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  12. 12. Objetivos de la evaluación integrados con los objetivos del programa Decidir qué Puede distinguirse Objetivos deFijar prioridades de objetivos del entre una evaluación evaluaciónlo que más interesa, programa se general y estudios consistentes con los otorgar primacía a evalúan con detallados sobre objetivos más lo fundamental del detenimiento y en unos pocos temas importantes del programa qué aspectos puede que requieren programa focalizarse atención especial Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  13. 13. Diseño del plan de evaluación dentro del programa de intervención Formato y Presupuesto alcance del destinado a la Precisar la informe final: evaluación información información que dentro del Reglas y Cronograma denecesaria para se incluirá e presupuesto procedimientos reuniones de poder información que global del de evaluación evaluación desarrollar el se excluirá para proyecto, que seguimiento proteger la condiciona el confidencialidad propio diseño de y el anonimato la evaluación Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  14. 14. Decisión acercade laevaluabilidad Determinación Diseño del Tratamiento Redacción y Especificación Recogida dedel programa clara de los proyecto y análisis de del tipo de la discusión delde intervención objetivos de la de la evaluación información informe evaluación evaluación información Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  15. 15. Estudio preliminar y tentativo para diagnosticar la “evaluabilidad” del programa: despejar dudas sobre la viabilidad y conveniencia de emprender la evaluación. PLAN DE EVALUABILIDAD: -Favorable: aspectos a ENTREVISTAS A incluir, procedimientos, INFORMANTES CLAVES VISITAS Y utilización de los DESCRIPCIÓN DEL resultados de la PROGRAMA: (responsables, gestores OBSERVACIONES IN SITU: evaluación, destinatarios trabajo documental y usuarios): del informe. Decisión sobre si tiene o matizar o corregir la percepción directa no sentido proseguir con (consulta a los archivos y - Desfavorable:documentación del programa información documental, (captar impresiones de una evaluación formal y comunicar a las partes establecer cuáles van apara decidir si se cuenta con conocer si hay o no primera mano con los interesadas, justificando datos fiables acerca del consenso en temas claves, beneficiarios, conocer el ser sus límites. personal, intervenciones y razones empíricas y valoraciones individuales contexto real, contrastar la técnicas. recursos) información obtenida). y colectivas. - Favorable, con matices: es posible que se concluya que algunas partes del programa sí pueden ser evaluadas. Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  16. 16. SELECCIÓN Y ASPECTOS A DIFICULTADES PRIORIZACIÓN CONSIDERAR Realistas: no se puede - Los objetivos no suelen tener un evaluar todo con detalle significado unívoco para todos los - En qué medida el programa implicados,… resuelve las necesidades - Rara vez se explicitan a los sociales de la población beneficiarios los objetivos del objetivo programa, o no están en - Nivel de cobertura condiciones de explicitar susParte de los objetivos están -Intervenciones y servicios necesidades. condicionados: que se ofrecen y con qué - Aparición de efectos no previstos calidad cuando se evalúan resultados. - Por la utilización que se dará a la evaluación - Resultados e impactos del -Dificultades de los indicadores programa (cuantitativos-cualitativos) - Por las metas del - Eficiencia, eficacia y utilidad - Los programas o servicios sonprograma de intervención COMPLEJOS, intervienen en contextos diferentes, con mecanismos diversos… Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  17. 17. • Evaluación institucional de los centros de servicios sociales• Evaluación institucional de centros y servicios sociales especializados• Evaluación de programas y proyectos sectoriales• Evaluación de prestaciones básicas• Evaluación en las entidades Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  18. 18. Evaluación según las FUNCIONES EVALUACIÓN SUMATIVA EVALUACIÓN FORMATIVAOBJETIVOS: aprender de los errores y los OBJETIVOS: Analizar el IMPACTO del programa yaciertos para corregirlos y reconducir el verificar responsabilidades.programa sobre la marcha; contrastar lateoría que subyace al programa con lapráctica. PROCEDIMIENTO: valoración final de la intervención recapitulando sus distintos elementos.PROCEDIMIENTO: evaluar los PROCESOSa través de un seguimiento del programa,principalmente en sus primeras fases. Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  19. 19. Evaluación según el AGENTE EVALUADOR Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  20. 20. Evaluación según el MOMENTO EVALUACIÓN EX-ANTE INTERMEDIA EX-POSTAntes de implementar el Una vez empezado el desarrollo Una vez que ha finalizado elprograma del programa programaOBJETIVO: Analizar la OBJETIVO: Análisis crítico de OBJETIVO: Valorar el nivel deadecuación del programa a las los datos recogidos sobre el éxito, el acierto en la estrategia,necesidades que lo motivan y programa y la forma en que se grado de flexibilidad ysus posibilidades de éxito van alcanzando los objetivos capacidad de adecuación a los(aspectos conceptuales o de (validez, pertinencia, calidad cambios, mecanismos dediseño, mecanismos de gestión de la gestión, seguimiento del gestión y seguimiento.y seguimiento, relación costes- programa)beneficios, posiblesimpactos…) Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  21. 21. Dilucidar cómo asignar recursos escasos de forma que se logre satisfacer las necesidades humanas, según las prioridades COSTE-BENEFICIO COSTE-EFECTIVIDAD COSTE-UTILIDADOBJETIVO: Encontrar la solución OBJETIVO: Determinar si existen Procedimientos para comparar yMENOS COSTOSA para alcanzar un modelos más eficientes que otros en valorar la relación entre los COSTESobjetivo o sacar el máximo provecho la provisión de servicios, (expresados en unidadesde un gasto efectuado. comparando programas con monetarias) y los beneficios quePROCEDIMIENTO: Medición (en objetivos similares. PERCIBEN los individuos implicadosunidades monetarias) de la PROCEDIMIENTO: Valorar la en el programa (usuarios,EFICIENCIA (servicios capacidad de las distintas profesionales, gestores).producidos/recursos movilizados) y intervenciones para alcanzar lasla PRODUCTIVIDAD (nº de metas y objetivos, examinando tantointervenciones por profesional; nº de los COSTES como los EFECTOS delprestaciones por cada 1000€) del programa, en unidades de resultadosprograma. (no monetarias). Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  22. 22. La capacidad que tiene el programa para resolver el problema IDONEIDAD (pertinencia, que lo originó. Pertinencia de los objetivos del programa en relación con los problemas que afectan al grupo o comunidad en eficacia) cuestión. Adecuación al contexto de la intervención. La medida en la cual las acciones establecidas son adecuadas, no SUFICIENCIA sólo en cantidad, sino en calidad. ASPECTOS Siempre surgen nuevas necesidades sociales, y siempre habrá ECONÓMICOS que manejarse con recursos escasos, que habrá que asignar estableciendo una jerarquía de prioridades : ventajas e (eficiencia) inconvenientes, asegurar el mayor bienestar en cada caso, costes relativos de cada alternativa contemplando los efectos secundarios. POSIBILIDAD DE Es necesario contemplar si las conclusiones pueden aplicarse a: GENERALIZAR LOS aspectos no evaluados del programa; un cambio de RESULTADOS DE LA circunstancias respecto del momento en que se hizo la evaluación; si el programa evaluado puede servir o no de EVALUACIÓN (impacto, referente para resolver problemas análogos. viabilidad) Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  23. 23. El tipo de evaluación escogido nunca es una elección ingenua… ni neutral RAZONES ORIENTACIONES RAZONES TÉCNICAS PRESUPUESTARIAS TEÓRICAS Aspecto/s del programa en Qué política presupuestaria que se centre la evaluación. sobre los servicios y la Ejemplos: intervención social se persigue. - Modelos no participativos: producir conocimientos sin- Funcionamiento: seguimiento Ejemplos: interferencia de intereses y monitorización. Reducción de gastos sociales: ajenos a la propia evaluación. - Evaluación de resultados. enfoque coste/beneficio. - Modelos participativos: - Impacto sobre la sociedad o Expansión de gastos sociales: integración de las “partes comunidad. evaluación de la eficiencia, interesadas” en el equipo de utilidad social, integración expertos, llegando a integrar a - Evaluación económica. personal… los usuarios en la evaluación. Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  24. 24. “Es el gran acto de la imaginación en el campo metodológico, porque en ninguna otra parte, más que en este acto depensamiento a través de todo el proceso de investigación, cristaliza nuestra concepción acerca de las reglas básicas de la explicación social de forma tan transparente” (Pawson y Tilley, 1997, XV) Tener en cuenta los criterios de validez y fiabilidad propios de toda investigación.No evaluar “si el programa funciona”, sino cuáles son los mecanismos que posibilitan que los participantes lo hagan funcionar: “Causalidad generativa”. Cómo y por qué los programas sociales generan la capacidad de producir cambios, liberando las potencialidades de los individuos y las comunidades. Hasta qué punto los mecanismos del programa sirven para el contexto específico en que se desarrolla: Evaluación de múltiples mecanismos y múltiples contextos, detectar cuáles son los mecanismos causales que originan los problemas sociales y cómo pueden ser eliminados, o al menos contrarrestados, a través de los mecanismos causales que introduce el programa. Esperar efectos diferentes en grupos y sujetos diferentes: si bien los resultados proporcionan la información clave para diseñar, seguir, modificar o archivar un programa, también es necesario saber que éstos no constituyen un todoindiferenciado sino que, necesariamente, se producirán resultados múltiples. Los resultados no se examinan para saber si elprograma funcionó, sino para descubrir el por qué, es decir, si nuestras hipótesis acerca de los mecanismos más eficaces en cada contexto se confirman. Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  25. 25. Anticipar aspectos Cuáles Diferentes Tipo de Técnicas como el personal, la serán los mecanismos información de administración, recogida y los presupuestos de la grupos o y contextos necesaria análisis de evaluación, el formatosectores a de para cada y alcance del informe, resultados evaluar intervención caso los tiempos previstos… Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  26. 26. Validez interna: presume la existencia de una relación lógica entre las principales variables de la investigación, y establece relaciones de causalidad eliminando o Todo diseño de controlando otras explicaciones evaluación debe ser alternativas. Constituye un “ideal” al que hay que aproximarse y que se alcanza en evaluado de acuerdo a mayor o menor grado. una serie de criterios que deben permitir Validez externa: se refiere a aspectos constatar su rigor, más empíricos, asume la posibilidad depertinencia y relevancia. generalización de los resultados de la investigación a otros contextos o (Campbell y Stanley, 1993) momentos: muestra representativa. Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  27. 27. • La forma en la que se mide un concepto Validez de influye necesariamente en los resultados. criterio • ¿La medición es correcta comparándola con alguna otra forma ya aceptada de medir el (predictiva) mismo concepto?Verificar si se Validez de •Adecuación de los indicadores y mediciones:está midiendo rasgos comparar la medida de un constructo con lo que cabría esperar a partir de las hipótesis formuladas lo que se abstractos inicialmente. • Operacionalización múltiple: utilizar distintosquiere medir (de indicadores y distintos métodos para aumentar la constructo) validez del constructo. Validez de •Grado en que una medición empírica cubre la contenido variedad de significados de un concepto. Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  28. 28. “Capacidad de obtener resultados consistentes en mediciones sucesivas del mismo fenómeno” (Jacob, 1994)Estabilidad: posible variación de los Consistencia interna: permite resultados a través del tiempo (test- verificar si todos los indicadores deretest). Identificar si los resultados no un concepto miden correctamente el han variado por otras causas. mismo. Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  29. 29. • El tipo de información y las técnicas que se utilicen para • Las técnicas y la metodología • Evaluabilidad: técnicas de recogerla estarán en general dependen de la análisis de contenido de condicionados a cómo hemos naturaleza de los problemas documentos, entrevistas. definido los conceptos que que se quiere abordar. pretendemos evaluar, a las hipótesis de los contextos, mecanismos y resultados con que se diseñan las intervenciones.¿Qué informaciones?contextos, ¿qué tipo de ¿Qué problemas evaluación?mecanismos, queremos abordar?resultados. ¿en qué fase? • Determinación de objetivos y • Evaluación de resultados: seguimiento: entrevistas, técnicas propias del análisis observación participante, económico, estudios encuestas específicas, creación cualitativos que arrojen luz de fuentes de datos específicas sobre los efectos e impactos (soportes documentales del programa. diarios, estudios de caso). ¿qué tipo de ¿Qué tipo de evaluación? ¿en qué evaluación? ¿En qué fase? fase? Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  30. 30. SEGUIMIENTO Y MONITORIZACIÓN VALORAR LA EVALUAR LA DEFINICIÓN IMPLEMENTACIÓN COBERTURA Intento sistemático para evaluar la Estimar en qué medida Medir el grado de cobertura y la se logra alcanzar la congruencia entre elimplementación de un población objetivo plan de prestaciones y la programa forma en que éstas se proveen Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  31. 31. Aplicación (globalReconstruir los o analítica) de Enmarcar lasupuestos teóricos Seleccionar la Recopilación y criterios y normas análisis de datos, intervencióndel programa estrategia de de valor a los en función de las particular en el(explícitos, tácitos, seguimiento: cuándo resultados y cómo serán las preguntas básicas empíricos, de conjunto de uncon significados comprobaciones (objetivos) acuerdo con la sistema másdispares,…) planteados perspectiva de la general intervención Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  32. 32. ANÁLISIS PERMANENTE DE UNA INFORMACIÓN FIABLE INTEGRACIÓN CONSTRUIR DE LOS DESARROLLAR UN SISTEMA ESPECIFICAR DESARROLLO ELABORAR UN SOPORTES UN MODELO DE LOSDETERMINAR DE FLUJO DEL INDICADORES DE LOS DICCIONARIO DOCUMENTAL INFORMES LOS SOPORTES O MANUAL DE ES EN EL PROGRAMA Deben contestar Cómo se van a OBJETIVOS DOCUMENTAL APLICACIÓN MODELO DE Especificar los a las preguntas y ES DE LOS FLUJOS presentar y Las preguntas pasos y objetivos de la utilizar losde la evaluación actividades del evaluación y ser Recogerán la SOPORTES Determinar en DOCUMENTAL resultados condicionan la información cada momento programa en factibles de ES generales de la elección de para llegar a los cuál es la relación con la recogerse evaluación y de INDICADORES indicadores Homogeneizar información que población durante el cada indicador establecidos los criterios se incorpora y objetivo desarrollo del en particular quién es el programa responsable Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  33. 33. DOCUMENTALES INTERROGATIVOS DE OBSERVACIÓN• Análisis de • Datos vinculados • Comprobar in contenido a la propia situ lo que está• Documentos evaluación sucediendo más “puros”: • Entrevistas, allá de la registros, actas, encuestas información estadísticas estandarizada • Visitas Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  34. 34. OBJETIVOS INDICADORES SOPORTES DOCUMENTALES Indicador 1 Documento nº 11. Objetivo Indicador 2 Documento nº 2 Indicador 3 Documento nº 3 Indicador 4 Documento nº 42. Objetivo Indicador 5 Documento nº 5 Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  35. 35.  SELECCIÓN: supone la operativización de las teorías sobre la sociedad, los servicios sociales y las estrategias para cambiarlos. Cada indicador supone una CIFRA o RATIO que define aspectos señalados a priori como necesarios para conseguir valorar la acción. Son HERRAMIENTAS que pueden ser aplicadas a actividades susceptibles de expresarse numéricamente, fácilmente comparables e interpretables por gestores y profesionales. Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  36. 36. EN LASEN LAS PERSONAS EN LA POBLACIÓN ORGANIZACIONES• Medidas que • Indicadores de • Indicadores de evidencien los servicio que satisfacción, uso y cambios pongan de valoración de las pretendidos en las manifiesto las acciones personas. transformaciones• Indicadores de habidas durante y valoración de los tras la conocimientos intervención adquiridos, de las actitudes modificadas, de los logros obtenidos Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  37. 37. Efectividad de un programa Indicadores de NIVEL DE Indicadores de NIVEL FUNCIONAMIENTO: Indicadores de DE ACTIVIDAD: Miden numéricamente RECURSOS Cantidad de las diferentes MATERIALES Y intervenciones intervenciones y laHUMANOS que dotan preestablecidas o forma en que se un programa llevadas a cabo producen (datos cuantitativos y cualitativos) Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  38. 38. Efectos directos o indirectos del programa sobre la población objetivo o las percepciones del personal Grado de Percepción de satisfacción de Indicadores de los los calidad de vida trabajadores/asbeneficiarios/as implicados Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  39. 39. Se supone que la información ha sido suficientemente depurada y• Cuando se apliquen sistematizada a través de los metodologías cuantitativas, es indicadores. Para elaborarlos se necesario tener claro qué Los indicadores se suelen agrupar puede partir de definiciones en dimensiones susceptibles de unidades van a ser seleccionadas previas consensuadas o aceptadas (muestra representativa). ser sintetizadas en uno o más por la comunidad científica, o índices o medida común. proponer nuevos indicadores con una adecuada justificación teórica y metodológica. Las nuevas propuestas evaluativas han puesto en cuestión los resultados que se En aquellos problemas en los que obtienen en la evaluación clásica por necesitamos entrar en las historias objetivos (y apoyada sólo en datos subjetivas hay que apoyarse en los cuantitativos) e insisten en la dimensión paradigmas cualitativos de la política de la evaluación y en la acción social, e indagar con las necesidad de contar con los propios técnicas cualitativas esas historias usuarios en el proceso evaluador, así subjetivas para poder descubrir como contar, además, con una variedad las pautas comunes. de fuentes de datos (cuantitativos y cualitativos). Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  40. 40. • Está dirigido no sólo a los destinatarios•Si la evaluación está verdaderamente directos, sino a una audiencia másimplicada en la planificación global, habrá amplia.un flujo de información a lo largo de todo • Permite sistematizar mejor lael proceso y deberán producirse informes información contenida en los informes parciales.de seguimiento todas las veces que sea • Da una perspectiva del proceso global,necesario. que no es factible en los informes de seguimiento, aunque éstos tengan la enorme ventaja de permitir reconducir los errores y potenciar los aciertos. El proceso culmina con el Informe Final, ¿LOS informes? de gran importancia simbólica y práctica Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  41. 41.  Aspectos a debatir: • ¿Elaboración participativa o los evaluadores lo negocian? ¿con quién? • ¿Quiénes son los destinatarios del informe final? ¿deben conocerlo los usuarios?¿pueden los usuarios participar en su elaboración? • Si se trata de una evaluación interna ¿es conveniente que el informe trascienda al exterior del servicio o programa en cuestión? • ¿Debe incluir recomendaciones, o se deja a los gestores de los programas la decisión sobre las políticas a adoptar? Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
  42. 42.  Campbell, D. y Stanley, J. (1993): Diseños experimentales y cuasiexperimentales en la investigación social, Buenos Aires, Amorrortu. Jacob, H. (1994): “Using published data: errors and remedies”, en Lewis- Beck, M. S. (comp.): Research Practice, California, Sage (pp. 339-390). Ligero Lasa, J. A. (2005): “La evaluación y la limitación de las políticas de bienestar social”, ponencia presentada al X Congreso del CLAD sobre la Reforma del Estado y la Administración Pública (Santiago de Chile): http://www.iij.derecho.ucr.ac.cr/archivos/documentacion/inv%20otras%20entidades/CLAD/CLAD%20X/doc umentos/ligero.pdf Morgenstern, S. y Finkel, L. (2002): Materiales para la evaluación de los servicios sociales, Madrid, UNED. OXFAM (1985): The field directors’ handbook. An OXFAM manual for development workers, Oxford, Oxford University Press. Stufflebeam, D. y Shinkfield, A. (1995): Evaluación sistemática. Guía teórica y práctica, Barcelona, Paidós. Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL

×