Sistemas de evaluación, tema 7 del curso de formación en Salud Pública

  • 869 views
Uploaded on

Sistemas de evaluación, tema 7 del curso de formación en Salud Pública

Sistemas de evaluación, tema 7 del curso de formación en Salud Pública

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
869
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
38
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. FORMACIÓN EN SALUD PÚBLICA , ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD TEMA VII: Evaluación SanitariaAutores: Dr. Victorio Perera Cárdenes Médico Especialista Familiar y Comunitario Dra Lucía Quintana Hidalgo Médico Especialista en Análisis Clínicos Para más información sugerimos contactar con www.sociedadcanariadesaludpublica.org/
  • 2. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD ÍNDICE DE TEMAS1.- SALUD PÚBLICA2.- POLÍTICAS DE SALUD3.- ADMINISTRACIÓN SANITARIA4.- BIOÉTICA5.- LEGISLACIÓN SANITARIA6.- SISTEMAS DE INFORMACIÓN7.- SISTEMAS DE EVALUACIÓN8.- AUTOCUIDADO DE LA SALUD9.- PROMOCIÓN DE LA SALUD10.- PROTECCIÓN DE LA SALUD11.- SALUD AMBIENTAL12.- SALUD LABORAL13.- SEGURIDAD SANITARIA14.- SALUD COMUNITARIA15.- DESIGUALDADES EN SALUD
  • 3. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD OBJETIVOS DEL TEMASISTEMA DE EVALUACIÓN1.- Definir el Concepto de Sistema de Evaluación2.-Evaluación del Sistema Sanitario.3.- Sistemas de Evaluación.4.- Conocer Recursos on-line para ampliar formación.5.-. Reflexionar y/o Debatir sobre el tema (EJERCICIO)
  • 4. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD1.- DEFINICIONES: SISTEMA DE EVALUACIÓN:Briones (1991) define como propósito principal de la evaluación: “proporcionar criteriospara la toma de decisiones en relación con la estructura, el funcionamiento y el desarrollodel programa”. Propósitos que pueden perseguirse:1. Mejorar la efectividad cuantitativa del programa, es decir, el logro de sus objetivos.2. Mejorar la calidad de los resultados, o sea, la efectividad cualitativa del programa.3. Aumentar la eficiencia interna del programa, vale decir, la relación entre insumos y resultados.4. Mejorar la eficiencia externa del programa o adecuación de resultados con objetivos externos.5. Someter a verificación la teoría o hipótesis que relaciona los componentes del programa con losresultados buscados.6. Redefinir la población objeto: reducirla, homogeneizarla, etc.7. Modificar la estructura, el funcionamiento y la metodología del programa.8. Tratar de cumplir, si es pertinente, las expectativas de la población objeto del programa (sobre sufuncionamiento, recursos, objetivos, etc.).9. Controlar la aparición de posibles prácticas o resultados no deseados.10.Tratar de homogenizar los efectos, consecuencias y repercusiones del programa en diversossubgrupos de la población de referencia del programa. Investigación evaluativa. Santiago Correa Uribe & col http://200.26.134.109:8080/endeporte/hermesoft/portal/home_1/rec/arc_1355.pdf
  • 5. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD2.- Evaluación del Sistema ¿Dónde nos encontramos? Respecto a la cobertura de los servicios, la proporción de nacimientos http://apps.who.int/gb/archive/pdf asistidos por personal sanitario cualificado puede ser tan baja como un 10% en algunos países, mientras que es casi del 100% en los países con los índices de mortalidad materna más bajos. Eliminar esta diferencia de cobertura entre ricos y pobres en 49 países de ingresos bajos salvaría la vida de más de 700 000 mujeres desde este momento hasta el año 2015 . Del mismo modo, los niños ricos viven más que los pobres; si se superara esta diferencia de cobertura en los diversos servicios para niños menores de cinco años, en concreto, la vacunación sistemática, salvaría más de 16 Indicadores para Evaluar el Desempeño millones de vidas.Nivel de Salud: Esperanza de vida sana. La otra cara de la moneda es que, cuando la gente sí usa los servicios, a menudo incurre en gastos catastróficos al pagar por la asistencia prestada.Distribución de Salud: Desigualdades de salud En algunos países, hasta el 11% de la población sufre este tipo de dificultadCapacidad de Respuesta, Nivel y Distribución: financiera grave cada año y hasta el 5% se ve arrastrada a la pobreza. A Encuesta OMS de interacción Individuos-Sistema. nivel mundial, alrededor de 150 millones de personas sufren catástrofesEquidad de Contribución Financiera: financieras anualmente y 100 millones se ven obligadas a vivir por Contribución con impuestos, seguros, pagos directos. debajo del umbral de pobreza.Recursos aportados al Sistema de Salud: Según la Organización Internacional del Trabajo (OIT), sólo una de cada Aportaciones públicas y/o privadas. cinco personas en todo el mundo está cubierta con una seguridadEficiencia del Sistema de Salud: social amplia que también incluya la pérdida salarial en caso de Relación de aportaciones de recursos y resultados. enfermedad, y más de la mitad de la población del mundo carece de todo tipo de protección social formal. Únicamente el 5–10% de las personasEfectos de políticas sanitarias: Medición de logros y eficiencia. están cubiertas en el África subsahariana y en Asia meridional, mientras que en los países de ingresos medios los índices de cobertura varían entre el 20% y el 60%. ¿Cómo resolvemos el problema? Para lograr la cobertura universal, los países encuentran tres problemas : El primero es la disponibilidad de recursos. Ningún país, con independencia de su riqueza, ha sido capaz de garantizar a todas las personas el acceso. El segundo es la dependencia excesiva de los pagos directos en el momento en que la gente necesita asistencia. El tercer obstáculo para avanzar más rápido hacia la cobertura universal es el uso ineficiente y no equitativo de los recursos. Se malgasta del 20– 40% de los recursos .
  • 6. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD http://www.fgcasal.org/aeets/Documentos/Agencias_ 2.- Evaluación del Evaluacion_Tecnologias_ES-Elena_Perez_Cannellas.pdf Sistema
  • 7. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD2.- Evaluación del Sistema http://www.msc.es/organizacion/sns/planCalidadSNS/
  • 8. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD 2.- Evaluación de Sistema http://www.euphoric-project.eu/ El enfoque científico de Los 54 indicadores del proyecto EUPHORIC EUPHORIC, el outcome research, permite medir la calidad de la asistencia sanitaria. Esta evaluación se puede utilizar no sólo para medir el resultado de un tratamiento específico, sino también para valorar la variabilidad de los resultados en relación con características específicas de la población considerada, como por ejemplo el nivel socioeconómico, los ingresos o la pertenencia a un área geográfica determinada. Esto significa poder tomar las mejores decisiones desde el punto de vista de la efectividad, gracias a la posibilidad de obtener un conocimiento compartido y común que permita eliminar las diferencias entre los países y entre los muchos segmentos de la población europea. Desde el punto de vista de la eficiencia, significa administrar lo mejor posible los recursos disponibles, localizando puntos débiles y lagunas. La comparación entre las diferentes instituciones sanitarias que ofrece la plataforma.
  • 9. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD http://www.easp.es/ 2.- Evaluación del Sistema
  • 10. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD2.- Evaluación del Sistema http://www.sespas.es/adminweb/uploads/docs/HiT2010.pdf Sistemas Sanitarios en Transición. España: Análisis del Sistema Sanitario 2010 (resumen)1.- Adoptar un modelo centrado en el usuario en una estructura de prestación predominantemente pública.2.- Coordinar la atención sanitaria entre la atención primaria y la atención especializada.3.- La transición de un modelo basado en la atención de agudos a un modelo basado en la gestión de enfermedades crónicas.4.- Incorporación de la asistencia sociosanitaria y la atención a la dependencia como elemento de equidad.5.- Adoptar un sistema de evaluación basado en la evidencia en gestión de la cartera de servicios y análisis coste efectividad.6.- Mejora del marco de gestión clínica para reducir la distancia entre la evidencia clínica y la práctica clínica.7.- Incrementar la producción y el uso de evidencia clínica sobre variaciones injustificadas de la práctica médica.8.- La adecuación de los incentivos a proveedores a los objetivos de calidad y eficiencia del sistema en la totalidad del mismo.9.- La rendición pública de cuentas en relación con las políticas aplicadas y la relación coste-efectividad de las mismas.10.- Actuaciones pendientes: - Reformar el Fondo de Cohesión Sanitaria y analizar la necesidad de introducir un fondo finalista de mínimos para la atención sanitaria en el sistema general de financiación de las comunidades autónomas. - Revisar y mejorar los actuales mecanismos de reembolso a los sistemas sanitarios de los gastos de la atención prestada en caso de accidentes laborales y de tráfico, así como los costes derivados de la atención a pacientes de la UE. - Establecer mecanismos para incrementar la participación de los profesionales en la gestión y la asignación de recursos. - Desarrollar un sistema común para la planificación de recursos humanos que permita abordar las necesidades futuras. - Desarrollar un mapa de especialidades médicas, con modelo troncal con itinerarios flexibles. - Establecer un sistema nacional de información de resultados de salud del SNS. - Promover estilos de vida saludables, continuando lo realizado y priorizando la salud pública. - Reforzar el papel de la Evaluación de Tecnologías Sanitarias, reorganizando la red de agencias de Evaluación de Tecnologías Sanitarias con el fin de incrementar su capacidad para generar oportunas evidencias científicas y de coste-efectividad para la toma de decisiones.
  • 11. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD2.-Evaluación del Sistema http://whqlibdoc.who.int/publications/
  • 12. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD3.- Sistemas de evaluación Modelos de desarrollo de Sistemas de Calidad en Salud esarrollar lanear “Círculo de Deming”Ciclo de Calidad MEJORA CONTINUA DE LA CALIDAD(PDCA de Deming) omprobar Propuesta de Adaptación al castellano justar Terminología PDCA http://www.pdca.es/pruebas/efqm.html# Victorio Perera Cárdenes 2010 La familia de Normas ISO 9000 se han elaborado para asistir a las organizaciones, de todo tipo y tamaño, en la implementación y la operación de sistemas de gestión de la calidad eficaces. Reconoce ocho principios de gestiónSistema de calidad ISO 9000 de la calidad: 1) Enfoque a las necesidades actuales y futuras de los clientes. 2) Liderazgo que aporta unidad de(Organización Internacional de propósito y la orientación a la organización. 3) Participación del personal que posibilita su compromiso. 4) Enfoque basado en procesos relacionando actividades y los recursos. 5) Enfoque de sistema para la gestión de procesosNormalización) interrelacionados. 6) Mejora continua del desempeño global de la organización. 7) Enfoque basado en análisis de datos para la toma de decisiones. 8) Relaciones mutuamente beneficiosas con los proveedores. El marco común de evaluaciónModelo de la EFQM en comunidad europea. (CAF)(European Framework QualityManegement) Es el modelo de Calidad Total más difundido en USA y en países de su entorno. Guarda muchasMalcolm Baldrige Salud similitudes con el Modelo de la EFQM, aunque Baldrige es anterior a éste. Su ventaja estriba en que es un modelo propio para servicios de salud. Es una declaración que permite identificar con claridad a los usuarios y a la propia organización,Cartera de Servicios qué pueden esperar y qué deben dar. Suele utilizarse mucho en la administración pública.
  • 13. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD3.- Sistemas de evaluación EVALUACIÓN DE INDICADORESINDICADORES DE GESTIÓN: seguimiento o monitoreo de la utilización de los recursos INDICADORES DE EFICIENCIA: INDICADORES DE EFICACIA: INDICADORES DE EFECTIVIDAD: Variables de eficiencia para la creación de Da cuenta si el programa logró los Es la información que da cuenta de si laindicadores: Determina si los resultados del objetivos propuestos y en qué medida. Para ejecución del programa se realizó deprograma se obtuvieron de la forma más este tipo de información, los indicadores conformidad con el plan y el presupuestoeconómica, maximizando productos y son las metas del programa. Cuando no asignado. Para este tipo de información seminimizando insumos. Los indicadores existen las metas, los objetivos deben ser cuenta con indicadores establecidos en eladecuados a este tipo de información son traducidos a indicadores observables. cronograma de acción y en el presupuestoaquellos que tienen como unidad de asignado a la ejecución del programa.medida la monetaria.- Materiales - Calidad - Rendimiento- Maquinaria - Cumplimiento - Productividad- Mano de obra - Costo - Competitividad- Medios Logísticos - Confiabilidad (garantía) - Participación- Métodos - Comodidad - Crecimiento- Monetarios - Comunicación (amabilidad) - Coberturas - AdaptaciónINDICADORES DE LOGRO: valoración de los objetivos, cambios, éxito o impacto en las variables socioeconómicas. DE PRODUCTO: DE RESULTADO: DE EFECTO: DE IMPACTO:Logros del inmediato plazo, Logros a corto plazo, Logros a mediano plazo, Logros a largo plazo,contribuyen al cumplimiento de los contribuyen a resolver las contribuyen al cumplimiento de contribuyen al cumplimientoobjetivos específicos del proyecto necesidades y problemas del los objetivos programáticos en de la misión de lasocial. grupo. una región específica. organización.Contribuciones a la Economía" es una revista académica con el Número Internacional Normalizado de Publicaciones Seriadas. ISSN 16968360. FORMULACIÓN Y EVALUACIÓN DE PROYECTOS. Jairo Toro Díaz. http://www.eumed.net/ce/2008b/jtd.Investigación evaluativa Tipos Evaluación segúb ías Naciones Unidas (1978) Santiago Correa Uribe & col http://200.26.134.109:8080/endeporte/hermesoft/portal/home_1/rec/arc_1355.pdf
  • 14. 3.- Sistemas de Evaluación FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD El desarrollo y la investigación en los distintos modelos de acreditación y certificación de calidad (EFQM, ISO y JCAHO) han estado unidos a su aplicación en distintas regiones y sectores. En muchas regiones de Los índices tienen 2 características: a) están compuestos por múltiples indicadores, y España, el EFQM se ha establecido b) llevan implícito un juicio de valor. Los índices se han usado tradicionalmente en como modelo oficial que guía las economía y otras ciencias sociales. Cuando se analizan los indicadores financieros, actividades de mejora de calidad en éstos señalan directamente al usuario si la actuación financiera evaluada ha sido el sector sanitario, a pesar de la buena o mala. Cuando se tiene en cuenta varios índices, será necesaria la habilidad dificultad de su terminología para los y el conocimiento del intérprete para identificar el mensaje subyacente al conjunto de profesionales sanitarios y la dificultad índices, pero cada índice de forma individual tendrá en sí mismo la función (si es un de comprensión de criterios y índice válido) de describir inmediatamente la adecuación de la actuación. subcriterios. Estos motivos Esta explicación, por tanto, ilustra por qué los sistemas de medida de actuación potenciaron el inicio de sanitaria basados en indicadores no pueden medir el grado de bondad de la actuación, investigaciones para adaptar el y cualquier expectativa en este sentido sólo servirá para frustrar y confundir a quienes modelo al campo sanitario. revisan los perfiles de los indicadores.
  • 15. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD3.- Sistemas de evaluación Cartera de Servicios: desarrollo en España MODELOS DE CARTERA DE SERVICIOS Ejemplo de Cartera basada en Procesos Cartera basada en Coberturas y criterios Ejemplo de Cartera basada en Indicadores asistenciales Integrales (PAI) de calidad (Indicadores de cobertura y (Indicadores Clínicos, Criterios de Buena práctica subcriterios de buena atención, criterios y/o Requisitos Acreditación) mínimos de calidad, protocolos técnicos y/o de actividad) EJEMPLOS DE CADA MODELO CON MAYOR DEFINICIÓN DE LA ATENCIÓN COMUNITARIA ANDALUCÍA EXTREMADURA NAVARRA- Definición. que ha de incluir el problema de -Definición. --Definición, que amplía la descripción de los aspectos asalud y las fases de la historia natural del mismo considerar y/o acciones que deben ser desarrolladas, bajoque se abordan. la denominación de cada servicio.- Población Diana. -Población diana.-Criterios de Inclusión y de Exclusión -Criterios de inclusión. (Los de salud pública -Criterios de inclusión de las personas o pacientes en el añaden Cálculo de cobertura). servicio, cuando proceda según las características del mismo.-Criterios de Oferta. condiciones que deben -Actuaciones (que se formulan como normas de -Requisitos mínimos que debe cumplir un centro de saludcumplir (calidad científico-técnica; accesibilidad; calidad y se acompañan ocasionalmente de para poder prestar el servicio. En algunos casos desatisfacción y factibilidad de su medida). Se excepciones servicios o de procedimientos concretos, la medición de :especifica por niveles asistenciales (Primaria, Algún elemento relevante de proceso (fundamentalmenteEspecializada) y conjunto si son comunes. a través de los “Datos Generales del Paciente” o DGPs).Situaciones que no aborda y salidas. Resolución de procesos relevantes en la atención-Criterios de Calidad, definidos como normas -Criterios de calidad correspondientes a cada Los 95 servicios definidos, responden a criterios de:básicas de calidad, que se incluirán en el Contrato actuación (incluido en Actuaciones) - Necesidad sentida por la población. Prevalencia.Programa Consejería-SAS. Gravedad. Eficacia de la actuación prestada. Factibilidad. Obligatoriedad.- Indicadores que se seleccionan a partir de los -Sistema de explotación para la obtención de loscriterios de oferta y de las normas de calidad. Indicadores de cobertura, obtenidos centralizadamente y con periodicidad.- Sistema de Información y Registro para la -Bibliografía y anexos (cuestionarios, protocolos, Sistema de registro, en general informatizado e incluyendoevaluación del proceso. Bibliografía, que aparece algoritmos o clasificaciones). la codificación diagnóstica en aquellos servicios que debanreunida de modo conjunto al final del documento. disponer de un registro de casos. Cartera de servicios de atención primaria Desarrollo, organización, usos y contenido. Sistema Nacional de Salud Mayo 2010. Instituto de Información Sanitaria – Sistema de Información de Atención Primaria (SIAP) www.msc.es/.../Cartera_de_Servicios_de_Atencion_Primaria_2010.pdf
  • 16. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD3.- Sistemas de evaluación CUALIDADES DE LA EVALUACIÓN: Criterios práctico-operativos de la evaluación1. Integral: Que comprenda todos los elementos e involucre todos los factores que intervienen en el programa evaluado.2. Participativa: Que vincule activamente los diferentes actores que intervienen en el programa o acción que se va a evaluar.3. Permanente: Ha de realizarse en forma continua, asociada al desarrollo del programa.4. Acumulativa: Al considerar los resultados de evaluaciones previas, para determinar sus efectos sobre las sucesivas. Contempla mecanismos de ajuste de estrategias e instrumentos para futuras etapas del proceso de evaluación5. Autocorrectiva: permanente en los momento requeridos. En la medida en que contemple los aspectos más importantes en relación con los objetos evaluados (relevante) y6. Útil: que sea oportuna, de manera que proporcione a los niveles decisorios la información necesaria en él.7. Eficiente: Si obtiene un máximo rendimiento de los recursos disponibles (humanos, físicos, financieros). TIPOS GENERALES DE EVALUACIÓN: Para Espinoza (1983), la evaluación debe partir de una traducción de los objetivos a metas, pues el autor considera que una meta es un objetivo cuantificado y calificado. Por lo tanto, a cada objetivo corresponde una o varias metas. O sea que para medir el grado de obtención de los objetivos es necesario medir el grado de obtención de las metas.De cantidad: Consiste en medir el número de unidades logradas en comparación con las unidades programadas.De calidad: La meta tiene unos atributos que conforman su calidad y se debe medir el grado de obtención de los atributos.Del tiempo: Mide el tiempo gastado en la consecución de la meta en comparación con el tiempo previsto.De objetivos: Mide el grado de obtención de los objetivos.De cobertura: Mide si las metas logradas cubrieron a toda la población usuaria del programa.De costos: Mide la inversión realizada para el logro de las metas en comparación con los costos previstos. Investigación evaluativa. Santiago Correa Uribe & col http://200.26.134.109:8080/endeporte/hermesoft/portal/home_1/rec/arc_1355.pdf
  • 17. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD3.- Sistemas de evaluación TIPOS ESPECÍFICOS DE EVALUACIÓNFormativa, intermedia, de proceso, 1.-Es un componente de la planificación. 2.-Es continua e integral. 3. Estudia la eficiencia y eficaciaconfigurativa, continua o concurrente 4. Implica una autoevaluación. 5. Cumple una función retroalimentadoraSumativa, acumulativa, terminal, de 1.Es complemento de proceso. 2. Es circunstancial. 3. Estudia factores de eficiencia. 4. Evaluadores no presta servicios: costepunto, de resultado,final de producto 5. No ofrece identificación oportuna de problemas. 6. Evalúa productos,, efectos e impactoExterna, auditorías 1.Son más innovadoras 2.Son más objetivas 3. Son más hábiles para elegir claves, indicadores 4.No comprende las intimidades 5. No propicia una cultura y empoderamientoInterna: autoevaluación 1.- Facilitan compromiso de acción 2. Dificultad autocrítica (riesgo empleo) 3. Mayor aceptabilidad resultados y medidas respectivas.Mixta;: investigación-acción Tarea de todos sus participantesDe procesos Se centra en el funcionamiento y otros aspectos dinámicos del programaDe repercusiones Se refiere a la determinación del logro de objetivos de un programa o a la evaluación de efectos externos.De impacto Determinar los efectos residuales del proyecto en su totalidadInstitucional Evalúa su nivel de organización, atendiendo a las funciones que debe cumplir y define objetivos puntuales entre actividades permanentes.De programas Evaluación de actividades más o menos cardinales en torno a objetivos de duración variable.De objetivos internos Verificar el logro de los objetivos que han de alcanzarse en la población en la cual actúa directamente.De objetivos externos Evaluación de situaciones o estados deseables de alcanzar fuera del ámbito del programa cuando éste ya ha finalizado.Descriptiva: Describe diferentes situaciones del programa (características, factores que intervienen y relaciones de asociación entre éstas).Explicativa: Establece la relación causal entre los diferentes factores que intervienen en el programa y entre éste y el contexto.Costo-beneficio Estima el valor de bienes intangibles y para tomar decisiones que implican una asignación de recursos. la medición del beneficio se expresa mediante la utilización de uno o varios indicadores de impacto sobre la población objetivo.Costo-efectividad Relaciona .sus costos monetarios y productos con los efectos alcanzadosCosto-rendimiento Toma en consideración también costos y rendimientos que inciden sobre sujetos distintos de los directamente afectados por el proyecto.costo-utilidad social Útil como ganancia o pérdida la sociedad en conjunto y que no necesariamente son iguales a la de los que hacen dicha actividad.Ex-ante En la formulación estudia la viabilidad en sus términos técnico, financiero, jurídico, sociocultural, institucional y político. Y la transcendencia social, la eficiencia del proyecto o su capacidad para producir impacto en los destinatarios, organizaciones y medio social.Intermedia: Durante el desarrollo del programa con el fin de detectar problemas de funcionamiento y buscarles soluciones adecuadas y oportunasExpost Se realiza después de que el programa ha terminado, con la finalidad de establecer si se obtuvieron los resultados esperados y los factores que actuaron en una u otra dirección.METAEVALUACIÓN Evaluación de la evaluación Investigación evaluativa. Santiago Correa Uribe & col http://200.26.134.109:8080/endeporte/hermesoft/portal/home_1/rec/arc_1355.pdf
  • 18. 3.- Sistemas de evaluación Manual de formulación, evaluación y monitoreo de proyectos sociales Ernesto Cohen, Rodrigo Martínez División de Desarrollo Social CEPAL http://www.eclac.org/dds/ FUNCIONES DEL DIAGNÓSTICO PARA LA EVALUACIÓN Un proyecto sin un diagnóstico adecuado corre el serio peligro de no generar impacto alguno. La cantidad de recursos y tiempos involucrados en este proceso deben estar en relación con la escala del proyecto. El diagnóstico no debe ser de mayor escala que el proyecto, porque en esa misma medida puede perder utilidad para solucionar el problema que le dio origen. La descripción: Caracteriza el problema y cuantifica su magnitud y distribución en la población objetivo. También es necesario realizar una descripción de laFORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD población objetivo y del contexto (los aspectos demográficos, geográficos, económicos, sociales, legales, los grupos relevantes, la oferta y demanda, etc). La línea de base: Resume dicha información, mostrando el valor del (o los) indicador(es) del problema al momento del diagnóstico y sus tendencias futuras. Permite conocer la brecha entre la población objetivo y el resto de la población, así como su distancia con los estándares vigentes. Permite formular adecuadamente el proyecto y medir su impacto. Para elaborarla es necesario disponer de la información más precisa posible. Esto facilita la posterior medición del impacto de las intervenciones, tanto en términos de confiabilidad como de costo. La explicación: Plantea la estructura causal cualitativa y cuantitativa de las variables que determinan el problema central. Se lleva a cabo para establecer qué y cuantos bienes y/o servicios es necesario entregar para solucionar total o parcialmente el problema central (o alcanzar el objetivo general). EVALUACIÓN DE PROBLEMAS IDENTIFICADOS El ideal es contar con un sistema que integre la información de distintos proyectos y permita analizarlos en sus distintas etapas del ciclo de vida, con datos relativos a los sectores (salud, educación, vivienda, etc.) y estudios de base de la población, donde ésta priorice los problemas que la afectan . Para ello se deben recoger opiniones y jerarquizar los problemas, haciendo, por ejemplo, que cada persona asigne un puntaje a cada problema en una escala de 0 a 5 puntos. ESTIMACIÓN DE LA LINEA BASE DE LOS PROBLEMAS Su cálculo se realiza recopilando la información existente sobre el problema central que afecta a la población, utilizando indicadores que permitan determinar: 1.- El grado de validez y confiabilidad. 2.- El grado de generalidad-especificidad de las estimaciones, para determinar si son aplicables al ámbito, geográfico y poblacional, de análisis. Si la información existente proporciona sólo visión general del problema en la población analizada, será necesario complementarla con entrevistas a informantes claves. Si es de mala calidad o inexistente, será necesario realizar estudios específicos. La línea de base debe reflejar el problema, de la población objetivo, al momento del análisis y ser complementada con estimaciones sobre sus tendencias futuras.
  • 19. 3.- Sistemas de evaluación EVALUACIÓN DE LA POBLACIÓN OBJETIVOFORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD FOCALIZACIÓN Criterios que permiten identificar a la población objetivo para que sean ellos (y no otros) los que reciban los beneficios del programa .Una oferta homogénea suele no ser adecuada para quienes tienen mayores necesidades insatisfechas, debido a barreras culturales, analfabetismo y carencia de información. Para aumentar el impacto y la eficiencia de un proyecto social, debe existir un modelo de focalización que asegure la selección y acceso de la población objetivo definida para el mismo. Inclusión: Acertada: Entregar productos a quienes son integrantes de la población objetivo (las familias pobres reciben los beneficios de un subsidio para la vivienda social). Errónea: Entregar productos a personas ajenas a la población objetivo (las familias de clase media acceden a subsidios de vivienda social). Exclusión: Acertada: No entregar productos a quienes no forman parte de la población objetivo (no hay familias de clase media recibiendo el subsidio de vivienda social). Errónea: No entregar productos a personas que forman parte de la población objetivo. (hay familias pobres que no tienen acceso al subsidio de vivienda social). Cuando sólo están presentes los aciertos, esto es, que ambos errores son iguales a “0”, la focalización es totalmente correcta. Entonces: cobertura bruta = cobertura neta = 100%. Tipos de beneficiarios Los programas y proyectos sociales también producen impacto sobre otras personas no incluidas como población objetivo (PO). Legítimos: Directos: Cuando son la población objetivo que recibe los productos del proyecto (acierto de inclusión). Indirectos: Cuando no se definen como población objetivo, pero favorecerlos se compadece con el espíritu del proyecto. Ilegítimos : Directos: Cuando no forman parte de la PO (error de inclusión). Indirectos: Son favorecidos por el proyecto a pesar de no ser destinatarios de los mismos y, al mismo tiempo Manual de formulación, evaluación y monitoreo de proyectos sociales atentan contra los objetivos redistributivos que Ernesto Cohen, Rodrigo Martínez División de Desarrollo Social CEPAL http://www.eclac.org/dds/ este persigue.
  • 20. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD3.- Sistemas de evaluación EVALUACIÓN DE ALTERNATIVAS DE PROYECTOS: Metodología para establecer que alternativa produce el máximo beneficio (impacto), al mínimo de costo .1.-Costo total de cada alternativa (CT).2.-Número de servicios prestados con el proyecto (SP).3.-Costo por unidad de producto (CUP): CUP = CT / SP4.-Unidad de tiempo del proyecto.5.-Impacto anual promedio para cada alternativa (IAP)6.-Magnitud (%) de cambios del entorno al lograr fracciones de metas7.-Costo por unidad de impacto (CUI), costo de lograr 1% de impacto por objetivo: CUI = CT / (IAP x 100) El CUI nos señala la estrategia para obtener impacto a más bajo costo CONCEPTOS DE SUSTENTABILIDAD Y SOSTENIBILIDAD Para que los productos generen los impactos esperados, son necesarias su sustentabilidad y sostenibilidad.Sustentable Un proyecto lo es en la medida que exista capacidad instalada (recursos físicos, humanos y financieros) para que los procesos requeridos sean adecuadamente implementados.Sostenible Un proyecto lo es cuando los impactos producidos perduran en el tiempo. Contribuciones a la Economía" es una revista académica con el Número Internacional Normalizado de Publicaciones Seriadas. ISSN 16968360. FORMULACIÓN Y EVALUACIÓN DE PROYECTOS. Jairo Toro Díaz. http://www.eumed.net/ce/2008b/jtd.htm
  • 21. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD 3.- Sistemas de evaluación EVALUACIÓN DE PROCESOS: SUPERVISIÓN Responsable Frecuencia Área Indicador Método ProcedimientoParticipantes Continua-máxima Puntualidad en la implementación Nº de actividades implementadas a su Visitas de campo Formulario de supervisión rutinario (1 semana/mes) de los proyectos debido tiempo Uso adecuado de los recursos del Desvío recursos Visitas de campo Control de calidad Formulario de supervisión. proyecto Procedimientos técnicos de calidad. Obtención y registro adecuados de Porcentaje de proyectos con archivos Revisión de archivos Análisis documentos y discursos la información y nº de informesComisiones Alta Plan de tareas realista Nº de planes con orden de tareas Comparar la planes con Análisis de Flujo de tareas (1-3 meses) correcto implementación Visitas de campo Participación comunitaria en las Nº de personas que cumplen tareas Nº de actividades. Nº de recursos Visitas de campo. actividades aportados por la comunidad Grupos Discusión Justificación de los recursos Porcentaje de recursos contabilizados Justificación de uso eficiente de Formulario justificación de recursos recursosResponsables Media Justificación de uso eficiente de (3-6 meses) Justificación de los recursos Porcentaje de recursos contabilizados Formulario justificación de recursos recursosConsejo Baja Eficacia de comités comunitarios Número de comités que cumplen sus Revisión del cumplimiento de Estudios cualitativos (6-12 meses) tareas tareas/comité de rendimiento Encaje adecuado de proyectos en Número de proyectos adscritos a Revisión de informes Visitas de Revisión de planes y prioridades locales los planes y las prioridades planes generales campo para valorar encaje con los generales. generales Conocimientos de gestión Número de comunidades con Revisión de informes Grupos de Estudios cualitativos sobre la comunitaria proyectos comunitarios participativos discusión participación de la comunidad en las por líderes comunitarios Otros actividad/proyectoEntidad Eventual-mínima Conocimiento de la metodología Proporción de gente consciente de la Grupos de discusión, Entrevistas Estudios (12-24 meses) por la comunidad metodología Testigos Efectividad del diseño del proyecto Porcentaje objetivos conseguidos. Revisión de informes Grupos de Estudios Porcentaje aspectos del diseño discusión Entrevistas Testigos aceptados por la comunidad. Transferibilidad de la experiencia a Proporción de aspectos del diseño del Discusión de proyectos Eventos para buscar aspectos otros proyectos. proyecto adaptados metodología repetidos en diversos proyectos. Modificado de Manual de supervisión. Phil Bartle, PhD traducción de Mª Lourdes Sada www.scn.org/mpfc/modules/pd-pds.htm
  • 22. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD Manual de formulación, evaluación y monitoreo de proyectos sociales Ernesto Cohen, Rodrigo Martínez División de Desarrollo Social CEPAL http://www.eclac.org/dds/ 3.- Sistemas de evaluaciónPRESENTACIÓN DE PROCESOS CON FLUJOGRAMAS PRESENTACIÓN DE PROCESOS CON CRONOGRAMAS Explicativo de símbolos: PRESENTACIÓN DE PROCESOS MIXTA
  • 23. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD3.- Sistemas de evaluación PRESENTACIONES PARA ANÁLISIS DE RESULTADOS Distribución cuantitativa de los resultados:Resultados Todo / nada Rectángulo homogéneo ineficaz Pendiente de/creciente Normal Tantos + como - Asimétrica Mayoría/ dispersos Distribución temporal de los resultados: x.- Proyecto sin impacto añadido +.- Cambios no causados por el proyecto o.- Cambios atribuibles al proyecto Manual de formulación, evaluación y monitoreo de proyectos sociales Ernesto Cohen, Rodrigo Martínez División de Desarrollo Social CEPAL http://www.eclac.org/dds/
  • 24. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD Manual de formulación, evaluación y monitoreo de proyectos sociales Ernesto Cohen, Rodrigo Martínez División de Desarrollo Social CEPAL http://www.eclac.org/dds/ 2.- Sistemas de evaluación EVALUACIÓN DEL IMPACTO: CALCULO x PESO DELPHI Las etapas del método exigen:1.- Reunir a un conjunto de expertos en el problema que busca solucionar el proyecto.2.- Entregar a cada uno un informe detallado de las alternativas.3.- Solicitar que en forma independiente hagan una estimación de la magnitud del impacto y/o demanda que producirá cada alternativa, en los períodos de tiempo quesean pertinentes para la evaluación.4.- Calcular la mediana y los cuartiles 1 y 3. Estos, deben ser acompañadas de la desviación intercuartil (Q), que permite medir el grado de consenso/disenso existenteentre los expertos. Q = (Q3 - Q1)/25.- Pedir a quienes se ubicaron en el primer y cuarto cuartil que expliquen y fundamenten su posición.6.- Solicitar a quienes están en el segundo y tercer cuartil que comenten las opiniones de los del primero y el cuarto.7.- Repetir el proceso hasta que la realización de una nueva iteración no disminuya la desviación intercuartil.La estimación a considerar es el valor que adquirió la medianaen la última iteración. El método también se puede implementara distancia, solicitando que los expertos entreguen su informaciónrepetidas veces, hasta generar la convergencia buscada. En estecaso no existe la posibilidad de compartir opiniones, por lo tanto,en lugar de los pasos 5 y 6, sólo se entregan los resultados de laiteración anterior. CRITERIOS MÍNIMOS DE EVALUACIÓN DE IMPACTOSocial: Grado de relevancia del problema (según la prioridad asignada por la población objetivo y la línea de base); grado de carencialidad-vulnerabilidad de la población objetivo (pobreza, acceso a servicios sociales); grado de cobertura actual (déficit de oferta de bienes y servicios previos a la implementación del proyecto); impacto que se espera lograr con el proyecto.Técnico: Pertinencia (grado de adecuación del proyecto a sus objetivos y a la población meta); coherencia externa (entre el diseño del proyecto y las políticas institucionales); coherencia interna de la matriz lógica del proyecto (entre los insumos y las metas de actividades, productos, efectos e impacto); incremento de cobertura - eficacia (metas de producción de bienes y servicios).Económico: Costos totales (con valores presente y anualidades, desglosados en un presupuesto); eficiencia (CUP); beneficios (externalidades positivas para la población objetivo u otros beneficiarios legítimos).Institucional Capacidad para lograr las metas propuestas (del organismo ejecutor y del equipo específico adscrito al: proyecto); trayectoria del organismo ejecutor (experiencia y grado de éxito en proyectos anteriores); participación de la población objetivo (grado de involucramiento en la operación del proyecto).
  • 25. FORMACIÓN EN SALUD PÚBLICA, ADMINISTRACIÓN SANITARIA Y POLÍTICAS DE SALUD REPASO DE OBJETIVOS El propósito principal de la evaluación: “proporcionar criterios para la toma deDEFINICIÓN decisiones en relación con la estructura, el funcionamiento y el desarrollo del programa”. Briones (1991) Indicadores para Evaluar el Desempeño: Nivel de Salud: Esperanza de vida sana. Distribución de Salud: Desigualdades de salud. Capacidad de Respuesta, Nivel y Distribución: Encuesta OMS deEVALUACIÓN DEL interacción Individuos-Sistema. Equidad de Contribución Financiera: Contribución con impuestos,SISTEMA seguros, pagos directos. Recursos aportados al Sistema de Salud: Aportaciones públicas y/o privadas. Eficiencia del Sistema de Salud: Relación de aportaciones de recursos y resultados. Efectos de políticas sanitarias: Medición de logros y eficiencia. OMS (2000) El desarrollo y la investigación en los distintos modelos de acreditación y certificación de calidadSISTEMA DE (EFQM, ISO y JCAHO) han estado unidos a su aplicación en distintas regiones y sectores. Cartera de Servicios: Es una declaración que permite identificar con claridad a los usuarios y a laEVALUACIÓN propia organización, qué pueden esperar y qué deben dar. Suele utilizarse mucho en la administración pública. Kazandijan (2001) http://apps.who.int/gb/archive/pdf http://www.fgcasal.org/aeets/Documentos/Agencias http://www.msc.es/organizacion/sns/planCalidadSNS/ http://www.euphoric-project.eu/ http://www.easp.es/ http://www.sespas.es/adminweb/uploads/docs/HiT2010.pdf4.- RECURSOS ONLINE http://whqlibdoc.who.int/publications/ http://www.eclac.org/dds/ http://www.scn.org/mpfc/ http://www.eumed.net/ce/2008b/jtd.htm http://200.26.134.109:8080/endeporte/hermesoft/portal/home_1/rec/arc_1355.pdf www.msc.es/.../Cartera_de_Servicios_de_Atencion_Primaria_2010.pdf http://www.pdca.es/pruebas/efqm.html#