0
CONCEVOIR LES PROJETS
ET LES ÉVALUATIONS
D’IMPACT
SIMULTANÉMENT: LES
BÉNÉFICES ET LES DÉFIS
EXEMPLES DU NIGERIA, DE LA ZAM...
EXEMPLE DE L’HISTOIRE RÉCENTE:
PROGRESA (OPORTUNIDADES)
• En 1998, le gouvernement mexicain a adopté un nouveau programme ...
EXEMPLE DE L’HISTOIRE RÉCENTE:
PROGRESA (OPORTUNIDADES)
L’équipe a attribué les bénéfices suivants au design simultané du ...
LES OBJECTIFS
PRINCIPAUX DE L’EI
1.  Etablir si le programme a un effet significatif ou non sur les
résultats visés.
2.  U...
CINQ “PRINCIPES DIRECTEURS”
POUR FAVORISER LA PERTINENCE
POLITIQUE DE L’EI
Généralisable en passage à l’échelle – typiquem...
CONCEPTION DE L’EI POUR
SATISFAIRE LES CINQ
PRINCIPES: LE FBR EN ZAMBIE
Une large couverture démographique des services de...
ZAMBIE, A QUOI
RESSEMBLE L’EI
Q: Quel est l’impact causal du FBR sur la prestation de services et
sur les indicateurs de s...
UNE COUVERTURE
GÉOGRAPHIQUE ÉTENDUE
FACILITE LA VALIDITÉ EXTERNE
En Zambie, MS avec forte volonté de piloter le FBR dans
c...
ZAMBIE, COMMENT LES
DEUX CÔTÉS ONT
FONCTIONNÉ ENSEMBLE
Les équipes opérationnelles et de l’EI se sont consultées dès le
dé...
ZIMBABWE, UN APERÇU
DU FBR ET DE L’EI
Le Zimbabwe a créé un pilote de FBR de paiement à l’acte
ajusté pour la qualité avec...
UN CHAMP GÉOGRAPHIQUE ÉTENDU
FACILITE LA VALIDITÉ EXTERNE ET
L’IMPLICATION DE TOUS LES PMDS
DANS L’EI
UN GROUPE DE TRAVAIL GOUVERNEMENTAL
SUR L’EI CONSEILLE SUR TOUTES LES
ACTIVITÉS RELATIVES AUX DONNÉES
Données d’enquête ré...
NIGERIA: UN APERÇU DU
PROGRAMME DE FBR
•  Trois états sélectionnés intentionnellement:
Adamawa, Nasarawa et Ondo.
•  Des f...
NIGERIA: AVANTAGES DE CONCEVOIR LE
PROJET ET L’EI SIMULTANÉMENT
Le design simultané des interventions du projet et de l’EI...
Eléments clé Caractéristiques FBP DFF
Financement Montant maximal de fonds fournis à la formation sanitaire,
par tête
$2 $...
NIGERIA: UN APERÇU DU DESIGN
DE L’EI
Le design de l’EI du Nigéria pourra adresser ceci:
•  Evaluer la conditionalité: Impa...
NIGERIA: COMMENT LES ÉQUIPES D’EI ET
OPÉRATIONNELLES ONT TRAVAILLÉ
ENSEMBLE POUR INTÉGRER LES
ACTIVITÉS ET MAXIMISER
L’APP...
Upcoming SlideShare
Loading in...5
×

Annual Results and Impact Evaluation Workshop for RBF - Day Five - Concevoir les projets et Les evaluations d’Impact simultanément: les bénéfices et les défis

139

Published on

A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version. Exemples du Nigeria, de la Zambie, et du Zimbabwe.

Published in: Healthcare
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
139
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Annual Results and Impact Evaluation Workshop for RBF - Day Five - Concevoir les projets et Les evaluations d’Impact simultanément: les bénéfices et les défis "

  1. 1. CONCEVOIR LES PROJETS ET LES ÉVALUATIONS D’IMPACT SIMULTANÉMENT: LES BÉNÉFICES ET LES DÉFIS EXEMPLES DU NIGERIA, DE LA ZAMBIE, ET DU ZIMBABWE
  2. 2. EXEMPLE DE L’HISTOIRE RÉCENTE: PROGRESA (OPORTUNIDADES) • En 1998, le gouvernement mexicain a adopté un nouveau programme de protection sociale: Progresa (un transfert monétaire conditionnel) •  fournit un petit montant monétaire d’assistance aux pauvres tout en progressant vers les objectifs d’améliorer la santé et l’éducation des enfants • L’équipe qui concevait la politique avait de sérieuses interrogations sur le design et la performance du programme •  la plupart des programmes sociaux ne survivent pas aux changements de gouvernements • Les décideurs politiques pensaient que des preuves évaluées par des experts internationaux aideraient le programme à survivre. • Le programme a survécu après un changement de gouvernement car il était trop coûteux politiquement d’ignorer les preuves de l’évaluation •  bien que le nouveau gouvernement ait fait campagne pour stopper le programme, le nouveau chef d’état a été convaincu par les preuves et a décidé d’honorer son engagement en renommant le programme: Oportunidades
  3. 3. EXEMPLE DE L’HISTOIRE RÉCENTE: PROGRESA (OPORTUNIDADES) L’équipe a attribué les bénéfices suivants au design simultané du program et de l’évaluation d’impact (EI): 1.  Robustesse politique - PROGRESA est un pilier de la politique de protection sociale (PS) mexicaine. 2.  Sources de financement accrues et diverses – les bailleurs de fonds étaient attirés par le programme du fait des preuves claires, non-partisanes de son impact. 3.  Expansion significative– PROGRESA n’a pas seulement continué au fil des années mais il s’est vastement étendu par rapport à la phase pilote initiale. 4.  Codification explicite des pré-requis pour une évaluation conduite indépendamment de tous les programmes sociaux mexicains; CONEVAL établi. 5.  Impact sur la façon dont les bailleurs comme DfiD ou la BM programment et évaluent leur soutien.  Conclusion – les décideurs politiques qui anticipaient les bénéfices du programme ont pu concevoir une évaluation robuste qui a conduit à un soutien politique accru
  4. 4. LES OBJECTIFS PRINCIPAUX DE L’EI 1.  Etablir si le programme a un effet significatif ou non sur les résultats visés. 2.  Une EI conçue avec soin peut vous dire pourquoi quelque chose fonctionne ou non. 3.  Informer les décideurs politiques de la performance et des lacunes du programme, y compris sur les lacunes de mise en oeuvre pour leur amélioration. 4.  La manière la plus fiable de réussir cela est de considérer le design de l’EI / simultanément avec le design du programme 5.  Mais il existe beaucoup de chemins vers une même destination, et nous allons explorer au moins trois histoires, leurs défis et leurs leçons
  5. 5. CINQ “PRINCIPES DIRECTEURS” POUR FAVORISER LA PERTINENCE POLITIQUE DE L’EI Généralisable en passage à l’échelle – typiquement un besoin de répliquer les interventions réussies à une plus grande échelle que le contexte de l’étude Etudes d’efficacité à visée opérationnelle – évaluations de programme mis en oeuvre dans le cadre des capacités existantes du système Retour régulier à ceux qui mettent en oeuvre – le suivi du processus valide le modèle du programme et identifie les domaines qui nécessitent des améliorations Inclure une focalisation sur les coûts – pour informer les choix politiques et les compromis Appropriation locale – l’implication centrale du gouvernement et d’investigateurs locaux est critique à la fois pour une mise en oeuvre efficace et l’adoption politique Tous ces principes bien plus faciles à atteindre lorsque l’EI et le programme sont conçus et planifiés conjointement
  6. 6. CONCEPTION DE L’EI POUR SATISFAIRE LES CINQ PRINCIPES: LE FBR EN ZAMBIE Une large couverture démographique des services de santé maternelle et infantile (SMI) reste un défi en Zambie – Le Ministère de la Santé (MS) souhaite accroître la prestation de services tout en renforçant le système de santé Après beaucoup de discussion, la réforme du financement basé sur les résultats (FBR) prend la forme d’un “paiement à l’acte sélectionné” payé aux formations avec: •  évaluations de la qualité des soins, suivi et supervision renforcés, autonomie décentralisée aux cliniques •  les activités incitées incluent des programmes de nutrition précoce de l’enfant
  7. 7. ZAMBIE, A QUOI RESSEMBLE L’EI Q: Quel est l’impact causal du FBR sur la prestation de services et sur les indicateurs de santé de la population d’intérêt? L’intervention est une réforme systémique sponsorisée par le gouvernement avec un rôle central pour la supervision et le suivi du district Bras de traitement: Les formations et les patients résidant dans les districts qui introduisent le programme de FBR Contrôle: formations et ménages dans les districts de comparisons appariés Un estimateur par différences-de-différences entre les formations appariées dans le traitement et le contrôle estimera l’impact du programme
  8. 8. UNE COUVERTURE GÉOGRAPHIQUE ÉTENDUE FACILITE LA VALIDITÉ EXTERNE En Zambie, MS avec forte volonté de piloter le FBR dans chaque province. Dans un but d’apprentissage politique, sélectionner des “représentants” de districts pour cette province, sur la base de la capacité des systèmes de santé du district et la couverture des services. 27 sur total de 62 districts dans l’étude
  9. 9. ZAMBIE, COMMENT LES DEUX CÔTÉS ONT FONCTIONNÉ ENSEMBLE Les équipes opérationnelles et de l’EI se sont consultées dès le début – les premières discussions sur le design avec le gouvernement impliquaient du personnel des deux équipes Des consultations répétées avec les experts du FBR, de l’EI, et la tête du gouvernement ont mené au contenu du pilote de FBR et créé un socle politique pour l’EI EI étendue pour répondre à des questions supplémentaires •  quelle est la coût-efficacité du fait d’offrir des niveaux d’incitations plus élevés •  un sous-groupe de formations sélectionnées aléatoirement reçoivent un bonus additionnel de 25% •  quel est le taux d’audit coût-efficace dans la vérification externe •  les formations font face à une probabilité aléatoire d’être soumises à l’audit : 100%, 30%, ou 10%
  10. 10. ZIMBABWE, UN APERÇU DU FBR ET DE L’EI Le Zimbabwe a créé un pilote de FBR de paiement à l’acte ajusté pour la qualité avec un accent sur l’amélioration des résultats de SMI prioritaires L’évaluation du FBR a groupé des paires comparables de districts et sélectionné aléatoirement un district dans chaque paire pour recevoir le pilote de FBR, et l’autre pour servir de comparaison Districts pilotes stratifiés par province, donc chaque Equipe de Gestion de la Santé Provinciale gagne en expérience du FBR, mais est aussi impliquée dans la planification de l’EI Fort socle politique pour l’EI au sein du Ministère – création d’un Groupe de Travail d’Evaluation Technique pour conseiller sur chaque étape de l’EI et suivre le progrès
  11. 11. UN CHAMP GÉOGRAPHIQUE ÉTENDU FACILITE LA VALIDITÉ EXTERNE ET L’IMPLICATION DE TOUS LES PMDS DANS L’EI
  12. 12. UN GROUPE DE TRAVAIL GOUVERNEMENTAL SUR L’EI CONSEILLE SUR TOUTES LES ACTIVITÉS RELATIVES AUX DONNÉES Données d’enquête régulièrement collectées de perspectives multiples: •  Ménage •  Formation et agent de santé •  Communauté •  Gestion du district et provinciale Données administratives de routine aussi critiques du fait du champ et de la fréquence d’observation Evaluation qualitative avec accent supplémentaire sur des expériences subjectives complexes: compréhension, motivation, et actions innovantes Collecte, intégration, et analyse de sources de données multiples (aussi bien continues que sporadiques) souligne le bénefice d’investigateurs basés localement et des homologues gouvernementaux
  13. 13. NIGERIA: UN APERÇU DU PROGRAMME DE FBR •  Trois états sélectionnés intentionnellement: Adamawa, Nasarawa et Ondo. •  Des formations sanitaires sélectionnées dans les gouvernements locaux (LGA) au sein de chaque état reçoivent une des deux interventions: le FBP et le DFF. Les LGA sont assignées aléatoirement pour recevoir le FBP ou le DFF. •  Les gouvernements locaux et étatiques reçoivent des paiements en bonus liés à la performance •  Les LGA de contrôle sont sélectionnés aléatoirement d’états appariés pour chaque état faisant partie du projet
  14. 14. NIGERIA: AVANTAGES DE CONCEVOIR LE PROJET ET L’EI SIMULTANÉMENT Le design simultané des interventions du projet et de l’EI a nécessité une définition soignée des interventions et des approches empiriques pour mesurer l’impact. •  Le développement simultané des interventions et de l’EI ont assuré que la distribution des LGA entre le FBP et le DFF était aléatoire, afin que l’impact des interventions puisse être mesuré rétrospectivement. •  Définition conjointe des interventions et des composantes. •  L’adaptation des questionnaires était guidée par les définitions des interventions ainsi que par les impacts à mesurer. •  Développement conjoint d’outils routiniers de suivi (checklist qualité, contre-vérification, questionnaires mhealth, etc.) avec l’intention de mettre en place une plateforme où toutes les données, y compris les SIGS, pourraient être triangulées dans le futur
  15. 15. Eléments clé Caractéristiques FBP DFF Financement Montant maximal de fonds fournis à la formation sanitaire, par tête $2 $1 Fonds peuvent être utilisés pour fournir bonus au personnel Oui Non Gouvernance décentralisée Comité du FBR de la formation sanitaire Oui Non Autonomie de la formation sanitaire Oui Oui Comptes en banque gérés par comité de la formation Oui Oui Planification de la formation sanitaire Développement et mise en oeuvre d’un plan d’activités Oui Non Autres outils du FBP Oui Non Enregistrement et reporting Usage des formulaires SIGS standards Oui Oui Facture trimestrielle Oui Non Vérification et supervision Vérification de la quantité mensuelle par SPHCDA Oui Oui (mais plus légère) Supervision de la qualité trimestrielle par Départment des soins de santé primaires du LGA Oui Oui Vérification par tiers de la quantité Oui Non Vérification par tiers de la qualité Oui Non Assistance technique 1)  Usage des processus et outils du FBP 2)  Résolution des problèmes pour améliorer la consommation de services et la qualité 3)  Gestion financière, des déchets, des médicaments, reporting Oui Non (Oui seulement pour 3)) NIGERIA: DÉFINIR LES INTERVENTIONS, FBP ET DFF
  16. 16. NIGERIA: UN APERÇU DU DESIGN DE L’EI Le design de l’EI du Nigéria pourra adresser ceci: •  Evaluer la conditionalité: Impacts du paquet FBP contre DFF •  Evaluer le DFF: Impacts du paquet DFF contre la routine habituelle •  Evaluer le FBP: paquet FBP contre la routine habituelle Recevoir les interventions suivantes… ILD de l’état ILD du LGA Financement additionnel aux formations sanitaires Financement aux formations est conditionnel à la performance LGA FBP Oui Oui Oui Oui LGA DFF Oui Oui Oui Non LGA de comparaison Non Non Non Non ILD: Indicateurs Liés aux Décaissements Evaluer condition- nalité Evaluer paquet DFF Evaluer paquet FBR
  17. 17. NIGERIA: COMMENT LES ÉQUIPES D’EI ET OPÉRATIONNELLES ONT TRAVAILLÉ ENSEMBLE POUR INTÉGRER LES ACTIVITÉS ET MAXIMISER L’APPRENTISSAGE •  La sélection aléatoire des LGA et des formations étaient possible sans pression politique significative •  A aidé dans la révision et l’adaptation des questionnaires: divers aspects des interventions, mesures des impacts et résultats intermédiaires, capturer de potentielles effets de retombées. •  Enquête de base fournira des indications préliminaires des effets potentiels des interventions (en comparant le pré-pilote aux zones appariées), bien que les informations de l’enquête de base ne permettront pas de comparaisons avant-après, enquête de base/de suivi.
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×