Your SlideShare is downloading. ×
  • Like
Annual Results and Impact Evaluation Workshop for RBF - Day Four - La science de la prestation: Résultats des évaluations d’impact et leçons du FBR
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Now you can save presentations on your phone or tablet

Available for both IPhone and Android

Text the download link to your phone

Standard text messaging rates apply

Annual Results and Impact Evaluation Workshop for RBF - Day Four - La science de la prestation: Résultats des évaluations d’impact et leçons du FBR

  • 26 views
Published

A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version.

A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version.

Published in Healthcare
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
26
On SlideShare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
0
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. LA SCIENCE DE LA PRESTATION: Apprendre de la mise en œuvre Résultats des évaluations d’impact et leçons du FBR Dinesh Nair, Benjamin Loevinsohn et Ifelayo Ojo
  • 2. Le pourquoi et le comment des 10 Plus Grandes Leçons • L’examen des opérations de FBR en cours a suggéré des défis récurrents et des leçons utiles • Se focaliser sur les leçons les plus importantes facilitera l’apprentissage des autres équipes • La sélection des 10 plus grandes leçons a été faite par les TTLs et les experts du FBR impliquésdans un portefeuille de 8 programmes de FBR en cours 2
  • 3. Leçon #1 “Montre-moi l’argent!” - Procédez au paiement à temps • Plus de 70% des projets ont eu des difficultés pour procéder aux paiementsà temps 3
  • 4. Les visites en consultation externe au Nigeria ont diminué quand les paiements ont été interrompus 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% Dec Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec Jan Feb Mar Apr May Jun Jul Aug Sep Adamawa Nasarawa Ondo Paiements interrompus 4
  • 5. Leçon 1: “Montre-moi l’argent!” Procédez au paiement à temps Recommandations Suivre le temps nécessaire pour que le paiement parvienne aux formations Etablir des normes explicites pour le délai maximum autorisé (2 ou 3 mois) Fournir des ressources d’avance aux formations sanitaires: (i) gagne leur confiance; (ii) indique que le FBP a commencé; (iii) fournit des fonds d’investissement 5
  • 6. Leçon #2 “Continuez à faire bouger le pilier de but!” L’Amélioration Continue de la Qualité (ACQ) implique de Changer les Indicateurs de Qualité • Beaucoup de formations font rapidement des améliorations dans la qualité et ensuite plafonnent 6
  • 7. 0 20 40 60 80 100 Mwaro Muramvya Kirundo Cibitoke Buja-Rural Kayanza Ngozi Makamba Rutana Bubanza Bururi Gitega Karuzi Muyinga Ruyigi Cankuzo Buja-Mairie Scores de qualitépar province Le score de qualité moyen a plafonné après trois trimestres au Burundi 7
  • 8. Leçon 2: “Continuez à faire bouger le pilier de but!” L’Amélioration Continue de la Qualité (ACQ) implique de Changer les Indicateurs de Qualité Recommandations Les checklists de qualité quantifiées devraient mettre l’accent sur les indicateurs de processus plutôt que de structure Revisez la checklist tous les 1-2 ans pour mettre l’accent sur l’amélioration continue Incluez: 1) observation de l’interaction prestataire- patient; 2) examen des entrées de données (besoin d’entrées de données standards); 3) vignettes; 4) entretiens de sortie, etc. Investissez dans la formation des superviseurs 8
  • 9. Leçon #3 “Pour être clairvoyant, nous continuons en apprenant” • Le FBR en tant qu’outil permet l’expérimentation, l’apprentissage et la correction en cours de route 9
  • 10. Qu’a fait le Zimbabwe? Analyse quantitative Analyse qualitative  Concevoir le FBR du côté de la demande et de l’offre (pilote urbain)  Bon maternel urbain ciblé (côté demande)  FBR de paiement à la qualité  A revu la tarification  A amélioré les checklists de qualité 10
  • 11. Les études de recherche opérationnelle devraient être budgétisées Menez des évaluations de processus et utilisez les résultats pour le dialogue et la prise de décision sur l’implémentation. Participez aux examens du portefeuille de FBR– cherchez de nouvelles idées Leçon 3: “Pour être clairvoyant, continuez en apprenant” 11
  • 12. Leçon #4 “L’Argent n’est pas la source de tout le mal, Le Manque d’Argent l’est” – Préoccupez-vous de la durabilité financière • Le FBP ne devrait pas être conçu pour se substituer aux déficiencesdu financement national de la santé 12
  • 13. La durabilité du FBP nécessite des réformes du système de santé plus larges  Le FBP du Burundi est combiné avec les soins de santé gratuits  Le gouvernementpaie presque la moitié – 1,4% du budget alloué  Pool commun pour les partenaires de développement – deux contributions réduites  Déficit cumulatif de près de US$ 8M  Les réformes de la santé du FBP au Rwanda faisaient partie de réformes plus larges  réforme de l’assurance santé communautaire  réforme des ressources humaines 13
  • 14. Où va l’argent du FBP? 14 PAIEMENTS DU FBP AU BURUNDIAU TRIMESTRE 3, 2013 million de francs Nouvelle consultation en externe 32% Accouchements en institution 23% Autres services du FBR 32% Consultation postnatale 6% Utilisateurs de méthodes de PF modernes 6% Enfants complètement immunisés - 1%
  • 15. 35% 37% 39% 40% 45% 11% 10% 10% 9% 5% 16% 16% 12% 13% 10% 29% 31% 31% 33% 37% 8% 7% 7% 5% 3% Q2 2012 Q3 2012 Q4 2012 Q1 2013 Q2 2013 Intervention HFs Intervention DMO Hospital Control 1 HFs Control 1 DMO Hôpital Zambie: Consommation agrégée des fonds de FBP de Q2, 2012 – Q2, 2013 Où va l’argent du FBP? 15 FS intervention FS contrôle 1 OMD intervention OMD contrôle 1
  • 16. Recommandations Suivez les dépenses générales du FBP et comprenez où vont la plupart des fonds du FBP Il est plus facile d’augmenter les tarifs que de les réduire. Ceci suggère de commencer avec des tarifs relativementplus bas et de les augmenter Maintenez que le(s) gouvernement(s) vi(ven)tdans les limites d’une enveloppebudgétaire. Faites attention à l’augmentation des dépenses non liée à une meilleure performance. Leçon 4: “L’Argent n’est pas la source de tout le mal, Le Manque d’Argent l’est” – Préoccupez-vous de la durabilité financière 16
  • 17. Leçon #5 “Les Mathophobes du monde tous unis!” – Utilisez vos données • Les données sont vitales mais sous-exploitées, malgré beaucoupd’efforts dévoués à la collecte,la vérificationet à la mise en ligne des données de paiement 17
  • 18. Applications internet avec interface publique montrant les informations sur la performance et les finances 18 Burundi Benin Nigeria
  • 19. Comment la Zambie utilise ses données • Analyse trimestrielle • Analyse complète par expert o Analyse en différences-de-différences des tendances en utilisant les données SIGS pour comparer entre les 3 bras 19 1ére visite anténatale avant 20 semaines 3eme dose TPI à femme enceinte Soins postnataux dans les 6 jours Présence Planning Familial - Total (Calc) Accouchem ent par personnel qualifié Présence patient externe total (calc) Complétem ent immunisé < 1 an nouveau FBR contre Financement additionnel Coef 0.904 0.815 0.696 12.944 2.220 -9.316 -2.783 p-value 0.045 0.231 0.229 0.002 0.019 0.735 0.024 FBR contre Contrôle Coef 1.174 1.954 1.586 7.850 2.243 -39.929 -2.761 p-value 0.005 0.002 0.011 0.055 0.031 0.158 0.011
  • 20. Leçon 5: Les Mathophobes du monde tous unis!” – Utilisez vos données Recommandations  Créez des systèmes fiables pour la collecte et la compilation des données  Assurez-vous d’un flux constant de données du FBP avec une charge de reporting minimale pour les agents de santé  Faites de l’analyse des données le travail de quelqu’un  Déployez des logiciels pour faciliterl’analyse des données  Déléguez l’analyse à la foule! (crowd-sourcing)  Essayez de trianguler toutes les sources de données disponibles afin de déterminer les tendances dans l’utilisation et les résultats 20
  • 21. Leçon #6 “Comprenez vos clients” - Les problèmes du côté de la demande sont peut-être moins compris • Il faut comprendre les causes à la racine du problème que le FBR essaie de résoudre. 21
  • 22. Même avec de larges améliorations dans l’utilisation depuis que le FBP a été introduit, les niveaux de couverture absolue restent bas au Nigeria Barrières à l’utilisation de service dans deuxLGA nigérians:  Problèmesde transport  Tarifs variables et imprévisibles pour les serviceset les médicaments  Barrières sociales et culturelles Solution proposée: Un programme de Bons pour améliorer la consommation de services  Cycle continu d’apprentissageet de réponse pour aider les ménagesà surmonterles barrières d’utilisation et améliorer les résultatsde santé. 22
  • 23. Leçon 6: “Comprenez vos clients” - Les problèmes du côté de la demande sont peut-être moins compris Recommandations  Considérez les problèmes de demande si la couverture reste faible malgré le FBP (même si le FBP a fait une grosse différence).  Comprenez les barrières à l’accès – barrières culturelles, sociales et financières avec des enquêtes ménages; groupes de discussions dirigés, entretiens avec informateur clé, etc.  Les options pour répondre aux problèmes de demande incluent: (i) travail de plus près avec les structures communautaires; (ii) Transferts monétaires conditionnels; (iii) bons; (iv) Campagne de Changement des Comportements avec le personnel de la formation ou les ONG 23
  • 24. Leçon #7 “Ca suffit les tracés plats” - Identifiez les formations et les régions à faible performance. Faites quelque chose pour elles! • Une compréhension détaillée des prédicteurs de succès et d’échec est nécessaire 24
  • 25. Il y a clairement des formations qui ne progressent pas – càd. celles aux “tracés plats” Non-déterminants • Nombre de personnel • Eloignement • Qualification du responsable • Planification des activités - 20 40 60 80 100 120 140 Déviants positifs • Engagement communautaire • Capacité de gestion du responsable Accouchementinstitutionnel dans les formations de l’Adamawa, normalisé par 100 000 pop. 25
  • 26. Leçon 7: Ca suffit les “tracés plats” Recommandations Utilisez vos données pour identifier les formations qui ne se sont pas améliorées ou qui n’ont pas une bonne performance Menez des études quantitatives et qualitatives (ex.: Nigeria et Zimbabwe) Considérez le type d’assistance technique nécessaire aux formations à faible performance et ré-examinez ce qui est actuellement disponible. 26
  • 27. Leçon #8 “Tu peux courir, mais tu ne peux pas te cacher” – Préoccupez-vous des menaces politiques envers le FBP • Même les programmes de FBR à succès font face à des pressions politiques qui menacent leur durabilité 27
  • 28. Pilote de FBR en Zambie  Unité d’Implémentation du Programme (UIP) du FBR pas généralisée au sein de la structure du Ministère  Changements institutionnels au Ministère de la Santé  Champions clé déplacés 28 Attention aux gagnants et aux perdants
  • 29. Recommandations L’expertise en économie politique devrait être engagée pour étudier les facteurs importants dans le passage à l’échelle et la durabilité du FBR, afin de trouver ce qui peut être fait différemment. Institutionnaliser les rôles tels que l’achat et la mise en œuvre du projet au sein des structures gouvernementales pourrait aider à améliorer l’adhésion 29 Leçon 8: Préoccupez-vous des menaces politiques envers le FBP
  • 30. Leçon #9 “Même les plans les mieux prévus peuvent aller de travers” – Analysez le design de votre projet pour vous assurez que les hypothèses demeurent valides • Comprenez les déterminants clé du programme de FBP et leurs liens pour produire des résultats 30
  • 31. Bénin  La bureaucratie complique les dépenses des incitations du FBP par les formations  Peut réduire la motivation des agents de santé d’être performant  Tickets modérateurs plus faciles à dépenser  Des frais élevés peuvent réduire l’utilisation des soins 31 Des défis liés à l’autonomie des formations sanitaires au Bénin et un FBP emboîté en Afghanistan ont rendu la mise en œuvre différente Afghanistan  Environnement unique d’accord sur la performance avec ONG  Préoccupations sur la sécurité constantes  FBP superposé sur PPA
  • 32. Recommandations Examinez périodiquementla progression des éléments dans votre théorie du changement, pas seulement ce que vous essayez d’accomplir,mais comment vous y arrivez Des analyses utiles pour tout projet incluent:  Quel est le pourcentage additionnel du FBP à la paie des agents de santé? Sont-ils motivés par ce montant?  Equilibre entre supervision et autonomie au niveau de la formation sanitaire  Ressources disponibles en première ligne pour les formations sanitaires 32 Leçon 9: “Même les plans les mieux prévus peuvent aller de travers” – Analysez le design de votre projet pour vous assurez que les hypothèses demeurent valides
  • 33. Leçon #10 “Gardez vos études d’impact droit au but” - Evitez les questions d’Evaluation d’Impact qui sont TROP subtiles • Il est très difficile d’évaluer les impacts différentiels quand il n’existe qu’une variation minimale entre groupes expérimentaux 33
  • 34. 0 600 1200 1800 2400 1* 2 3 4 1 2 2012 2013 Enfants immunisés Control Treatment Les groupes de l’intervention de FBR et de financement additionnel se ressemblent au Bénin  Aucune claire différence n’émerge  Un autre groupe de contrôle avec aucun financement additionnel a été inclus comme contrefactuel 34 0 2000 4000 6000 8000 1* 2 3 4 1 2 2012 2013 Accouchement assisté Control Treatment
  • 35. Groupes expérimental & de contrôle au Nigéria – essayez dur d’être explicite sur les différences !!!! 35 Eléments clé FBP DFF Financement 2$ max par tête pour performance 1$ max par tête pour opérations Bonus au personnel Oui Non Comité FS Oui Non Autonomie FS Oui Oui Plan d’activités et autres outils FBP Oui Non Usage du SIGS Oui Oui Facture trimestrielle Oui Non Vérificationmensuelle Oui Non Vérificationtrimestrielle Oui Oui Vérificationpar tiers Oui Non Assistance technique FBR Oui Non
  • 36. Recommandations Evaluez à l’avance si les variations expérimentales vont probablement faire une différence dans les résultats Travaillez avec l’équipe d’EI dès le début Assurez-vous que les homologues comprennent parfaitement les questions de recherche, et sont convaincus de leur utilité. 36 Leçon 10: “Gardez vos études d’impact droit au but” Evitez les questions d’Evaluation d’Impact qui sont TROP subtiles
  • 37. Un bateau au port est en sécurité– mais ça n’est pas pour ça qu’on construit des bateaux.-John A Shedd (1928) Mettez en oeuvre, apprenez et partagez vos leçons!