Les contraintes des pratiques évaluatives en Afrique de l'Ouest : analyse a posteriori d'une évaluation à l'aide de l'approche dite « Shoestring »

1. Les contraintes des pratiques évaluatives
en Afrique de l'Ouest :
analyse a posteriori d'une évaluation à
l'aide de l'approche dite « Shoestring »
Ridde Valéry, Ph.D.
valery.ridde@umontreal.ca

2. Plan de la présentation
 Contexte du projet et de son évaluation
 Objectif de la présentation et cadre d’analyse
 Analyse du processus selon 7 étapes
 Conclusions

3. CONTEXTE

4. Contexte (le projet)
 Un pays de l’Afrique de l’Ouest
 Un projet d’une ONG Européenne qui
soutient le ministère de la santé (DRS, ECD)
 Objectif du projet : améliorer l’accès des
populations aux médicaments essentiels
génériques (MEG) dans 3 districts sanitaires
 Trois ans d’intervention : construction et
fourniture de dépôts de MEG, réhabilitation,
formation du personnel et comités de gestion,
supervisions et contrôles, etc

5. Contexte (l’évaluation)
 31 déc. : fin du projet de 3 ans
 1 déc. : demande informelle de soutien à la
rédaction des TdR
 8 déc : réunion 3 consultants/ONG
 11 jours de collecte et analyse des données
 20 déc. : restitution des résultats de
l’évaluation

6. OBJECTIF ET CADRE D’ANALYSE
 Objectif de la présentation :
 Analyse de la qualité du processus évaluatif
 Cadre d’analyse
 Shoestring Evaluation => RealWorld Evaluation
 Évaluation d’impacts sous contraintes,
évaluation en situation réelle
 Approche évaluative intégrée fondée sur 7
étapes
 Analyse a posteriori => contrôle qualité

7. Source :
Bamberger, Rugh, Mabry, 2006

8. ANALYSE DU PROCESSUS
EN 7 ETAPES

9. Étape 1 : Planifier et centrer l’évaluation
 Cerner les besoins :
 Client : pas de planification de l’évaluation: peu d’intérêt
=> décisions déjà prises; évaluation de l’efficacité
 Eval. => améliorer les processus/leçons
 Logique de l’intervention :
 Client : pas de cadre logique ni de théorie de
l’intervention
 Eval. : reconstitution rapide de la logique par
l’intermédiaire de l’écriture du plan d’évaluation

10. Étape 1 : Planifier et centrer l’évaluation
 Identification des contraintes
 Budget : 3 millions F CFA non négociable, soit 0,6% du projet
 Temps : durée (11 jours), moment (décisions déjà prises, départ
ONG, JNV, renouvellement comité de gestion, etc)
 Données : base de données de suivi de certaines activités mais
pas des effets; pré/post tests formation non exploitables,
 Politiques : fin de projet; enjeux de pouvoir avec le MS p/r à la
poursuite du programme; responsables et personnels sur le
départ
 Sélection de l’approche pertinente
 Approche différente selon les 6 questions d’évaluation
 Processus, quasi-expérimentale pour l’efficacité

11. Étape 2 : Prendre en compte les
contraintes budgétaires
 Client/ONG : modestie sur l’évaluation de l’efficacité
 Consultants : plus d’analyse que de collecte
 Approche méthodologique mixte
 Analyse des données secondaires (QUANT)
 Données du suivi du projet (contrôle qualité)
 Données de routine des 3 districts => délégation collecte
 Collecte et analyses des données qualitatives (QUAL)
 10 Focus group (3 par DS + 1 Région)
 3 entrevues individuelles (2 DS + 1 Région)

12. Étape 3 : Prendre en compte les
contraintes temporelles
 Centrer les questions d’évaluation
 Planifier les tâches en fonction des
disponibilités des consultants nationaux
 Partage des tâches entre les 3 consultants
 Déléguer une partie de la collecte des données
 Utiliser des données de routines/suivi

13. Étape 4 : Prendre en compte les
contraintes liées aux données
 Reconstitution pré-post avec groupe de comparaison
cas
Observation Observation
40 FS
avant après
janvier 2001
92 formations 1999-2000 2001-2003
Projet PSF
sanitaires
Observation Observation
témoins 52 FS
avant après
INDICATEURS
2 indicateurs Nombre de nouvelles consultations curatives
Taux d’utilisation des services
8 indicateurs Données financières

14. Étape 4 : Prendre en compte les
contraintes liées aux données
 Post-test uniquement pour tous les autres
indicateurs quantitatifs, par ex :
 Rupture de stocks en MEG => comparaison
seulement entre les 3 districts du projet
 Indicateurs de prescription rationnelle =>
comparaison avec les normes de l’OMS, une
enquête nationale et une enquête dans une autre
région
 Analyse rapide des données qualitatives

15. Étape 5 : Prendre en compte les
influences politiques
 Peu d’influence directe sur les aspects
méthodologiques de l’évaluation
 Influence indirecte sur les résultats et leur
utilisation :
 Évaluation : non prévue, peu de budget et de temps
 Restitution : retard, faible présence et participation
 « Perdiemite aiguë »

16. Étape 6 : Renforcer le modèle de
l’évaluation et la validité des conclusions
 Obstacles à la validité :
 Pas de sélection aléatoire, pas d’analyse poussée des
facteurs contribuant aux effets autres que le projet
 Qualité des données secondaires et de routine/suivi
 Stratégies :
 Analyse des tendances, a priori contexte socio-économique
comparables (cas vs témoin)
 Complémentarité QUAL/QUANT
 Comparaison avec des données externes
 Présentation dans le rapport des limites méthodologiques
 Discussion et présentation des résultats

17. Étape 7 : Aider les clients à tirer partie
de l’évaluation
 Discussion/réunion sur les TdR + soumission
d’un plan d’évaluation
 Stratégie de communication/restitution des
résultats de l’évaluation :
 Proposition d’une approche participative lors de la
restitution (atelier « plans d’actions) => refus du
client
 Restitution intégrée dans la cérémonie de clôture du
projet et d’annonce du suivant
 Tentative de palier ces contraintes =>

18. Étape 7 : Aider les clients à tirer parti
de l’évaluation
 En résumé…
Rendre accessible les résultats aux parties prenantes
 Rendre accessible les résultats à la communauté
internationale => un article scientifique pour partager les
connaissances

19. Conclusions
 Importance d’adapter les processus évaluatifs au
contexte de l’évaluation
 Malgré les contraintes, il est toujours possible de
réaliser une évaluation rigoureuse, mais pas toujours
utile…
 Dilemme éthique et standard de qualité des
évaluateurs
 Intérêt de l’approche RWE pour l’analyse des
processus évaluatifs :
 Revoir l’ordre de certaines étapes (plutôt concomitantes
que linéaires)
 Présentée pour l’évaluation d’impact mais certainement
utile pour d’autres types d’évaluation (processus,
efficience, etc.)