Version 2010 du cours d'évaluation de l'impact d'un projet
_______
l'enregistrement vidéo de ce cours est http://gestiondeprojet.pm/evaluation-de-projet-et-etude-dimpact/
1. Réalisé à partir des travaux du CIEDEL 1
L'évaluation des projets : indicateurs
d’impact
Rémi Bachelet
Ce cours « l’évaluation des
projets » est disponible ici
Source des images indiquées au-dessous ou en cliquant sur l’image
Cours distribué sous licence
Creative Commons,
selon les conditions suivantes :
Mise à jour du 14 mai 2016
Source : image
2. Réalisé à partir des travaux du CIEDEL 2
Objectifs
Au terme de cette présentation, vous devez pouvoir
évaluer l’impact d’un projet :
1. Préparer, négocier et réaliser l'évaluation:
– Connaître les « bonnes pratiques »
– Des exemples, tirés de projets dont l’impact est particulièrement
important (projets de développement durable) sont donnés et
signalés par :
2. Savoir construire et calibrer des indicateurs d’impact
3. Comprendre et pouvoir partager des concepts-clés
(Présentés sur la page suivante)
Rémi BACHELET
Lightbulb Jon Phillips public-domain-photos.com
3. Réalisé à partir des travaux du CIEDELRémi BACHELET 3
Évaluation d’impact : concepts-clés
Finalité moyens
Situation de référence Action
Résultats buts
suivi Effets
Impact Objectifs
Indicateurs
4. Réalisé à partir des travaux du CIEDEL 4
Le cycle des opérations
Programmation
Formulation
Identification
Mise en œuvre
Livraison
Etude de faisabilité,
Termes de référence
Etude de montage
Rapports
d’avancement
Décision de continuer
ou de réorienter le projet
(évaluations intermédiaires)
Domaines
prioritaires,
Objectifs globaux
Plan
Stratégique
Décision sur la manière d’utiliser
les résultats dans les projets
futurs
Rapport
d’évaluation,
audit …
Adapté de :
http://democratie.francophonie.org/IMG/ppt/Gestion_cycl
e_de_projet_et_cadre_logique.pptRémi BACHELET
Décision de
financement
Go/no-Go
5. Réalisé à partir des travaux du CIEDEL 5
Fondamentaux de
l'évaluation
1. L'évaluation des résultats, des effets, de l'impact
2. Apprécier l’impact : un exercice complexe
Chapitre 1/5
Rémi BACHELET
6. Réalisé à partir des travaux du CIEDEL 6
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
7. Réalisé à partir des travaux du CIEDEL 7
Définitions
Résultats = changements produits directement par l’action
– A comparer avec les objectifs formalisés avant le lancement du
projet.
Effets = incidences directes et indirectes de l’action
– Résultats de l’action mais aussi d'autres dynamiques / contraintes
provenant du milieu (physique et humain).
– Les effets peuvent être anticipés, mais avec une marge d’incertitude
= P.e. objectifs propres des populations .
Impact = situation finale à la suite de l’action
– Prévoir l’impact présente encore plus de difficultés, car de
nombreux facteurs indépendants du projet peuvent se combiner
avec les résultats et les effets de l’action.
– Le temps est également un facteur, car l'impact se juge à terme
Rémi BACHELET
8. Réalisé à partir des travaux du CIEDEL 8
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
9. Réalisé à partir des travaux du CIEDEL 9
L'évaluation des résultats
Au vu des objectifs initiaux de l’action, comparer :
– les objectifs définis
– .. et les résultats atteints
Deux visions :
– quantitative : écart chiffré entre le prévu et le réalisé
(p.e. 3 puits construits au lieu de 4)
– qualitative : différence de nature entre le prévu / réalisé
(p.e. un forage au lieu d’un puits)
Rémi BACHELET
10. Réalisé à partir des travaux du CIEDEL 10
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
11. Réalisé à partir des travaux du CIEDEL 11
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
12. Réalisé à partir des travaux du CIEDEL 12
L'évaluation des effets
L’évaluation des effets porte sur l’interaction entre
l’action et l’environnement du projet.
De plus,
– Le public concerné par les effets est plus large que le
public cible de l’action
– Les stratégies menées par les personnes et les
populations sont souvent imprévisibles et difficiles à
cerner
– D’autres actions conduites par d’autres opérateurs ont
pu interférer
– …
Rémi BACHELET
13. Réalisé à partir des travaux du CIEDEL 13
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
14. Réalisé à partir des travaux du CIEDEL 14
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
15. Réalisé à partir des travaux du CIEDEL 15
L’évaluation de l’impact
L'impact d'un projet est
l’ensemble des changements
…significatifs
…durables
positifs et négatifs
prévus et imprévus
Sur les personnes, les groupes et leur environnement
… ayant un lien de causalité avec l’action
Rémi BACHELET
16. Réalisé à partir des travaux du CIEDEL 16
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
17. Réalisé à partir des travaux du CIEDEL 17
Il est difficile d’anticiper l’impact
• Impact technique :
– attendu : des villageois formés pour l’entretien ;
– inattendu : création d’entreprises de réparation des puits dans la zone.
• Impact économique :
– attendu : la caisse villageoise est alimentée par le paiement de l’eau ;
– inattendu : création d’emplois et distribution de revenus à travers les
entreprises d’entretien des puits.
• Impact social :
– attendu : les enfants du village sont en meilleure santé ;
– inattendu : les enfants libérés de la corvée d’eau peuvent aller à l’école.
• Impact financier :
– attendu : constitution d’une caisse pour l’entretien des puits ;
– inattendu : détournement pour son profit personnel d’un vendeur d’eau.
• Impact organisationnel :
– attendu : constitution des comités de gestion ;
– inattendu : certains comités de gestion des puits s’occupent aussi de la gestion
du potager de l’école.
Source : L'évaluation un outil au service de l'action
Marie-Christine Guéneau- Etienne Beaudoux
IRAMRémi BACHELET
18. Réalisé à partir des travaux du CIEDEL 18
Le processus d’évaluation
1. Modalités de suivi et de construction de l'évaluation
– Situation de référence
– Moyens, objectifs, buts et finalité
2. Moyens, objectifs, buts et finalité de l’action
Chapitre 2/5
Rémi BACHELET
19. Réalisé à partir des travaux du CIEDEL 19
La situation de référence est à
diagnostiquer au départ
Sur toutes les activités qui seront touchées par le projet :
1. Quelle est la situation de départ ?
(attention, les personnes concernées dépassent le public défini a priori comme
« client »).
2. Qui sont les acteurs ?
– leaders,
– groupes et groupements,
– fonctionnaires et agents de tutelle,
– opérateurs économiques,
– représentants de cultes, etc.
.. analyser leurs zones d'incertitudes et anticiper leurs stratégies (voir
cours d’analyse stratégique des projets)
Rémi BACHELET
20. Réalisé à partir des travaux du CIEDEL 20
Le suivi – évaluation
• Les jalons et réunions de suivi du projet prévoient de procéder régulièrement à
des évaluations.
• Elles peuvent être des réunions de chantier, auto-évaluations, évaluations
externes, etc… on peut évaluer les effets, mais aussi le dispositif lui-même.
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
21. Réalisé à partir des travaux du CIEDEL 21
Le suivi-capitalisation
Collecter et analyser régulièrement “l’information utile à l’action”.
– Levez le nez de l’action et prenez le temps d’observer = écoute et distanciation.
– Informez-vous sur l’évolution des autres actions en cours sur la zone d’activité.
– Triez, notez, conservez par écrit les éléments repérés pour éviter qu’ils ne soient
oubliés.
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
22. Réalisé à partir des travaux du CIEDEL 22
Moyens, objectifs, buts et finalité de
l’action (1/2)
Près d’un village, un groupe d’hommes travaille. Quatre hommes
préparent du banco : ils mélangent de la terre, du fumier et de
l’eau, qu’ils moulent ensuite pour faire des briques.
• A la question “Que faites-vous ?”,
– le premier répond : “Avec mes mains, je prends du banco et je le mets
dans ce moule en tassant bien”.
– le second indique : “Je fabrique des briques de banco pour construire les
murs d’un bâtiment”.
– La troisième personne dit : “Je participe à l’installation d’une école dans
le village”.
– La quatrième renchérit : “J’oeuvre pour la promotion de nos enfants par
l’accès au savoir”
Rémi BACHELET
23. Réalisé à partir des travaux du CIEDEL 23
Moyens, objectifs, buts et finalité de
l’action (2/2)
• Faire des briques avec un moule est le moyen.
• Construire le bâtiment est l’objectif.
• Avoir une école dans le village est le but.
• Assurer la promotion des enfants est la finalité.
Rémi BACHELET
24. Réalisé à partir des travaux du CIEDEL 24
• La finalité : c’est l’idéal abstrait vers lequel on tend. La
finalité ne se décrit pas, elle n’est pas “photographiable” ; elle
est immatérielle et fait souvent référence à des valeurs :
– la dignité, la liberté, l’égalité, etc.
• Le but : c’est la matérialisation de la finalité que l’on se
donne, normalement il correspond à l’impact attendu.
– Le but est concret, mais il n’est pas accessible immédiatement.
• L’objectif : c’est le résultat attendu d’une action. Atteindre
les objectifs doit produire des résultats.
– Les objectifs sont ordonnés dans le temps et dans l’espace : on parle
alors d’objectifs principaux, de sous-objectifs, etc.
• Les moyens : ce sont les financements, compétences, outils et
méthodes que l’on met en œuvre pour atteindre les objectifs.
– Il est indispensable de mobiliser des moyens et des ressources
Rémi BACHELET
25. Réalisé à partir des travaux du CIEDEL 25
Exemples de projets et de
leur impact
1. Projet d’introduction de la culture attelée
2. Désenclaver un village, quel impact ?
Chapitre 3/5
Rémi BACHELET
26. Réalisé à partir des travaux du CIEDEL 26
Exemple d’un projet d’introduction de la
culture attelée
Ce projet a pour objectif d’introduire la culture
attelée sur la base d’une charrue par exploitation.
– La finalité de promouvoir le développement
économique et social de la zone.
– Le but est de libérer la force de travail des exploitants,
– L’objectif est « un agriculteur, une charrue »
– Les moyens sont : une équipe d’intervenants, un budget
de formation, un bulldozer etc…
Rémi BACHELET
27. Réalisé à partir des travaux du CIEDEL 27
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
28. Réalisé à partir des travaux du CIEDEL 28
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
29. Réalisé à partir des travaux du CIEDEL 29
Exemple de la construction d’un pont
pour désenclaver un village
De nombreux effets découlent de cette action :
1. L’écoulement des productions induit une amélioration de la situation des
personnes ou des groupes qui utilisent cette nouvelle opportunité
des modifications de l’équilibre social.
2. La vente du bois de chauffe, des produits de cueillette/chasse, des déchets
de cultures devient rentable ; ceci augmente la pression sur
l’environnement.
3. Les visites plus fréquentes des ressortissants du village installés en ville
provoquent des changements culturels, surtout auprès des jeunes.
4. Des commerçants viennent s’installer et concurrencent l’épicier local qui
doit
• Fermer
• Arrêter son rôle d’usurier : nouveaux circuits de financement.
• Quel est au final, l’impact ?
Rémi BACHELET
30. Réalisé à partir des travaux du CIEDEL 30
Source : Prise en compte de l’impact et construction
d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDEL
Rémi BACHELET
31. Réalisé à partir des travaux du CIEDEL 31
Construire des indicateurs
1. De quoi s'agit-il ?
2. Exercice de construction d’indicateurs d’impact
3. Autres concepts utiles en évaluation
Chapitre 4/5
Rémi BACHELET
32. Réalisé à partir des travaux du CIEDEL 32
L'impact résulte de la combinaison des
effets
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
33. Réalisé à partir des travaux du CIEDEL 33
Que sont des indicateurs d’impact ?
Ce sont des signes vérifiables et mesurables qui,
par comparaison à une référence, permettent de
porter une appréciation
Rémi BACHELET
34. Réalisé à partir des travaux du CIEDEL 34
L'impact anticipé permet de trouver des
indicateurs
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
indicateur
35. Réalisé à partir des travaux du CIEDEL 35
Conception des indicateurs
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
36. Réalisé à partir des travaux du CIEDEL 36
Conception des indicateurs
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
On travaille de manière déductive
37. Réalisé à partir des travaux du CIEDEL 37
Utilisation des indicateurs
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
38. Réalisé à partir des travaux du CIEDEL 38
Utilisation des indicateurs
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDELRémi BACHELET
On travaille de manière inductive
39. Réalisé à partir des travaux du CIEDEL 39
Exercice de construction d’indicateurs
d’impact
• L’action consiste à former le personnel soignant qui formera à
son tour des personnes du corps médical (médecins, sages-
femmes…)
– La finalité est la dignité et l’amélioration des conditions de vie des
populations ;
– Les résultats attendus sont le nombre de formés et l’état des lieux du
système de santé régional ;
– Les effets sur les formateurs et les formés sont entre autres :
1. Amélioration du statut social
2. Amélioration de la situation économique,
Quels sont les indicateurs à proposer pour 1 et 2 ?
Détaillez pour 1 et 2… et si vous avez le temps développez d’autres
indicateurs : meilleur état sanitaire des populations, moins d’absentéisme au
travail, meilleures pratiques médicales des formés, amélioration des
programmes pédagogiques de santé
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren CIEDEL
Proposé à partir de l’exercice d’application réalisé par Mlle Laëtitia
TANKWE.Rémi BACHELET
40. Réalisé à partir des travaux du CIEDEL 40
Trouver des indicateurs appropriés
Source : Prise en compte de l’impact et construction d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren
CIEDEL
Proposé à partir de l’exercice d’application réalisé par Mlle Laëtitia
TANKWE.
Rémi BACHELET
41. Réalisé à partir des travaux du CIEDEL 41
Calibrage des indicateurs
• Ce n'est pas parce qu'un indicateur est quantifié qu'il a du
sens
– Une augmentation de revenus de 5%, est-ce "peu" ? "beaucoup" ?
• Il faut donc pouvoir interpréter chaque indicateur selon
l’importance relative qu’on lui reconnaît
– par une valeur entre 0% et 100%.
– Plus un indicateur se rapproche de 100%, plus on peut conclure
que l’impact idéal est atteint.
Quels sont les calculs à proposer ?
détaillez pour 1 et 2
Rémi BACHELET
42. Réalisé à partir des travaux du CIEDEL 42
Application des indicateurs :
amélioration du statut social
Indicateur : Nombre d’invitations à des fêtes traditionnelles
pour les formateurs.
– Sachant qu’il y a 7 jours dans la semaine et en supposant qu’il y ait
une fête traditionnelle par village et par soir, on associera la valeur
maximale possible de l’indicateur à 7 invitations par semaine et la
valeur 0 correspondra à aucune invitation.
– Avant l’action, les formateurs étaient invités en moyenne une fois
par semaine, après la formation ce nombre s’élève à quatre
invitations.
La valeur affectée à ce critère est donc : (4 - 1) / 7 = 57%
Rémi BACHELET
43. Réalisé à partir des travaux du CIEDEL 43
Application des indicateurs :
amélioration du statut économique.
Indicateur : Augmentation des salaires.
– Une augmentation de salaire est significative si elle est supérieure au taux
d’inflation.
• Le taux d’inflation sur l’année s’élevait à 4,5 %. La valeur 0 sera donc associée
à un taux de croissance du salaire nominal inférieur ou égal à 4,5 %,
• Calibrage :
– Un doublement des salaires sera associé à la valeur 100% de l’indicateur.
– Une augmentation de 50 % du salaire est un seuil psychologique au-delà duquel
l’augmentation est jugée moins significative, nous lui affecterons la valeur 0,8.
Si l’augmentation des salaires est de 17 %, l’indicateur calculé est 20%
• (17-4,5)*0,8/50 = 20%
Rémi BACHELET
44. Réalisé à partir des travaux du CIEDEL
Exemple d’indicateurs d’impact pour
la valorisation d’un projet
44Rémi BACHELET Utiliser ce modèle : http://goo.gl/LxQnz
45. Réalisé à partir des travaux du CIEDEL 45
Suivre et valoriser une
évaluation
1. La négociation des objectifs
2. À quoi sert l’évaluation ?
3. Bonnes pratiques
– Qu’est-ce qui fait qu’une évaluation marche ?
4. Autres concepts utiles
Chapitre 5/5
Rémi BACHELET
46. Réalisé à partir des travaux du CIEDEL
La négociation des objectifs
• Se conduit avec les différents clients/partenaires
du projet
• Permet de clarifier les attentes de chacun
– Une colonne pour chaque client
– Une priorisation des attentes : hiérarchiser ce qui est
• bien / très bien / moyen / résultat minimum acceptable …
• Revenir régulièrement sur cette matrice lors des
réunions de suivi
46Rémi BACHELET
47. Réalisé à partir des travaux du CIEDEL
Exemple de matrice d’objectifs
48. Réalisé à partir des travaux du CIEDEL 48
À quoi sert l’évaluation ? (1/2)
• Contrôler
– … si ce qui a été prévu a été réalisé, vérifier comment le
financement a été utilisé
• S’améliorer
– Faire mieux la prochaine fois
• Piloter
– Indique ce qui a marche ou pas, permet de ne pas refaire
les mêmes erreurs, régulation en cours de projet
• Capitaliser
– Mémoriser l’expérience, la transformer en savoir
partageable
Rémi BACHELET
49. Réalisé à partir des travaux du CIEDEL 49
À quoi sert l’évaluation ? (2/2)
• Former
– Si l’évaluation est participative ou une auto-évaluation,
elle permet aux acteurs de progresser
• Communiquer
– Sur les actions, leur résultat, leur impact
• Faire participer
– Si les termes de référence sont construits et négociés
• Mais aussi
– Mesurer, apprécier l’impact réel, obliger à réfléchir avant
d’agir, connaître ses faiblesses, se valoriser, motiver,
Rémi BACHELET
50. Réalisé à partir des travaux du CIEDEL 50
À votre avis, qu’est-ce qui fait qu’une
évaluation marche bien ou mal ?
Selon :
– Les intentions des acteurs
• Volonté de changement ? Craintes ?
– L’équipe-projet
• Ouverte ? Sécurisée ?
– Les convergences d’intérêts des acteurs
• Concertation ? Négociation ?
– Le type de management
• Autoritaire ? Partenariat ?
– L’importance accordée à l’évaluation
• Durée ? Moyens ? Temps d’échanges ?
– Ce qui se passe après l’évaluation
• Des moyens pour appliquer les conclusions, une valorisation, une corvée ?
Rémi BACHELET
51. Réalisé à partir des travaux du CIEDEL 51
Source : « suivre et valoriser une évaluation »
Christophe Mestre
CIEDELRémi BACHELET
52. Réalisé à partir des travaux du CIEDEL 52
Source : « suivre et valoriser une évaluation »
Christophe Mestre
CIEDELRémi BACHELET
53. Réalisé à partir des travaux du CIEDEL 53
Autres concepts utiles en
évaluation
Rémi BACHELET
54. Réalisé à partir des travaux du CIEDEL 54
Les termes de référence
• Établis au début du projet.
– Ils permettent de délimiter le champ de l’évaluation et d’en préciser
les objectifs = ce que l’on cherche à savoir sur une action.
• Ils sont formulés à partir d’un questionnement sur l’action
prévue
• origine,
• conception, financement
• déroulement,
• résultats attendus...
– Voir Guide méthodologique : La préparation collective des termes de
référence d’une évaluation
Rémi BACHELET
55. Réalisé à partir des travaux du CIEDEL 55
Les critères
• Les “angles de vue” sous lesquels on évalue l’action.
• Les critères les plus courants sont :
1. l’efficacité : compare les résultats aux objectifs prévus (en quantité et
en qualité),
2. l’efficience : compare les résultats avec les ressources utilisées
(moyens humains et matériels),
3. la soutenabilité : l’action est durable (elle se poursuit de manière
autonome sans appui extérieur),
– La méthodologie de mise en œuvre des critères est également
développée dans la vidéo formation au brainstorming.
– D’autres critères peuvent être utilisés : participation,
environnement, cohérence avec d’autres projets, etc…
Rémi BACHELET
56. Réalisé à partir des travaux du CIEDEL 56
Questions ?
Pour approfondir :
– Économie de l’évaluation : Analyse coût-bénéfice
– L’évaluation d’un site internet : Web analytics
– Trouver les indicateurs : Méthodes de recueil de données
4 grandes familles de méthodes
1. Les entretiens
2. Les questionnaires
3. L’analyse de données secondaires
4. L’observation directe
Rémi BACHELET