Projet evaluation impact
Upcoming SlideShare
Loading in...5
×
 

Projet evaluation impact

on

  • 1,000 views

 

Statistics

Views

Total Views
1,000
Views on SlideShare
997
Embed Views
3

Actions

Likes
0
Downloads
33
Comments
0

3 Embeds 3

http://www.scoop.it 1
http://www.linkedin.com 1
https://www.linkedin.com 1

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

CC Attribution-NonCommercial-ShareAlike LicenseCC Attribution-NonCommercial-ShareAlike LicenseCC Attribution-NonCommercial-ShareAlike License

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Projet evaluation impact Projet evaluation impact Presentation Transcript

    • Lévaluation des projets : indicateurs d’impact Mise à jour du 27 mars 2012 Rémi Bachelet Ce cours « l’évaluation des projets » est disponible iciCours distribué sous licenceCreative Commons,selon les conditions suivantes : Source : imageÉcole Centrale de LilleCité ScientifiqueBP 48 F-59651 Villeneuve d’Ascq Cedex Source des images indiquées au-dessous ou CIEDEL Réalisé à partir des travaux du en cliquant sur l’image 1
    • Objectifs Au terme de cette présentation, vous devez pouvoir évaluer l’impact d’un projet : 1. Préparer, négocier et réaliser lévaluation: – Connaître les « bonnes pratiques » – Des exemples, tirés de projets dont l’impact est particulièrement important (projets de développement durable) sont donnés et signalés par : 2. Savoir construire et calibrer des indicateurs d’impact 3. Comprendre et pouvoir partager des concepts-clés (Présentés sur la page suivante) Lightbulb Jon Phillips public-domain-photos.comRémi BACHELET Réalisé à partir des travaux du CIEDEL 2
    • Évaluation d’impact : concepts-clés Finalité moyens Situation de référence Action Résultats buts suivi Effets Impact Objectifs IndicateursRémi BACHELET Réalisé à partir des travaux du CIEDEL 3
    • Le cycle des opérations Décision sur la manière d’utiliser les résultats dans les projets Plan Domaines futurs Programmation Stratégique prioritaires, Objectifs globaux Rapport d’évaluation, audit … Livraison Identification Décision de continuer Etude de faisabilité, ou de réorienter le projet Termes de référence (évaluations intermédiaires) Mise en œuvre Formulation Go/no-Go Etude de montage Rapports d’avancement Décision de financement Adapté de : http://democratie.francophonie.org/IMG/ppt/Gestion_cyclRémi BACHELET Réalisé à partir des travaux du CIEDEL e_de_projet_et_cadre_logique.ppt 4
    • Chapitre 1/5 Fondamentaux de lévaluation 1. Lévaluation des résultats, des effets, de limpact 2. Apprécier l’impact : un exercice complexeRémi BACHELET Réalisé à partir des travaux du CIEDEL 5
    • Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 6
    • Définitions Résultats = changements produits directement par l’action – A comparer avec les objectifs formalisés avant le lancement du projet. Effets = incidences directes et indirectes de l’action – Résultats de l’action mais aussi dautres dynamiques / contraintes provenant du milieu (physique et humain). – Les effets peuvent être anticipés, mais avec une marge d’incertitude = P.e. objectifs propres des populations . Impact = situation finale à la suite de l’action – Prévoir l’impact présente encore plus de difficultés, car de nombreux facteurs indépendants du projet peuvent se combiner avec les résultats et les effets de l’action. – Le temps est également un facteur, car limpact se juge à termeRémi BACHELET Réalisé à partir des travaux du CIEDEL 7
    • Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 8
    • Lévaluation des résultats Au vu des objectifs initiaux de l’action, comparer : – les objectifs définis – .. et les résultats atteints Deux visions : – quantitative : écart chiffré entre le prévu et le réalisé (p.e. 3 puits construits au lieu de 4) – qualitative : différence de nature entre le prévu / réalisé (p.e. un forage au lieu d’un puits)Rémi BACHELET Réalisé à partir des travaux du CIEDEL 9
    • Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 10
    • Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 11
    • Lévaluation des effets L’évaluation des effets porte sur l’interaction entre l’action et l’environnement du projet. De plus, – Le public concerné par les effets est plus large que le public cible de l’action – Les stratégies menées par les personnes et les populations sont souvent imprévisibles et difficiles à cerner – D’autres actions conduites par d’autres opérateurs ont pu interférer – …Rémi BACHELET Réalisé à partir des travaux du CIEDEL 12
    • Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 13
    • Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 14
    • L’évaluation de l’impact Limpact dun projet est  l’ensemble des changements  …significatifs  …durables  positifs et négatifs  prévus et imprévus  Sur les personnes, les groupes et leur environnement … ayant un lien de causalité avec l’actionRémi BACHELET Réalisé à partir des travaux du CIEDEL 15
    • Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 16
    • Il est difficile d’anticiper l’impact • Impact technique : – attendu : des villageois formés pour l’entretien ; – inattendu : création d’entreprises de réparation des puits dans la zone. • Impact économique : – attendu : la caisse villageoise est alimentée par le paiement de l’eau ; – inattendu : création d’emplois et distribution de revenus à travers les entreprises d’entretien des puits. • Impact social : – attendu : les enfants du village sont en meilleure santé ; – inattendu : les enfants libérés de la corvée d’eau peuvent aller à l’école. • Impact financier : – attendu : constitution d’une caisse pour l’entretien des puits ; – inattendu : détournement pour son profit personnel d’un vendeur d’eau. • Impact organisationnel : – attendu : constitution des comités de gestion ; – inattendu : certains comités de gestion des puits s’occupent aussi de la gestion du potager de l’école. Source : Lévaluation un outil au service de laction Marie-Christine Guéneau- Etienne BeaudouxRémi BACHELET IRAM Réalisé à partir des travaux du CIEDEL 17
    • Chapitre 2/5 Le processus d’évaluation 1. Modalités de suivi et de construction de lévaluation – Situation de référence – Moyens, objectifs, buts et finalité 2. Moyens, objectifs, buts et finalité de l’actionRémi BACHELET Réalisé à partir des travaux du CIEDEL 18
    • La situation de référence est à diagnostiquer au départ Sur toutes les activités qui seront touchées par le projet : 1. Quelle est la situation de départ ? (attention, les personnes concernées dépassent le public défini a priori comme « client »). 2. Qui sont les acteurs ? – leaders, – groupes et groupements, – fonctionnaires et agents de tutelle, – opérateurs économiques, – représentants de cultes, etc. .. analyser leurs zones dincertitudes et anticiper leurs stratégies (voir cours d’analyse stratégique des projets)Rémi BACHELET Réalisé à partir des travaux du CIEDEL 19
    • Le suivi – évaluation • Les jalons et réunions de suivi du projet prévoient de procéder régulièrement à des évaluations. • Elles peuvent être des réunions de chantier, auto-évaluations, évaluations externes, etc… on peut évaluer les effets, mais aussi le dispositif lui-même. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 20
    • Le suivi-capitalisation Collecter et analyser régulièrement “l’information utile à l’action”. – Levez le nez de l’action et prenez le temps d’observer = écoute et distanciation. – Informez-vous sur l’évolution des autres actions en cours sur la zone d’activité. – Triez, notez, conservez par écrit les éléments repérés pour éviter qu’ils ne soient oubliés. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 21
    • Moyens, objectifs, buts et finalité de l’action (1/2) Près d’un village, un groupe d’hommes travaille. Quatre hommes préparent du banco : ils mélangent de la terre, du fumier et de l’eau, qu’ils moulent ensuite pour faire des briques. • A la question “Que faites-vous ?”, – le premier répond : “Avec mes mains, je prends du banco et je le mets dans ce moule en tassant bien”. – le second indique : “Je fabrique des briques de banco pour construire les murs d’un bâtiment”. – La troisième personne dit : “Je participe à l’installation d’une école dans le village”. – La quatrième renchérit : “J’oeuvre pour la promotion de nos enfants par l’accès au savoir”Rémi BACHELET Réalisé à partir des travaux du CIEDEL 22
    • Moyens, objectifs, buts et finalité de l’action (2/2) • Faire des briques avec un moule est le moyen. • Construire le bâtiment est l’objectif. • Avoir une école dans le village est le but. • Assurer la promotion des enfants est la finalité.Rémi BACHELET Réalisé à partir des travaux du CIEDEL 23
    • • La finalité : c’est l’idéal abstrait vers lequel on tend. La finalité ne se décrit pas, elle n’est pas “photographiable” ; elle est immatérielle et fait souvent référence à des valeurs : – la dignité, la liberté, l’égalité, etc. • Le but : c’est la matérialisation de la finalité que l’on se donne, normalement il correspond à l’impact attendu. – Le but est concret, mais il n’est pas accessible immédiatement. • L’objectif : c’est le résultat attendu d’une action. Atteindre les objectifs doit produire des résultats. – Les objectifs sont ordonnés dans le temps et dans l’espace : on parle alors d’objectifs principaux, de sous-objectifs, etc. • Les moyens : ce sont les financements, compétences, outils et méthodes que l’on met en œuvre pour atteindre les objectifs. – Il est indispensable de mobiliser des moyens et des ressourcesRémi BACHELET Réalisé à partir des travaux du CIEDEL 24
    • Chapitre 3/5 Exemples de projets et de leur impact 1. Projet d’introduction de la culture attelée 2. Désenclaver un village, quel impact ?Rémi BACHELET Réalisé à partir des travaux du CIEDEL 25
    • Exemple d’un projet d’introduction de la culture attelée Ce projet a pour objectif d’introduire la culture attelée sur la base d’une charrue par exploitation. – La finalité de promouvoir le développement économique et social de la zone. – Le but est de libérer la force de travail des exploitants, – L’objectif est « un agriculteur, une charrue » – Les moyens sont : une équipe d’intervenants, un budget de formation, un bulldozer etc…Rémi BACHELET Réalisé à partir des travaux du CIEDEL 26
    • Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 27
    • Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 28
    • Exemple de la construction d’un pont pour désenclaver un village De nombreux effets découlent de cette action : 1. L’écoulement des productions induit une amélioration de la situation des personnes ou des groupes qui utilisent cette nouvelle opportunité des modifications de l’équilibre social. 2. La vente du bois de chauffe, des produits de cueillette/chasse, des déchets de cultures devient rentable ; ceci augmente la pression sur l’environnement. 3. Les visites plus fréquentes des ressortissants du village installés en ville provoquent des changements culturels, surtout auprès des jeunes. 4. Des commerçants viennent s’installer et concurrencent l’épicier local qui doit • Fermer • Arrêter son rôle d’usurier : nouveaux circuits de financement. • Quel est au final, l’impact ?Rémi BACHELET Réalisé à partir des travaux du CIEDEL 29
    • Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET Réalisé àCIEDEL travaux du CIEDEL partir des 30
    • Chapitre 4/5 Construire des indicateurs 1. De quoi sagit-il ? 2. Exercice de construction d’indicateurs d’impact 3. Autres concepts utiles en évaluationRémi BACHELET Réalisé à partir des travaux du CIEDEL 31
    • Limpact résulte de la combinaison des effets Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 32
    • Que sont des indicateurs d’impact ? Ce sont des signes vérifiables et mesurables qui, par comparaison à une référence, permettent de porter une appréciationRémi BACHELET Réalisé à partir des travaux du CIEDEL 33
    • Limpact permet de trouver des indicateurs indicateur Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 34
    • Conception des indicateurs Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 35
    • Conception des indicateurs On travaille de manière déductive Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 36
    • Utilisation des indicateurs Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 37
    • Utilisation des indicateurs On travaille de manière inductive Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas HeerenRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 38
    • Exercice de construction d’indicateurs d’impact • L’action consiste à former le personnel soignant qui formera à son tour des personnes du corps médical (médecins, sages- femmes…) – La finalité est la dignité et l’amélioration des conditions de vie des populations ; – Les résultats attendus sont le nombre de formés et l’état des lieux du système de santé régional ; – Les effets sur les formateurs et les formés sont entre autres : 1. Amélioration du statut social 2. Amélioration de la situation économique, Quels sont les indicateurs à proposer pour 1 et 2 ? Détaillez pour 1 et 2… et si vous avez le temps développez d’autres indicateurs : meilleur état sanitaire des populations, moins d’absentéisme au travail, meilleures pratiques médicales des formés, amélioration des programmes pédagogiques de santé Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Proposé à partir de l’exercice d’application réalisé par Mlle LaëtitiaRémi BACHELET TANKWE. Réalisé à partir des travaux du CIEDEL 39
    • Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Proposé à partir de l’exercice d’application réalisé par Mlle Laëtitia TANKWE.Rémi BACHELET Réalisé à partir des travaux du CIEDEL 40
    • Calibrage des indicateurs • Ce nest pas parce quun indicateur est quantifié quil a du sens – Une augmentation de revenus de 5%, est-ce "peu" ? "beaucoup" ? • Il faut donc pouvoir interpréter chaque indicateur selon l’importance relative qu’on lui reconnaît – par une valeur entre 0% et 100%. – Plus un indicateur se rapproche de 100%, plus on peut conclure que l’impact idéal est atteint. Quels sont les calculs à proposer ? détaillez pour 1 et 2Rémi BACHELET Réalisé à partir des travaux du CIEDEL 41
    • Application des indicateurs : amélioration du statut social Indicateur : Nombre d’invitations à des fêtes traditionnelles pour les formateurs. – Sachant qu’il y a 7 jours dans la semaine et en supposant qu’il y ait une fête traditionnelle par village et par soir, on associera la valeur maximale possible de l’indicateur à 7 invitations par semaine et la valeur 0 correspondra à aucune invitation. – Avant l’action, les formateurs étaient invités en moyenne une fois par semaine, après la formation ce nombre s’élève à quatre invitations. La valeur affectée à ce critère est donc : (4 - 1) / 7 = 57%Rémi BACHELET Réalisé à partir des travaux du CIEDEL 42
    • Application des indicateurs : amélioration du statut économique. Indicateur : Augmentation des salaires. – Une augmentation de salaire est significative si elle est supérieure au taux d’inflation. • Le taux d’inflation sur l’année s’élevait à 4,5 %. La valeur 0 sera donc associée à un taux de croissance du salaire nominal inférieur ou égal à 4,5 %, • Calibrage : – Un doublement des salaires sera associé à la valeur 100% de l’indicateur. – Une augmentation de 50 % du salaire est un seuil psychologique au-delà duquel l’augmentation est jugée moins significative, nous lui affecterons la valeur 0,8. Si l’augmentation des salaires est de 17 %, l’indicateur calculé est 20% • (17-4,5)*0,8/50 = 20%Rémi BACHELET Réalisé à partir des travaux du CIEDEL 43
    • Chapitre 5/5 Suivre et valoriser une évaluation 1. La négociation des objectifs 2. À quoi sert l’évaluation ? 3. Bonnes pratiques – Qu’est-ce qui fait qu’une évaluation marche ? 4. Autres concepts utilesRémi BACHELET Réalisé à partir des travaux du CIEDEL 44
    • La négociation des objectifs • Se conduit avec les différents clients/partenaires du projet • Permet de clarifier les attentes de chacun – Une colonne pour chaque client – Une priorisation des attentes : hiérarchiser ce qui est • bien / très bien / moyen / résultat minimum acceptable … • Revenir régulièrement sur cette matrice lors des réunions de suiviRémi BACHELET Réalisé à partir des travaux du CIEDEL 45
    • Exemple de matrice d’objectifs Réalisé à partir des travaux du CIEDEL
    • À quoi sert l’évaluation ? (1/2) • Contrôler – … si ce qui a été prévu a été réalisé, vérifier comment le financement a été utilisé • S’améliorer – Faire mieux la prochaine fois • Réguler – Indique ce qui a marche ou pas, permet de ne pas refaire les mêmes erreurs, guide le pilotage en cours de projet • Capitaliser – Mémoriser l’expérience, la transformer en savoir partageableRémi BACHELET Réalisé à partir des travaux du CIEDEL 47
    • À quoi sert l’évaluation ? (2/2) • Former – Si l’évaluation est participative ou une auto-évaluation, elle permet aux acteurs de progresser • Communiquer – Sur les actions, leur résultat, leur impact • Faire participer – Si les termes de référence sont construits et négociés • Mais aussi – Mesurer, apprécier l’impact réel, obliger à réfléchir avant d’agir, connaître ses faiblesses, se valoriser, motiver,Rémi BACHELET Réalisé à partir des travaux du CIEDEL 48
    • À votre avis, qu’est-ce qui fait qu’une évaluation marche bien ou mal ? Selon : – Les intentions des acteurs • Volonté de changement ? Craintes ? – L’équipe-projet • Ouverte ? Sécurisée ? – Les convergences d’intérêts des acteurs • Concertation ? Négociation ? – Le type de management • Autoritaire ? Partenariat ? – L’importance accordée à l’évaluation • Durée ? Moyens ? Temps d’échanges ? – Ce qui se passe après l’évaluation • Des moyens pour appliquer les conclusions, une valorisation, une corvée ?Rémi BACHELET Réalisé à partir des travaux du CIEDEL 49
    • Source : « suivre et valoriser une évaluation » Christophe MestreRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 50
    • Source : « suivre et valoriser une évaluation » Christophe MestreRémi BACHELET CIEDEL Réalisé à partir des travaux du CIEDEL 51
    • Autres concepts utiles en évaluationRémi BACHELET Réalisé à partir des travaux du CIEDEL 52
    • Les termes de référence • Établis au début du projet. – Ils permettent de délimiter le champ de l’évaluation et d’en préciser les objectifs = ce que l’on cherche à savoir sur une action. • Ils sont formulés à partir d’un questionnement sur l’action prévue • origine, • conception, financement • déroulement, • résultats attendus... – Voir Guide méthodologique : La préparation collective des termes de référence d’une évaluationRémi BACHELET Réalisé à partir des travaux du CIEDEL 53
    • Les critères • Les “angles de vue” sous lesquels on évalue l’action. • Les critères les plus courants sont : 1. l’efficacité : compare les résultats aux objectifs prévus (en quantité et en qualité), 2. l’efficience : compare les résultats avec les ressources utilisées (moyens humains et matériels), 3. la soutenabilité : l’action est durable (elle se poursuit de manière autonome sans appui extérieur), – La méthodologie de mise en œuvre des critères est également développée dans la vidéo formation au brainstorming. – D’autres critères peuvent être utilisés : participation, environnement, cohérence avec d’autres projets, etc…Rémi BACHELET Réalisé à partir des travaux du CIEDEL 54
    • Questions ? Pour approfondir : – Économie de l’évaluation : Analyse coût-bénéfice – L’évaluation d’un site internet Web analytics – Trouver les indicateurs Méthodes de recueil de données 4 grandes familles de méthodes 1. Les entretiens 2. Les questionnaires 3. L’analyse de données secondaires 4. L’observation directeRémi BACHELET Réalisé à partir des travaux du CIEDEL 55