Formation-action nationale à                     destination des cadres des services                            sociaux de...
Objectifs         •Permettre aux cadres de proximité de trouver leur place,          au cœur des démarches d’évaluation, e...
Roue de Deming© Picarré Associés                3
Programme         •Jour 1 : Planifier : L’évaluation en appui de la         stratégie de projet et de ses acteurs         ...
Les étapes de la formationJour 1 et 2                         Jour 3 et 41.   Le contexte de                 1.   Le référ...
L’évaluation?Pour situer l’évaluation dans notre              contexte                                      6
La loi 2-2002•Loi du 2 janvier 2002 rénovant l’action sociale et médico sociale   –L’évaluation au-delà du contrôle: son o...
Démarche qualité ou évaluation                                            ? La démarche qualité décline des processus  op...
Pourquoi et Pour qui Evaluer?   trois buts classiques d’une évaluation,      Renforcer ses savoir-faire en terme d’impac...
Une évaluation au service du                                                       projet         • Un projet a une finali...
Les étapes de la formationJour 1 et 2                         Jour 3 et 41.   Le contexte de l’évaluation    1.   Le référ...
L’évaluationPour valoriser un projet?                                 12
Quoi évaluer?, un projet ou un                                         service Un projet n’est que la suite d’un autre…  ...
Urgent et Important Est important:     Ce qui fait partie de ma mission     Ce qui contribue à l’atteinte de mes object...
« La Matrice d’Eisenhower »                +        2                        1                         Stratégique:       ...
La Matrice Priorité 1 : Les problèmes (Urgent et Important)          Cela ne peut attendre, il faut agir immédiatement. ...
Choix du projet          • Choisissez un projet qui rentre dans la case 2          • Et essayez de répondre aux questions ...
L’évaluation des politiques                        ou programmes publics© Picarré Associés                            18
Quelle évaluation pour quel projet?                       Finalité: Quel Impact?                     Contexte             ...
Les étapes de la formationJour 1 et 2                         Jour 3 et 41.   Le contexte de l’évaluation    1.   Le référ...
La planification de l’évaluation                                   21
La planification de                                                              lévaluation: trois axes                 •...
Le chemin de l’évaluation: pour s’assurer                                         qu’on se dirige vers où on veut arriver ...
Les étapes de la formationJour 1 et 2                         Jour 3 et 41.   Le contexte de l’évaluation    1.   Le référ...
La prise en compte des                                        acteurs                     Pour une démarche participative ...
Les acteurs de l’évaluation                                  engendrent la complexité       •Les promoteurs: ceux, qui en ...
Créer une vision commune       •Identifier notre vision du projet futur           –Que souhaitons nous faire, quelle est l...
La vision de chacun:                                       Promoteur      Gestionnaire   Réalisateur   Destinataire       ...
Une vision partagée et des options                                            stratégiques                                ...
Des options stratégiques                      à la définition d’objectifs       • Les options stratégiques sont difficilem...
Diagramme des objectifs et des                                     effets attendus      Objectif      général:      Vision...
Les étapes de la formationJour 1 et 2                         Jour 3 et 41.   Le contexte de l’évaluation    1.   Le référ...
Les perspectives d’actions Pour s’assurer de l’atteinte desobjectifs général et intermédiaires                            ...
L’analyse des forces, faiblesses, opportunités,                                                              menaces      ...
Description méthode FFOM              •Une vision est évidemment nécessaire avant tout travail de planification Si c’est u...
Logique dutilisation de lanalyse SWOT dans le domaine                     stratégique (Selon "Stratégique" - édition Pears...
Analyse stratégique : Analyse                                                   FFOM                     FORCES           ...
Les étapes de la formationJour 1 et 2                        Jour 3 et 41.   Le contexte de l’évaluation   1.   Le référen...
La collecte et l’analyse               des donnéesPour définir la base de départ etse donner les moyens d’évaluer         ...
Quelles données à prendre en                                          compte? Ces données doivent nous permettre de    R...
Les collectes de données Les méthodes quantitatives produisent des données (numériques)  quantitatives relativement facil...
Les outils d’évaluation              Entretien individuel               Lentretien individuel permet de collecter auprès ...
Les étapes de la formationJour 1 et 2                         Jour 3 et 41.   Le contexte de l’évaluation    1.   Le référ...
La structuration d’un                    référentielPour définir les modalités et lesindicateurs qui devront être pris    ...
Construire le référentiel       •Le référentiel est une déclinaison du projet et permet de structurer la démarché       év...
Le RéférentielFinalité                           Visio                                     nOptions                       ...
Le référentiel:                                                     Vision: ……………………………               Options             ...
Types d’indicateurs              • Indicateurs de contexte: situation du contexte dans lequel                l’action inte...
Des indicateurs qualitatifs et                                       quantitatifs Ils permettent de répondre aux question...
Types d’indicateurs SMART et                                         SPICED    Quantitatif                                ...
Le référentiel:                          Vision: ……………………………:                                                           Él...
Les étapes de la formationJour 1 et 2                         Jour 3 et 41.   Le contexte de l’évaluation    1.   Le référ...
L’évaluation d’impactPour convaincre et persuader                               53
La mise en œuvre d’une                           évaluation d’impact Elle se planifie le plus en amont possible Elle per...
Les méthodes spécifiques L’utilisation des données disponibles sur le groupe cible avant et après le projet,  « l’assigna...
Les étapes de la formationJour 1 et 2                         Jour 3 et 41.   Le contexte de l’évaluation    1.   Le référ...
Analyser           57
Analyser et comprendre les                                données• Identifier les écarts et en déterminer les causes  –Les...
Piloter les actions correctives•    L’analyse des données doit être co construite•    Les actions correctives portées par ...
Les étapes de la formationJour 1 et 2                         Jour 3 et 41.   Le contexte de l’évaluation    1. Le référen...
Le changement commephénomène systémique, Crozier                                61
Et accompagner le changement Les acteurs approuvent les résultats et les  recommandations et sont disposées à les  valori...
Le changement?•Le changement est omniprésent,                                                                    c’est la ...
Le postulat initial qui fonde l’approche sociologique :               une organisation ne fonctionne jamais uniquement sel...
Les systèmes d’action• Est un ensemble humain structuré •     Qui coordonne les actions de ses participants •     Par des ...
Toute organisation constitue un                                         système d’action•Où les règles de pouvoir s’impose...
L’implication des acteurs dans                                    un projet              La coordination                  ...
Créer les conditions de la coopération, c’est agir        sur les dimensions organisationnelles et                        ...
La socio-dynamique     Synergie                                                  • Les Passifs = ils font le minimum      ...
La Carte de partenaires:                                       pour décoder puis agir        L’individu                 L’...
Les étapes de la formationJour 1 et 2                         Jour 3 et 41.   Le contexte de l’évaluation    1.   Le référ...
Communiquer              72
La communication au service de            l’évaluation continueLe véritable voyage de découverte neconsiste pas à chercher...
La roue de l’apprentissage                                              individuel•Une interaction entre action et réflexi...
Les quatre styles d’apprentissages                               de Kolb•Kolb a donné un nom aux différents types d’appren...
Le divergent Il préfère les phases d’ expérience concrète et de réflexion sur cette  expérience. Les divergents s’intéres...
Lassimilateur Il préfère les phases de réflexion sur une expérience et de  conceptualisation abstraite et théorique d’une...
Le convergent Il préfère les phases de conceptualisation abstraite et théorique de  l’expérience et de mise en applicatio...
Laccommodateur Il préfère les phases d’expérience concrète et de mise en application  de l’idée/action fondée sur cette e...
Exemple• Vous voulez montrer à une employée comment faire des recherches et  rédiger un rapport, ce qu’elle n’a jamais fai...
La roue de l’apprentissage                                         collectif +         Actions           coordonnées      ...
La communication de                                  l’évaluation• Toujours resituer l’étape                            1=...
Dans une posture d ’évaluation en                        continu dialogique• La communication – Institutionnelle doit être...
La matrice de la communication Quelle communication à quel moment?   Définir l’objectif: décider ou informer, expliquer,...
Les étapes de la formationJour 1 et 2                         Jour 3 et 41.   Le contexte de l’évaluation    1.   Le référ...
Mon plan d’actions Ce que j’ai appris……………………………………………. Ce que j’ai ressenti…………………………………………………… Ce que je vais mettre ...
Upcoming SlideShare
Loading in...5
×

Formation evaluation v4

1,303

Published on

a training program on participative evaluation in French

Published in: Education
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,303
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
0
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Transcript of "Formation evaluation v4"

  1. 1. Formation-action nationale à destination des cadres des services sociaux des CARSAT/CRAM Lévaluation au service du management Évaluer évite d’être dans la nuit où les vaches sont noires, Hegel catherine.snyers@picarre.com 06 80 45 01 02© Picarré Associés 1
  2. 2. Objectifs •Permettre aux cadres de proximité de trouver leur place, au cœur des démarches d’évaluation, en qualité de partenaires stratégiques, à l’interface des donneurs d’ordre, des professionnels de leur équipe et des usagers ; •Développer la connaissance et la compréhension des processus d’évaluation (vision macro, interne et externe à l’institution) dans une logique d’intervention et d’aide à la décision ; •Concevoir, piloter, mettre en œuvre un dispositif d’évaluation interne ; •Mieux intégrer les évaluations, dans un contexte institutionnel, en évolution permanente.© Picarré Associés 2
  3. 3. Roue de Deming© Picarré Associés 3
  4. 4. Programme •Jour 1 : Planifier : L’évaluation en appui de la stratégie de projet et de ses acteurs •Jour 2 : Développer : la mise en œuvre de la démarche évaluative •Jour 3 : Contrôler : L’évaluation au service du management •Jour 4 : Ajuster : L’évaluation au service de l’action© Picarré Associés 4
  5. 5. Les étapes de la formationJour 1 et 2 Jour 3 et 41. Le contexte de 1. Le référentiel et les l’évaluation indicateurs2. Evaluation et projet 2. L’évaluation d’impact3. La planification de 3. Analyser l’évaluation 4. Les actions correctives4. La participation des et le changement parties prenantes 5. Communiquer pour5. Les perspectives d’actions impliquer6. La collecte et l’analyse des 6. Plan d’actions données 5
  6. 6. L’évaluation?Pour situer l’évaluation dans notre contexte 6
  7. 7. La loi 2-2002•Loi du 2 janvier 2002 rénovant l’action sociale et médico sociale –L’évaluation au-delà du contrôle: son objet est d’évaluer les « bonnes pratiques professionnelles » –Usagers au centre des actions: •Droit des usagers •Association de tous les acteurs –Obligation d’évaluation •Interne tous les 5 ans •Externe tous les 7 ans –Impact: renouvellement d’autorisation des établissements et services mentionnés dans L 312-1 du CASF –Création de l’ANESM •Guide méthodologique et site informatif •De l’évaluation des projets à l’évaluation des pratiques, la globalisation d’une démarche qualité, et le lien avec les politiques publiques 7
  8. 8. Démarche qualité ou évaluation ? La démarche qualité décline des processus opérationnels qui visent à obtenir et mesurer la satisfaction des clients en contrôlant la performance de la démarche (efficacité et efficience) La démarche évaluative vise le plus souvent à répondre à des questions stratégiques. L’évaluation est un examen systématique (et aussi objectif que possible) d’un projet prévu, en cours ou achevé. L’évaluation a pour objet  d’apporter une réponse à des questions spécifiques  de porter un jugement d’ensemble sur une opération  d’en tirer des enseignements destinés à améliorer les actions, la planification et les décisions futures. 8
  9. 9. Pourquoi et Pour qui Evaluer? trois buts classiques d’une évaluation,  Renforcer ses savoir-faire en terme d’impact, d’efficacité et d’efficience (comment faire mieux avec les ressources existantes?) ;  Anticiper, prendre du recul  Mesurer les résultats, l’utilité  Négocier  Donner de la valeur/plus-value au service rendu  Partager collectivement ses objectifs et ses connaissances (dans le cadre dun partenariat par exemple) ;  Donner à voir, donner du sens  Partager ses valeurs,  Mobiliser les équipes dans une démarche participative  Valoriser les pratiques  Développer l’apprentissage des parties prenantes  Gérer le développement du projet (dans le cadre dun contrat programme pluriannuel par exemple)  Décider  Mesurer les écarts  Accompagner la stratégie Pour qui:  L’usager  Le donneur d’ordres  Les partenaires  Les équipes  Soi mêmeParce que on se ou on nous pose des questions auxquelles il faut répondre 9
  10. 10. Une évaluation au service du projet • Un projet a une finalité, de lidentification dun besoin a la définition dimpact, que lon qualifie souvent dobjectifs • Une évaluation est un chemin –Ex ante, on évalue le chemin à parcourir: l’étude de faisabilité –In itinere: on sassure que le chemin est toujours adapté –Ex post, on évalue le chemin parcouru: expliquer les écarts • Une évaluation n’est pas que le mesure du changement • Elle nécessite une analyse des éléments évalués «La finalité réelle de l’évaluation est le pouvoir qu’elle permet d’exprimer », Pierre Bourdieu (sociologue)© Picarré Associés 10
  11. 11. Les étapes de la formationJour 1 et 2 Jour 3 et 41. Le contexte de l’évaluation 1. Le référentiel et les2. Evaluation et projet indicateurs3. La planification de 2. L’évaluation d’impact l’évaluation 3. Analyser4. La participation des 4. Les actions correctives parties prenantes et le changement5. Les perspectives d’actions 5. Communiquer pour6. La collecte et l’analyse des impliquer données 6. Plan d’actions 11
  12. 12. L’évaluationPour valoriser un projet? 12
  13. 13. Quoi évaluer?, un projet ou un service Un projet n’est que la suite d’un autre… • Evaluer c’est anticiper! • C’est accompagner une démarche stratégique • C’est se poser des questions et les poser, • comment pourrais je démontrer et mesurer que j’ai atteint mes objectifs? • Et construire les outils évaluatifs qui nous permettront d’y répondre Si le but ultime d’une évaluation est la gestion de l’impact – et cela devrait être ainsi –, celle-ci doit promouvoir la participation des parties prenantes et être orientée vers l’apprentissage. 13
  14. 14. Urgent et Important Est important:  Ce qui fait partie de ma mission  Ce qui contribue à l’atteinte de mes objectifs  Le pilotage  L’accompagnement et le développement des équipes  Ce qu’il vaut mieux faire sans urgence, car cela requiert de la concentration et de l’attention!!! Est urgent:  Les imprévus, les urgences  Toutes actions dont la date limite est proche, si ce n’est pas fait avant la date limite, cela ne sert plus à rien  Les urgences des autres (attention au singe!)  Demande d’un collaborateur, de la direction  Ce qui fait partie de ses objectifs…  Et aussi peut être ce qu’on aurait pu faire avant © Picarré Associés 14
  15. 15. « La Matrice d’Eisenhower » + 2 1 Stratégique: Les problèmes, I Organisationnel l’urgence critique M Existentiel P O 4 3 R Les distractions: Les déviations T poubelle ou plaisir du chronophages, à A lien social déléguer N T© Picarré Associés - URGENT +15
  16. 16. La Matrice Priorité 1 : Les problèmes (Urgent et Important)  Cela ne peut attendre, il faut agir immédiatement. On trouve dans cette case les activités destinées à résoudre les problèmes (disfonctionnements ou crises accidentelles). Priorité 2 : La Stratégie (Important et Non urgent)  Il sagit de préparer lavenir : réflexion stratégique, organisation, prévention, formation, etc. Priorité 3 : Les déviations chronophages (Urgent mais non important)  On trouve ici toutes les perturbations bien connues : visiteurs imprévus, appels téléphoniques, réponses à des courriers, etc…  A déléguer en priorité Priorité 4 : les distractions (Non Urgent et Non important)  Cette case nest jamais vide : courrier, quelques communications téléphoniques, rangement, lectures non professionnelles...  Ce ne sont pas obligatoirement des activités à proscrire mais elles consomment beaucoup de temps.  Elles créent du lien social© Picarré Associés 16
  17. 17. Choix du projet • Choisissez un projet qui rentre dans la case 2 • Et essayez de répondre aux questions suivantes: • Qu’est-ce qui nous a mené à cette situation? • A ce jour, quels ont été les objectifs du projet? • Quelles ont été les actions significatives? Qu’est ce qui a été réalisé? • Quels sont les acteurs?©© Picarré Associés 17
  18. 18. L’évaluation des politiques ou programmes publics© Picarré Associés 18
  19. 19. Quelle évaluation pour quel projet? Finalité: Quel Impact? Contexte Projet© Picarré Associés 19
  20. 20. Les étapes de la formationJour 1 et 2 Jour 3 et 41. Le contexte de l’évaluation 1. Le référentiel et les2. Evaluation et projet indicateurs3. La planification de 2. L’évaluation d’impact l’évaluation 3. Analyser4. La participation des 4. Les actions correctives parties prenantes et le changement5. Les perspectives d’actions 5. Communiquer pour6. La collecte et l’analyse des impliquer données 6. Plan d’actions 20
  21. 21. La planification de l’évaluation 21
  22. 22. La planification de lévaluation: trois axes • Contexte: établir un Diagnostic et définir les acteurs « importants » • Parce qu’il faut comprendre l’environnement du départ pour analyser limpact • Et être en mesure dintégrer dans lanalyse les changements contextuels sur lesquels léquipe projet na pas de pouvoir: Sociétal: législatifs, sociologique Entreprise: moyens,.. Environnement: partenaires,... • Celle qui permettra dintégrer des indicateurs que nous qualifierons de points de vigilance • Impact: donner à voir les effets obtenus • L’impact est défini comme l’ensemble des changements dans les conditions de vie des gens, tels qu’eux-mêmes et les acteurs les perçoivent au moment de l’évaluation, ainsi que tout changement durable dans leur environnement, auxquels le projet a contribué • Celle qui donnera les indicateurs les plus qualitatifs, donc les plus subjectifs • Réalisation du projet: efficacité et efficience de notre projet • Parce qu’il faut anticiper le chemin pour réagir aux imprévus et à la complexité • Celle qui se fera in itinere, avec des indicateurs majoritairement quantitatifs© Picarré Associés 22
  23. 23. Le chemin de l’évaluation: pour s’assurer qu’on se dirige vers où on veut arriver 1.Le périmètre: ce que je veux évaluer 1.Contexte 2.Acteurs 2.Finalité: qualitatif, but de mission, mon étoile polaire…, pour s’assurer d’un voyage efficace 1.La Mienne: quel besoin de l’usager, quel effet attendu? 2.Est-elle partagée par les acteurs? 3.Objectifs: mesurables, mes premiers jalons 1.Effets temps: mes étapes pour tendre vers ma finalité 2.Effet but de système 4.La base de départ ou la collecte des données : qu’il faut mesurer au départ pour pouvoir comparer 1.Données d’activités pertinentes 2.Processus et Procédures existants 3.Textes législatifs 5.Identification des actions existantes et/ou construire pour atteindre les objectifs 1.Effets attendus 2.Eléments de preuve ou de mesure 6.Techniques d’évaluation: s’appliquant des étapes 2 à 5 1.Qualitatives: questionnaires, entretiens, observations, permutation de rôles, Groupes focus.. 2.Quantitatives: Données d’activités, Chiffres Insee, diagnostic territorial, Requêtes Anaiss,…© Picarré Associés 23
  24. 24. Les étapes de la formationJour 1 et 2 Jour 3 et 41. Le contexte de l’évaluation 1. Le référentiel et les2. Evaluation et projet indicateurs3. La planification de 2. L’évaluation d’impact l’évaluation 3. Analyser4. La participation des 4. Les actions correctives parties prenantes et le changement5. Les perspectives d’actions 5. Communiquer pour6. La collecte et l’analyse des impliquer données 6. Plan d’actions 24
  25. 25. La prise en compte des acteurs Pour une démarche participative et la définition des questions clés© Picarré Associés 25
  26. 26. Les acteurs de l’évaluation engendrent la complexité •Les promoteurs: ceux, qui en raison de leur responsabilité institutionnelle, ont le devoir de promouvoir et soutenir les stratégies de développement et de transformation de l’offre de services; •Les gestionnaires: ceux qui ont la tâche de construire les conditions nécessaires à la réalisation des orientations stratégiques établies dans un cadre d’obligations réglementaires, économiques, techniques et organisationnelles; •Les réalisateurs: ceux qui ont le devoir technique de réaliser l’offre de service selon des orientations et des critères préétablis ou fruits d’un accord; •Les destinataires: ceux à qui est destinée prioritairement une offre spécifique de service.© Picarré Associés 26
  27. 27. Créer une vision commune •Identifier notre vision du projet futur –Que souhaitons nous faire, quelle est la finalité? –Pourquoi souhaitons nous le faire? –Quel en sera le bénéfice à long terme? •Partager notre vision avec les acteurs, et créer une vision commune –Que souhaitez vous faire, quelle est la finalité? –Pourquoi souhaitez vous le faire? –Quel en sera le bénéfice à long terme? –Pour dégager des options stratégiques© Picarré Associés 27
  28. 28. La vision de chacun: Promoteur Gestionnaire Réalisateur Destinataire Quel intérêt ? Quelle contribution/sacrifice? Quelle influence sur le projet? Quelle implication dans lévaluation?© Picarré Associés 28
  29. 29. Une vision partagée et des options stratégiques Promoteurs Destinataires Gestionnaires Réalisateurs Les questions clés qui suscitent l’intérêt de© Picarré Associés chacun des acteurs 29
  30. 30. Des options stratégiques à la définition d’objectifs • Les options stratégiques sont difficilement évaluables, elles expriment des questions clés • Mais peuvent se traduire en perspectives d’actions, • Qui ayant un effet attendu, peuvent se définir en objectifs mesurables • Ainsi se construit le processus d’évaluation et son référentiel© Picarré Associés 30
  31. 31. Diagramme des objectifs et des effets attendus Objectif général: Vision •Impact Objectif intermédiaire: Options Objectifs stratégiques opérationnels: •Résultat Actions/activités à mettre en œuvre •Réalisation© Picarré Associés 31
  32. 32. Les étapes de la formationJour 1 et 2 Jour 3 et 41. Le contexte de l’évaluation 1. Le référentiel et les2. Evaluation et projet indicateurs3. La planification de 2. L’évaluation d’impact l’évaluation4. La participation des 3. Analyser parties prenantes 4. Les actions correctives5. Les perspectives et le changement d’actions 5. Communiquer pour6. La collecte et l’analyse des impliquer données 6. Plan d’actions 32
  33. 33. Les perspectives d’actions Pour s’assurer de l’atteinte desobjectifs général et intermédiaires 33
  34. 34. L’analyse des forces, faiblesses, opportunités, menaces • Quelles sont mes forces dans ce projet? • Quelles sont mes faiblesses? • Quelles opportunités à travers le projet? • Quelles menaces au projet? –Pour dégager des perspectives d’actions© Picarré Associés 34
  35. 35. Description méthode FFOM •Une vision est évidemment nécessaire avant tout travail de planification Si c’est une vision idéaliste qui manque de sens pratique, elle n’aboutira pas... : Pourquoi ce programme •L’analyse externe consiste en l’analyse des opportunités et des menaces. L’externe peut être analysé en terme de système (à l’extérieur de notre système), ou en terme de temps (un autre espace temps, l’avenir) –Les organisations et les projets ne sont pas isolés dans la société. Les organisations et les projets sont en permanence influencés par différents facteurs extérieurs, qui à leur tour influent sur ceux-ci. Il s’agit de facteurs qui contribuent ou qui empêchent que la mission ou les objectifs de l’organisation ou du projet soient atteints. –Les opportunités sont les éléments du contexte qui contribuent, facilitent, aident, à la réalisation de la mission/ vision institutionnelle ou du projet. –Les menaces sont les éléments du contexte qui empêchent, qui font obstacle à la réalisation de la mission/ vision institutionnelle ou du projet. •L’analyse interne consiste en l’analyse des forces et des faiblesses. –Les organisations et les projets sont aussi en permanence influencés par différents facteurs internes. Il s’agit de facteurs qui contribuent ou qui empêchent que la mission ou les objectifs de l’organisation ou du projet soient atteints. –Les forces sont les éléments internes qui contribuent, facilitent, aident, à la réalisation de la mission/ vision institutionnelle ou du projet. –Les faiblesses sont les éléments internes qui empêchent, qui font obstacle à la réalisation de la mission/ vision institutionnelle ou du projet.© Picarré Associés 35
  36. 36. Logique dutilisation de lanalyse SWOT dans le domaine stratégique (Selon "Stratégique" - édition Pearson France)© Picarré Associés 36
  37. 37. Analyse stratégique : Analyse FFOM FORCES FAIBLESSESINTERNES OPPORTUNITES MENACESEXTERNES© Picarré Associés 37
  38. 38. Les étapes de la formationJour 1 et 2 Jour 3 et 41. Le contexte de l’évaluation 1. Le référentiel et les2. Evaluation et projet indicateurs3. La planification de 2. L’évaluation d’impact l’évaluation4. La participation des 3. Analyser parties prenantes 4. Les actions correctives5. Les perspectives d’actions et le changement6. La collecte et 5. Communiquer pour l’analyse des impliquer données 6. Plan d’actions 38
  39. 39. La collecte et l’analyse des donnéesPour définir la base de départ etse donner les moyens d’évaluer 39
  40. 40. Quelles données à prendre en compte? Ces données doivent nous permettre de  Répondre aux questions clés  Mesurer ou démontrer l’atteinte des effets attendus Elles doivent être facilement disponibles et consultables Elles doivent être quantifiées ou qualifiées dans la phase de planification pour donner lieu à mesure d’écarts Elles se déclinent en:  Bases documentaires  Législatives  Procédures internes  Données locales  Diagnostic territorial  Résultats de l’activité  Questionnaires, enquêtes 40
  41. 41. Les collectes de données Les méthodes quantitatives produisent des données (numériques) quantitatives relativement faciles à résumer et à comparer. L’analyse est indispensable pour comprendre le pourquoi. Les méthodes qualitatives sont utilisées pour connaître la « raison d’être » de votre projet. Elles privilégient le traitement de données non numériques (mots, images, jeux) et peuvent être utilisées pour expliciter les faits émanant des données quantitatives Les méthodes individuelles impliquent que les données soient recueillies auprès de personnes individuelles n’ayant aucune relation avec les autres personnes interrogées (par exemple, les questionnaires et les interviews). Les méthodes de groupe prônent l’interaction entre personnes interrogées, ce qui leur permet d’échanger leurs connaissances, reflétant une image plus fidèle de la situation (focus groupe). Les méthodes participatives reposent sur le principe d’une participation des parties prenantes à l’équipe d’évaluation et au processus de collecte des données. Elles peuvent coordonner leurs activités en contact direct avec les autres parties prenantes, ce qui leur permet de mieux comprendre le projet, ses objectifs et son impact. 41
  42. 42. Les outils d’évaluation  Entretien individuel Lentretien individuel permet de collecter auprès dacteurs et de bénéficiaires des informations à toutes les étapes de lévaluation : faits et vérifications de faits, opinions et points de vue, analyses des acteurs et propositions.  Focus group Le focus group vise à débattre des informations, des opinions et des jugements déjà collectés. Il permet déclairer les raisons qui motivent les opinions exprimées, notamment les analyses sur lesquelles elles se fondent, et de sassurer de leur consistance. On utilise fréquemment le focus group pour recueillir les opinions des bénéficiaires sur leur participation à un programme et ce quils en ont retiré de positif ou négatif - alternative aux entretiens. Quel que soit lusage qui en est fait, la caractéristique distinctive du focus group est de recueillir un opinion stabilisée après discussion approfondie, au lieu dune opinion spontanée.  Enquête par questionnaire Lenquête par questionnaire permet de collecter auprès dun échantillon de population des réponses comparables. Lorsque léchantillon est représentatif, lenquête par questionnaire permet des mesures statistiquement significatives qui peuvent être nécessaires pour des indicateurs quantifiés.  Etude de cas Létude de cas vise à répondre aux questions "Comment" et "Pourquoi" à partir de létude détaillée de cas concrets, choisis en fonction des objectifs de lévaluation. Dans des contextes qui le permettent et qui le nécessitent, le ou les cas étudiés peuvent être sélectionnés pour que les conclusions soient généralisables à lensemble de lévaluation.  Panel dexperts Le panel dexperts est un groupe de spécialistes indépendants et reconnus dans au moins un des champs concernés par lobjet à évaluer. Le panel permet de proposer des jugements collectifs, nuancés et argumentés, fondés sur les connaissances et lexpérience des experts.© Picarré Associés 42
  43. 43. Les étapes de la formationJour 1 et 2 Jour 3 et 41. Le contexte de l’évaluation 1. Le référentiel et les2. Evaluation et projet indicateurs3. La planification de 2. L’évaluation d’impact l’évaluation 3. Analyser4. La participation des 4. Les actions correctives et parties prenantes le changement5. Les perspectives d’actions 5. Communiquer pour6. La collecte et l’analyse des impliquer données 6. Plan d’actions 43
  44. 44. La structuration d’un référentielPour définir les modalités et lesindicateurs qui devront être pris en compte 44
  45. 45. Construire le référentiel •Le référentiel est une déclinaison du projet et permet de structurer la démarché évaluative •Il se fonde sur les objectifs à atteindre •C’est un référentiel de « bonnes pratiques » prioritaires à évaluer incluant des •Procédures: « Manières de faire codifiées, définies à l’avance, des passages obligés… » Mais aussi •Des Processus, du latin « Progrès », qui impliquent le mouvement, la progression, et des pratiques non formalisées •Il se décline en –Dimensions, Domaines ou objectifs: les grands domaines d’activités, les objectifs poursuivis, les priorités fondées sur les valeurs du service; les questions clés –Critères ou traceurs: ils représentent les actions, les moyens mis en œuvre pour atteindre les objectifs poursuivis, les procédures formelles et les processus informels. Ces actions sont les bonnes pratiques, ce qui va témoigner de quelque chose. Ils sont au service des objectifs; –Indicateurs: ils forment la base du référentiel. Ils permettent d’appréhender le niveau de réalisation des exigences portées par chaque action/critère. Ils permettent de rendre mesurables ou démontrables les questions clés •Il est issu d’un processus de co-développement avec tous les acteurs •C’est une démarche de contractualisation entre l’ensemble des acteurs© Picarré Associés 45
  46. 46. Le RéférentielFinalité Visio nOptions Domaines/stratégiques Objectifs Actions,Processus et Pratiques, Critèresprocédures Effets attendus et degré d’exigenceIndicateurs (qualitatif ou quantitatif) Éléments de mesure (quantitatif) ou de preuve (qualitatif)© Picarré Associés 46
  47. 47. Le référentiel: Vision: …………………………… Options Éléments de mesure Actions/Activités Effets attendus Degré dexigence stratégiques/Objectifs ou de preuve© Picarré Associés 27 47
  48. 48. Types d’indicateurs • Indicateurs de contexte: situation du contexte dans lequel l’action intervient. • Indicateurs d’activité ou d’efficience: moyens consommés pour la mise en œuvre des actions. • Indicateurs de réalisation ou d’efficacité: produit des actions (ce que l’on à fait avec les ressources qui ont été consommées). • Indicateurs de résultat: avantage immédiat généré par l’action pour les publics ciblés. • Indicateurs d’impact: effets indirects des actions au-delà des résultats pour les publics ciblés.© Picarré Associés 49
  49. 49. Des indicateurs qualitatifs et quantitatifs Ils permettent de répondre aux questions clés Ils peuvent aider à évaluer si les activités liées au projet ont été mises en œuvre et l’impact prévu atteint. Un indicateur quantitatif est une mesure:  Des moyens mis en œuvre pour évaluer l’efficience d’une action, par exemple le temps passé  Des réalisations directes de l’action pour évaluer l’efficacité d’une action, par exemple les personnes touchées par un message  Des résultats de l’action comme changements sur la population ciblée, par exemple une meilleure connaissance des dispositifs Un indicateur qualitatif se rapporte  à des changements sur le plan de la perception, par exemple, l’opinion des utilisateurs sur le contenu d’un même programme  À des impacts sur la population ciblée, par exemple une plus grande autonomie, un respect de la personne, plus de motivation 50
  50. 50. Types d’indicateurs SMART et SPICED Quantitatif Qualitatif SMART SPICEDS = Spécifique (mais simple)M = Mesurable S = SubjectifA = Applicable ou réalisable P = Participatif(parfois spécifique à un domaine) I = Interprété et communicableR = Réaliste C = Recoupé et comparéT = Temporellement opportun E = Donnant du pouvoir D = Divers et désagrégé 51
  51. 51. Le référentiel: Vision: ……………………………: Éléments de Degré Objectifs/ Options mesure ou de preuve dexigence Actions Effets attendus Quantitatifstratégiques Qualitatif ou de vigilance Contexte: Activité: Réalisation: Résultat Impact 48
  52. 52. Les étapes de la formationJour 1 et 2 Jour 3 et 41. Le contexte de l’évaluation 1. Le référentiel et les2. Evaluation et projet indicateurs3. La planification de 2. L’évaluation l’évaluation d’impact4. La participation des 3. Analyser parties prenantes 4. Les actions correctives et5. Les perspectives d’actions le changement 5. Communiquer pour6. La collecte et l’analyse des impliquer données 6. Plan d’actions 52
  53. 53. L’évaluation d’impactPour convaincre et persuader 53
  54. 54. La mise en œuvre d’une évaluation d’impact Elle se planifie le plus en amont possible Elle permettra de répondre aux questions clés des acteurs Elle peut comporter des indicateurs  Quantitatifs: analyse de questionnaires, éléments de contexte, ..  Qualitatifs: observations, ressentis Tous deux sont subjectifs, car ils ne mesurent ou démontrent que du changement, l’analyse est nécessaire L’évaluation d’impact doit être mise en œuvre ni trop tôt ni trop tard 54
  55. 55. Les méthodes spécifiques L’utilisation des données disponibles sur le groupe cible avant et après le projet, « l’assignation aléatoire »  Nécessité de créer un groupe test et un groupe témoin parmi le groupe cible par tirage au sort  Résistance sur le terrain (choix?) Un questionnaire sur le groupe cible. L’évaluation sera conduite parmi un groupe représentatif de bénéficiaires présumés du projet. Si le groupe cible est vaste, l’échantillon sera important (au moins 500 personnes) L’auto-évaluation. Elle peut porter sur divers aspects du changement (par exemple, le changement en termes de capacités) et permet d’utiliser un large éventail d’outils. Elle s’appuiera sur l’observation et la participation des acteurs, par exemple photo, .. Les récits sur l’impact. Il s’agit de recueillir des informations qualitatives très détaillées (des « récits ») auprès d’un nombre limité d’individus au sein du groupe cible. Les méthodes participatives: demander aux membres du groupe cible (et aux autres parties prenantes) de décrire les éléments clés du projet et comment ces éléments ont contribué aux changements observés ou perçus 55
  56. 56. Les étapes de la formationJour 1 et 2 Jour 3 et 41. Le contexte de l’évaluation 1. Le référentiel et les2. Evaluation et projet indicateurs3. La planification de 2. L’évaluation d’impact l’évaluation 3. Analyser4. La participation des 4. Les actions correctives et parties prenantes le changement5. Les perspectives d’actions 5. Communiquer pour6. La collecte et l’analyse des impliquer données 6. Plan d’actions 56
  57. 57. Analyser 57
  58. 58. Analyser et comprendre les données• Identifier les écarts et en déterminer les causes –Les écarts sont ils dus à •L’organisation •À l’environnement •A la définition en amont de la finalité (valeurs, besoins, impact) –Attention •Problème: en tant que cadre, je peux faire quelque chose •Difficultés sont posées comme telles, mais sans beaucoup de moyens d’actions dans le collectif de travail défini• La communication institutionnelle, formelle et informelle est clé à cette étape 58
  59. 59. Piloter les actions correctives• L’analyse des données doit être co construite• Les actions correctives portées par l’équipe• La responsabilité de chacun engagée• Dans la limite des critères de cohérence: – A-t-on les moyens de ses ambitions ou les ambitions de ses moyens????? 59
  60. 60. Les étapes de la formationJour 1 et 2 Jour 3 et 41. Le contexte de l’évaluation 1. Le référentiel et les2. Evaluation et projet indicateurs3. La planification de 2. L’évaluation d’impact l’évaluation 3. Analyser4. La participation des 4. Les actions parties prenantes correctives et le5. Les perspectives d’actions changement6. La collecte et l’analyse des 5. Communiquer pour données impliquer 6. Plan d’actions 60
  61. 61. Le changement commephénomène systémique, Crozier 61
  62. 62. Et accompagner le changement Les acteurs approuvent les résultats et les recommandations et sont disposées à les valoriser. Les acteurs approuvent les résultats et les recommandations, sont disposées à les mettre en œuvre mais sont incapables de les valoriser. Les acteurs approuvent les résultats, mais pas les recommandations, et ne sont pas disposées à les valoriser. Les acteurs rejettent les résultats et les recommandations. 62
  63. 63. Le changement?•Le changement est omniprésent, c’est la vie•C’est une évolution vécue, subie ou choisie, d’une situation actuelle à une situation future, il place l’individu dans une position d’incertitude•Le changement implique une projection dans l’avenir, ce qui crée de l’anxiété. 63 Pi-carré Associés 2010
  64. 64. Le postulat initial qui fonde l’approche sociologique : une organisation ne fonctionne jamais uniquement selon ses règles formelles Les individus disposent toujours d’une marge de liberté dans leur façon d’agir; Les individus qui composent une organisation ne s’opposent au changement que s’il n’y voient pas leurIls poursuivent des objectifs propres, intérêt;distincts de ceux que leur assignel’entreprise; Les relations de pouvoir dans l’organisation ne se réduisent pas aux positions hiérarchiques : elles existent dès lors qu’un individu maîtrise des ressources dont d’autres ont besoin; Il n’existe pas de comportements “aberrants” : les individus sont rationnels; 64 Pi-carré Associés 2010
  65. 65. Les systèmes d’action• Est un ensemble humain structuré • Qui coordonne les actions de ses participants • Par des mécanismes de jeux relativement stables • Et qui maintient sa structure, • Par des mécanismes de régulation. 65 Pi-carré Associés 2010
  66. 66. Toute organisation constitue un système d’action•Où les règles de pouvoir s’imposent et se confrontent à la rationalité attendue des acteurs Souvent vécues comme une double contrainte•Où les zones d’incertitudes ne sont jamais laissées vides…. Nous les appelons les marges de manœuvre 66 Pi-carré Associés 2010
  67. 67. L’implication des acteurs dans un projet La coordination La coopération• Nécessite une fonction spécialisée • Se fait par contact direct entre les acteurs• Relève de la hiérarchie • Relève de la situation• Est mise en œuvre { travers des procédures• Est "obligatoire" • Se fait par ajustement mutuel entre les acteurs • Est volontaire Il faut une méthodologie Il faut une volonté Ce qui freine la réussite des projets, c’est souvent le manque de coopération entre les acteurs • L’attitude de retrait vis-à-vis d’un projet qui dérange • Le jeu personnel de ceux qui ne partagent pas le projet • Le cloisonnement des structures qui se protègent • La difficulté naturelle des acteurs à coopérer,… ©67
  68. 68. Créer les conditions de la coopération, c’est agir sur les dimensions organisationnelles et humaines Peuvent-ils ? Ont-ils intérêt ? La structure AGIR SUR Lorganisation physique Le systèmes de mesure LORGANISATION Les procédures Les systèmes de Les dispositifs matériels reconnaissance Savent-ils ? Ont-ils envie ? Les profils Les modes de management AGIR SUR LES Les compétences Le climat de confiance HOMMES Le langage commun Le sens de l’action ©68
  69. 69. La socio-dynamique Synergie • Les Passifs = ils font le minimum • Les Hésitants = ils sont prêts à s’investir… B4 B5 s’ils sont payés en retour+4 B3 • Les Déchirés = ils ont autant de façons positives de voir les choses que de capacités à les détruire sur l’instant ou plus tard+3 • Les Engagés = ils soutiennent la cause • Les Constructifs = ils soutiennent tout en faisant preuve d’esprit critique… positif+2 • Les Opposants = ils agissent contre B1 B7 et ne céderont que face à un pouvoir plus fort+1 • Les Irréductibles = ils préféreront se démettre que se soumettre ! -1 -2 -3 -4 Antagonisme La place des partenaires sur la carte souligne leurs attitudes, qui peuvent être décrites comme plus ou moins synergiques /antagonistes 69
  70. 70. La Carte de partenaires: pour décoder puis agir L’individu L’individu cherche Les acteurs cherche la réussite à changer ont toujours une position du projet... le projet... par rapport à … mais n’a pas … mais se soumet un projet donné vraiment de position personnelle mais négocie s’il n’est pas le plus fort … pour obtenir … quoi qu’il Synergie un bon accord lui en coûte … quelle que soit +4 militant notre réaction L’individuprend l’initiative... … mais s’arrête +3 coopératif si on ne le suit pas … mais suit +2 intéressé les nôtres L’individune prend pas l’initiative... … et ne suit +1 minimaliste pas les nôtres Antagonisme -1 -2 -3 -4 conciliant résistant opposant irréconciliant ©70
  71. 71. Les étapes de la formationJour 1 et 2 Jour 3 et 41. Le contexte de l’évaluation 1. Le référentiel et les2. Evaluation et projet indicateurs3. La planification de 2. L’évaluation d’impact l’évaluation 3. Analyser4. La participation des 4. Les actions correctives et parties prenantes le changement5. Les perspectives d’actions 5. Communiquer pour6. La collecte et l’analyse des impliquer données 6. Plan d’actions 71
  72. 72. Communiquer 72
  73. 73. La communication au service de l’évaluation continueLe véritable voyage de découverte neconsiste pas à chercher de nouveauxpaysages, mais à avoir de nouveaux yeux, Marcel Proust 73
  74. 74. La roue de l’apprentissage individuel•Une interaction entre action et réflexion, de concret et d’abstrait 74
  75. 75. Les quatre styles d’apprentissages de Kolb•Kolb a donné un nom aux différents types d’apprenants, en fonction de la•phase du cycle d’apprentissage qu’il préfère. Agit • Explore •Laccommodateur •Lassimilateur • Décide • Analyse •Le convergent 75
  76. 76. Le divergent Il préfère les phases d’ expérience concrète et de réflexion sur cette expérience. Les divergents s’intéressent aux gens et aux émotions. Il a le sens de l’observation, il est habile à percevoir un objet ou un problème sous différents angles. Il apprécie les activités novatrices, il a une imagination fertile et des intérêts variés. Il s’intéresse aux personnes et accorde de l’importance aux sentiments. Il apprécie apprendre par l’expérience 76
  77. 77. Lassimilateur Il préfère les phases de réflexion sur une expérience et de conceptualisation abstraite et théorique d’une expérience. Les assimilateurs aiment créer des modèles théoriques et s’intéressent moins que les autres aux gens et aux applications pratiques des connaissances. Il réorganise logiquement des informations, jongle avec les idées et les théories. Il apprécie les cours théoriques. 77
  78. 78. Le convergent Il préfère les phases de conceptualisation abstraite et théorique de l’expérience et de mise en application de l’idée/action. Les convergents aiment être pratiques et ont tendance à être peu émotifs. De plus, ils préfèrent composer avec des choses plutôt qu’avec des gens. Il préfère résoudre des problèmes donc la solution est unique. Il a des facilités dans les taches techniques et dans la prise de décision. Il apprécie les projets et les activités autogérés 78
  79. 79. Laccommodateur Il préfère les phases d’expérience concrète et de mise en application de l’idée/action fondée sur cette expérience. Les accommodateurs s’adaptent facilement à de nouvelles expériences et ont tendance à trouver des solutions. Il apprend par manipulation, exécutant les tâches. Il aime être impliqué dans la planification et la réalisation d’activités, il fonctionne par essais / erreurs plutôt que par la logique ; Il a tendance a se fier aux réflexions des autres plutôt que sa propre analyse, il accepte facilement de prendre des risques. Il apprécie les exercices en petit groupe. 79
  80. 80. Exemple• Vous voulez montrer à une employée comment faire des recherches et rédiger un rapport, ce qu’elle n’a jamais fait auparavant. Que peut faire le manager pour aider l’employée à apprendre par le biais du cycle d’apprentissage? – Expérimentation: Montrez à l’employée un rapport bien écrit et correctement structuré, et demandez-lui de le lire. Il vous demandera « Pourquoi? » – Réflexion: Discutez avec l’employée de la valeur de ce rapport; précisez-lui les points qui font qu’il s’agit d’un bon rapport et signalez-lui les points à améliorer. Il vous demandera « Quoi? » – Raisonnement: Montrez à l’employée d’autres exemples de styles de rédaction pour un rapport et donnez-lui les lignes directrices à utiliser pour bien structurer un rapport. Il vous demandera « Comment? » – Mise en pratique: Demandez à l’employée de rédiger la première version d’un rapport. Révisez le rapport et donnez-lui une rétroaction détaillée pour qu’elle en rédige une deuxième version. Il ne vous demandera rien? 80
  81. 81. La roue de l’apprentissage collectif + Actions coordonnées Analyses en concret 4 Mise en commun de Pratique 1 Expérimentation l’existant 3 2 Réflexion Partage de Raisonnement Co valeurs et construction création de+ visionabstrait Référentiel commune + action + réflexion 81
  82. 82. La communication de l’évaluation• Toujours resituer l’étape 1=J’informe par rapport à la vision et au 4=J’implique sens Ils prennent Ils agissent• En prenant en compte la conscience charge émotionnelle 3=Je transfère 2=J’explique• 4 étapes en fonction de lavancement du projet et Ils s’engagent Ils comprennent de lindividu 83
  83. 83. Dans une posture d ’évaluation en continu dialogique• La communication – Institutionnelle doit être régulière, – Les réunions programmées, – Le cadre doit garder une vigilance sur la communication informelle.• Les pouvoirs de chacun respectés par une parole accordée• Le chemin est constamment évalué – En s’appuyant sur les résultats obtenus et une analyse des écarts – Les traceurs et indicateurs sont comme des bornes sur la route que nous avons tracée 84
  84. 84. La matrice de la communication Quelle communication à quel moment?  Définir l’objectif: décider ou informer, expliquer, impliquer, s’approprier  Considérer les différents acteurs ciblés  Qui?  Antagonisme/synergie?  Les risques en jeu Prévoir la communication orale  Réunions  Collectif informatif  Forum Et la communication écrite  Accompagnement de la démarche  Résultats intermédiaires  Etude d’impact 85
  85. 85. Les étapes de la formationJour 1 et 2 Jour 3 et 41. Le contexte de l’évaluation 1. Le référentiel et les2. Evaluation et projet indicateurs3. La planification de 2. L’évaluation d’impact l’évaluation 3. Analyser4. La participation des 4. Les actions correctives et parties prenantes le changement5. Les perspectives d’actions 5. Communiquer pour6. La collecte et l’analyse des impliquer données 6. Plan d’actions 86
  86. 86. Mon plan d’actions Ce que j’ai appris……………………………………………. Ce que j’ai ressenti…………………………………………………… Ce que je vais mettre en œuvre…………………………………………………………………... Ce que je ne vais pas garder……………………………………………………… 87

×