• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Synthese etude-formaeva-2011
 

Synthese etude-formaeva-2011

on

  • 885 views

 

Statistics

Views

Total Views
885
Views on SlideShare
868
Embed Views
17

Actions

Likes
0
Downloads
30
Comments
0

2 Embeds 17

http://www.scoop.it 15
http://srv07.admin.over-blog.com 2

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Synthese etude-formaeva-2011 Synthese etude-formaeva-2011 Document Transcript

    • Synthèse détudeLes pratiques dévaluation des formations des entreprises françaises en 2011 Dernière modification : 25/08/11 - 12:28:19Les pratiques dévaluation des formations des entreprises françaises en 2011 |1 © Formaeva
    • À propos de FormaevaLéquipe Formaeva a développé une plateforme web dévaluation desformations puissante, flexible et simple dutilisation. Capitalisant surles technologies les plus abouties et plusieurs années de recherche etdéveloppement, elle permet de mesurer limpact des formations surles connaissances, les compétences et les performances de lentre-prise. À ce titre, elle permet la mise en œuvre de toutes les pra-tiques dévaluation des formations (évaluation des réactions, de lap-prentissage, du transfert des acquis de la formation, de leur impactopérationnel, etc.).Véritable outil de mesure de la qualité de service, Formaeva consti-tue le support dune communication transparente entre les acteurs dela formation : participants, managers, formateurs, responsables for-mation, etc. La neutralité du tiers-évaluateur facilite la collecte desinformations et crédibilise la diffusion ultérieure des résultats inalté-rés auprès des directions, comités dentreprise, supports commer-ciaux, etc.Aujourdhui, Formaeva fait se rencontrer les plus grandes entreprisesfrançaises (Arkema, Auchan, Groupe BPCE, Groupe La Poste, RATP,Saint Maclou, Sodexo, etc.) et les organismes de formation les plusattentifs à la qualité de leurs prestations.Pour en savoir plus : contact@formaeva.comLe site de Formaeva : http://www.formaeva.comLe blog de Formaeva : http://blog.formaeva.comUne rapide présentation des fonctionnalités de la plateforme :http://www.formaeva.com/files/documents/ressources/survol-formaeva.p df Les pratiques dévaluation des formations des entreprises françaises en 2011 |2 © Formaeva
    • SynthèseCe document propose une synthèse dune étude menée entre le 12mai et le 30 juin 2011 par Formaeva, portant sur les pratiques déva-luation des formations des entreprises françaises. Lobjectif principalde cette étude était de bien identifier les pratiques dévaluation desformations des entreprises étudiées du point de vue : Du contenu : quels résultats de la formation sont évalués ? Des méthodes : comment ces résultats sont-ils évalués ? Des objectifs : pourquoi ces résultats sont-ils évalués ?Vous trouverez dans ce document un rapide rappel méthodologiquequant à la démarche denquête mise en œuvre, puis une présentationdes résultats pour chaque niveau dévaluation, comprenant des don-nées qualitatives (verbatims) et quantitatives.A titre de synthèse, nous pouvons mettre en exergue deux enseigne-ments majeurs de létude de 2011.Les pratiques dévaluation demeurent peu développées, tant ausein des entreprises (les « demandeurs de formation ») que des orga-nismes de formation (les « offreurs de formation »). Comme en 2010,lévaluation des réactions (niveau 1) est la plus pratiquée, limitantdonc principalement le rôle de lévaluation de la formation au simplefait de questionner le degré de satisfaction des formés, sans savoir cequil a appris (niveau 2), sil se sert de ce quil a appris en situation detravail (niveau 3) et si cela a un impact positif sur les résultats de lor-ganisation (niveau 4). Ce constat en rejoint un autre, qui est que pluslon progresse dans la hiérarchie des niveaux, plus rares se font lesévaluations. Il sagissait là aussi dune conclusion de létude de 2010.Le tableau de la page suivante compare justement les dailleurs inté-ressant de comparer les chiffres de 2010 et de 2011. Précisons toute-fois que les échantillons diffèrent entre les études, tant dans lenombre dorganisations participantes que dans leur type (même si plu-sieurs organisations ont participé aux deux éditions de létude). Leschiffres ne sont donc donnés quà titre indicatif. Les pratiques dévaluation des formations des entreprises françaises en 2011 |3 © Formaeva
    • 2010 2011 Évolution (N = 80) (N = 60) (2010/2011) Évaluation formelle 81,3 % 93,3 % + 12 Niveau 1 : Évaluation informelle 17,5 % 6,7 % - 10,8 Réactions Pas dévaluation 1,3 % / - 1,3 Évaluation formelle 60 % 55 % -5 Niveau 2 : Évaluation informelle 22,5 % 11,7 % - 10,8 Apprentissage Pas dévaluation 17,5 % 33,3 % + 15,8 Évaluation formelle 36,3 % 35 % - 1,3 Niveau 3 : Évaluation informelle 25 % 11,7 % - 13,3Comportements Pas dévaluation 38,8 % 53,3 % + 14,5 Évaluation formelle 13,8 % 13,3 % - 0,5 Niveau 4 : Évaluation informelle 21,3 % 6,7 % - 14,6 Résultats Pas dévaluation 65 % 80 % + 15Hormis pour lévaluation des réactions (niveau 1), dont les pratiquesdévaluation sont à la fois plus fréquentes et formalisées en 2011 quen2010 (tous les répondants évaluant dailleurs à ce niveau), les autrespratiques dévaluation formelles sont plus rares aux niveaux 2, 3 et 4.Il est ainsi intéressant de noter que lobligation légale (partielle)dévaluation des acquis na pas pour le moment contribuer à dévelop-per lévaluation de lapprentissage, tout du moins au sein des organi-sations de léchantillon. Faut-il en conclure que les résultats des for-mations sont moins évalués dans ces organisations ? Nous ne le pen-sons pas. Une hypothèse crédible est que les chiffres de 2011 sontplus réalistes que ceux de 2010, principalement du fait dune plusgrande connaissance du modèle de Kirkpatrick par les répondants,donc de confusions moins fréquentes de leur part quant à lobjet dechaque niveau dévaluation et, in fine, de réponses plus proches de laréalité de leurs pratiques. Cela nous semble dautant plus possible queparmi les répondants à lenquête figurent plusieurs clients de Formae-va ou des lecteurs réguliers de notre blog et de notre lettre dinforma-tion. Autant de professionnels des RH et de la formation régulière-ment sensibilisés aux enjeux de lévaluation des formations et à linté-rêt dutiliser un modèle comme celui de Kirkpatrick pour évaluer ses Les pratiques dévaluation des formations des entreprises françaises en 2011 |4 © Formaeva
    • formations (sans rester dans le « flou » conceptuel des évaluations « àchaud » et « à froid » qui, dans le fond, ne signifient pas grandchose).Comme en 2010, la rareté des évaluations aux niveaux 2, 3 et/ou 4 acomme cause majeure la difficulté à penser lévaluation comme unprocessus à part entière. Outre les aspects méthodologiques (ex :comment isoler limpact de la formation au niveau 4 ?), nous remar-quons encore que trop de formations sont initiées sans quun besoinréel nait été identifié en amont et que des objectifs de formationconcrets (observables et mesurables en situation de travail) ne soientdéfinis, que trop dévaluations nimpliquent pas réellement les mana-gers des formés, que trop de résultats ne sont pas analysés, communi-qués et exploités à bon escient, etc. Dans nombre desprits, lévalua-tion est encore trop souvent limitée à un envoi de questionnaire, quelon aurait parfois informatisé. Or, une évaluation pertinente et effi-cace de la formation devrait être pensée comme un processusstructurant complètement laction de formation. Cest lorsquelle estpensée en ce sens que lévaluation peut servir au-delà de la seule ac-tion de formation et devenir un outil de management, accompagnantles opérationnels dans le suivi du développement des compétences deleurs équipes. Il est satisfaisant de constater que plusieurs partici-pants à lenquête lont bien intégré et travaillent en ce sens. Les pratiques dévaluation des formations des entreprises françaises en 2011 |5 © Formaeva
    • Méthodologie Plateforme utilisée pour lenquêteLa plateforme Formaeva a été utilisée aux différents moments de lenquête : création duquestionnaire, relances automatisées des participants nayant répondu que partiellement auquestionnaire, analyse des données, restitution des résultats. Accessibilité et publication de lenquêteLenquête a été lancée le 12 mai 2011 et le questionnaire fut accessible jusquau 30 juin 2011(date de clôture de lenquête). La promotion de cette enquête sest faite essentiellement viala lettre dinformation de Formaeva ou son blog (http://blog.formaeva.com), ainsi que par lesréseaux sociaux (ex : Facebook, LinkedIn, Twitter, Viadeo). Pour favoriser la participation àlenquête, il était clairement stipulé quune synthèse des résultats serait envoyée à tous lesparticipants. Référentiel théoriqueLes questions posées sarticulent essentiellement autour du modèle dévaluation des forma-tions à 4 niveaux de Donald Kirkpatrick :Contrairement à lédition précédente de cette étude (2010), nous avons volontairement écar-té le cinquième niveau dévaluation introduit par Jack Phillips, celui du retour sur investisse-ment de la formation, ceci pour deux raisons. Dabord, létude de 2010 nous a montré que leretour sur investissement de la formation était une expression quelque peu galvaudée,plusieurs répondants évoquant explicitement le « ROI » de la formation en le confondant avecdautres niveaux dévaluation. De plus, comme Kirkpatrick et ses partenaires, et après plu-sieurs années à mener à bien divers projets dévaluation des formations, nous pensons quil est Les pratiques dévaluation des formations des entreprises françaises en 2011 |6 © Formaeva
    • préférable de raisonner en termes de retour sur les attentes (ROE – Return on Expectations)que de retour sur investissement (ROI – Return on Investment), une approche plus pragma-tique, réaliste et orientée vers le partenariat avec les managers. Distinguer le formel de linformelAfin de mieux interpréter les résultats, il était demandé au répondant de faire la distinctionentre les pratiques dévaluation formelles et informelles :• Une évaluation formelle est une évaluation faite par toutes les personnes concer-nées à laide dun outil dévaluation (ex : questionnaire, quiz, etc.).• Une évaluation informelle est une évaluation menée par une personne qui recueilleauprès de quelques autres personnes des informations parcellaires ou anecdotiques sur la for -mation. Participants à lenquêteAu total, plus de 100 participants se sont inscrits pour participer à lenquête. Toutefois, plu -sieurs dentre eux nont pu être retenus pour les besoins de lanalyse finale :• Plusieurs nont pas complété le questionnaire, même après relance, et se sont donclimités à linscription. Ils ne font donc pas partie de léchantillon final.• Dautres encore nont pas entièrement complété le questionnaire. Suite à une re-lance, nous avons pu toutefois motiver certains à le terminer.Afin de garantir la validité des informations communiquées, nous avions expressément men-tionné lobligation de renseigner son adresse électronique professionnelle. Dans le cas où ilsagissait dadresse électronique personnelle (ex : consultants indépendants), nous prenionssoin de vérifier lexistence de cette personne (généralement présente sur les réseaux sociauxau sein desquels était diffusée linvitation à participer à cette enquête). Au final, 60 partici-pants ont été retenus. Représentativité de léchantillonNotre échantillon est donc constitué de 60 organisations. Il nest pas suffisamment importantpour prétendre à une certaine de représentativité statistique. Mais lobjectif de létude nétaitpas tant de prétendre à une certaine généralisation des résultats que détudier en profondeurles dispositifs dévaluation des formations mis en œuvre par certaines organisations. Les pratiques dévaluation des formations des entreprises françaises en 2011 |7 © Formaeva
    • Voici les caractéristiques de cet échantillon : Taille Moins de 100 Entre 100 et 499 Entre 500 et 999 Plus de 1 000(nb de salariés) 28 16 13 3 Type Entreprise/Administration Organisme de formation Autredorganisation 32 21 7 Au niveau de la taille, nous pouvons noter une plus forte participation des organisations dont leffectif est inférieur à 500 salariés, tandis que les plus grandes organisations (effectif supé- rieur à 1 000 salariés) se sont faites plus rares. En ce qui concerne le type dorganisation, il apparaît que les entreprises et administrations (les « acheteurs de formation ») représentent la majorité des participants à cette étude. Ar- rivent ensuite les organismes de formation (les « offreurs de formation »), puis la catégorie « Autre » au sein de laquelle figurent, notamment, les OPCA. Enfin, il est à noter une certaine hétérogénéité des secteurs dactivités représentés. Sans tous les lister ici, nous pouvons citer la participation dentreprises du secteur du conseil (dont quelques consultants indépendants), de la formation, de lindustrie, des banques-assurances, de la grande distribution, de la restauration, du transport, etc. Anonymat et confidentialité Comme annoncé, aucune identité, liée au participant ou à son organisation dappartenance, ne sera divulguée dans le cadre de cette enquête. Par ailleurs, les données étant agrégées, les réponses dune organisation en particulier ne seront pas diffusées. Certains verbatim se- ront cités, à titre dillustration, sans toutefois quil soit possible didentifier ni le participant, ni son organisation. Les pratiques dévaluation des formations des entreprises françaises en 2011 |8 © Formaeva
    • Niveau 1 : Les réactionsLes participants sont-ils satisfaits de la formation ? Ont-ils pris du plaisir à la suivre ? Y ont-ils vu un intérêt ? Ce niveau dévaluation (appelé aussi « satisfaction ») porte généralementsur lorganisation de la formation, le contenu de la formation, les supports pédagogiques, lastructure de la formation, lanimation de la formation, etc. RésultatsÉvaluez-vous les réactions des formés ?Oui majoritairement de façon formelleOui majoritairement de façon informelleQuel est lobjectif de cette évaluation ? Que faites-vous des résultatsaprès en avoir pris connaissance ?Classiquement, les objectifs de cette évaluation peuvent être regroupés en 3 catégories. Pourchacune delles sont mentionnés les éléments donnés par les répondants.La rétroaction (feedback) : connaître le degré de satisfaction des formés, vérifier que la for-mation a répondu à leurs attentes, identifier les principaux motifs de satisfaction et dinsatis -faction (identifier les dysfonctionnements, mettre en évidence les axes damélioration), re-cueillir les suggestions des formés, évaluer la qualité des contenus, des supports pédago -giques, avoir la « température » de la formation, le vécu des formés, etc. Les entreprises yvoient également un moyen dévaluer leurs prestataires (ex : ).La prise de décision : une fois en possession des informations collectées au point précédent,différentes actions peuvent être mises en œuvre en vue daméliorer en continu la qualité desformations. Les répondants citent ainsi des exemples relatifs tant à la formation (ex : adapta-tion du contenu, réutilisation de ce qui a été apprécié, modification et adaptation de ce quila moins été, etc.) quau(x) formateur(s), ainsi que lexplique lun des répondants : « Ces ré-sultats sont tracés dans le plan de formation pour évaluer les prestataires, leurs interve-nants, cela peut participer de la sollicitation future pour des consultations ou choix de pres -tataires ». Les actions peuvent aussi porter sur des éléments extérieurs à la formation. Lundes répondants explique ainsi limportance des résultats de cette évaluation pour travaillersur lamont de la formation (entretien préalable entre le formé et son manager, partage desobjectifs, engagement de moyens, etc.). Enfin, certains organismes de formation analysentles résultats à ce niveau pour, le cas échéant, prendre contact avec le formé en cas dinsatis-faction et trouver avec lui (ou le responsable formation) une solution.La communication (marketing de la formation) : les résultats issus de cette évaluation, toutcomme les décisions et actions damélioration qui peuvent en découler, peuvent être commu- Les pratiques dévaluation des formations des entreprises françaises en 2011 |9 © Formaeva
    • niqués à différents acteurs. Dans une logique de « marketing de la formation », cette commu-nication peut servir à valoriser laction des acteurs de la formation (tant celle des membresdu service RH-formation que celle des prestataires). Cest ainsi que certains répondants uti-lisent ces données pour alimenter un tableau de suivi dans le cadre du système de manage-ment de la qualité de lentreprise, réaliser un bilan qualitatif des formations, présenter unesynthèse lors de la tenue du Comité dorientation stratégique de la formation, etc. Certainsprestataires de formation communiquent également les résultats afin daméliorer lefficacitéde leur partenariat avec leurs clients : « Ces résultats sont communiqués au client et fontlobjet dun débriefing ensemble pour ajuster si nécessaire la formation (ou les suivantes)et/ou accélérer les suivantes ».Du total des formations données en un an, quel pourcentage dentreelles évaluez-vous à ce niveau ?(51 organisations sur 60 se sont ici exprimées)100 % des formations 43 organisationsEntre 90 et 100 % des formations 5 organisations30 % des formations 1 organisation5 % des formations 2 organisationsIl est intéressant de noter que 2 des organisations évaluent au maximum 5 % de leurs forma -tions à ce niveau, ce qui est assez exceptionnel .A quel moment réalisez-vous cette évaluation ?Pendant la formationJuste après la formationLes jours suivant la formationPlusieurs semaines après la formationPlusieurs mois après la formationComme souvent, lévaluation des réactions est réalisée « à chaud », cest-à-dire juste après laformation. Lorsquelle est réalisée à laide dun questionnaire au format « papier » (évaluationformelle) et/ou oralement par le formateur(évaluation informelle), elle a généralement lieuà la toute fin de la formation. Lorsquelle est réalisée à laide dun questionnaire dévaluationen ligne (ex : envoi dun courriel au formé et relances automatisées), lévaluation a souventlieu 24 à 48 heures après la formation, procédant alors à une évaluation « à tiède ». Contrai-rement aux usages, il est intéressant de noter que certains évaluent les réactions des formés« à froid », plusieurs semaines, voire plusieurs mois, après la formation. Outre le fait que lonrisque de questionner les formés sur des éléments déjà lointains (au moins dans leur esprit), Les pratiques dévaluation des formations des entreprises françaises en 2011 |10 © Formaeva
    • le fait de décaler à ce point cette évaluation ne permet pas de réagir rapidement, notam-ment en réponse à de possibles insatisfactions.Qui participe à lévaluation ?Le forméLe formateurLe service formationLe manager du formé (son N+1)Autre(s)Sans surprise, le formé demeure lacteur central de lévaluation des réactions. Interviennentensuite, plus ponctuellement, le formateur (qui peut aussi faire part de son avis sur différentséléments de la session), le service formation et, plus rarement encore, le manager du formé.Hormis le formateur pour lequel lévaluation peut être formalisée (ex : compte-rendu écritremis au commanditaire), lévaluation réalisée par le service formation et/ou le manager duformé est bien souvent informelle(ex : clôture de session, échange rapide au détour dun cou-loir, bref entretien de retour au poste, etc.).Pourriez-vous décrire le ou les outils que vous utilisez pour cela ?Lévaluation des réactions se fait de manière informelle (ex : tour de table par le formateur,débriefing rapide par le service formation et/ou le manager du formé, etc.) et/ou formelle(généralement un questionnaire). Cest ce second cas qui est le plus fréquent. Les caractéris-tiques principales des questionnaires utilisés par les répondants sont les suivantes :La forme des questionnaires : généralement composés de questions fermées (majoritaires)et de quelques questions ouvertes, le nombre de ces questions varie de 6 à 25. Les échellesde réponse utilisées sont du type « 1 à 4 », « 0 à 5 » ou « 1 à 5 ».Les items : variables dun questionnaire à lautre, certains items nen demeurent pas moinsdes « classiques ». Sont ainsi cités par les répondants : la préparation de la formation enamont, lorganisation/la logistique (ex : conditions matérielles), le contenu/le programme(ex : importance des thèmes), la structure de la formation (ex : rythme, durée, équilibrethéorie/pratique...), lanimation (ex : qualité du formateur, échanges entre les formés...),les supports pédagogiques, lutilité/la pertinence de la formation, les points forts et les pointsdamélioration, la satisfaction globale, la réponse au besoin/aux attentes, etc.Mode dadministration : il sagit soit un questionnaire « papier » (généralement distribué enfin de formation) ou dun questionnaire en ligne (envoyé au lendemain de la formation, parexemple via une solution dédiée comme Formaeva).Type de traitement : lorsquelle est réalisée à laide dun questionnaire « papier », les résul-tats sont soit retraités et consolidés sous Excel, soit parcourus rapidement avant dêtre archi- Les pratiques dévaluation des formations des entreprises françaises en 2011 |11 © Formaeva
    • vés (il ny a intervention quen cas dinsatisfaction). De plus, dans ce cas, comme le note unformateur, il ny a que « Peu dexploitation possible car le questionnaire est le plus souventincomplet ». Ce problème nest pas soulevé pour les répondants utilisant un questionnaire enligne qui permet dagréger plus facilement les résultats, de suivre leur évolution dans letemps et/ou de les communiquer.. AnalyseLévaluation des réactions est la plus pratiquée, tant par les entreprises que les organismes deformation. Il est à noter que, bien quétant le niveau dévaluation le plus connu du modèle deKirkpatrick, il subsiste une confusion entre les différents niveaux. Ainsi, à la question portantsur les objectifs de cette évaluation, plusieurs répondants nous ont livré des éléments portantsur dautres niveaux, comme lapprentissage et les comportements (ou transfert), parexemple : « Lévaluation sert à savoir si les stagiaires ont élargi leurs connaissances et sur-tout sils ont lintention de mettre les acquis en place dans leur quotidien professionnel »,« développement des compétences », « Vérifier ladéquation entre les attendus du salarié,ceux du manager et les acquis post-formation », « Faire le lien entre les objectifs pédago-giques et les éléments assimilés ». Lappropriation dun modèle dévaluation (comme celui deKirkpatrick) par les professionnels de la formation nous semble être un point important pourfaire progresser les pratiques dévaluation des formations et pour que les évaluations gagnenten cohérence.Pour le reste, nous pensons que les préconisations émises lors de létude de 2010 restent va-lables, tant il est vrai que lévaluation des réactions demeure encore insuffisamment exploi-tée. Une évaluation plus professionnelle des réactions (niveau 1) nécessite donc de travaillersur la qualité de lévaluation elle-même (en formalisant lévaluation pour pouvoir quantifierla satisfaction, facilitant ainsi lanalyse des chiffres et la mise en œuvre dactions ciblées), lamise en œuvre de lévaluation (notamment pour accroître et maintenir des taux de retourélevés, permettre au service de formation de gagner du temps via lautomatisation du proces-sus dévaluation des formations et ainsi se concentrer sur lessentiel, etc.) et, enfin, lutilisa-tion et la communication des résultats (analyser les résultats, envisager des actions cibléespour améliorer en continu la qualité et lefficacité des formations, communiquer ces élémentsaux différents acteurs pour, enfin, valoriser la fonction formation). Les pratiques dévaluation des formations des entreprises françaises en 2011 |12 © Formaeva
    • Niveau 2 : LapprentissageQuont appris les participants au cours de la formation ? Ce niveau dévaluation porte généra-lement sur lacquisition de savoirs au cours de la formation (savoir, savoir-faire et/ou savoir-être), donc sur le degré datteinte des objectifs pédagogiques de la formation. RésultatsÉvaluez-vous lapprentissage ?Oui majoritairement de façon formelleOui majoritairement de façon informelleNonQuel est lobjectif de cette évaluation ? Que faites-vous des résultatsaprès en avoir pris connaissance ?Les objectifs avancés par les répondants peuvent sinscrire dans les deux grands types déva-luation de lapprentissage :Évaluation formative : cette forme dévaluation a généralement lieu au cours de la formationet produit une information à destination des formateurs et/ou des formés, leur permettantdapprécier la progression des connaissances, didentifier les axes de progrès, dadapter lecontenu du programme et/ou les méthodes pédagogiques en fonction, etc. Lun des presta-taires de formation explique recourir à ce type dévaluation pour « Contrôler tout au long dela formation lacquisition de connaissances ou « compétences » pour pouvoir revenir si besoinest dessus en cours de session ».Évaluation sommative : cette forme dévaluation vise à valider les acquis de la formation, àvérifier que les connaissances ont bien été assimilées, donc que les objectifs pédagogiquesont été atteints. Elle a généralement lieu à la fin de la formation. Pour lun des répondants, ilsagit de « Vérifier essentiellement que les connaissances fondamentales ont été acquises »et, en cas décart, de « revenir vers le formé pour consolider les connaissances man-quantes ». Lun des répondants explique aussi utiliser les résultats de cette évaluation pourévaluer la pertinence des objectifs pédagogiques, qui pourrait se résumer ainsi : « Cette éva-luation permet de sassurer que la formation est conforme au cahier des charges, que lechoix de la formation est adapté au plan de formation et à la demande et que cela a permisau collaborateur dacquérir de nouvelles connaissances pour répondre à des problématiquesdu quotidien ».Peu dinformations ont été livrées par les répondants quant à lutilisation qui est faite de cesrésultats, seul lun expliquant transmettre une synthèse des résultats aux concepteurs du dis- Les pratiques dévaluation des formations des entreprises françaises en 2011 |13 © Formaeva
    • positif de formation, dans une logique damélioration continue.Du total des formations données en un an, quel pourcentage dentreelles évaluez-vous à ce niveau ?(33 organisations sur 60 se sont ici exprimées)100 % des formations 19 organisationsEntre 90 et 100 % des formations 2 organisationsEntre 60 et 80 % des formations 5 organisations50 % des formations 4 organisationsEntre 10 et 30 % des formations 2 organisationsEnfin, une autre organisation différencie ses pratiques dévaluation de lapprentissage enfonction des formations : elle évalue ainsi formellement lapprentissage pour lensemble deses parcours dintégration, mais ne prévoit rien pour les formations à la conduite dengins quireprésentent 80 % de son plan de formation.A quel moment réalisez-vous cette évaluation ?Pendant la formationJuste après la formationLes jours suivant la formationPlusieurs semaines après la formationPlusieurs mois après la formationLévaluation de lapprentissage est fréquemment menée juste après la formation, donc « àchaud », souvent en même temps que lévaluation des réactions. Notons quelle est parfoismenée « à froid », plusieurs semaines ou mois après la formation, ce qui équivaut à évaluer lamémorisation des connaissances plutôt que leur seule acquisition.Qui participe à lévaluation ?Le forméLe formateurLe service formationLe manager du formé (son N+1)Autre(s)Le formé est le principal acteur de lévaluation de lapprentissage, soit parce quil participe àune évaluation formalisée conçue par un tiers (ex : répondre à un quiz dévaluation desconnaissances), soit parce quil est placé en situation dautoévaluation (ex : il lui est demandé Les pratiques dévaluation des formations des entreprises françaises en 2011 |14 © Formaeva
    • destimer sa progression pour chacun des objectifs visés par la formation). Parmi les autresacteurs sont notamment cités les tuteurs.Pourriez-vous décrire le ou les outils que vous utilisez pour cela ?Les outils et méthodes utilisés par les répondants peuvent être catégorisés selon les deuxtypes dévaluation décrits précédemment :Évaluation formative (pendant la formation) : exercices, simulations (pour les formations endéveloppement personnel), quiz dévaluation des connaissances, questionnements oraux, etc.Évaluation sommative (après la formation) : quiz dévaluation des connaissances (aprèschaque module et/ou à la fin de la formation), autoévaluation (progression par rapport auxobjectifs visés par la formation), guide dentretien (ex : avec le N+1, notamment dans lecadre de lentretien annuel, ou le RRH), etc.Lun des organismes de formation met en œuvre un protocole dévaluation assez sophistiqué :un quiz dévaluation des connaissances est proposé aux participants avant le début de la for-mation, puis ce même quiz leur est soumis à nouveau après la formation. Lanalyse des résul-tats à cette évaluation permet de quantifier un gain dapprentissage. Lensemble de ce proto-cole est informatisé à laide de la solution Formaeva. Dautres répondants réalisent égalementlévaluation en ligne via leur LMS (Learning Management System).Il est donc à noter que le quiz dévaluation des connaissances est un outil utilisé tant pendantla formation quaprès celle-ci. AnalyseSi lon compare les chiffres de cette étude avec ceux de létude de 2010, il ne semble pas quelobligation dévaluation des acquis de la formation (introduite par la loi de 2009 sur la ré-forme de la formation professionnelle continue) ait contribué à développer les pratiquesdévaluation à ce niveau, tant au sein des entreprises que des organismes de formation pré-sents dans notre échantillon. Bien que cette obligation soit finalement moins contraignanteque prévu (nobligeant pas, par exemple, à une systématisation du quiz), il nous semble tou-tefois important de disposer de données sur lapprentissage pour, entre autres, ne pas se limi-ter à savoir si le formé est satisfait de la formation, mais bien sil en a retiré quelque chose.Pour cela, les préconisations émises dans le cadre de létude de 2010 restent valables, notam-ment deux dentre elles qui sont dans lesprit de ce quénonce la DGEFP en la matière :Définir des objectifs de formation concrets en amont de la formation : bien trop de forma-tions ne disposent pas dobjectifs formulés de façon à être observables et, donc, mesurablesen situation de travail (ex : « Être capable de... »). De bons objectifs de formation facilitentainsi lévaluation de lapprentissage (via une autoévaluation par les formés), « à chaud », mais Les pratiques dévaluation des formations des entreprises françaises en 2011 |15 © Formaeva
    • aussi lévaluation des comportements (ou transfert des acquis), « à froid ». Il est à noter que,si lobligation légale ne contraint pas à utiliser systématiquement une méthode formaliséedévaluation des acquis, elle oblige en revanche à livrer une attestation de formation au for -mé, sur laquelle doivent figurer les résultats de lévaluation des acquis ou, a minima, les ob-jectifs de formation adéquatement formulés.Apprendre nest pas transférer : comme en 2010, nous avons relevé une grande confusionentre lapprentissage et le transfert. A la question portant sur lobjectif de lévaluation delapprentissage, plusieurs répondants livrent des éléments relatifs à lévaluation du transfert :« Apprécier lutilisation des acquis en situation professionnelle », « Pour des formations ma-nagériales, nous demandons aux N+1 de briefer leurs collaborateurs sur les finalités de laformation quils vont suivre, de fixer 2 ou 3 objectifs, de débriefer après la formation et defaire un point après 6 ou 8 mois, mieux encore pendant lentretien annuel ». Un autre répon-dant nous explique aussi utiliser comme méthodes dévaluation de lapprentissage la « discus-sion avec le manager », notamment « durant la revue de performance et de développe-ment ». Il y a donc confusion entre lapprentissage (qui se produit, le cas échéant, pendant laformation et à lissue de la formation) et le transfert de cet apprentissage sur le terrain (quipeut alors être constaté par le manager, quelques semaines ou mois après la formation). Ilpeut en effet y avoir apprentissage sans transfert, pour des raisons extérieures à la formationelle-même (ex : la formation na pas été donnée au moment où il en avait le plus besoin). Les pratiques dévaluation des formations des entreprises françaises en 2011 |16 © Formaeva
    • Niveau 3 : Comportements (transfert des acquis)Ce qui a été appris est-il utilisé en situation de travail ? La formation a-t-elle modifié lescomportements au travail des salariés formés ? Ce niveau dévaluation vise à sassurer que cequi a été appris en formation est bien utilisé au travail (utilisation des acquis, mise enœuvre de nouveaux comportements professionnels, etc.). RésultatsÉvaluez-vous le transfert des acquis ?Oui majoritairement de façon formelleOui majoritairement de façon informelleNonQuel est lobjectif de cette évaluation ? Que faites-vous des résultatsaprès en avoir pris connaissance ?Les objectifs de cette évaluation pour les répondants peuvent être catégorisés ainsi :Évaluer le transfert des acquis de la formation : quil sagisse de « Vérifier la mise en œuvredes nouveaux acquis », dévaluer le « Changement de comportement professionnel », de« Sassurer que ce qui a été appris en formation est bien utilisé au travail », de « Voir si lesstagiaires ont utilisé en situation de travail les apports de la formation », de « constater (oupas !) la mise en application sur le poste de travail, de passer de la théorie et de la bonnevolonté à lexpression concrète et opérationnelle dans le quotidien », « Valider latteinte desobjectifs de formation (compétences et comportements en situation de travail) par une réa-lisation concrète », les réponses données correspondent toutes à lévaluation du transfert desacquis, faisant de cet objectif lobjectif prioritaire à ce niveau. Comme le mentionne lun desrépondants, cest à cette occasion quil est possible de constater que la formation a été utileà lentreprise, ou non.Favoriser le transfert des acquis : cette évaluation est aussi loccasion d« Ajuster les misesen situation », de « contextualiser les acquis », deffectuer des « Remontées de bonnes pra-tiques » ou encore dinstaurer des « Échanges avec les N+1 afin de booster les actions ».Toutes ces actions contribuent ainsi à accompagner au mieux les formés lors dun suivi post-formation (ex : par le manager) afin de maximiser le transfert des acquis.Évaluer la pertinence de la formation : lun des répondants explique que cette évaluation luipermet de « Conforter lanalyse des besoins effectuée à loccasion de la définition du plan deformation », tandis quun autre parle de « Vérifier ladéquation de la formation aux be-soins ». Dans les deux cas, il sagit bien de se poser la question de la pertinence de la forma -tion : cette formation était-elle la meilleure solution en réponse au problème rencontré, au Les pratiques dévaluation des formations des entreprises françaises en 2011 |17 © Formaeva
    • besoin identifié ?Du total des formations données en un an, quel pourcentage dentreelles évaluez-vous à ce niveau ?(25 organisations sur 60 se sont ici exprimées)100 % des formations 10 organisationsEntre 75 et 80 % des formations 4 organisationsEntre 50 et 70 % des formations 3 organisationsEntre 10 et 35 % des formations 7 organisationsAussi, lune des organisations ne donne pas de chiffres précis, car expliquant différencier sespratiques dévaluation du transfert en fonction de différents critères : le secteur de lentre-prise, le manager, le niveau de qualification, etc. Par ailleurs, il apparaît logiquement quelévaluation du transfert des acquis est plus délicate à mener pour les prestataires de forma-tion qui ne peuvent pas aisément maintenir un contact avec le formé (et encore moins avecson manager), comme lindique lun deux : « Je ne peux évaluer que les salariés dont lentre-prise a souhaité un suivi pour les autres la situation de travail nest pas observable a poste-riori ».A quel moment réalisez-vous cette évaluation ?Les jours suivant la formationPlusieurs semaines après la formationPlusieurs mois après la formationLévaluation du transfert a donc principalement lieu « à froid », plusieurs semaines ou moisaprès la formation, ce qui paraît logique du fait du laps de temps nécessaire pour le forméteste en situation les acquis de sa formation et se les approprie durablement (notammentavec le soutien de son manager, de ses collègues, etc.). Si lévaluation a lieu quelques joursaprès la fin de la formation, il est probable que le résultat soit biaisé positivement (dans leu-phorie de la formation, le formé peut utiliser ce quil a appris sans que cela ne dure) ou néga-tivement (le formé na pas encore eu le temps dutiliser ce quil avait appris, fautes docca-sions dappliquer ses acquis). Rappelons que le « bon moment » pour lévaluation du transfertdépend de plusieurs choses, à commencer par la nature de la formation (les compétences« techniques » pouvant être mises en œuvre plus rapidement que les compétences « managé-riales » ou « comportementales »).Qui participe à lévaluation ?Le formé Les pratiques dévaluation des formations des entreprises françaises en 2011 |18 © Formaeva
    • Le formateurLe service formationLe manager du formé (son N+1)Autre(s)Le formé et son manager sont donc les deux principaux acteurs de lévaluation du transfertdes acquis (parfois ensemble, dans une logique de co-évaluation). Comme pour lévaluation delapprentissage, nous pouvons aussi relever le rôle joué par les tuteurs à ce niveau.Pourriez-vous décrire le ou les outils que vous utilisez pour cela ?Différents outils et méthodes sont utilisés par les répondants pour évaluer le transfert des ac -quis, formels comme informels :Le questionnaire dévaluation : celui-ci peut comporter des questions génériques (ex :« Jutilise régulièrement les acquis de ma formation »), des questions sur le respect des en-gagements pris par le formé à lissue de la formation (et renseignés sur le questionnaire déva-luation « à chaud ») et/ou des questions sur la mise en œuvre en situation de travail des com-portements attendus à lissue de la formation (correspondant aux objectifs comportemen-taux). Ce questionnaire peut aussi comprendre des questions visant à identifier les éventuelsfreins à lutilisation des acquis de la formation (ex : pas doccasions dappliquer ce qui a étéappris). Ce type de questionnaire est généralement complété par le formé lui-même et/ouson manager. Pour des raisons pratiques (ex : taux de retour élevé, confidentialité préservé)et de qualité du suivi de la formation, ladministration des questionnaires se fait générale-ment en ligne (ex : Formaeva, LMS). Lun des répondants détaille le questionnaire spécifiqueà lorganisation quil utilise dans ce cadre : « Tableau Excel dédié aux problématiques pra-tiques de la société. Huit à dix questions dont la moitié au moins en questions ouvertes (afinde donner des exemples concrets et vérifiables par tous : dossiers, noms du client, affaires,litiges...) ».Le plan dactions post-formation personnalisé : si le formé peut prendre individuellementdes engagements à lissue de la formation pour appliquer ce quil a appris, il peut aussi (etcela est souhaitable) les fixer avec son manager, à loccasion dun entretien post-formation.Durant cet entretien, il sera question des acquis de la formation, de leur utilisation à venir,des projets que le formé pourrait mener dans ce cadre, des moyens que peut lui apporter lemanager pour réussir, etc. Les résultats de ce plan dactions seront évalués à laide dun ques -tionnaire ou à loccasion dun entretien (généralement entre le formé et son manager). Cetaccompagnement du manager débute même, pour trois des répondants, par un entretien pré-formation permettant de préciser à nouveau les besoins et attentes du formé, de rappeler lesobjectifs de la formation et de discuter, dores et déjà, des possibilités dapplication à venir.Un processus dévaluation idéal si lon souhaite impliquer pleinement le manager dans la for-mation et ne pas limiter son rôle à celui de « simple évaluateur ». Les pratiques dévaluation des formations des entreprises françaises en 2011 |19 © Formaeva
    • Les entretiens : plus ou moins formalisés (ex : avec ou sans guide dentretien), ils sont géné-ralement conduits par le manager du formé ou, le cas échéant, son tuteur. Il sagit dune mé-thode qualitative permettant, comme pour le questionnaire, dévaluer la mise en œuvre desacquis et didentifier déventuels problèmes rencontrés par les formés.Lentretien annuel dévaluation : pour plusieurs répondants, lévaluation du transfert est me-née une fois lan, dans le cadre de lentretien annuel dévaluation. « Normalement, cette éva-luation fait partie de lentretien annuel et elle est faite entre le formé et son manager,éventuellement avec le RRH ». Bien que simple à mettre en œuvre, lévaluation peut se révé-ler trop imprécise (ex : lévaluation porte sur des formations dont les effets peuvent se che-vaucher ou qui ne se sont pas encore produits) et tardive (si lon constate quil ny a pas eutransfert, il est trop tard pour rectifier le tir). Lévaluation prend alors la forme dun bilanmais ne permet pas de manager le transfert des acquis de la formation.Le projet dapplication : certains formations font lobjet dune soutenance ou dune présenta-tion dune réalisation concrète par le formé au formateur et à son manager, loccasion de voirsi ce qui a été appris en formation a pu être appliqué dans le cadre de projets spécifiques.Lun des répondants, appartenant à un OPCA, explique confier cette évaluation au forma-teur : celui-ci réunit les formés à loccasion dune journée-bilan (organisée quelques tempsaprès la fin de la formation) durant laquelle il évalue si les objectifs personnels dapplicationfixés par les formés à la fin de leur formation ont été atteints. AnalyseComme en 2010, nous ne pouvons que déplorer la rareté des pratiques dévaluation du trans-fert des acquis. Tout se passe comme si le simple fait de former garantissait la transpositiondes acquis de la formation en situation de travail. Deux freins à la mise en œuvre de cetteévaluation demeurent inchangés :Labsence dobjectifs comportementaux en amont de la formation : cela reste le principaldéfini méthodologique de cette évaluation, mais si lon ne fixe pas, en amont de la formation,des objectifs clairs et concrets, observables et mesurables en situation de travail, nous nepourrons que nous contenter que dune évaluation du transfert approximative, reposant surquelques questions génériques et/ou des engagements pris par les seuls formés. La meilleuremanière dévaluer le transfert consiste donc à savoir précisément en amont ce qui sera atten-du des formés en situation de travail (quels comportements devront-ils manifester en situa-tion de travail ?).La difficile implication du management : ce sujet mériterait une étude à part entière, tantlimplication du management dans la formation de ses collaborateurs est aussi nécessaire quedifficile à obtenir. Cest ce que note lun des répondants qui reconnaît que « Cette évaluationdoit être faite avec laide du N+1 qui manque bien souvent de temps pour mettre en pra-tique cette évaluation ». Un autre pense que cela nest pas pratiqué « car ce nest pas dans la Les pratiques dévaluation des formations des entreprises françaises en 2011 |20 © Formaeva
    • culture de lentreprise ». Dexpérience, nous pouvons affirmer que cette implication grandis-sante du manager dans la formation et son évaluation est possible, dès lors que le processusdévaluation des formations est pensé et conçu pour être utile au manager et en faire un ac-teur central. Cest ce quont bien intégré les organisations qui prévoient dans leur processusdévaluation des formations un entretien pré-formation puis un entretien post-formation envue détablir un plan dactions, cohérent avec les objectifs de la formation. Les pratiques dévaluation des formations des entreprises françaises en 2011 |21 © Formaeva
    • Niveau 4 : RésultatsQuel est limpact de la formation sur les résultats de lorganisation ? Ce niveau dévaluationvise à estimer limpact de la formation sur les indicateurs de résultats liés à la formation (ex: accroissement des ventes suite à une formation commerciale, diminution des accidents detravail suite à une formation sécurité, etc.). RésultatsÉvaluez-vous limpact de la formation sur les résultats organisationnels?Oui majoritairement de façon formelleOui majoritairement de façon informelleNonQuel est lobjectif de cette évaluation ? Que faites-vous des résultatsaprès en avoir pris connaissance ?A ce niveau, les répondants évoquent en très grande majorité leur volonté de démontrer lavaleur de la formation pour lorganisation, certains évoquant directement la notion de « re-tour sur investissement de la formation ». Un prestataire de formation expliquer vouloir « Va-loriser les apports de [sa] formation en termes factuels ». Cest donc à ce niveau dévaluationque lon cherchera à démontrer et à chiffrer limpact opérationnel de la formation. Seul unrépondant a confondu ce niveau dévaluation avec les précédents, en affirmant que lobjectifétait ici de « juger les acquis et le taux de satisfaction des supérieurs hiérarchiques » (ce quine relève pas du niveau 4, mais plutôt des niveaux 1, 2 et/ou 3).Du total des formations données en un an, quel pourcentage dentreelles évaluez-vous à ce niveau ?(11 organisations sur 60 se sont ici exprimées)100 % des formations 3 organisationsEntre 60 et 80 % des formations 3 organisations45 % des formations 1 organisationEntre 5 et 20 % des formations 4 organisationsLe répondant ayant indiqué évaluer 45 % de ses formations au niveau 4 précise quilsagit essentiellement de formations commerciales et managériales. Les chiffres an-noncés sont donc très variables, allant de 5 à 100 % des formations concernées. Les pratiques dévaluation des formations des entreprises françaises en 2011 |22 © Formaeva
    • Quelle(s) période(s) retenez-vous pour suivre lévolution des indica-teurs ?Les périodes retenues pour analyser lévolution des valeurs des indicateurs de résultats sontrelativement hétérogènes : 2 mois après, 6 mois avant et 6 mois après, 4 à 6 mois après, 6mois après, 3 mois avant et 12 mois après, analyse trimestrielle et comparaison éventuelleavec les valeurs de lannée précédente (pour éliminer les variations saisonnières)... Lune desbonnes pratiques est effectivement de raisonner en avant-après, par exemple en étudiantlévolution des indicateurs sur 12 mois (6 mois avant et 6 mois après la formation) et, le caséchéant, en comparant ces valeurs avec celles des années précédentes (notamment pour lesformations commerciales visant un impact sur le chiffre daffaires).Qui suit lévolution des indicateurs de résultats ?Le forméLe formateurLe service formationLe manager du formé (son N+1)Autre(s)Nous pouvons remarquer une certaine hétérogénéité quant aux acteurs responsables du suivides indicateurs au niveau 4 et, fait intéressant, la forte responsabilité accordée aux formésqui doivent « auto-déclarer » limpact de la formation sur leurs propres résultats. Classique-ment se retrouvent dans la catégorie « Autre(s) » les commanditaires de la formation (ex : di-rection commerciale).Pourriez-vous décrire le ou les outils que vous utilisez pour cela ?La méthode la plus fréquemment employée pour évaluer le niveau 4 consiste à suivre lévolu-tion dindicateurs de résultats, propres au métier des formés et/ou à leur entreprise (ex : réa-lisations opérationnelles, montant des ventes, évolution des budgets, nombre de ticketsmoyens traités par magasin, nombre et types de questions traitées par la hotline, etc.). Lundes répondants déclare utiliser des indicateurs dactivités de formation (ex : nombre de for-més, budget utilisé par type de formation), mais qui ne permettent pas, à notre sens, de dé-montrer un quelconque impact opérationnel des formations (juste de suivre le volume dacti-vités de formation).Lautre méthode, proche de celle utilisée pour le transfert, consiste en létablissement dunplan dactions par le formé et son manager visant latteinte dobjectifs opérationnels. Léta-blissement et le suivi de ce plan dactions est réalisé à laide dune solution dévaluation enligne (ici Formaeva). Les pratiques dévaluation des formations des entreprises françaises en 2011 |23 © Formaeva
    • Analyse80 % des organisations interrogées ne pratiquent donc pas lévaluation de niveau 4, bien quecela soit une demande récurrente des directions générales que de disposer délémentsconcrets attestant de lutilité organisationnelle de la formation. Cette rareté des pratiquesest principalement la conséquence de difficultés méthodologiques : « Cela nest jamais faitcar nous manquons de technique permettant disoler le facteur formation dans lévolutiondun indicateur ». Cette difficulté est bien réelle si lon souhaite calculer le retour sur inves-tissement de la formation (niveau 5 de Jack Phillips), mais na pas lieu dêtre si lon souhaitedémontrer le retour sur les attentes (ROE) de la formation. Cette seconde logique consiste eneffet à vérifier que les attentes des parties prenantes de la formation (matérialisées sous laforme dobjectifs concrets) sont satisfaites, sans chercher isoler la part de la formation danslobtention du résultat, tant il est vrai que le résultat ne peut être que collectif. La fonctionformation agit alors en véritable partenaire daffaires, avec les opérationnels, pour obtenir lesrésultats escomptés. Les pratiques dévaluation des formations des entreprises françaises en 2011 |24 © Formaeva