Your SlideShare is downloading. ×
Evaluation De La Qualité De La Formation Partie1
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Introducing the official SlideShare app

Stunning, full-screen experience for iPhone and Android

Text the download link to your phone

Standard text messaging rates apply

Evaluation De La Qualité De La Formation Partie1

18,378
views

Published on

Toutes les clefs méthodologiques et techniques pour construire votre propre système d’évaluation et pour mener de façon efficiente un projet d’évaluation. …

Toutes les clefs méthodologiques et techniques pour construire votre propre système d’évaluation et pour mener de façon efficiente un projet d’évaluation.

Partie 1/2

Published in: Business, Technology

0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
18,378
On Slideshare
0
From Embeds
0
Number of Embeds
10
Actions
Shares
0
Downloads
502
Comments
0
Likes
4
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. [SEMINAIRE DE FORMATION]
    Animée par Céline Delort & Jean-François Leclerc
    [Evaluation de la qualité de la formation ]
    De la satisfaction à la mesure du retour sur investissement
  • 2. Présentation des formateurs
    Céline Delort
    Consultante Formation & Performance RH
    12 ans d’expérience mixte en organisme de formation et entreprises
    3 activités :
    • Formatrice (Paris 1, formation continue, ESC Dijon,…)
    • 3. Conseils en organisation, évaluation et performance RH
    • 4. Dirigeante société externalisation RH
    Tel : 01 60 14 48 05
    Portable : 06 79 59 67 33
    Email : c.delort@alithia.fr
    Jean-François Leclerc
    Directeur desétudes Grimmersoft Perspective123
    35 ans d’expérience en consulting et études. Créateur de Perspective123
    3 activités :
    • Conduite de projet e-RH
    • 5. Conception de systèmes d’évaluation
    • 6. Analyse de données et recommandations
    Tel : 01 55 95 98 76
    Ligne directe : 01 55 95 98 70
    Email : jeanfrancois.leclerc@grimmersoft.com
  • 7. Groupe Grimmersoft / Perspective123 :
    Quelques chiffres :
    • Plus de 25 ans / 21 collaborateurs. / 5 000 clients.
    • 8. 2007 fusion Grimmersoft - Perspective123.
    Des outils reconnus :
    • Obseo : Plate-Forme Full-Web d’évaluation.
    • 9. Question Data : logiciel de traitement d’enquête.
    Des prestations de services :
    • Conseil et accompagnement  
    • 10. Hébergement de questionnaires
    • 11. Saisie de questionnaires papier.
    www.Grimmersoft.com
    www.Perspective123.com
  • 12. Programme de la formation
    Présentation et tour de table
    • Pourquoi et comment évaluer la formation ?
    • 13. L’évaluation à chaud : définition, mise en œuvre et pratiques d’entreprises
    • 14. L’évaluation des connaissances : objectifs, pertinence et techniques
    • 15. L’évaluation à froid ou comment transférer des connaissances en compétences ?
    • 16. Comment mesurer le retour sur investissement de la formation ?
  • [EVALUATION DE LA FORMATION]
    1. Pourquoi et comment évaluer la formation ?
    Qu’est-ce que la formation?
    Une des solutionspour optimiser la gestion des ressources humaines et résoudre les dysfonctionnements
  • 17. Définition et objectifs de l’évaluation
    Qu’est ce que l’évaluation ?
    • Une détermination de la valeur, du prix, de l’importance (Petit Larousse)
    • 18. Un acte basé sur la production d’un jugement ou l’estimation d’une valeur (Jean-Marie Barbier)
    • 19. Une aide à prendre une décision, à analyser une situation (Marc Dennery)
  • Définition et objectifs de l’évaluation
    Les objectifs de l’évaluation
    • Analyser une situation, prendre une décision et effectuer des arbitrages
    • 20. Produire un retour d’information pour les commanditaires
    • 21. Vérifier si les objectifs de la formation sont atteints
    • 22. Valider si les connaissances ont été acquises
    • 23. Identifier les changements chez la personne en formation sur son poste de travail
    • 24. Mesurer la qualité, la pertinence et l’efficacité de la formation
    • 25. Déterminer les effets globaux de la formation sur la performance de l’entreprise
    • 26. Préparer le suivi de la formation pour les apprenants ou pour le formateur
    • 27. Valoriser la fonction Formation
  • Définition et objectifs de l’évaluation
    Les 4 missions de l’évaluation*
    • L’attribution d’une valeur scolaire au terme d’une formation pour rendre la formation « qualifiante »
    • 28. Une « fonction éducative de l’évaluation » en vue de faire progresser l’apprenant
    • 29. Un « double processus d’objectivation de la réalité évaluée » pour identifier les résultats de la formation et permettre la prise de décision
    • 30. Une « fonction prospective » pour formuler de nouvelles idées et projets
    * J.M. Barbier
  • 31. Réflexion en groupe (10 minutes)
    Analysez la
    définition suivante :
    Définition de
    l’évaluation de la formation
    « … l’ensemble des actions entreprises dans le cadre du processus formel afin d’analyser soit les effets de la formation sur les apprenants, soit la qualité d’une action ou d’un projet de formation, soit la pérennité d’un système de formation ou son impact sur la performance globale de l’entreprise, et de comparer ces effets ou cette qualité, ou encore le degré de pérennité du système au regard des investissements réalisés… »
  • 32. Que voulez-vous ou pouvez vous évaluer ?
    Types d’évaluation (Cf. J.M. Barbier)
    Formative / sommative
    Explicite / spontanée / instituée
    Interne / externe
    Évaluation explicite : « le jugement de valeur ne s’explicite qu’à travers ses effets »
    Évaluation spontanée : «  le jugement de valeur ne s’explicite qu’à travers son énoncé, sa formulation »
    Évaluation instituée : « un acte délibéré et socialement organisé aboutissant à la production d’un jugement de valeur »
    Évaluation interne :
    « effectuée par rapport aux objectifs fixés au sein même de l’action de formation »
    Évaluation externe :
    Fixée « par rapport aux objectifs économiques, sociaux ou professionnelles qui justifient l’action de formation elle-même
    Évaluation formative :
    Elle se pratique au cours des apprentissages et elle a pour but de renseigner l’apprenant le plus complètement et le plus précisément possible sur la distance qui le sépare de l’objectif et sur les difficultés qu’il rencontre
    L’évaluation sommative : Elle se pratique au terme d’un apprentissage et elle a pour but de vérifier si les objectifs en ont été atteints par tel ou tel apprenant.
  • 33. Que voulez-vous ou pouvez vous évaluer ?
    Quels éléments évaluer ?
    4 éléments à évaluer
    selon M. Dennery
    • l’apprenant et les équipes apprenantes
    • 34. les actions et les projets de formation
    • 35. la fonction formation
    • 36. les coûts de la formation et le retour sur investissement
    4 niveaux
    selon D.L. Kirkpatrick
    • Réactions des stagiaires et mesure de la satisfaction
    • 37. Acquisition de connaissances / de savoirs
    • 38. Transfert sur les situations de travail 
    • 39. Effets de la formation sur les résultats de l’entreprise
  • Que voulez-vous ou pouvez vous évaluer ?
    Les différentes qualités à évaluer
  • 40. Que voulez-vous ou pouvez vous évaluer ?
    Qui est concerné par l’évaluation et quelles sont les attentes des acteurs ?
  • 41. Que voulez-vous ou pouvez vous évaluer ?
    Les acteurs de l’évaluation de la formation
    En externe :
    • Les organismes de formation
    • 42. Les formateurs externes
    • 43. Les financeurs
    En interne :
    • La direction générale
    • 44. Les managers
    • 45. Les formés
    • 46. Les représentants du personnel
    • 47. Le service Formation et les autres acteurs RH
    • 48. Les actionnaires
    • 49. Les formateurs internes
  • Attentes des acteurs de la formation à l’égard des systèmes d’évaluation de la formation(10 minutes en groupe)
  • 50. Importance de l’évaluation pour le manager
  • 51. Processus d’évaluation de la formation
    Un processusen 4 phases :
  • 52. Le processus d’évaluation
    4 phases :
    PREPARATION
    • Identification des objectifs et résultats attendus
    • 53. Définition du niveau d’évaluation
    • 54. Définition des objectifs d’évaluation
    • 55. Sélection des outils de collecte et analyse
    IMPLANTATION / COLLECTE
    • Préparation des outils de collecte
    • 56. Planification
    • 57. Collecte des données
    • 58. Relances
    ANALYSE
    • Mise en commun des données
    • 59. Traitement statistique
    • 60. Edition d’un rapport de synthèse
    ACTION
    • Prise de décision
    • 61. Actions d’amélioration / progression
    • 62. Bilan de l’évaluation
  • Les étapes-clés de l’évaluation
    Avant la formation
    Pendant la formation
    Après la formation
    A froid
    Évaluation de l’évaluation
  • 63. Les 5 critères d’efficacité
    • La simplicité
    • 64. L’acceptabilité sociale
    • 65. L’opérationnalité
    • 66. La fiabilité 
    • 67. La continuité 
  • Exercice pratique
    Définir dans le plan de formation ci-dessous les types d’évaluation à mettre en œuvre :
    • Objectifs de l’évaluation
    • 68. Niveau d’évaluation
    • 69. Outils utilisés
  • Exercice pratique
  • 70. Evaluation une fois l’action de formation organisée
    L’importance d’initier l’évaluationau moment de la conception de l’action :
    • Du lien entre les objectifs de formation et d’évaluation
    • 71. De la recherche des résultats attendus et du caractère opérationnel de l’évaluation
    • 72. De la préparation et de l’organisation de l’évaluation
    • 73. Des évaluations préalables à mener
  • Les outils d’évaluation
    • Les outils de collecte
    • 74. Les outils d’analyse
  • Les outils de collecte d’informations
    Objectif : recueillir des données quantitatives et qualitatives pour effectuer ensuite une analyse
    • Le questionnaire
    • 75. Les entretiens
    • 76. Les tests
    • 77. L’analyse des outils de performance de l’entreprise
    • 78. Les méthodes d’observation
  • Les outils d’analyse
    Objectif : fournir au décideur des informations lui permettant de prendre une décision basée sur des faits objectifs
    • Les méthodes statistiques
    • 79. L’isolation des effets de la formation
    • 80. La valorisation monétaire
  • Les méthodes statistiques
    Objectifs :
    • Transformer des données qualitatives en données quantitatives
    • 81. Mesurer les intangibles
    • 82. Faire de l’évaluation un outil de communication vers l’extérieur
    Méthodologies :
    • Décompte des réponses identiques
    • 83. Calcul des moyennes, écarts types, variances et autres ratios
    • 84. Faire ressortir les faits marquants
    • 85. Faciliter la lecture grâce à des graphiques ou camemberts
  • Un exemple concret d’analyse statistique
    Un questionnaire avec une question fermée :
    Selon vous, la formation a-t-elle eu un effet positif sur votre performance commerciale ?
    Un questionnaire avec une question ouverte :
    Si oui, pouvez-vous me citer les principaux changements ?
  • 86. Deux autres méthodes à exploiter
    • L’isolation des effets
    • 87. La valorisation monétaire
    Cf. exemple du retour sur investissement de la formation
  • 88. [EVALUATION DE LA FORMATION]
    2. L’évaluation à chaud : définition, mise en œuvre et pratiques d’entreprises
  • 89. Les entretiens
    Objectif : recueillir auprès de la personne interrogée le maximum d’informations sur un sujet donné
    Avantages
    • Récupérations de données sur le vif et personnelles
    • 90. Approfondissement d’un sujet
    • 91. Récupération de données plus nombreuses et variées
    Limites
    • De la difficulté à compiler et analyser les données
    • 92. Du coût en temps de l’entretien
    • 93. Du risque de défoulement
  • Les méthodes d’observation
    Objectif : évaluer les changements d’attitude avant et après la formation
    • Observation directe
    • 94. Visite « mystères »
    • 95. Observations « en décalé »
    • 96. Jeux de rôle
    • 97. 360° et 180°
    • 98. Acquisition des compétences
    • 99. FIA (Flanders Interactions Analysis)
  • Le questionnaire
    Limites
    • Manque de souplesse
    • 100. Pas de contact direct
    • 101. Temps de conception et d’administration du questionnaire
    • 102. Taux de retour faible
    Opportunités
    • Facilité d’administration et d’analyse
    • 103. Nombreuses possibilités de questionnements
    • 104. Idéal pour des cibles nombreuses et éloignées
  • Le questionnaire post formation
    Rôles et objectifs :
    • Déterminer la qualité des prestations de la formation
    • 105. Permettre d’auditer nos fournisseurs
    • 106. Réagir aux incidents pour mettre en place des actions correctrices
    • 107. Prendre en compte les remarques de nos clients pour optimiser nos formations
    • 108. Valider l’implication de l’encadrant
    • 109. Vérifier si le formé estime avoir acquis de nouvelles connaissances et réaliser les objectifs de la formation
  • Du bon usage du questionnaire à chaud
    • Des questions adaptées à l’objectif de l’évaluation
    • 110. Poser des questions sur le respect des objectifs, la future application dans le poste de travail et l’utilité de la formation
    • 111. Informer les sondés dès le départ
    • 112. Exploiter les données par une analyse détaillée
    • 113. Communiquer les résultats aux formés
  • Exemples concrets et analyse
  • 114. [SEMINAIRE DE FORMATION]
    Animée par Céline Delort & Jean-François Leclerc
    [EVALUATION A CHAUD ]
    comment ?
  • 115. Evaluation à chaud :
    COMMENT ? :
    Quand ?
    Quel support ?
    Quel tableau de bord ?
    Quel contenu ?
    Avec quel outil ?
    S’équiper ou sous-traiter ?
  • 116. Quel support ? papier :
    Support papier :
    • Saisie manuelle ...
    ou par scanner
    • Archivage.
  • Saisie automatisée par scanner : Data Scan & Question Data
    Question Data :
    • Traitement des Questions Ouvertes
    • 117. Mapping de satisfaction (SATIMIX)
    • 118. Analyse de données
  • Evaluation à chaud papier :
    Circuit papier :
    Saisie automatisée par scanner.
    Publication industrialisée de rapports.
    Data Scan
    +
    Question Data
    VS
    Externalisation
  • 119. Exemple papier + Internet .
    Tableaux de bords Qualité :
    Formulaire papier.
    Rapport en ligne.
  • 120. Exemple suivi web : Bull Formation
  • 121. Evaluation « tiède » la plate-forme ALSTOM :
    • Evaluation objective : plus de temps pour répondre
    • 122. Possibilité de déployer internationalement
    • 123. Reporting instantanée et détaillée
    • 124. Gain de temps = gain d’argent
    • 125. Démarche qualité : 0 papier
    Fin de stage
    E-Mailing
    Suivi & relance
    Tableau de bord, alertes
    Reporting
  • 126. Le mail d’accompagnement :
  • 127. Le questionnaire :
  • 128. Retour d’expérience et bénéfice de la méthode
    • « L’évaluation en ligne est un vrai succès ».
    • 129. « … Avec un taux de réponses de plus de 80% »
    • 130. « Nous avons un système d’évaluation qui nous permets, de manière objective, de comparer entre eux les programmes fournis. »
    • 131. « On évite toutes les erreurs et le temps passé à la ré-écriture des documents et le reporting papier, la gestion administrative est réduite au minimum »
  • Evaluation en ligne : Exemple de résultats
  • 132. DRH, Responsable Formation, ...Vous en rêviez OBSEO l’a fait :
    CAMPUS ENTRETIENS
    EVALUATION FORMATION
    TOP
    360
    BAROMETRE SOCIAL
    + 6 mois d’abonnement gratuit pour gérer vos évaluations ...
  • 133. DRH, Responsable Formation, ...Vous en rêviez OBSEO l’a fait :
    6 mois d’abonnement gratuit pour gérer vos évaluations ...
    www.obseo.com
  • 134. Plate-forme OBSEO Full-Web :
    une plate-forme Full Web :
    Framework .NET V2, XML
    SQL Server 2003
  • 135. OBSEO : Espace de création de questionnaires / formulaire:
    Une interface pour :
    • Tous types de questions.
    • 136. Interactivité, notations, gestions des scores, langues, corrigé type, diagnostics …
    • 137. Formulaire et tests
    • 138. Sauts, filtres, limite temps, tirage aléatoire…
  • OBSEO : Gestion de la diffusion :
    Une interface pour :
    Disposer des accès aux questionnaires.
    Gérer des e.mailing (Annuaires, Pré-remplissage de la signalétique. / limitation du nombre de passation, Modèles de messages…)
    Planification des envois et des relances, suivre les retours
  • 139. OBSEO : Gestion des rapports :
    L’éditeur de rapport permet de :
    Paramétrer des rapports
    Sélectionner les questions à afficher.
    Choisir les représentations.
    Définir les sélections de population.
  • 140. Quel contenu ? Exemple et « BENCHMARK » : 
    Grâce à l’expérience accumulée depuis 20 ans :
    Des analyses comparatives pour situer vos résultats
    Tableau de bord (obs250909)
  • 141. Make or Buy  ? :
  • 142. INVITATION SUR LES ENTRETIENS
    17 novembre 9 H 15
    20 avenue de l’Opéra, 75001 Paris
  • 143. [EVALUATION DE LA FORMATION]
    3. L’évaluation des connaissances :Objectifs, pertinence et techniques
  • 144. Définition d’une connaissance
    Faculté de connaître, de se représenter. Manière de comprendre, de percevoir. Le petit Larousse
    Ensemble stabilisé de savoirs acquis par un individu et mobilisable par ce dernier.
    Guide pratique de la formation
    Les connaissances générales constituent une des ressources incorporées dans la personne et avec lesquelles celle-ci peut agir avec compétence. Guy Le Boterf
    Représentation immatérielle d'une partie du monde (physique, de la conscience ou mathématique) structurée pour un objectif
  • 145. Intégration de la connaissance
    Connaissance
    Affirmation assimilée pour réaliser une action
    Information
    Donnée mise en contexte
    Donnée
    Elément brut en dehors de tout contexte
  • 146. Première phase du processus d’acquisition des compétences
    SAVOIR
    SAVOIR - FAIRE
    SAVOIR ETRE
  • 147. La formulation d’une compétence
    • Que faut-il savoir ?
    • 148. Que faut-il savoir-faire ?
    • 149. Quelles sont les compétences comportementales pour réussir ?
    • 150. Connaissances
    • 151. Savoir-faire
    • 152. Savoir-Etre
  • Les modes d’acquisition des connaissances
    • Education scolaire (enseignement scolaire, université,….)
    • 153. Education professionnelle
    • 154. Formation continue
    • 155. Auto apprentissage
  • Mode d’emploi pour évaluer les connaissances
    • Identifier vos objectifs d’évaluation
    • 156. Evaluer les connaissances avant et après
    • 157. Valider le niveau et la qualité du test
    • 158. Effectuer un pilote
    • 159. Effectuer le test pour tous les participants
    • 160. Tenir compte des résultats dans l’apprentissage des formés, pour l’optimisation de la formation et la progression du formateur
  • La difficulté de l’évaluation des connaissances
    • De l’expertise métier
    • 161. Du moment de l’évaluation
    • 162. Du degré de connaissances nécessaires
    • 163. De l’interprétation des connaissances
    • 164. De la rétention des connaissances
  • Les tests
    Objectif : évaluer l’acquisition de connaissances
    • Le test de connaissances
    • 165. Le test d’apprenance
    • 166. Le test d’aptitude
    • 167. Légitimité et crédibilité auprès des opérationnels
    • 168. Bon outil pour l’auto-motivation
    • 169. Possibilité de certifications ou gratifications
  • [SEMINAIRE DE FORMATION]
    Animée par Céline Delort & Jean-François Leclerc
    [EVALUATION DES CONNAISSANCES ]
    comment ?
  • 170. Evaluation des connaissances :
    Mesurer les pré-requis
    • Evaluer les niveaux de connaissances avant la formation,
    • 171. Proposer un parcours pédagogique adapté,
    • 172. Constituer des groupes de niveau,
    • 173. Mesurer les besoins du groupe,
    • 174. Adapter et faire évoluer les programmes de formations.
    Valider les acquis
    • Diffuser un examen de fin de formation,
    • 175. Archiver les réponses et résultats de chacun
    • 176. Valider le parcours pédagogique de l’apprenant,
    • 177. Situer l’apprenant par rapport à un niveau de qualification
    • 178. Editer un certificat, Certification, habilitation
    Comparaison « avant / après »
  • 179. Principes de construction d’un questionnaire 1/5 : structurer
    A partir des objectifs : Identifier les THEMES du questionnaires = Indicateurs, scores, notes
    Décomposer les thèmes en niveaux d’interrogation
    Définir la volumétrie (confort, couverture du sujet, coût, tirage sur banque ...)
    Prévoir dès la conception les modalités d’analyse
  • 180. Principes de construction d’un questionnaire 2/5 : formuler
    Clarté, rigueur, lisibilité, confort du répondant.
    Distinguer le contexte, de la question elle-même
    Ne pas poser 2 questions dans la même
    Pas de questions négatives dans une série affirmative
    Cultiver la variété des questions
    Formulation proche de la situation de travail.
    Modalité « je ne sais pas »
    Relecture (Groupe de travail, experts ...)
  • 181. Principes de construction d’un questionnaire 3/5 : Catégorie et notation
    Questions fermées / ouvertes (Question Data, Wordmapper)
    V/F, QCM (distracteurs), Texte à trou, A apparier, glisser/déplacer, puzzle, zone sensible, curseur ...
    Renseignements signalétiques
    Questions filtres
    THEMES : Note, points ou % (Éviter le traumatisme, le scolaire )
    Notation différentielle (+2+ 1 0 -1 -2) / tout juste tout faux
    Pondération des questions, éliminatoire.
    Fonction « re-calcul » simulation de scores
    Créer des « cursus » de questionnaires (CAMPUS MANAGER)
  • 182. Principes de construction d’un questionnaire 4/5: organiser, présenter
    Écrans d’accueil, consignes de remplissage, annoncer les règles.
    Questions à blanc, intercalaires, restitution.
    Structuration/ Tirage aléatoire/ Temps limité(?)
    Interactivité, correction
    Mise en page, graphisme, fonds, ergonomie des écrans, apport du multimédia…
    Bilan final = notation, diagnostic, corrigé type ?
  • 183. Principes de construction d’un questionnaire 5/5 : Valider
    Effectif
    S’assurer de la bonne compréhension
    Valider la passation technique (Ecrans, navigateur ...)
    Etalonner le questionnaire (s’assurer de sa prédictivité et de sa sensibilité).
    Questions discriminantes, triviales ...
    Recetter.
    Peu sensible
    Trop difficile
    Notes
    Effectif
    Effectif
    Idéal
    Peu sensible
    Trop facile
    Notes
    Notes
  • 184. Exemples pour les Campus Veolia
  • 185. Exemples de tests
  • 186. Exemples de tests
  • 187. Exemple : certification milieu bancaire
  • 188. Habilitation électrique :
  • 189. Campus Manager :
    • Gestion de comptes individuels et sécurisés
    • 190. Chaque répondant a son « dossier »
    • 191. Ressources pédagogiques & parcours
    • 192. Gestion des répondants/groupes
    • 193. Organisation des répondants en groupes
    • 194. Affectation des ressources / des cursus
    • 195. Gestion d’évaluations/cursus
    • 196. Organisation des ressources en Cursus conditionnels
    • 197. Affectation à des répondants / des groupes
    • 198. Gestion du reporting
    • 199. Consolidation et règles d’accès
    • 200. Consultation des résultats par groupe
    • 201. Suivi individuel
  • [EVALUATION DE LA FORMATION]
    4. L’évaluation à froid ou comment transférer des connaissances en compétences ?A SUIVRE …