• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Introduction aux évaluations en milieu de travail
 

Introduction aux évaluations en milieu de travail

on

  • 906 views

Atelier présenté au corps professoral de l'Université Laval.

Atelier présenté au corps professoral de l'Université Laval.

Statistics

Views

Total Views
906
Views on SlideShare
737
Embed Views
169

Actions

Likes
0
Downloads
0
Comments
0

6 Embeds 169

http://www.mcc.ca 95
http://ext.mcc.ca 44
http://devwww.mcc.ca 21
http://mcc.ca 5
https://twitter.com 2
http://mcc.webrockstar.net 2

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment
  • Évaluation : Évaluer la performance des candidats à l’examenGénéralisation : Les résultats s’appliquent-ils à l’ensemble des domaines de compétences?Extrapolation : Les résultats s’appliquent-ils à d’autres types de contextes/de résultats?Explication : Peut-on expliquer les résultats de façon théorique?Prise de décision : Peut-on utiliser les résultats pour prendre des décisions sur les placements?

Introduction aux évaluations en milieu de travail Introduction aux évaluations en milieu de travail Presentation Transcript

  • Une introduction aux évaluations en milieu detravail (avec un penchant pour le mini-CEX!) André De Champlain, PhDChercheur psychométricien en chef & Directeur par intérim, Recherche et Développement, Conseil Médical du Canada
  • Un bref tour de table….André De Champlain, PhDJessica Hertzog, MBAVous: • Nom, intérêt(s) et domaine(s) d’expertise?
  • Aperçu• Volet pédagogique • Les évaluations en milieu de travail: existe-t-il vraiment un besoin? • Brève description de quelques évaluations en milieu de travail • La fidélité et validité de nos évaluations en milieu de travail • Bien préparer nos examinateurs • Le rôle central de la rétroaction (« feedback ») • La mise en place d’une évaluation en milieu de travail 3
  • Aperçu• Volet pratique • La version française du mini-CEX est-elle appropriée au contexte québécois? • Quelques évaluations de la compétence à l’aide du mini-CEX • Discussion 4
  • Compétences cliniques sont trèsimportantes en médecine• Le rôle de l’anamnèse et l’examen physique • En dépit des progrès réalisés au niveau des outils diagnostiques et des moyens thérapeutiques au cours des 25 dernières années, une anamnèse réfléchie et un examen physique complet permettent souvent de poser un diagnostic • Les erreurs au niveau d’un diagnostic sont souvent reliées à une collecte fautive ou incomplète de données 5
  • Compétences cliniques sont trèsimportantes en médecine• Bien communiquer est associé à: • Un bon état de santé • Une amélioration de l’efficacité des soins • Une diminution du nombre de poursuites judiciaires pour faute professionnelle 6
  • Déficience au niveau descompétences cliniques• Habileté des résidents à ausculter un patient (Mangione, 1997)• Habileté des médecins de famille à recueillir une anamnèse/évaluation de prévention (Ramsey, 1999)• Examen physique incomplet de la part des résidents (Reilly, 2003)• Erreurs commises au cours de procédures techniques (Tang et coll., 2005) 7
  • Pyramide de Miller Application des connais. dans la pratique — Fait vérification dossier, observation directe Démontre Examens — compétences cliniques, ECOS Présentation de cas,Sait comment examens — questions à développement Épreuves factuelles : Sait examens — questions à choix multiples Sélectionner la méthode d’évaluation la plus appropriée 8
  • Lacune au niveau de l’évaluation formative etde la rétroaction• Étudiants de premier cycle • Observation structurée entreprise pour seulement 7%-23% des étudiants (Kassebaum & Eaglen, 1999) • Seulement 28% des stages cliniques en médecine interne font appel à l’évaluation formative (Kogan & Hauer, 2006)• Résidents • 82% des résidents sont observés à une seule occasion (Day et coll., 1990) • 80% des résidents ne sont jamais observés ou le sont très rarement (Isaacson et coll., 1995) 9
  • Évaluations en milieu de travailtraditionnelles comportent de sérieuxdéfauts• Examen clinique « traditionnel » – Un rappel • Un examinateur observe un résident interagissant avec un patient (souvent méconnu) • Résident recueille une anamnèse, complète son examen physique et présente ses données, plan de prise en charge, etc. à l’examinateur • L’examinateur évalue le résident selon plusieurs dimensions (par ex., compétences cliniques, communication) • Durée d’environ 2 heures • 82% des résidents sont assujettis à un examen clinique « traditionnel » au cours de la première année.
  • Évaluations en milieu de travailtraditionnelles comportent de sérieuxdéfauts• Le résident est évalué avec un seul patient • La performance varie énormément de patient à patient (spécificité du cas clinique)• Le résident est évalué par un seul examinateur • Le niveau de rigueur de ces examinateurs peut varier considérablement• La plupart des interactions médecin-patient sont brèves et ciblées • L’évaluation traditionnelle est « artificielle »
  • Évaluations en milieu de travailmodernes• Centrées sur l’évaluation formative des compétences cliniques• Abordent les problèmes associés aux méthodes traditionnelles• Répondent aux besoins propres liés au milieu de travail • Nécessitent de l’observation et de la rétroaction• Favorisent lutilisation dun éventail d’approches pour l’évaluation des compétences cliniques en milieu de travail
  • Évaluation par les pairs (par ex., 3600)• Processus • Un résident sélectionne 6-8 examinateurs en plus de s’auto-évaluer • Évaluations peuvent être complétées sur le Web • Mesure des compétences cliniques et génériques
  • Évaluation par les pairs (par ex., 3600)• Processus • Le résident intègre toutes ses informations, par ex., auto- évaluation, évaluation par les pairs, commentaires qualitatifs, données normatives, etc. • Fréquence: deux évaluations par année?
  • Exercices semi-structurés deréflexion sur des cas (CbD)• Épreuve axée sur le dossier de santé • Un résident sélectionne deux dossiers • L’examinateur en retient un • Discussion est centrée sur le raisonnement clinique du résident (tel que noté dans le dossier)
  • Exercices semi-structurés deréflexion sur des cas (CbD)• Épreuve axée sur le dossier de santé • Compétences de base (diagnostic, traitement, plan de prise en charge, professionnalisme, etc.) sont évaluées • 15-20 minutes • 6 évaluations/année
  • Observation directe des habiletéstechniques fondamentales (DOPS)• Processus • Un examinateur observe un résident avec un patient • Le résident démontre une habileté technique quelconque • Points de suture, injection par voie intramusculaire, ponction lombaire, etc.
  • Observation directe des habiletéstechniques fondamentales (DOPS)• Processus • L’examinateur évalue le résident selon un nombre de domaines: Préparation, sédation, l’asepsie, habileté technique, etc. et offre une rétroaction • 15-20 minutes • 6-8 évaluations/année
  • Mini exercice d’évaluation clinique(Mini-CEX)• Processus • L’examinateur observe le résident interagissant avec un patient • Le résident doit compléter une tâche clinique ciblée • Sept compétences sont évaluées à l’aide d’échelles de Likert (1-9) • (1)Techniques d’entrevue , (2)Techniques d’examen physique, (3)Qualités humaines/Professionnalisme , (4)Jugement clinique, (5)Techniques de counseling , (6)Organisation/efficience (7)Compétences cliniques globales
  • Mini exercice d’évaluation clinique(Mini-CEX)• Processus • Durée de 15-20 minutes • 6 évaluations par année
  • Quelques défis à relever • Très peu de résidents seront jugés comme étant « insatisfaisants » • Les évaluations sommatives continuent d’avoir un rôle important à jouer • Les résidents contrôlent (dans une certaine mesure) le choix de l’examinateur et (indirectement) le contenu de l’évaluation • L’évaluation peut être biaisée envers le résident
  • Quelques défis à relever • Normes à travers les programmes postdoctoraux ne sont pas comparables • Peu utile pour le classement des résidents sur le plan provincial ou national • Très peu de formation offerte aux examinateurs • Nécessite un processus de développement continu chez le corps professoral
  • Quelques défis à relever • La rétroaction laisse souvent à désirer • La mise en place d’un programme est parfois difficile • Processus éducatif parallèle qui doit être effectué
  • Processus de développement continu• Facteurs qui favorisent la réussite dun programme dévaluation en milieu de travail • Rencontrer les besoins des participants • Utiliser une approche systématique • Prendre en considération le milieu de travail • Mettre l’emphase sur le théorique et le pratique • Offrir plusieurs occasions d’apprentissage/exercises • Permettre aux participants de mieux se connaître, d’interagir, de nouer des relations, etc.
  • Bien préparer nos évaluateurs • L’évaluation doit porter sur des comportements observables et mesurables • S’accorder à l’avance sur ces comportements • If faut aussi préparer le résident et le patient! • Minimiser les dérangements! • Les compétences cliniques doivent aussi être clairement définies • Les compétences cliniques se manifestent par quels comportements observables et mesurables?
  • Bien préparer nos examinateurs• Définir l’échelle de mesure • Sur une échelle de 1 à 9, quels comportements liés à une compétence quelconque sont associés à un score de 3, 5, 7, etc.?• Mener un atelier avec vos examinateurs • Exercices d’évaluation en petits groupes avec vidéos • Si possible, il est préférable d’utiliser des patients standardisés • Allouer suffisamment de temps à la discussion! • Ateliers minimisent l’effet de halo & autres biais cognitifs ainsi que la variance inter-juges liée aux facteurs « parasites »
  • Un détour “psychométrique”« Les évaluations de la compétencedoivent être évaluées par les mêmescritères de validité (preuves etconséquences) que pour d’autresévaluations. C’est pourquoi deséléments d’évaluationfondamentaux comme la validité, lafidélité, la comparabilité et l’équitédoivent être abordés de la mêmefaçon dans tous les autres modesd’évaluation. » (Messick, 1995)[traduction libre]
  • Fondement conceptuel de la fidélité• Toutes mesures sont imprécises (comportent de l’erreur de mesure)• Pourquoi? o Le score à l’évaluation en milieu de travail est basé sur un nombre restreint de patients/cas, avec un nombre limité d’évaluateurs, dans un environnement spécifique (hôpital, clinique, etc.)• Tous ces facteurs (sources d’erreur de mesure) nuisent à notre capacité de mesurer les compétences cliniques de nos résidents 28
  • Fondement conceptuel de la fidélité• Dans un monde idéal, mon niveau de compétence devrait être complètement indépendant de ces facteurs ou sources d’erreur de mesure• En réalité, mon score à une évaluation est composé de mon “vrai” score et de l’erreur de mesure, c. à d., • X=T+E• Un coefficient de fidélité nous permet de quantifier la relation entre le score vrai et le score observé: • ρxx’ = σ2T / σ2X 29
  • Fondement conceptuel de la fidélité• Avec une évaluation en milieu de travail, plusieurs sources d’erreur de mesure existent et doivent être quantifiées: • L’erreur liée aux examinateurs • L’erreur liée aux patients (cas cliniques) • L’erreur liée à l’emplacement physique, etc.• Toutes ces sources d’erreurs peuvent être mesurées par le biais d’une étude de la généralisabilité (étude G)• Les résultats d’une étude G peuvent aussi grandement informer le programme d’évaluation
  • Fidélité: Recommandations•Évaluations par les pairs •Exercices semi-structurés • 5-10 pairs sur des cas • 5+/- évaluations par dimension • 5-8 dossiers par examinateur•Mini-CEX • 5+/- évaluations par dimension • 4-10 interactions-examinateurs •Observation directe des • 5+/- évaluations par dimension habiletés techniques fondamentales • 4-10 interactions-examinateurs • 5+/- évaluations par dimension
  • Fidélité: Recommandations• Plusieurs interactions! – Évaluation finale doit être basée sur plusieurs: • Patients • Examinateurs • Jugements – Chaque interaction: • Doit être de courte durée et “typique” • Doit inviter le résident à compléter une tâche ciblée
  • Ce que la validité n’est pas• Il n’y a pas de test valide ou non valide • Des affirmations comme « Mon test démontre une validité conceptuelle » sont complètement vides de sens • La validité désigne la justesse des inférences ou des jugements fondée sur les scores de tests avec données empiriques à l’appui
  • Ce qu’est la validité « Le concept de validité est une évaluation globale du degré avec lequel les données empiriques et les principes théoriques soutiennent la justesse et la pertinence des interprétations et des décisions basées sur les scores de tests ou d’autres modes d’évaluation. » (Messick, 1989) [traduction libre]
  • Étapes importantes à suivre avant derecueillir une seule donnée• Bien énoncer l’objectif du test • Qu’est-ce que je veux conclure sur la base des scores à mon évaluation? Quel jugement est-ce que je veux émettre ou quel argument est-ce que je veux soutenir?• Recueillir autant de données (empiriques) que possible en appui aux inférences (recherchées) basées sur les scores
  • Approche de la validité basée surl’argument (Kane, 1992)• Cinq arguments fondamentaux : 1 • Evaluation: Evaluate the candidates’ performances on the exam 2 • Generalization: Do the performances generalize to the domain of tasks? 3 • Extrapolation: Do the performances generalize to other settings/performance formats? 4 • Explanation: Can the performances be explained theoretically? 5 • Decision making: Can the performances be used for placement decisions? Validité d’un test Validité d’un score Validité d’un argument
  • Approche de la validité basée surl’argument (Kane, 1992)• Évaluation • Les règles de correction sont adéquates • Les règles de correction sont appliquées de façon précise et systématique • Preuves • Les règles de correction et les processus sont bien consignés• Généralisation • L’échantillonnage d’items/de cas est représentatif du domaine (univers d’items/de cas) • Preuves • Analyse des pratiques / plan d’examen • Analyses de généralisabilité
  • Approche de la validité basée surl’argument (Kane, 1992)• Extrapolation • Le score observé est lié au score vrai d’une personne • Il n’y a pas d’erreurs systématiques susceptibles de nuire à l’extrapolation • Preuves • Analyse détaillée du lien entre un échantillon d’items/de cas à l’examen et l’univers d’items/de cas • Analyse du lien entre la performance à l’examen (échantillon) et selon un critère plus large (p. ex. évaluation du milieu de travail)
  • Approche de la validité basée surl’argument (Kane, 1992) • Explication • Les scores à l’examen peuvent se justifier en fonction des compétences/concepts à la base de la performance • Preuves • Analyse factorielle confirmatoire de l’ensemble de données • Établissement de correspondances dans les jugements d’experts au sujet du contenu de l’examen
  • Approche de la validité basée surl’argument (Kane, 1992)• Prise de décision • Les candidats faibles ne réussiront probablement pas à l’évaluation • Les candidats forts réussiront probablement à l’évaluation • Preuves • Établissement de normes de validité interne et externe • Validité interne • Documentation du processus suivi • Fidélité inter-examinateurs, analyses de généralisabilité, etc. • Validité externe • Rapport entre la performance à l’examen et d’autres critères
  • Validité – En résumé• Qu’est-ce que la validation? • La collecte de données (empiriques ou autres) pour justifier des affirmations (arguments) que nous aimerions faire sur la base de scores • Les candidats qui obtiennent une meilleure note à cet ECOS possèdent de meilleures compétences cliniques et une plus grande facilité à communiquer • Les candidats qui obtiennent une meilleure note à l’examen d’externat en médecine familiale réussiront bien dans un programme de résidence en médecine familiale, etc.
  • Validité – En résumé• Quelles sont les étapes essentielles pour justifier ces affirmations? • Énoncez clairement l’affirmation/l’argument interprétatif que vous voulez faire sur la base des scores à l’examen des candidats • « Mettez en doute » l’argument interprétatif • Est-il clair et cohérent? • Est-il plausible étant donné les données probantes dont vous disposez? • Énoncez l’interprétation proposée• Évitez de formuler des conclusions qui vont au-delà de ce que les éléments de preuve donnent à penser • Évitez de faire des « déclarations générales » non fondées • « Mon examen démontre une validité conceptuelle » • « Mon examen a une validité apparente », etc. • Ces affirmations sont vides de sens
  • Validité – Exercices semi-structurésde réflexion sur des cas• Soloman et coll. (1990) – Médecins qui renouvellent leurs certificats (spécialités) • Corrélation moyenne entre les scores aux exercices semi- structurés de réflexion sur des cas et: • Examen oral (0.49) • Examens oral (0.37) et écrit (0.45) complétés 10 ans au préalable • Distribution des scores aux exercices semi-structurés de réflexion sur des cas (et des décisions) s’apparentent aux mesures recueillies 10 ans au préalable
  • Validité – Exercices semi-structurésde réflexion sur des cas• Norman et coll., (1989) – Médecins présentant des lacunes • Corrélation élevée entre les scores aux exercices semi- structurés de réflexion sur des cas et: • ECOS (0.74) • Examen oral (0.51) • Exercices semi-structurés de réflexion sur des cas permettent d’identifier le groupe d’appartenance (médecins montrant des lacunes vs. groupe contrôle)
  • Validité – Mini-CEX• Boulet et coll., (2002) – Patients standardisés • Étude basée sur des bandes vidéo • Vidéos évalués avec le formulaire mini-CEX • Forte corrélation notée entre les scores au mini- CEX et: • L’évaluation de la cueillette de l’anamnèse (grille d’observation) • L’évaluation de l’habileté du candidat à communiquer avec le patient standardisé (grille d’évaluation)
  • Validité – Mini-CEX• Holmboe et coll., (2003) – Résidents • Étude basée sur des bandes vidéo • Résidents formés à représenter des performances insatisfaisantes, satisfaisantes et supérieures • Bandes sont évaluées à l’aide du formulaire mini-CEX par des membres de la faculté • Les divers niveaux de performance sont clairement identifiés
  • Rétroaction• Quatre principaux aspects dune bonne rétroaction 1. Fournit forces et faiblesses au résident 2. Permet au résident de réagir face à la rétroaction 3. Encourage l’auto-évaluation 4. Suscite le développement d’un plan d’action
  • Rétroaction• Facteurs qui affectent limpact de la rétroaction • Le résident! • Personnalité, perception (de la justesse) de la rétroaction (Sargent et coll., 2005), utilité de la rétroaction (Brett et coll., 2001) • Ton de la rétroaction • Positif vs. négatif, établissement d’objectifs, plan d’action, suivi • Faculté • Mentorat, un soutien continu, etc. • Qualifications et crédibilité de l’examinateur • Culture: Collectivisme vs. individualisme
  • Rétroaction - Technique• Technique qui maximise limpact de la rétroaction (Hewson et coll., 1998) doit: • Établir un climat interpersonnel favorable • Avoir lieu dans un bon emplacement physique • Permettre de susciter une réaction de la part du résident • Être centrée sur des comportements observables • Être offerte sans présenter de jugement • Être spécifique • Offrir le bon niveau de rétroaction • Offrir des suggestions d’amélioration
  • Mise en place d’un programmed’évaluations en milieu de travail - défis • Le recrutement d’examinateurs constitue souvent le problème le plus épineux à surmonter • Quelle(s) stratégie(s) avez-vous mis en place pour résoudre ce problème? • Quels sont quelques obstacles mentionnés par vos membres de faculté? • Est-ce que vous être au courant de tactique employées par certains membres de faculté qui agissent à titre d’examinateurs?
  • Mise en place d’un programmed’évaluations en milieu de travail -stratégies• Le rendre obligatoire • Utiliser les leaders de• Offrir aux examinateurs votre faculté comme (membres de la faculté) défenseurs du • Temps/compensation programme • Formation/exercice • Accroître l’efficacité • Documentation du programme • Lignes directrices claires • Adaptation au contexte • Rétroaction! local • Reconnaissance • Saisie électronique
  • Questions?
  • Exercice no 1 • La version française du mini-CEX est-elle bien adaptée au contexte québécois?
  • Exercice no 2 1) Évaluez la performance du résident à l’aide de la version française du mini-CEX 2) Quelle rétroaction (structurée) offriez-vous au résident? 3) Suggestions d’amélioration?