• Save
 

Like this? Share it with your network

Share

Docimologie

on

  • 779 views

et pointage pour tests

et pointage pour tests

Statistics

Views

Total Views
779
Views on SlideShare
779
Embed Views
0

Actions

Likes
0
Downloads
0
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Docimologie Presentation Transcript

  • 1. Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santéAtelier QCM - QROC Serge Normand, M.A. Docimologue
  • 2. Faculté de médecine – Bureau d’évaluation Atelier de formation pédagogique Docimologie1 Normes recommandées pour la rédaction de questions de type QCM et QROC
  • 3. Faculté de médecine – Bureau d’évaluation Atelier de formation pédagogique Docimologie2 L’analyse d’items une technique docimologique pour valider des questions d’examen
  • 4. Faculté de médecineBureau d’évaluationDocimologie appliquée aux sciences de la santé Normes recommandéespour la rédaction de questions QCM QROC Serge Normand, M.A. Docimologue avec la collaboration deMichel Girard, MD, MHPE, FRCP(C)
  • 5. Références NBME• WOOD, Tim et Gary COLE, L’élaboration • CASE, Susan M. and David B. de questions à choix multiple pour les SWANSON, Constructing Written examens menant au certificat du Collège Test Questions For the Basic and royal des médecins et chirurgiens du Clinical Sciences, NBME, Canada, Septembre 2001. Philadelphia, 2001.• Directives pour l’élaboration de questions à réponses courtes, Janvier 2003. La plupart des exemples citées proviennent de ces sourcesÉdition serge.normand@umontreal.ca
  • 6. www.medbev.umontreal.ca/docimo/atelier.htmÉdition serge.normand@umontreal.ca
  • 7. Question à réponse ouverte courte QROCÉdition serge.normand@umontreal.ca
  • 8. QCM – Questions à choix multiples MCQ – Multiple-Choice Questions QCR – Questions à choix de réponses VRAI LA ou MEILLEURE FAUX RÉPONSEÉdition serge.normand@umontreal.ca
  • 9. Classification des QCM Utilisation au NBME depuis 1953 … type R Contexte clinique Appariement type K Regroupement type Raisonnement B Association type Interprétation A Une réponse Rappel de connaissancesÉdition serge.normand@umontreal.ca
  • 10. Types de questions prônées par les organismes de certification ( QCM-A et QCM-R ) VRAI LA ou MEILLEURE FAUX RÉPONSEÉdition serge.normand@umontreal.ca
  • 11. Difficultés observées avec le modèle VRAI ou FAUX QCM de type K A B C D E 1,2,3 1,3 2,4 4 TOUS Un enfant qui souffre d’une crise aiguë de fièvre rhumatismale présente habituellement (1) un temps de sédimentation allongé (2) un intervalle PR allongé (3) un titre d’antistreptolysine O élevé (4) des nodules sous-cutanés Principales critiques 1F+2V C Difficile d’évaluer le jugement clinique en 1V+2F B terme de Vrai ou Faux 4V+3F D Difficile d’écrire des compléments absolument 4F+2F B vrai ou faux sans tomber dans la futilitéÉdition serge.normand@umontreal.ca
  • 12. Format d’une QCM bien conçue Vignette ( Stem ) Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8 C, son pouls est 94/min, sa PA 130/80 mmHg. La1 respiration est superficielle à 42/min. Il a une faiblesse symétrique des muscles du visage et des muscles proximaux et distaux des extrémités. La sensibilité est normale. Les réflexes ostéo-tendineux sont absents. Les réflexes plantaires sont en flexion. Question ( Lead-in )2 Parmi les diagnostics suivants, quel est le plus probable? Compléments ( Options ) A- Encéphalomyélite aiguë disséminée B- Syndrome de Guillain-Barré3 C- Myasténie grave D- Polyomyélite E- Polymyosite Édition serge.normand@umontreal.ca
  • 13. Gabarit d’une QCM bien conçue Vignette1 Vignette (corps de la question) LONGUE Question2 Compléments Complément COURT Les compléments ne doivent Complément COURT pas transmettre de3 nouvelles informations Complément COURT Complément COURT Il ne devrait pas y avoir de Complément COURT verbes Édition serge.normand@umontreal.ca
  • 14. Caractéristique d’une QCM bien conçue Vignette Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8 C, son pouls est 94/min, sa PA 130/80 mmHg. La respiration est superficielle à 42/min. Il a une faiblesse symétrique des muscles du visage et des muscles proximaux et distaux des extrémités. La sensibilité est normale. Les réflexes ostéo-tendineux sont absents. Les réflexes plantaires sont en flexion. Question Parmi les diagnostics suivants, quel est le plus probable? Compléments A- Encéphalomyélite aiguë disséminée B- Syndrome de Guillain-Barré On peut répondre C- Myasténie grave à la question D- Polyomyélite avant de lire E- Polymyosite les complémentsÉdition serge.normand@umontreal.ca
  • 15. Caractéristique d’une QCM bien conçue Vignette Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8 C, son pouls est 94/min, sa PA 130/80 mmHg. La respiration est superficielle à 42/min. Il a une faiblesse symétrique des muscles du visage et des muscles proximaux et distaux des extrémités. La sensibilité est normale. Les réflexes ostéo-tendineux sont absents. Les réflexes plantaires sont en flexion. Question Parmi les diagnostics suivants, quel est le plus probable? Compléments A- Encéphalomyélite aiguë disséminée B- Syndrome de Guillain-Barré Continuum C- Myasténie grave pour D- Polyomyélite la meilleure réponse E- PolymyositeD C A E BLa moins correcte La plus correcteÉdition serge.normand@umontreal.ca
  • 16. Choisir un contexteSujet: Syndrome de Turner Contexte: Examen physique Une femme de 18 ans présente une aménorrhée primaire. Lequel des signes suivants oriente le mieux vers un diagnostic du syndrome de Turner ? A- Hypertension B- Hirsutisme C- Petite taille D- Épicanthus E- Organes génitaux externes normauxSujet: Syndrome de Turner Contexte: Diagnostic Une femme de 18 ans présente une aménorrhée primaire. À l’examen, vous observez qu’elle mesure 148 cm de hauteur. De plus, vous remarquez l’immaturité de ses organes génitaux externes et l’absence de développement des seins. Quel est votre diagnostic le plus probable ? A- Syndrome de Turner B- Dysgénésie gonadique mixte C- Dysgénésie gonadique pure D- Syndrome de Noonan E- HermaphrodismeÉdition serge.normand@umontreal.ca
  • 17. Gabarits de questions QCM Le gabarit définit la structure globale d’une question. Il est possible de créer plusieurs questions à l’aide du même gabarit. Par exemple, le gabarit suivant pourrait servir à rédiger une série de questions portant sur l’anatomie macroscopique. Un (description du patient) est incapable de (incapacité fonctionnelle). Où se situe le plus probablement sa blessure? Voici une question qui pourrait être rédigée à l’aide de ce gabarit. Un homme de 65 ans a de la difficulté à se relever d’une position assise et à redresser le torse, mais il n’a aucun problème à fléchir les jambes. La blessure se situe le plus probablement sur lequel des muscles suivants : A. Grand fessier B. Petit fessier C. Ischio-jambier D. Psoas-iliaque E. Obturateur interneÉdition serge.normand@umontreal.ca
  • 18. Gabarits de questions QCM ( sciences fondamentales ) Plusieurs questions en sciences fondamentales peuvent être présentées dans le contexte d’un scénario donnant le profil du patient, qui peut comporter certaines ou l’ensemble des composantes suivantes : Âge, sexe (par ex. un homme de 45 ans) Contexte des soins (par ex. se présente à l’urgence) Plainte invoquée (par ex. à cause d’un mal de tête) Durée (par ex. qui persiste depuis deux jours). Antécédents du patient (et de sa famille?) Observations physiques +/- Résultats des épreuves diagnostiques +/- Traitement initial, observations subséquentes, etc.Édition serge.normand@umontreal.ca
  • 19. Faculté de médecine – Bureau d’évaluation Atelier de formation pédagogique Exercice pratique Rédigez une question QCM de type A
  • 20. QROC – Questions à réponse ouverte courte Il sagit dune question à laquelle on peut répondre en quelques mots ou phrases. Dans le cas d’une question comportant des sous-questions, la réponse à chacune de celles-ci doit pouvoir être exprimée en quelques mots ou phrases. Nommez trois causes possibles de l’indigestion : QROC A) _________________________ B) _________________________ C) _________________________ La QROC se distingue surtout de la question à développement court par le fait quelle nexige quun seul élément dinformation comme réponse.Édition serge.normand@umontreal.ca
  • 21. QROC – Questions à réponse ouverte courte Il faut différencier la question à réponse courte de la question à développement court qui prévoit une réponse plus longue et moins structurée (une ou deux phrases à un ou deux paragraphes). Voici un exemple,dune question à développement Développement court : « Discutez des avantages du traitement COURT XYZ pour le problème ABC ». La réponse à une question à développement court prévoit plusieurs éléments dinformation alors que la QROC n’exige quun seul élément dinformation comme réponseÉdition serge.normand@umontreal.ca
  • 22. QROC – Questions à réponse ouverte courte Un malade âgé de 45 ans, atteint dun cancer épidermoïde du nasopharynx, présente des métastases ganglionnaires qui compriment tous les nerfs qui traversent le trou déchiré postérieur dun même côté de la base du crâne. Décrivez brièvement les TROIS signes neurologiques les plus probables chez ce sujet. a) ____________________________________ 3 b) ____________________________________ 3 c) ____________________________________ 3Édition serge.normand@umontreal.ca
  • 23. QROC – Questions à réponse ouverte courte Un malade âgé de 45 ans, atteint dun cancer épidermoïde du nasopharynx, présente des métastases ganglionnaires qui compriment tous les nerfs qui traversent le trou déchiré postérieur dun même côté de la base du crâne. Décrivez brièvement les TROIS signes neurologiques les plus probables chez ce sujet. a) ____________________________________ 3 b) ____________________________________ 3 c) ____________________________________ 3 Modèles de réponse POINTS a) Paralysie de la partie droite du voile du palais 3 b) Paralysie de la corde vocale droite 3 c) Paralysie du sterno-cleido-mastoïdien droit 3 (perte du réflexe nauséeux ou pharyngé à droite) 3 (difficulté à avaler à droite) 2Édition serge.normand@umontreal.ca
  • 24. Faculté de médecine – Bureau d’évaluation Atelier de formation pédagogique Exercice pratique Rédigez une question QROC avec modèles de réponses
  • 25. QCM – Questions à choix multiples MCQ – Multiple-Choice Questions QCR – Questions à choix de réponses QCMÉdition serge.normand@umontreal.ca
  • 26. Question QCM de type A Quelle est la cause de mort la plus fréquente dans la pancréatite aiguë? A- Le choc. B- La fibrillation ventriculaire. C- L’hémorragie. D- L’infection. E- L’obstruction intestinale.Édition serge.normand@umontreal.ca
  • 27. Question QCM de type A (avec vignette) Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8 C, son pouls est 94/min, sa PA 130/80 mmHg. La respiration est superficielle à 42/min. Il a une faiblesse symétrique des muscles du visage et des muscles proximaux et distaux des extrémités. La sensibilité est normale. Les réflexes ostéo-tendineux sont absents. Les réflexes plantaires sont en flexion. Quel est le diagnostic le plus probable? A- Encéphalomyélite aiguë disséminée B- Syndrome de Guillain-Barré C- Myasténie grave D- Polyomyélite E- PolymyositeÉdition serge.normand@umontreal.ca
  • 28. Question QCM de type B Directives Pour chacun des énoncés identifiés par un chiffre, associez une option identifiée par une lettre. Chaque option peut être choisie une seule fois, plus d’une fois ou pas du tout. A- Coactation de l’aorte B- Persistance du canal artériel C- Tétrallogie de Fallot D- Anneau vasculaire aortique E- Atrésie tricuspidienne 1- Amélioré par une anastomose artérielle systémique-pulmonaire 2- Pathologie congénitale cardiaque cyanogène la plus fréquente 3- Corrigé par résection chirurgicale et anastomose bout-à-bout. 4- Cause possible de dysphagie chez l’enfant 5- Hypertension dans les membres supérieurs et hypotension dans les membres inférieursÉdition serge.normand@umontreal.ca
  • 29. Question QCM de type K A B C D E 1,2,3 1,3 2,4 4 TOUS Un enfant qui souffre d’une crise aiguë de fièvre rhumatismale présente habituellement (1) un temps de sédimentation allongé. (2) un intervalle PR allongé. (3) un titre d’antistreptolysine O élevé. (4) des nodules sous-cutanés.Édition serge.normand@umontreal.ca
  • 30. Question QCM de type RThème: FatigueCompléments: A: Leucémie aiguë H: Sphérocytose congénitale B: Anémie des mal. chroniques I: Hypothyroïdie C: Insuffisance cardiaque J: Déficit en fer D: Dépression K: Maladie de Lyme E: Infection virus Epstein-Barr L: Anémie hémol. microangiopathique F: Déficit en folate M: Tuberculose miliaire G: Déficit en G-6-PD N: Déficit en vitamine B12Question: Pour chacun des patients, présentant de la fatigue, choisir le diagnostic le plus probable.Vignettes: 1. Une femme de 19 ans décrit de la fatigue, de la fièvre et un mal de gorge depuis une semaine. Sa température est 38,3C. Elle présente les adénopathies cervicales et une splénomégalie. Le décompte des leucocytes est 5000/mm3 (80% lympho. dont plusieurs présentent des atypies) … Autres labo ... 2. Un garçon de 15 ans décrit de la fatigue et de la douleur au dos depuis 2 semaines. Il est couvert d’ecchymoses, est pâle et ses vertèbres et fémurs sont sensibles à la palpation. L’hémoglobine est à 70 g/l, les leucocytes à 2000/mm3 et les plaquettes à 15,000 mm3. Édition serge.normand@umontreal.ca
  • 31. Évaluer la compétence professionnelle Pyramide de Miller Fait Does Comportement Behaviour Démontre Shows How Sait comment Knows How Savoir Cognition Sait Knows Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.Édition serge.normand@umontreal.ca
  • 32. Évaluer la compétence professionnelle Types d’instruments Performance in vivo : Fait PS. incognito, Vidéo, Dossiers Portfolio … Performance in vitro : Démontre ECOS, Ex. PS. … Épreuves à contenus cliniques : Sait comment QCM, Q. dév., Ex. oral … Épreuves factuelles : Sait QCM, Ex. écrit, oral … Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.Édition serge.normand@umontreal.ca
  • 33. Instruments d’évaluation Curriculum de Dundee Fait Portfolio Démontre ECOS QCM-R Sait comment QROC QCM Sait Q. dév. Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261Édition serge.normand@umontreal.ca
  • 34. Caractéristiques d’une QCM bien conçue Vignette ( Stem ) Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8 C, son pouls est 94/min, sa PA 130/80 mmHg. La respiration est superficielle à 42/min. Il a une faiblesse symétrique des muscles du visage et des muscles proximaux et distaux des extrémités. La sensibilité est normale. Les réflexes ostéo-tendineux sont absents. Les réflexes plantaires sont en flexion. Question ( Lead-in ) Parmi les diagnostics suivants, quel est le plus probable? Compléments ( Options ) A- Encéphalomyélite aiguë disséminée B- Syndrome de Guillain-Barré C- Myasténie grave D- Polyomyélite E- PolymyositeD C A E BLa moins correcte La plus correcteÉdition serge.normand@umontreal.ca
  • 35. DocumentationCOLLÈGE ROYAL DES MÉDECINS ET CHIRURGIENS DU CANADA, L’élaboration d’un plan directeur dun examenProMEDS, Janvier 2003. (Source : PDF)COLLÈGE ROYAL DES MÉDECINS ET CHIRURGIENS DU CANADA, Directives pour l’élaboration de questions àréponses courtes, Janvier 2003. (Source : PDF)COLLÈGE ROYAL DES MÉDECINS ET CHIRURGIENS DU CANADA, L’élaboration de questions à choix multiplespour les examens menant au certificat du Collège royal des médecins et chirurgiens du Canada, Septembre2001.(Source : PDF)CONSEIL MÉDICAL DU CANADA, Rédaction de problèmes à éléments-clé pour l’examen d’aptitude auraisonnement clinique (Q4), Septembre 1999. (Source : PDF)CASE, Susan M. and David B. SWANSON, Constructing Written Test Questions For the Basic and Clinical Sciences,NBME, Philadelphia, 2001. (Source : PDF)GIRARD, Michel et Serge NORMAND, Guide de lecture d’un rapport d’analyse d’items, Bureau d’évaluation, Facultéde médecine, Université de Montréal, 2001. (Source : PDF)NORMAND, Serge, AnItem, Logiciel pour effectuer une analyse d’items via le chiffrier Excel, versions PC et Mac,Bureau d’évaluation, Faculté de médecine, Université de Montréal, 2001.(AnItem.xls) (MacAnItem.xls) (Exemple de fichier de saisie.xls)NORMAND, Serge, L’analyse d’items, une technique docimologique pour valider des questions d’examen,Diaporama du mode d’emploi du logiciel AnItem, Bureau d’évaluation, Faculté de médecine, Université de Montréal,2001. (Source : PDF)
  • 36. Merci de votre attention ! http://www.medbev.umontreal.ca/docimoserge.normand@umontreal.ca Diaporama Documentation