Successfully reported this slideshow.

"Utilisation des Tests de Concordance de Scripts pour l’évaluation en informatique", , diaporama réalisé pour la présentation de l'article éponyme à TICE'2010

0

Share

1 of 27
1 of 27

"Utilisation des Tests de Concordance de Scripts pour l’évaluation en informatique", , diaporama réalisé pour la présentation de l'article éponyme à TICE'2010

0

Share

Download to read offline

Ce diaporama est le support de présentation de l'article suivant :
M. Magnin et G. Moreau. Utilisation des Tests de Concordance de Scripts pour l’évaluation en informatique. Communication scientifique. Dans : 7ème Colloque International Technologies de l’Information et de la Communication pour l’Enseignement (TICE), 8 pages, Nancy-Metz, Décembre 2010.

L'article, téléchargeable sur http://eat-tice.ec-nantes.fr/?p=471, concerne l’utilisation des tests de concordance de script (TCS) en informatique, écrit par Guillaume Moreau et moi-même. Les TCS constituent un outil pour évaluer les compétences des étudiants face à des problèmes ouverts. Notre expérience était la première menée en dehors du cadre de la médecine (dont ils proviennent). Nous comptons désormais assurer leur dissémination à l’échelle nationale, mais aussi les étendre à d’autres domaines.

Ce diaporama est le support de présentation de l'article suivant :
M. Magnin et G. Moreau. Utilisation des Tests de Concordance de Scripts pour l’évaluation en informatique. Communication scientifique. Dans : 7ème Colloque International Technologies de l’Information et de la Communication pour l’Enseignement (TICE), 8 pages, Nancy-Metz, Décembre 2010.

L'article, téléchargeable sur http://eat-tice.ec-nantes.fr/?p=471, concerne l’utilisation des tests de concordance de script (TCS) en informatique, écrit par Guillaume Moreau et moi-même. Les TCS constituent un outil pour évaluer les compétences des étudiants face à des problèmes ouverts. Notre expérience était la première menée en dehors du cadre de la médecine (dont ils proviennent). Nous comptons désormais assurer leur dissémination à l’échelle nationale, mais aussi les étendre à d’autres domaines.

More Related Content

More from Morgan Magnin

Related Books

Free with a 14 day trial from Scribd

See all

Related Audiobooks

Free with a 14 day trial from Scribd

See all

"Utilisation des Tests de Concordance de Scripts pour l’évaluation en informatique", , diaporama réalisé pour la présentation de l'article éponyme à TICE'2010

  1. 1. Utilisation des TCS en informatique Utilisation des TCS pour l’évaluation en informatique Morgan Magnin, Guillaume Moreau http://eat-tice.ec-nantes.fr contact : eat-tice@ec-nantes.fr
  2. 2. Plan   Motivations du projet   Les TCS   Exemples   Retour sur expérience   Perspectives 2
  3. 3. Contexte : enseignement de l'informatique   Centrale Nantes >  Tronc commun : informatique pour l'ingénieur •  on ne forme pas des informaticiens •  proportion non négligeable de public allergique à l'informatique •  cours électifs : attractivité, ouverture  attirer les non-geeks >  Option informatique : coloration (600h) •  contenu plus technique   2 types de cours >  Algorithmique, programmation >  Systèmes d'information, Web strategy & development 3
  4. 4. Evaluation   Cours techniques >  TP, projets >  Difficultés : volume, fraude >  Eléments de solution •  corrections électroniques : Tablet PC •  Projet MarkUs •  QCM+   Cours moins techniques >  Etude de cas : pb du volume, note globale >  Connaissances : QCM, questions ouvertes >  Quid des compétences ? 4
  5. 5. Contexte   Objectif : assurer une meilleure évaluation du savoir-faire en informatique   Projet UNIT : >  Centrale Nantes >  les Ecoles des Mines de Nantes, d'Alès et de Douai, >  l'INSA de Rouen, >  l'Université de Bordeaux 2 5
  6. 6. Les TCS (1)   Tests de concordance de script   Instrument d'évaluation du raisonnement en contexte d'incertitude   Complémentaires des procédures d'évaluation « traditionnelles »   Issus du secteur médical – Université de Montréal >  aider à poser un diagnostic 6
  7. 7. Les TCS (2) Image tirée de http://www.cme.umontreal.ca/tcs/ 7
  8. 8. Les TCS (3)   Evaluation >  Confier le TCS à un panel d'experts >  Score de l’étudiant proportionnel au nombre d’experts ayant choisi la même réponse   Évalutoile : http://www.evalutoile.u-bordeaux2.fr/ 8
  9. 9. Exemples   Système d'information >  au delà de la théorie, multidisciplinaire >  relève de la problématique de l'ingénieur généraliste   Droit de l'informatique >  Texte, jurisprudence, lacunes…   Programmation >  la complexité crée la situation en apparence non- déterministe >  débogage : commence par un diagnostic 9
  10. 10. Exemple 1a : énoncé   Scénario : Vincent et Laurence réservent tous deux une place dans le train Nantes-Paris de 19h00 le 24 juin 2010. Lors de leur arrivée à la gare, ils se retrouvent avec la même place dans le même wagon.   Hypothèse / Option : Vous supposez que le logiciel de réservation comporte un bug au niveau de la vérification d’attribution des places.   Nouvelle donnée : Le problème ne se produit qu’une fois par an.   Quel est l’effet de cette nouvelle donnée sur votre hypothèse ? □  Rend l'hypothèse beaucoup moins probable □  Rend l'hypothèse moins probable □  N'a aucun effet sur l'hypothèse □  Rend l'hypothèse plus probable □  Rend l'hypothèse beaucoup plus probable Compétence ciblée : identifier le périmètre d'origine d'un bug dans un système d'information 10
  11. 11. Exemple 1 : réponses   Réponses Experts Étudiants >  classique : exclusion mutuelle 0% 19% •  d'où la probabilité faible 0% 19% >  différents points de vue… 55% 27% •  pb : rédiger la question ! 22% 23% >  éviter les réponses binaires 22% 11% •  retour au QCM 11
  12. 12. Exemple 1b : énoncé   Scénario : Pour payer les enseignants non- permanents de l’Ecole, le secrétariat Général édite la liste des vacataires à partir du système d’information. Lors de cette édition, Luc Baudoin apparaît deux fois   Option : Si vous pensez à : >  un doublon dans la base de données   Nouvelle donnée : la date de naissance est différente 12
  13. 13. Exemple 1b : réponses   2 grands types d'hypothèses : >  simple homonymie >  erreur sur une ou plusieurs dates de naissance   Mais aussi : >  homonymie + même date 70% 60% >  Erreur de saisie des noms 50%   Possibilité de dériver : 40% expert 30% >  Luc Baudoin et L. Baudoin 20% étudiant >  modifier nouvelles données 10% 0% -2 -1 0 +1 +2 13
  14. 14. Exemple 2   Scénario : Vous venez d'être nommé Correspondant Informatique et Liberté dans votre entreprise. Parmi les adresses e-mail figurant dans les fichiers de prospection publicitaire de l'entreprise, vous soupçonnez que certaines ont été collectées sans l'accord préalable des personnes à recevoir des messages commerciaux. Mais les fichiers ne contiennent aucune information sur le fait que les personnes ont - ou non - donné leur consentement.   Option : Si vous pensez à : >  Il est nécessaire de supprimer l'intégralité des fichiers d'adresses e- mail.   Nouvelle donnée : Vous apprenez que ces adresses e-mail appartiennent majoritairement à des personnes morales. Le reste des adresses e-mail appartiennent à d'anciens clients de l'entreprise. 14
  15. 15. Exemple 2 : réponses   La réponse pourrait être une exclusion totale de l'hypothèse >  Le droit français accorde l’autorisation de prospecter par courriel - sans accord préalable - des personnes morales et d'anciens clients n'ayant pas manifesté leur refus par une demande de désinscription >  on ne sait pas s'il y a eu des demandes de désinscription   Ce n'est pas le cas >  Difficulté de trouver des experts >  Difficulté à utiliser certaines parties des échelles 15
  16. 16. Exemple 3 : énoncé   Scénario : Alexandre et Antoine ont écrit chacun la moitié du programme dans deux fichiers x.c et y.c. Une fois compilé correctement et les liens édités sans problème, le programme plante   Option : Si vous pensez à : >  Alexandre a tort car il est habituellement moins fort en programmation   Nouvelle donnée : Antoine a vérifié le fonctionnement de toutes ses fonctions 16
  17. 17. Exemple 3 : réponses   Cas classique pour les enseignants   On fait appel aux notions de tests unitaires versus tests d'intégration, voire de chaîne de génie logiciel   Pas de conclusion évidente sans autre apport   Extension possible : >  question courte : que faire pour affiner le diagnostic ? 17
  18. 18. Bilan intermédiaire du projet à Centrale Nantes   64 vignettes créées   Première expérimentation sur l'examen de « Systèmes d'information » >  26 juin 2009 >  108 étudiants >  Évaluation d'après un panel de 9 experts >  Biais expérimental : justification des choix demandée aux étudiants   Expérimentation reconduite le 28 juin 2010, et désormais élargie à d’autres enseignements 18
  19. 19. Conclusions partielles   Pas simple à évaluer : il faudrait deux demi-promos évaluées avec et sans TCS >  compensé par les lignes d'explication   Évaluation du raisonnement et du savoir-faire >  Pertinent >  Efficace   Particulièrement adapté pour : >  Diagnostic >  Conception   Efforts sur l'écriture des vignettes : objectivité (décontextualisation), problème de la langue 19
  20. 20. Plan de mise en oeuvre de TCS   Acquisition du savoir-faire en termes de TCS   Établissement du référentiel de compétences   Conception de questions   Saisie des questions   Recueil de l’expertise   Expérimentations   Retour éventuel sur la rédaction de certaines questions → itération 20
  21. 21. Recommandations autour des TCS (1)   Convaincre les enseignants de la pertinence des TCS pour évaluer des compétences >  plus facile à écrire qu'un QCM, tout aussi facile à corriger >  plus de réflexion : pas de situation simple >  pas toujours pas facile de parler de compétences…   Situer la complémentarité des TCS par rapport aux : >  QCM >  Exercices "classiques" 21
  22. 22. Recommandations autour des TCS (2)   Envisager une rédaction collective des vignettes >  limite la "contexualisation" >  plus efficace que la relecture pour affiner le texte   Pour une utilisation en évaluation >  coupler à une justification très courte >  Valide la compétence de l'élève et le TCS !   Elargir le panel d'experts en dehors de l'établissement   Ne pas oublier que les cas simples (réponses binaires) sont des QCM   Réutiliser ! >  dériver les TCS existants en changeant hypothèses et nouvelles données >  D'une année sur l'autre, d'une matière à l'autre 22
  23. 23. Utilisation pratique   En TD/TP >  Confronter l'étudiant à des situations réalistes >  Identifier les failles dans le raisonnement de l'étudiant   En auto-évaluation >  Vérification de l'acquisition de compétences   En examen >  Validation de compétences "fondamentales" 23
  24. 24. Bilan   Première mise en œuvre réelle des TCS en dehors du monde médical   Dispositif adopté par l'équipe pédagogique pour l'évaluation de compétences   Savoir-faire en termes d'écriture de vignettes   Utile pour l'évaluation des compétences pour le C2i2mi ? 24
  25. 25. Perspectives   Poursuite de l'écriture de vignettes et généralisation   Confrontations de l'expérience avec le secteur médical   Extension au niveau M   Application à d'autres domaines >  diagnostic >  problèmes ouverts 25
  26. 26. Quelques références bibliographiques   Blog EAT-TICE Centrale Nantes : http://eat-tice.ec-nantes.fr   Site de référence sur les TCS en médecine : http://www.cme.umontreal.ca/tcs/   Les motivations des TCS en informatique : http://tinyurl.com/tcs-unit   Conférence de Bernard Charlin : >  Canal U : http://tinyurl.com/bcharlin-tcs >  Supports : http://tinyurl.com/bcharlin-slides 26
  27. 27. Contact et informations   Contacts >  Guillaume.Moreau@ec-nantes.fr >  Morgan.Magnin@ec-nantes.fr   Informations >  Blog : https://pedagogie.ec-nantes.fr/tablet-pc/ >  Blog : http://eat-tice.ec-nantes.fr 27

×