0
Tests de concordance de
          scripts
Réunion du groupe TICE de la CGE PdL
              1 juin 2010

             Mor...
Contexte

●   Objectif : assurer une meilleure évaluation du
    savoir-faire en informatique

●   Projet UNIT :
        –...
Les TCS (1)

●   Tests de concordance de script

●   Instrument d'évaluation du raisonnement en
    contexte d'incertitude...
Les TCS (2)




 Image tirée de http://www.cme.umontreal.ca/tcs/
Les TCS (3)

●   Score de l’étudiant proportionnel au nombre
    d’experts ayant choisi la même réponse

●   Évalutoile : ...
TCS en informatique (1)
●   Scénario : Christian et Anne-Céline réservent tous deux une place dans
    le train Angers-Nan...
TCS en informatique (2)
●   Scénario : Christian et Anne-Céline réservent tous deux une place dans
    le train Angers-Nan...
Cours impactés à Centrale Nantes

●   EI1 :
        –   Systèmes d'information et bases de données
        –   Algorithmiq...
Bilan intermédiaire du projet à Centrale
Nantes
  ●   64 vignettes créées
  ●   Première expérimentation sur l'examen de
 ...
Conclusions partielles

●   Évaluation du raisonnement et du savoir-faire
        –   Pertinent
        –   Efficace
●   P...
Plan de mise en oeuvre de TCS

1.Acquisition du savoir-faire en termes de TCS
2.Établissement du référentiel de compétence...
Recommandations autour des TCS (1)

 ●   Convaincre les enseignants de la pertinence des TCS
     pour évaluer des compéte...
Recommandations autour des TCS (2)

 ●   Envisager une rédaction collective des premières
     vignettes
 ●   Pour une uti...
Utilisation en pratique

  ●   En TD/TP :
          ●   Confronter l'étudiant à des situations réalistes
          ●   Ide...
Bilan

 ●   Première extension des TCS en dehors du secteur
     médical
 ●   Dispositif adopté par l'équipe pédagogique p...
Perspectives

 ●   Poursuite de l'écriture de TCS et généralisation
 ●   Confrontation de l'expérience avec les pratiques ...
Quelques références bibliographiques

 ●   Blog EAT-TICE Centrale Nantes :
     http://eat-tice.ec-nantes.fr
 ●   Site de ...
Upcoming SlideShare
Loading in...5
×

Présentation sur l'expérimentation (bilan intermédiaire au 1er juin 2010) menée autour de l'utilisation des Tests de Concordance de Script (TCS) en informatique à l'École Centrale de Nantes

2,025

Published on

L’École Centrale de Nantes est actuellement engagée dans un projet (fédérant, entre autres, les Ecoles des Mines de Nantes, d’Alès et de Douai, l’INSA de Rouen, l’Université de Bordeaux 2 et, bien sûr, l’ECN) qui vise à assurer une meilleure évaluation du savoir-faire en informatique. Pour ce faire, la méthode envisagée est celle des tests de concordance de scripts, notés TCS.

L’objectif des TCS est d’évaluer le raisonnement des étudiants placés dans une situation professionnelle, et non pas leurs connaissances (ce qui peut déjà être fait par des méthodes "classiques", allant du QCM au devoir sur table). Les TCS constituent donc un outil d’évaluation complémentaire des procédures déjà existantes. Des études ont montré la fidélité et la validité des TCS pour différencier les étudiants en fonction de leur niveau d’expertise. Ils permettent de tester un grand nombre d’étudiants de façon standardisée, discriminante et objective.

Ils sont déjà largement utilisés dans de nombreuses universités relevant du secteur médical. Ils permettent d’évaluer le raisonnement en situation incertaine correspondant à la vie professionnelle. Ils mettent en jeu des problèmes mal définis, avec des données incertaines et pour lesquels plusieurs solutions sont possibles. Les raisonnements des étudiants sont alors confrontés à ceux d’experts.

Cette présentation a été effectué dans le cadre de la réunion des correspondants TICE de la Conférence Régionale des Grandes Écoles de la Région Pays de la Loire, le mardi 1er juin 2010 à Angers.

Published in: Education, Business, Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
2,025
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
11
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Présentation sur l'expérimentation (bilan intermédiaire au 1er juin 2010) menée autour de l'utilisation des Tests de Concordance de Script (TCS) en informatique à l'École Centrale de Nantes"

  1. 1. Tests de concordance de scripts Réunion du groupe TICE de la CGE PdL 1 juin 2010 Morgan Magnin MCF Centrale Nantes morgan.magnin@irccyn.ec-nantes.fr http://twitter.com/morgan_it/ http://eat-tice.ec-nantes.fr
  2. 2. Contexte ● Objectif : assurer une meilleure évaluation du savoir-faire en informatique ● Projet UNIT : – Centrale Nantes – les Ecoles des Mines de Nantes, d'Alès et de Douai, – l'INSA de Rouen, – l'Université de Bordeaux 2
  3. 3. Les TCS (1) ● Tests de concordance de script ● Instrument d'évaluation du raisonnement en contexte d'incertitude ● Complémentaires des procédures d'évaluation « traditionnelles » ● Issus du secteur médical – Université de Montréal
  4. 4. Les TCS (2) Image tirée de http://www.cme.umontreal.ca/tcs/
  5. 5. Les TCS (3) ● Score de l’étudiant proportionnel au nombre d’experts ayant choisi la même réponse ● Évalutoile : http://www.evalutoile.u-bordeaux2.fr/
  6. 6. TCS en informatique (1) ● Scénario : Christian et Anne-Céline réservent tous deux une place dans le train Angers-Nantes de 19h00 le 1er juin 2010. Lors de leur arrivée à la gare, ils se retrouvent avec la même place dans le même wagon. ● Hypothèse / Option : Vous supposez que le logiciel de réservation comporte un bug au niveau de la vérification d’attribution des places. ● Nouvelle donnée : Le problème ne se produit qu’une fois par an. ● Quel est l’effet de cette nouvelle donnée sur votre hypothèse ? □ Rend l'hypothèse beaucoup moins probable □ Rend l'hypothèse moins probable □ N'a aucun effet sur l'hypothèse Proposition de Guillaume Moreau (MCF Centrale Nantes) □ Rend l'hypothèse plus probable □ Rend l'hypothèse beaucoup plus probable Compétence ciblée : identifier le périmètre d'origine d'un bug dans un système d'information
  7. 7. TCS en informatique (2) ● Scénario : Christian et Anne-Céline réservent tous deux une place dans le train Angers-Nantes de 19h00 le 1er juin 2010. Lors de leur arrivée à la gare, ils se retrouvent avec la même place dans le même wagon. ● Hypothèse / Option : Vous supposez que le logiciel de réservation comporte un bug au niveau de la vérification d’attribution des places. ● Nouvelle donnée : Le problème ne se produit qu’une fois par an. ● Quel est l’effet de cette nouvelle donnée sur votre hypothèse ? Experts Étudiants □ Rend l'hypothèse beaucoup moins probable 0% 19% □ Rend l'hypothèse moins probable 0% 19% □ N'a aucun effet sur l'hypothèse 55% 27% □ Rend l'hypothèse plus probable 22% 23% □ Rend l'hypothèse beaucoup plus probable 22% 11%
  8. 8. Cours impactés à Centrale Nantes ● EI1 : – Systèmes d'information et bases de données – Algorithmique et programmation ● EI2 : – Méthodes logicielles (Java, structures de données) ● EI3 Info : – Systèmes, réseaux et technologies de l'information – Programmation objet
  9. 9. Bilan intermédiaire du projet à Centrale Nantes ● 64 vignettes créées ● Première expérimentation sur l'examen de « Systèmes d'information » – 26 juin 2009 – 108 étudiants – Évaluation d'après un panel de 9 experts – Justification des choix demandée aux étudiants ● Nouvelle expérimentation en juin 2010, avant élargissement
  10. 10. Conclusions partielles ● Évaluation du raisonnement et du savoir-faire – Pertinent – Efficace ● Particulièrement adapté pour : – Diagnostic – Conception ● Efforts sur l'écriture des vignettes : objectivité
  11. 11. Plan de mise en oeuvre de TCS 1.Acquisition du savoir-faire en termes de TCS 2.Établissement du référentiel de compétences 3.Conception de questions 4.Saisie des questions 5.Recueil de l’expertise 6.Expérimentations 7.Retour éventuel sur la rédaction de certaines questions → reprendre en 4
  12. 12. Recommandations autour des TCS (1) ● Convaincre les enseignants de la pertinence des TCS pour évaluer des compétences ● Situer la complémentarité des TCS par rapport aux : – QCM – Exercices "classiques"
  13. 13. Recommandations autour des TCS (2) ● Envisager une rédaction collective des premières vignettes ● Pour une utilisation en évaluation : coupler les TCS à un champ "justification" ● Élargir le panel d'experts en dehors de l'établissement ● Un outil utile pour l'évaluation des compétences du C2i(2mi)
  14. 14. Utilisation en pratique ● En TD/TP : ● Confronter l'étudiant à des situations réalistes ● Identifier les failles dans le raisonnement de l'étudiant ● En auto-évaluation : ● Vérification de l'acquisition de compétences ● En examen : ● Validation de compétences « fondamentales »
  15. 15. Bilan ● Première extension des TCS en dehors du secteur médical ● Dispositif adopté par l'équipe pédagogique pour l'évaluation de compétences ● Savoir-faire en termes d'écriture de vignettes
  16. 16. Perspectives ● Poursuite de l'écriture de TCS et généralisation ● Confrontation de l'expérience avec les pratiques du secteur médical ● Extension au niveau M ● Application dans d'autres domaines scientifiques : ● Diagnostic ● Problèmes ouverts
  17. 17. Quelques références bibliographiques ● Blog EAT-TICE Centrale Nantes : http://eat-tice.ec-nantes.fr ● Site de référence sur les TCS en médecine : http://www.cme.umontreal.ca/tcs/ ● Les motivations des TCS en informatique : http://tinyurl.com/tcs-unit ● Conférence de Bernard Charlin : – Canal U : http://tinyurl.com/bcharlin-tcs – Supports : http://tinyurl.com/bcharlin-slides
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×