1. Tests de concordance de
scripts
Réunion du groupe TICE de la CGE PdL
1 juin 2010
Morgan Magnin
MCF Centrale Nantes
morgan.magnin@irccyn.ec-nantes.fr
http://twitter.com/morgan_it/
http://eat-tice.ec-nantes.fr

2. Contexte
● Objectif : assurer une meilleure évaluation du
savoir-faire en informatique
● Projet UNIT :
– Centrale Nantes
– les Ecoles des Mines de Nantes, d'Alès et de
Douai,
– l'INSA de Rouen,
– l'Université de Bordeaux 2

3. Les TCS (1)
● Tests de concordance de script
● Instrument d'évaluation du raisonnement en
contexte d'incertitude
● Complémentaires des procédures d'évaluation
« traditionnelles »
● Issus du secteur médical – Université de Montréal

4. Les TCS (2)
Image tirée de http://www.cme.umontreal.ca/tcs/

5. Les TCS (3)
● Score de l’étudiant proportionnel au nombre
d’experts ayant choisi la même réponse
● Évalutoile : http://www.evalutoile.u-bordeaux2.fr/

6. TCS en informatique (1)
● Scénario : Christian et Anne-Céline réservent tous deux une place dans
le train Angers-Nantes de 19h00 le 1er juin 2010. Lors de leur arrivée à
la gare, ils se retrouvent avec la même place dans le même wagon.
● Hypothèse / Option : Vous supposez que le logiciel de réservation comporte
un bug au niveau de la vérification d’attribution des places.
● Nouvelle donnée : Le problème ne se produit qu’une fois par an.
● Quel est l’effet de cette nouvelle donnée sur votre hypothèse ?
□ Rend l'hypothèse beaucoup moins probable
□ Rend l'hypothèse moins probable
□ N'a aucun effet sur l'hypothèse Proposition de Guillaume Moreau
(MCF Centrale Nantes)
□ Rend l'hypothèse plus probable
□ Rend l'hypothèse beaucoup plus probable
Compétence ciblée : identifier le périmètre d'origine d'un bug dans un système d'information

7. TCS en informatique (2)
● Scénario : Christian et Anne-Céline réservent tous deux une place dans
le train Angers-Nantes de 19h00 le 1er juin 2010. Lors de leur arrivée à
la gare, ils se retrouvent avec la même place dans le même wagon.
● Hypothèse / Option : Vous supposez que le logiciel de réservation comporte
un bug au niveau de la vérification d’attribution des places.
● Nouvelle donnée : Le problème ne se produit qu’une fois par an.
● Quel est l’effet de cette nouvelle donnée sur votre hypothèse ?
Experts Étudiants
□ Rend l'hypothèse beaucoup moins probable 0% 19%
□ Rend l'hypothèse moins probable 0% 19%
□ N'a aucun effet sur l'hypothèse 55% 27%
□ Rend l'hypothèse plus probable 22% 23%
□ Rend l'hypothèse beaucoup plus probable 22% 11%

8. Cours impactés à Centrale Nantes
● EI1 :
– Systèmes d'information et bases de données
– Algorithmique et programmation
● EI2 :
– Méthodes logicielles (Java, structures de données)
● EI3 Info :
– Systèmes, réseaux et technologies de l'information
– Programmation objet

9. Bilan intermédiaire du projet à Centrale
Nantes
● 64 vignettes créées
● Première expérimentation sur l'examen de
« Systèmes d'information »
– 26 juin 2009
– 108 étudiants
– Évaluation d'après un panel de 9 experts
– Justification des choix demandée aux étudiants
● Nouvelle expérimentation en juin 2010, avant
élargissement

10. Conclusions partielles
● Évaluation du raisonnement et du savoir-faire
– Pertinent
– Efficace
● Particulièrement adapté pour :
– Diagnostic
– Conception
● Efforts sur l'écriture des vignettes : objectivité

11. Plan de mise en oeuvre de TCS
1.Acquisition du savoir-faire en termes de TCS
2.Établissement du référentiel de compétences
3.Conception de questions
4.Saisie des questions
5.Recueil de l’expertise
6.Expérimentations
7.Retour éventuel sur la rédaction de certaines
questions → reprendre en 4

12. Recommandations autour des TCS (1)
● Convaincre les enseignants de la pertinence des TCS
pour évaluer des compétences
● Situer la complémentarité des TCS par rapport aux :
– QCM
– Exercices "classiques"

13. Recommandations autour des TCS (2)
● Envisager une rédaction collective des premières
vignettes
● Pour une utilisation en évaluation : coupler les
TCS à un champ "justification"
● Élargir le panel d'experts en dehors de
l'établissement
● Un outil utile pour l'évaluation des compétences
du C2i(2mi)

14. Utilisation en pratique
● En TD/TP :
● Confronter l'étudiant à des situations réalistes
● Identifier les failles dans le raisonnement de
l'étudiant
● En auto-évaluation :
● Vérification de l'acquisition de compétences
● En examen :
● Validation de compétences « fondamentales »

15. Bilan
● Première extension des TCS en dehors du secteur
médical
● Dispositif adopté par l'équipe pédagogique pour
l'évaluation de compétences
● Savoir-faire en termes d'écriture de vignettes

16. Perspectives
● Poursuite de l'écriture de TCS et généralisation
● Confrontation de l'expérience avec les pratiques du
secteur médical
● Extension au niveau M
● Application dans d'autres domaines scientifiques :
● Diagnostic
● Problèmes ouverts

17. Quelques références bibliographiques
● Blog EAT-TICE Centrale Nantes :
http://eat-tice.ec-nantes.fr
● Site de référence sur les TCS en médecine :
http://www.cme.umontreal.ca/tcs/
● Les motivations des TCS en informatique :
http://tinyurl.com/tcs-unit
● Conférence de Bernard Charlin :
– Canal U : http://tinyurl.com/bcharlin-tcs
– Supports : http://tinyurl.com/bcharlin-slides