Tsaap-Notes - Développer et valoriser l’activité des étudiants pendant le cours pour la constitution de feedback dans les évaluations informatisées Nos travaux précédents ont introduit la plateforme Tsaap-Notes dédiée à la génération semi-automatique de questionnaires à choix multiples pourvus de feedbacks en recyclant (1) les questions interactives posées pendant le cours par l’enseignant, et (2) les notes prises par les étudiants pour constituer les feedbacks présentés aux étudiants durant les tests. Dans cet article nous présentons un nouveau dispositif (NP-Q) qui vise à augmenter considérablement le nombre de contributions des étudiants afin d’améliorer de manière significative la qualité des feedbacks restitués au sein des tests générés par Tsaap-Notes. Ce dispositif repose sur le découpage en plusieurs phases du processus de soumission d’une réponse à une question, ainsi que sur un algorithme d’identification et de filtrage des contributions à inclure dans les tests. Notre approche a été validée par une première expérimentation sur un groupe de 51 étudiants inscrits en Master Informatique.

1. Tsaap-Notes - Développer et valoriser l’activité des
étudiants pendant le cours pour la constitution de
feedback dans les évaluations informatisées
Franck Silvestre, Julien Broisin
IRIT, Université Toulouse III, France
Pedagotice 2015
Juin 2015
1

2. Le contexte
• Évaluations informatisées
• Tests en ligne
• Feedback
• Tsaap-Notes
2

3. Le défi
Qualifier les contributions des étudiants pour la
constitution de feedback de qualité dans les tests
d’auto-évaluation
3

4. Les bénéfices des tests en ligne
• Mise en oeuvre d’évaluations formatives fréquentes
[12] [10]
• Mise à disposition du feedback aux apprenants
- n’importe quand,
- depuis n’importe où,
- aussi souvent qu’ils le souhaitent [11]
4
La qualité du feedback est une clé de succès de
l’apprentissage [2][7][8]

5. Limites du feedback dans les tests en ligne
• Saisi par l’enseignant
- Dans le dialecte de l’enseignant
- Consommateur de temps
• Identique pour tous les
apprenants
5

6. Tsaap-Notes [16]
Micro-blogging, scope et fragment pour prise de notes éventuellement collaborative
6

7. Tsaap-Notes [16]
• Cours en face à face
• Système de vote interactif
7
• Augmentation de la prise de notes
par les étudiants sur les questions
posées

8. L’approche « notes as feedback » [16]
• Recycler les questions posées en cours
• Recycler les notes prises par les étudiants
• Pour générer des tests d’auto-évaluation avec
feedback provenant des notes des étudiants
8
Semi-automatic

9. Comment ?
9

10. Dans Moodle
10

11. Bénéfices
• Mise en oeuvre des tests d’auto-évaluation en ligne
facilitée
• Feedback produit dans le contexte du cours, dans
le dialecte des étudiants
• Valorisation des productions des étudiants
• Résultats premières expérimentations positifs [15]
11

12. Les limites
• Aucun filtre sur les contributions des étudiants pour
une question données => limite qualitative
• Trop peu d’étudiants participent à la tâche de
saisie d’une explication => limite quantitative
12

13. Vers le dispositif NP-Q
• Pourquoi les étudiants participent massivement au
sondage interactif (80 à 90% en moyenne) et
beaucoup moins à la rédaction d’explications (25%
dans le meilleur des cas) ?
13

14. Le succès du sondage interactif
• Le sondage interactif est un outil d’évaluation
formative
• Il fournit un feedback immédiat à chaque étudiant
• Impacts positifs sur l’apprentissage
[1,4,6,13,14,18]
14

15. Comment intégrer la rédaction d’explications dans un processus
procurant un feedback immédiat à chaque étudiant ?

16. Le dispositif NP-Q
• Dispositif de soumission d’une réponse en N
phases
• Feedback immédiat
• Évaluation des contributions par les pairs
• Sélection des contributions les mieux notées
comme feedback des tests d’auto-évaluation
16

17. La phase 1
17

18. La phase 2
18

19. La phase 3
19

20. La vue finale
20

21. Dans Moodle
21

22. Focus sur l’algorithme d’association de réponses
22
a1
[ 100; 2; 92 ]
a2
[ 0; 3 ; 24 ]
a3
[ 100; 3; 0 ]
a4
[ 100; 4 ; 65 ]
a5
[100; 3 ; 86 ]
a6
[ 40; 2 ; 153 ]
a7
[ 65; 1 ; 0 ]
a8
[ 100;2 ; 38 ]
a1
[ 100; 2 ; 92 ]
a4
[ 100; 4 ; 65 ]
a5
[ 100; 3 ; 86 ]
a8
[ 100; 2 ; 38 ]
a2
[0; 3 ; 24 ]
a6
[40; 2 ; 153 ]
A
AcAc a1
[ 100; 2 ; 92 ]
a3
[ 100; 3; 0 ]
a4
[ 100; 4; 65 ]
a5
[ 100; 3 ; 86 ]
a8
[ 100; 2 ; 38 ]
a2
[0; 3 ; 24 ]
a6
[40; 2 ; 153 ]
a7
[ 65; 1 ; 0 ]
CcCc
a1
[ 100; 2 ; 92 ]
a4
[100; 4 ; 65 ]
a5
[ 100; 3 ; 86 ]
a8
[100; 2 ; 38 ]
a2
[0; 3 ; 24 ]
a6
[ 2 ; 153 ]
Ac a1
[ 100; 2 ; 92 ]
a3
[ 100; 3; 0 ]
a4
[ 100; 4 ; 65 ]
a5
[ 100; 3 ; 86 ]
a8
[ 100; 2 ; 38 ]
a2
[0; 3 ; 24 ]
a6
[40; 2 ; 153 ]
a7
[65; 1 ; 0 ]
Cc
Ac
Cc
2
1
fg

23. Première expérimentation
• 2 groupes d’étudiants
• Master 1 Informatique
• Cours « Développement collaboratif et logiciels
libres » (DCLL) et « Méthodes agiles » (MA)
• 3 séances de 2 heures
• 5 questions à soumission en N phases
23

24. Taux de participation
24

25. Impact du conflit socio-cognitif
25

26. L’évaluation par les pairs
26

27. Conclusion
• Passage d’un processus de recyclage non
qualifiant à un processus qualifiant
• Taux de participation à la tâche de rédaction se
rapproche sensiblement du taux de participation
aux sondages interactifs
• Premiers résultats très encourageants à confirmer
par expérimentations complémentaires
27

28. Perspectives
• Traitement des évaluations « défaillantes »
• Traitement des questions ouvertes : comment
associer les réponses dans ce contexte ?
• Passage à l’échelle : grands amphithéâtres, MOOC
28

29. Bibliographie
1. Biggs, J. and Tang, C.: Teaching for quality learning at university. (2011).
2. Black, P. and Wiliam, D.: Assessment and Classroom Learning, Assess. Educ. Princ. Policy
Pract., vol. 5, no. 1, pp. 7–74, Mar. 1998.
3. Boud, D., Cohen, R., and Sampson, J.: Peer learning in higher education: Learning from
and with each other, (2014).
4. Caldwell, J.: Clickers in the large classroom: Current research and best-practice tips, CBELife
Sci. Educ., (2007).
5. Dochy, F., Segers, M., and Sluijsmans, D.: The use of self-, peer and co-assessment in
higher education: A review, Stud. High. Educ., (1999).
6. Gauci, S. and Dantas, A.: Promoting student-centered active learning in lectures with a
personal response system, Adv. …, (2009).
7. Hattie, J. and Jaeger, R.: Assessment and classroom learning: A deductive approach,
Assess. Educ., (1998).
8. Higgins, R., Hartley, P., and Skelton, A.: The conscientious consumer: reconsidering the
role of assessment feedback in student learning, Stud. High. Educ., vol. 27, no. 1, (2002).
9. IMS Global Learning Consortium: IMS Question & Test Interoperability Specification.
(2012).
10. Miller, T.: Formative computer-based assessment in higher education: The effectiveness of
feedback in supporting student learning, Assess. Eval. High. Educ., (2009).
11. Nicol, D. and Macfarlane-Dick, D.: Formative assessment and self-regulated learning : A
model and seven principles of good feedback practice ., Stud. High. Educ., (2006) 1–19.
12. Ricketts, C. and Wilks, S.: Improving student performance through computer-based
assessment: Insights from recent research, Assess. Eval. High. Educ., vol. 27, no. 5, (2002).
13. Scouller, K.: The influence of assessment method on students’ learning approaches:
Multiple choice question examination versus assignment essay, High. Educ., (1998).
14. Shaffer, D. and Collura, M.: Evaluating the effectiveness of a personal response system in
the classroom, Teach. Psychol., (2009).
15. Silvestre, F., Vidal, P., and Broisin, J.: Génération semi-automatique de tests d’auto-
évaluation pourvus de feedback résultant de la prise de notes collaborative, conférence des
Technologies de l'Information et de la Communication pour l'Enseignement, (2014).
16. Silvestre, F., Vidal, P., and Broisin, J.: Tsaap-Notes--An Open Micro-blogging Tool for
Collaborative Notetaking during Face-to-Face Lectures, International Conference on
Advanced Learning Technologies (ICALT), (2014).
17. Topping, K.: Peer assessment between students in colleges and universities, Rev. Educ.
Res., (1998).