presentation for the defence of phD thesis - "Methods and tools for the evaluation of collaborative learning activities using time series" - In Greek.

1. Μέθοδοι και εργαλεία
αξιολόγησης συνεργατικής
μάθησης με χρήση
χρονοσειρώνχρονοσειρών
Χούντα Αγγελική-Ειρήνη
Διδακτορική Διατριβή
Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας
Υπολογιστών

2. Ερευνητική περιοχή Διδακτορικής ΔιατριβήςΕρευνητική περιοχή Διδακτορικής Διατριβής
Υπολογιστικά Υποστηριζόμενη Συνεργατική
Μάθηση (ΥΥΣΜ)
παιδαγωγική προσέγγιση που αφορά στηνπαιδαγωγική προσέγγιση που αφορά στην
μάθηση που λαμβάνει χώρα μέσω της
αλληλεπίδρασης των εκπαιδευομένων, οι
οποίοι είτε μοιράζονται είτε «χτίζουν» από
κοινού γνώση κάνοντας χρήση ή
επικοινωνώντας μέσω υπολογιστή
(Stahl, G., Koschmann, T., & Suthers, D. , 2006)
2

3. ΠΠαραδείγματααραδείγματα
• Φοιτητές που δουλεύουν μαζί για την
δημιουργία αναπαράστασης / λύση
προβλήματος
• Ομάδες μαθητών περιηγούνται σε ένα
μουσείο χρησιμοποιώντας ταμπλέτες κατά την
σχολική επίσκεψη
• Μαθητές ξένων γλωσσών που συναντιούνται
στο διαδίκτυο και συζητούν σε ομάδες για
εξάσκηση και υπό την καθοδήγηση δασκάλου
3

4. Βασικοί ΣτόχοιΒασικοί Στόχοι
• Ανάπτυξη μεθόδων για τη βελτίωση του
μαθησιακού αποτελέσματος
• Ανάλυση και αξιολόγηση συνεργατικών
δραστηριοτήτων για την κατανόηση τωνδραστηριοτήτων για την κατανόηση των
μηχανισμών που διέπουν τη συνεργασία και των
παραγόντων που την επηρεάζουν
• Ανάπτυξη εργαλείων που διαμεσολαβούν και
υποστηρίζουν τις συνεργατικές δραστηριότητες.
4

5. Μεθοδολογίες ΑνάλυσηςΜεθοδολογίες Ανάλυσης--ΑξιολόγησηςΑξιολόγησης
Ποιοτικές/Ποσοτικές Μέθοδοι
• Σχήματα Κωδικοποίησης/Αξιολόγησης (Meier, Spada, &
Rummel, 2007, Kahrimanis et al., 2009, Dyke, Lund, & Girardot, 2009, Persico &
Pozzi, 2011))
• Γράφοι Συσχετιζόμενης Δραστηριότητας (Medina &
Suthers, 2009, Suthers, Dwyer, Medina, & Vatrapu, 2010)
• Ανάλυση Διαλόγου (De Wever & Van Keer, 2010, Strijbos, Martens,• Ανάλυση Διαλόγου (De Wever & Van Keer, 2010, Strijbos, Martens,
Prins, & Jochems, 2006)
• Ανάλυση Αλληλεπίδρασης (Barros & Verdejo, 2000; Lipponen,
Rahikainen, Hakkarainen, & Palonen, 2003; D. Suthers & Medina, 2011;
Reimann, 2009)
• Αυτόματα/Ημιαυτόματα πλαίσια μετρικών
δραστηριότητας (Dönmez, Rosé, Stegmann, Weinberger, & Fischer,
2005; Hoppe, Engler, & Weinbrenner, 2012; G. Kahrimanis, 2010; G.
Kahrimanis, Chounta, & Avouris, 2010)
5

6. Χρόνος <Χρόνος < -- -- > Μάθηση> Μάθηση
“Η κατανόηση του φαινομένου είναι δυνατή μόνο αν το φαινόμενο μελετηθεί κατά την
εξέλιξή του» (Vygotski, Piaget as cited by Barbera&Clara, 2012)
•η έρευνα στο πεδίο υπολείπεται μεθοδολογικά ως
προς την ισχύ και εγκυρότητα με την οποία
μελετώνται συγκεκριμένες παράμετροι, όπως ο
χρόνος (De Wever, Schellens, Valcke, & Van Keer,
6
χρόνος (De Wever, Schellens, Valcke, & Van Keer,
2006; Weinberger & Fischer, 2006)
•Τα μεθοδολογικά πλαίσια συχνά αμελούν τις
πληροφορίες που σχετίζονται με την χρονική και
ακολουθιακή εξέλιξη της συνεργατικής
δραστηριότητας (Reimann, 2009)

7. Στόχος και συνεισφορά της διατριβήςΣτόχος και συνεισφορά της διατριβής
Ανάπτυξη μεθόδου για την αυτοματοποιημένη
ανάλυση, ταξινόμηση και αξιολόγηση της
ποιότητας συνεργατικών δραστηριοτήτων
• Μελέτη της εξέλιξης της δραστηριότητας στον χρόνο
• Ποσοτικά αποτελέσματα που βασίζονται σε ποιοτικά• Ποσοτικά αποτελέσματα που βασίζονται σε ποιοτικά
ευρήματα για τα χαρακτηριστικά της συνεργασίας
• Αξιόπιστη και με μικρό κόστος μέθοδος
• Δυνατότητα ανάλυσης/αξιολόγησης δραστηριοτήτων σε
πραγματικό χρόνο
• Εφαρμογή πρωτότυπων μαθηματικών τεχνικών για το πεδίο
σε μία μέθοδο αποδοτική, ακριβή και έγκυρη σύμφωνα με
τις απαιτήσεις της ερευνητικής περιοχής
7

8. ΧρονοσειρέςΧρονοσειρές
• Αναπαράσταση της εξέλιξης συναρτήσει του
χρόνου
«Ως χρονοσειρά ορίζεται κάθε συλλογή παρατηρήσεων που
καταγράφεται ακολουθιακά στον χρόνο» (Chatfield, 2003)
χρόνου
• Ανάλυση ταυτόχρονων φαινομένων και
τάσεων
• Πρόβλεψη μελλοντικών καταστάσεων
8

9. Ερευνητική ΥπόθεσηΕρευνητική Υπόθεση
Συνεργατικές συνεδρίες που περιγράφονται από
παρόμοιες χρονοσειρές συνεργατικής
δραστηριότητας, θα παρουσιάζουν παρόμοιαδραστηριότητας, θα παρουσιάζουν παρόμοια
ποιοτικά χαρακτηριστικά και συνεπώς θα
αξιολογούνται παρόμοια
9

10. Μέθοδος της ΈρευναςΜέθοδος της Έρευνας
Μελέτη της βιβλιογραφίας
του ερευνητικού πεδίου της
ΥΥΣΜ και της τρέχουσας
κατάστασης, ορισμός
βασικών ερωτημάτων και
κατευθύνσεων προς
διερεύνηση
[c01]
10

11. Μέθοδος της ΈρευναςΜέθοδος της Έρευνας
εκπόνηση μελετών μικρής
και μεγάλης κλίμακας με
σκοπό την συλλογή
δεδομένων σε πραγματικές
συνθήκες εκπαιδευτικώνσυνθήκες εκπαιδευτικών
δραστηριοτήτων
11

12. Μέθοδος της ΈρευναςΜέθοδος της Έρευνας
Εμπειρική ανάλυση και
[c02- c10], [b01]
Εμπειρική ανάλυση και
αξιολόγηση συνεργασίας με
ποιοτικές μεθόδους
Ανάπτυξη ποσοτικών
μετρικών
12

13. Μέθοδος της ΈρευναςΜέθοδος της Έρευνας
Ακριβής ορισμός του
ερευνητικού ερωτήματος,
μελέτη συγκεκριμένων
τεχνικών και μεθοδολογιών
και σχεδιασμός της μεθόδου
και των εργαλείων που την
υποστηρίζουν.υποστηρίζουν.
13

14. Μέθοδος της ΈρευναςΜέθοδος της Έρευνας
Πειραματική Διαδικασία και
Ανάλυση των
αποτελεσμάτων, σύγκριση
με άλλα μεθοδολογικά
πλαίσια και αξιολόγηση
[c11-c13], [j01,j02]
14

15. Συνεργατική ΔραστηριότηταΣυνεργατική Δραστηριότητα
15

16. Συνεργατική ΕφαρμογήΣυνεργατική Εφαρμογή SynergoSynergo (1)(1)
Κατασκευή διαγραμματικών
αναπαραστάσεων
• (α) την κοινόχρηστη
επιφάνεια εργασίας
(β) το εργαλείο ανταλλαγής• (β) το εργαλείο ανταλλαγής
μηνυμάτων
• (γ) τις βιβλιοθήκες
πρότυπων αντικειμένων
• (δ) την εργαλειοθήκη
16

17. Συνεργατική ΕφαρμογήΣυνεργατική Εφαρμογή SynergoSynergo (2)(2)
• Δυνατότητα λεπτομερειακής καταγραφής
της δραστηριότητας
Αύξων Αριθμός Ενέργειας Χρήστης υπεύθυνος για την
ενέργεια
Απόλυτος Χρόνος Ενέργειας
Σχετικός Χρόνος Ενέργειας
ενέργεια
Τύπος Ενέργειας Περιεχόμενο
17

18. ΧρονοσειρέςΧρονοσειρές Συνεργατικής ΔραστηριότηταςΣυνεργατικής Δραστηριότητας
Εργαλείο Ανταλλαγής Μηνυμάτων
Μετρικές
Δραστηριότητας Περιγραφή Μετρικής
#COA Αριθμός μηνυμάτων
#DCOA Ρυθμός μεταβολής αριθμού μηνυμάτων
#CALT Αριθμός εναλλαγών ενεργού ρόλου
#DCALT Ρυθμός μεταβολής ενεργού ρόλου
#CTG Μέσος Χρόνος Ανταπόκρισης
#DCTG
Ρυθμός μεταβολής Μέσου χρόνου
ανταπόκρισης
Κοινόχρηστος Χώρος Εργασίας
Μετρικές
Δραστηριότητας Περιγραφή Μετρικής
#WOA Αριθμός ενεργειών
#DWOA Ρυθμός μεταβολής αριθμού ενεργειών
#WALT Αριθμός εναλλαγών ενεργού ρόλου
#DWALT Ρυθμός μεταβολής ενεργού ρόλου
#WTG Μέσος Χρόνος Ανταπόκρισης#DCTG ανταπόκρισης
#CSYM Συμμετρία Δραστηριότητας
#DCSYM Ρυθμός μεταβολής συμμετρίας
#WTG Μέσος Χρόνος Ανταπόκρισης
#DWTG
Ρυθμός μεταβολής Μέσου χρόνου
ανταπόκρισης
#WSYM Συμμετρία Δραστηριότητας
#DWSYM Ρυθμός μεταβολής συμμετρίας
18
Όγκου δραστηριότητας
Ρυθμού μεταβολής
α= 10, 15, 30, 60, 300, 480, 600 sec

19. ΧρονοσειρέςΧρονοσειρές Συνεργατικής ΔραστηριότηταςΣυνεργατικής Δραστηριότητας
0
1
2
3
4
5
6
7
8
9
10
0 20 40 60 80 100
#Chat
Time step
G01 (#COA)
#Chat
0
2
4
6
8
10
0 20 40 60 80 100 120 140
#Chat
Time step
G02 (#COA)
0
1
2
3
4
5
6
7
8
9
10
0 20 40 60 80 100 120 140 160
#Chat
Time step
B01(#COA)
#Chat
0
1
2
3
4
5
6
7
8
9
10
0 20 40 60 80 100 120 140 160 180
#Chat
Time step
B04 (#COA)
Κακή Ποιότητα Συνεργασίας
Time step
#Chat
Time step
#Chat
-10
-8
-6
-4
-2
0
2
4
6
8
10
0 20 40 60 80 100 120
#DiffChat
Time step
B01 (#DCOA)
#DiffChat
-10
-8
-6
-4
-2
0
2
4
6
8
10
0 20 40 60 80 100 120 140
#DiffChat
Time step
G01 (#DCOA)
#DiffChat
-10
-8
-6
-4
-2
0
2
4
6
8
10
0 20 40 60 80 100 120 140 160 180
#DiffChat
Time step
B02 (#DCOA)
#DiffChat
-10
-8
-6
-4
-2
0
2
4
6
8
10
0 20 40 60 80 100 120 140
#DiffChat
Time step
G02 (#DCOA)
#DiffChat
Καλή Ποιότητα Συνεργασίας

20. ΤαξινόμησηΤαξινόμηση και Αξιολόγηση άγνωστου δείγματοςκαι Αξιολόγηση άγνωστου δείγματος
• Μοντέλο μηχανικής μάθησης που υλοποιεί
αλγόριθμο ταξινόμησης (ΚΝΝ – Κ κοντινότερων
γειτόνων) TSCMoCA (Time Series Classification
Model of Collaborative Activities)
• Ταξινόμηση του άγνωστου δείγματος με χρήση
συνόλου δεδομένων εκπαίδευσης (reference
set) βάσει της ομοιότητας χρονοσειρών
δραστηριότητας
20

21. Μέθοδος Ταξινόμησης και ΑξιολόγησηςΜέθοδος Ταξινόμησης και Αξιολόγησης
Σενάριο ΧρήσηςΣενάριο Χρήσης
Ομάδα
Συνεργατική
Εφαρμογή
Βαθμολόγηση της Ποιότητας
της Συνεργασίας από
Αξιολογητή
Δημιουργία ΧρονοσειρώνΔημιουργία Χρονοσειρών
Δραστηριότητας
21

22. Μοντέλο μηχανικής μάθησηςΜοντέλο μηχανικής μάθησης TSCMoCATSCMoCA
Χρονοσειρά Δραστηριότητας «Άγνωστης»
συνεργατικής συνεδρίας
Σύνολο Δεδομένων Εκπαίδευσης (training set)
Ν προ-αξιολογημένων συνεργατικών συνεδριών
Σύγκριση χρονοσειρών άγνωστου δείγματος –
ΣΔ(i)με χρήση Δυναμικής Χρονικής ΣτρέβλωσηςΣΔ(i)με χρήση Δυναμικής Χρονικής Στρέβλωσης
Πίνακας ομοιότητας (ή απόστασης)
χρονοσειρών
Ταξινόμηση του άγνωστου δείγματος και
απόδοση τιμής για την ποιότητα της
συνεργασίας 22

23. Πειραματική ΔιαδικασίαΠειραματική Διαδικασία
α. Αξιολόγηση της Ποιότητας της Συνεργασίας
228 Συνεργατικών Συνεδριών με χρήση της
μεθόδου για:
(i) όλη τη διάρκεια
(ii) σε πραγματικό χρόνο
β. Σύγκριση των αποτελεσμάτων με βαθμολογίες
έμπειρων αξιολογητών
23

24. Αξιολόγηση της ποιότητας της συνεργασίας στοΑξιολόγηση της ποιότητας της συνεργασίας στο
σύνολο της διάρκειαςσύνολο της διάρκειας
• Βέλτιστη απόδοση μοντέλου για πολυπαραμετρικές
χρονοσειρές, μικρά χρονικά παράθυρα (15-60
δευτερόλεπτα) και Κκρισιμο=15 Γείτονες
(καλύτερη περίπτωση: ρ=0.586, ΜΑΕ=0.909, tsampling=30sec)
(α) η χρήση πολυπαραμετρικών χρονοσειρών(α) η χρήση πολυπαραμετρικών χρονοσειρών
διαφορετικού τύπου οδηγεί σε καλύτερα αποτελέσματα
(β) όσο αυξάνεται η τάξη των χρονοσειρών στην είσοδο
του μοντέλου, βελτιώνονται τα αποτελέσματα της
μεθόδου
24

25. Ανάλυση ΑποτελεσμάτωνΑνάλυση Αποτελεσμάτων
Για τα μικρά χρονικά παράθυρα, η δραστηριότητα
στους κοινόχρηστους χώρους είναι παρόμοια.
Για μεγάλα χρονικά παράθυρα η αύξηση της
διαλογικής δραστηριότητας είναι δυσανάλογη
της αύξησης στον κοινόχρηστο χώρο εργασίας
Συμπέρασμα:
Χρονικό Παράθυρο
Μετρική30 sec 60 sec 480 sec
COA 1.94 2.25 9.7
CALT 1.22 1.43 5.22
WOA 4.23 5.63 43.39
Πιθανή είσοδος θορύβου για μεγάλη περίοδο
δειγματοληψίας
ο μεγάλος όγκος δραστηριότητας επισκιάζει τη
σημασία του ρυθμού μεταβολής της
Επεισόδια ή μοτίβα ουσιαστικής
αλληλεπίδρασης είναι δύσκολο να
ανιχνευθούν σε μεγαλύτερα χρονικά
παράθυρα
25
WOA 4.23 5.63 43.39
WALT 1.7 2.02 8.82
DCOA 1.79 1.97 4.14
DCALT 1.29 1.48 2.64
DWOA 3.32 4.16 24.26
DWALT 1.85 2.15 7.33

26. Αξιολόγηση της ποιότητας της συνεργασίας σεΑξιολόγηση της ποιότητας της συνεργασίας σε
πραγματικό χρόνο (1)πραγματικό χρόνο (1)
• Στόχος: δυνατότητα
αξιολόγησης συνεργατικών
συνεδριών χωρίς να απαιτείται
η ολοκλήρωσή τους
Άμεση παροχής ανάδρασης
και υποστήριξης για την
διόρθωση τυχόν
προβλημάτων ή εμποδίων
διόρθωση τυχόν
προβλημάτων ή εμποδίων
• Αξιολογούμε κατά την εξέλιξη
της δραστηριότητας (μέση
διάρκεια 90 λεπτα) και για δύο
στιγμές: 25’ και 40’ μετά την
έναρξή της
Έστω Συνεργατική δραστηριότητα ΣΔ. Σε χρόνο ti, ο
ενορχηστρωτής ελέγχει την πορεία της διαδικασίας
μέσω του μοντέλου TSCMoCA που καλείται κατ’
απαίτησή του. 26

27. Αξιολόγηση της ποιότητας της συνεργασίας σεΑξιολόγηση της ποιότητας της συνεργασίας σε
πραγματικό χρόνο (2)πραγματικό χρόνο (2)
Αξιολόγηση της Ποιότητας της Συνεργασίας:
• Για διάρκεια 25΄ από την έναρξη της δραστηριότητας: κανένας
δείκτης αξιολόγησης δεν παρουσιάζει ικανοποιητικές τιμές
• Για διάρκεια 40’ από την έναρξη της δραστηριότητας: ικανοποιητικές
τιμές για όλους τους δείκτες. Το μέσο απόλυτο σφάλμα μικρότερο
της μονάδας (ΜΑΕ=0.945)της μονάδας (ΜΑΕ=0.945)
• Σε σύγκριση με τα αποτελέσματα της μεθόδου επί τη συνολική
διάρκεια, οι δείκτες έχουν την ίδια τάξη μεγέθους με την περίπτωση
των 40’
Διάρκεια (min) ρ ICC a MAE
25’ 0.275 0.272 0.432 0.995
40’ 0.506 0.508 0.672 0.945
Συνολική Διάρκεια 0.58 0.48 0.750 0.909
27

28. Αξιολόγηση της ΜεθόδουΑξιολόγηση της Μεθόδου
Απαραίτητες προϋποθέσεις που απαιτείται να πληροί
η μέθοδος είναι:
• Αποτελεσματικότητα και ακρίβεια τουλάχιστον της
ίδιας τάξης μεγέθους με άλλες παρόμοιες μεθόδους
• Ευκολία τόσο στην διαδικασία εκτέλεσης όσο και στην• Ευκολία τόσο στην διαδικασία εκτέλεσης όσο και στην
ανάγνωση και ερμηνεία των αποτελεσμάτων
• Μικρό κόστος ως προς τους υπολογιστικούς αλλά και
ανθρώπινους πόρους
• Ευκολία προσαρμογής της μεθόδου σε διαφορετικά
συνεργατικά πλαίσια, χωρίς να απαιτούνται
σημαντικές δομικές αλλαγές
28

29. Αξιολόγηση της ΜεθόδουΑξιολόγηση της Μεθόδου
Δείκτες Αξιολόγησης
Αποδεκτές
Τιμές
Άριστες
τιμές
Δείκτης Συσχέτισης ρ (εγκυρότητα) >0.35 >0.5
Δείκτης Ενδοσυσχέτισης ICC (αξιοπιστία) >0.4 >0.74
Cronbach’s Alpha (συνοχή) >0.7 >0.8
Μέσο Απόλυτο Σφάλμα (ακρίβεια) <1 (rule of thumb) 29

30. Υποθετικά Σενάρια Χρήσης (Υποθετικά Σενάρια Χρήσης (Cross Validation)Cross Validation)
•Για όλα τα υποθετικά σενάρια, οι τιμές των δεικτών
θεωρούνται αποδεκτές
•O δείκτης ρ υποδηλώνει ισχυρές θετικές συσχετίσεις
μεταξύ των βαθμολογιών του μοντέλου και των
βαθμολογιών που έδωσαν οι πραγματικοί αξιολογητές
•Τα αποτελέσματα είναι ίδιας τάξης μεγέθους για όλες
τις περιπτώσεις το μοντέλο δεν κάνει overfitting
Cross Validation Cases
Leave
One-Out
10-Fold One-Third
Cronbach's alpha 0.75 0.71 0.69
ICC 0.58 0.44 0.42
Spearman's ρ 0.63 0.53 0.52
τις περιπτώσεις το μοντέλο δεν κάνει overfitting
30

31. Χρήση της μεθόδου ως αυτόματος αξιολογητήςΧρήση της μεθόδου ως αυτόματος αξιολογητής ––
Ποσοστά ΕπιτυχίαςΠοσοστά Επιτυχίας
Απόλυτη
τιμή
σφάλματος
Ποσοστό
Επιτυχίας
TSCMoCA(%)
0.25 17.62
0.5 30.48
0.75 44.76
1 59.7
•Η μέθοδος προβλέπει το 59.7% των περιπτώσεων
με σφάλμα μικρότερο της μονάδας και το 74.31%
με σφάλμα μικρότερο του 1.25
•Δεν παρατηρήθηκε σφάλμα πρόβλεψης
μεγαλύτερο των δύο μονάδων για το εύρος τιμών
[-2, +2]
1 59.7
1.25 74.31
1.5 86.2
1.75 94.8
2 100
2.25 100
2.5 100
2.75 100
Ποσοστά επιτυχίας ανά απόλυτη τιμή
σφάλματος για την αξιολόγηση της
διάστασης της Ποιότητας της Συνεργασίας
για τo μοντέλo μηχανικής μάθησης
TSCMoCA
31

32. Distribution FittingDistribution Fitting
• Johnson SB (goodness of fit = 0.03) : x=1, CDF(x)=0.61
• Normal (goodness of fit = 0.07) : x=1, CDF(x)= 0.62
• Weibull (goodness of fit = 0.08) : x=1, CDF(x) = 0.65
32

33. Σύγκριση με άλλα σχήματα αξιολόγησηςΣύγκριση με άλλα σχήματα αξιολόγησης (1)(1)
Η αυτόματη μέθοδος που αντιπαρατίθεται με την παρούσα
βασίζεται στην χρήση παλινδρόμησης μερικών ελαχίστων
τετραγώνων (Partial Least Squares Regression, PLSR)
(Kahrimanis, 2010)
• Η τεχνική PLSR επιτυγχάνει υψηλή ακρίβεια πρόβλεψης
• δύσκολο να κατανοηθεί η λειτουργία της και να υιοθετηθεί σε• δύσκολο να κατανοηθεί η λειτουργία της και να υιοθετηθεί σε
άλλα συνεργατικά πλαίσια
• χρονοβόρα φάση εκπαίδευσης- δε μπορεί να παραλειφθεί.
• προϋποθέτει την ολοκλήρωση της δραστηριότητας και την
αξιολόγησή της σε ύστερο χρόνο μετά την κατάλληλη
στατιστική ανάλυση των δεδομένων.
33

34. Σύγκριση με άλλα σχήματα αξιολόγησης (2)Σύγκριση με άλλα σχήματα αξιολόγησης (2)
• Οι δείκτες αξιοπιστίας κινούνται στην
ίδια τάξη τιμών για τα δύο αυτόματα
μοντέλα
• Το μοντέλο παλινδρόμησης TSCMoCA
εμφανίζει οριακά καλύτερα
αποτελέσματα για τον δείκτη συσχέτισης
ρ, την συμφωνία μεταξύ των
αξιολογητών (ICC) και συνοχή των 0
0.2
0.4
0.6
0.8
1
ICC ρ α
Συγκριτική μελέτη μοντέλων αξιολόγησης
συνεργατικών συνεδριών
αξιολογήσεων (Cronbach’s a)
• Το μοντέλο PLSR εμφανίζει μεγαλύτερη
ακρίβεια πρόβλεψης (Abdi, 2003)
ΜΑΕPLSR=0.732, MAETSCMoCA=0.85
34
ICC ρ α
Αυτόματο Μοντέλο TSCMoCA Αυτόματο Μοντέλο PLSR
Αξιολόγηση Έμπειρων Αξιολογητών
Οι τιμές των δεικτών για την περίπτωση έμπειρων αξιολογητών
υπερτερούν και των δύο μοντέλων
η χρήση αυτόματου βαθμολογητή μπορεί να υποβοηθήσει αλλά δεν
μπορεί να αντικαταστήσει τον άνθρωπο ως αξιολογητή

35. Γενίκευση της χρήσης της μεθόδουΓενίκευση της χρήσης της μεθόδου
Διερεύνηση της χρήσης του σχήματος για την αξιολόγηση
επιμέρους συνεργατικών διαστάσεων
Στόχος: Η αξιολόγηση επιμέρους συνεργατικών χαρακτηριστικών
δίνει τη δυνατότητα ακριβούς εντοπισμού προβλημάτων και
στοχευμένης παροχής υποστήριξης
ΣΔ 1: Συνεργατική Ροή
ΣΔ 2: Διατήρηση Κοινής
Κατανόησης
ΣΔ 3: Ανταλλαγή Γνώσης
ΣΔ 4: Επιχειρηματολογία
ΣΔ 5: Δόμηση της διαδικασίας
επίλυσης προβλήματος
ΣΔ 6: Συνεργατικός
Προσανατολισμός 35

36. Γενίκευση της χρήσης της μεθόδουΓενίκευση της χρήσης της μεθόδου
• Η απόδοση των μοντέλων για τις επιμέρους ΣΔ
είναι μικρότερη απ’ ότι στην περίπτωση της
Ποιότητας της Συνεργασίας
• Οι συνεργατικές διαστάσεις που αφορούν στην
επικοινωνία και στην από κοινού επεξεργασία
γνώσης παρουσιάζουν καλύτερα αποτελέσματα
• Για τις διαστάσεις που εκφράζουν σύνθετες
διεργασίες και πολύπλοκες δομές (συντονισμός)
τα μοντέλα αυτόματης αξιολόγησης έχουν φτωχή
απόδοση. 0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Συσχέτιση ρ ανά Συνεργατική Διάσταση
απόδοση.
• Οι μετρικές χαμηλού επιπέδου δεν είναι ικανές να
περιγράψουν με επάρκεια πολύπλοκους
μηχανισμούς.
36
0
ΣΔ1 ΣΔ2 ΣΔ3 ΣΔ4 ΣΔ5 ΣΔ6
TSCMoCA PLSR Αξιολογητές
0
0.2
0.4
0.6
0.8
1
ΣΔ1 ΣΔ2 ΣΔ3 ΣΔ4 ΣΔ5 ΣΔ6
Cronbach's a ανά Συνεργατική Διάσταση
TSCMoCA PLSR Αξιολογητές
0
0.2
0.4
0.6
0.8
1
ΣΔ1 ΣΔ2 ΣΔ3 ΣΔ4 ΣΔ5 ΣΔ6
ICC ανά Συνεργατική Διάσταση
TSCMoCA PLSR Αξιολογητές

37. Εφαρμογή της μεθόδου σε πραγματικό σενάριοΕφαρμογή της μεθόδου σε πραγματικό σενάριο
χρήσης (1)χρήσης (1)
Στόχος: μελέτη χρήσης της μεθόδου από
πραγματικούς χρήστες.
Πως επηρεάζεται η πρακτική των χρηστών από την
ύπαρξη του αυτόματου αξιολογητή
37

38. Εφαρμογή της μεθόδου σε πραγματικό σενάριοΕφαρμογή της μεθόδου σε πραγματικό σενάριο
χρήσης (1)χρήσης (1)
Στόχος: μελέτη χρήσης της μεθόδου από
πραγματικούς χρήστες.
Πως επηρεάζεται η πρακτική των χρηστών από την
ύπαρξη του αυτόματου αξιολογητή
38

39. Εφαρμογή της μεθόδου σε πραγματικό σενάριοΕφαρμογή της μεθόδου σε πραγματικό σενάριο
χρήσης (2)χρήσης (2)
• Δύο καθηγητές παρακολουθούν μέσω υπολογιστή (Synergo
Supervisor):
– Τάξη δύο ομάδων – τεσσάρων μαθητών
– Τάξη τεσσάρων ομάδων –οκτώ μαθητών
• Εργασία: Κατασκευή αλγοριθμικού διαγράμματος
• Διάρκεια εργασίας: 70 λεπτά
39

40. Εφαρμογή της μεθόδου σε πραγματικό σενάριοΕφαρμογή της μεθόδου σε πραγματικό σενάριο
χρήσης (3)χρήσης (3)
40

41. • Η ανάγκη για υποστήριξη του δασκάλου με αυτόματα ή ημι-
αυτόματα εργαλεία είναι επιτακτική όσο αυξάνεται το μέγεθος
της τάξης, ιδιαίτερα όταν η τάξη δεν έχει φυσική υπόσταση
Εφαρμογή της μεθόδου σε πραγματικό σενάριοΕφαρμογή της μεθόδου σε πραγματικό σενάριο
χρήσης (3)χρήσης (3)
• Οι δάσκαλοι ακολουθούν συγκεκριμένα στάδια ενεργειών
που εξαρτώνται άμεσα από το μέγεθός της αύξηση
γνωσιακού φορτίου του δασκάλου, αδυναμία
παρακολούθησης σε επαρκή βαθμό
• Η αυτόματη αξιολόγηση χρησιμοποιείται ως δείκτης και όχι
ως απόλυτο κριτήριο
41

42. Συμπεράσματα(1)Συμπεράσματα(1)
Ανάπτυξη μεθόδου για την αυτοματοποιημένη ανάλυση, ταξινόμηση και
αξιολόγηση της ποιότητας συνεργατικών δραστηριοτήτων
(α) Μελέτη της εξέλιξης της δραστηριότητας στον χρόνο
• Ο τρόπος που κατανέμεται η συνεργατική δραστηριότητα στον χρόνο
αποτυπώνει σε ικανοποιητικό βαθμό την ποιότητα της συνεργασίας
και των χαρακτηριστικών της(π.χ την επικοινωνία και την κοινή
επεξεργασία πληροφορίας) (ρ≈0.58 – 0.6 για tsampling=30sec)επεξεργασία πληροφορίας) (ρ≈0.58 – 0.6 για tsampling=30sec)
επιβεβαιώνοντας την ερευνητική υπόθεση
• Σύνθετες δομές όπως ο Συντονισμός είναι δυσκολότερο να
περιγραφούν με χρονοσειρές/μετρικές απλής δραστηριότητας
• Η απόδοση της μεθόδου μεγιστοποιείται για μικρές περιόδους
δειγματοληψίας (tsampling<60sec) επιβεβαιώνοντας μελέτες που
ορίζουν ότι οι ουσιώδεις αλληλεπιδράσεις συνεργατών λαμβάνουν
χώρα σε μικρά χρονικά διαστήματα (Schümmer, Strijbos, & Berkel, 2005; D. Suthers &
Medina, 2011; D. D. Suthers, Dwyer, Medina, & Vatrapu, 2010)
42

43. Συμπεράσματα(2)Συμπεράσματα(2)
(β) Ποσοτικά αποτελέσματα που βασίζονται σε ποιοτικά ευρήματα για τα
χαρακτηριστικά της συνεργασίας
• Η μέθοδος υποστηρίζεται από την χρήση ενός μοντέλου μηχανικής
μάθησης (ποσοτική προσέγγιση) που ταξινομεί άγνωστες συνεδρίες
ανάλογα με την ποιότητα της συνεργασίας και με βάση προ-
βαθμολογημένο (ποιοτικά ευρήματα)-σύνολο δεδομένωνβαθμολογημένο (ποιοτικά ευρήματα)-σύνολο δεδομένων
-παρόμοια αποτελέσματα όσον αφορά στην εγκυρότητα των
αξιολογήσεων με άλλα μοντέλα αυτόματης αξιολόγησης (ΙCC,
Cronbach’s a, Συσχέτιση ρ)
- επαρκής ακρίβεια εκτίμησης (72% επιτυχία για πρόβλεψη με σφάλμα
≤1.25 σε 5-point scale και ΜΑΕ<1)
-η προτεινόμενη μέθοδος πλεονεκτεί ως προς την απλότητα
κατασκευής και λειτουργίας
43

44. Συμπεράσματα(3)Συμπεράσματα(3)
(γ)Δυνατότητα ανάλυσης/αξιολόγησης δραστηριοτήτων σε πραγματικό χρόνο
•Η μέθοδος ενδείκνυται για την αξιολόγησή σε πραγματικό χρόνο
• Αποδίδει ικανοποιητικά αν εφαρμοστεί στο ήμισυ
και πέραν της δραστηριότητας
(δ) χρήση της μεθόδου ως αυτόματος αξιολογητής από την πλευρά του
δασκάλουδασκάλου
•υποστήριξη του δασκάλου ιδιαίτερα όταν η τάξη δεν έχει φυσική
υπόσταση ή υπάρχει μεγάλη εισροή πληροφορίας (τάξεις μεγάλου
μεγέθους)
•Η αυτόματη αξιολόγηση αποτελεί ένδειξη για τον δάσκαλο
Η μέθοδος δεν προσβλέπει στην αντικατάσταση του δασκάλου σε
οποιοδήποτε στάδιο της μαθησιακής ή διδακτικής δραστηριότητας αλλά να
τον υποστηρίξει και να ενδυναμώσει την πρακτική του
44

45. Μελλοντικές ΠροεκτάσειςΜελλοντικές Προεκτάσεις
• Συνδυασμός της μεθόδου με τεχνικές
ακολουθιακής ανάλυσης και ανάλυσης
περιεχομένου
• Χρήση πρωτότυπων μεθόδων οπτικοποίησης των
αλληλεπιδράσεων μεταξύ συνεργαζόμενων
ομάδων όπως αυτές αναπαριστώνται από
αλληλεπιδράσεων μεταξύ συνεργαζόμενων
ομάδων όπως αυτές αναπαριστώνται από
χρονοσειρές
• Γενίκευση της μεθόδου σε άλλα πλαίσια
συνεργασίας όπως για μεγαλύτερες ομάδες,
ασύγχρονη επικοινωνία αλλά και για μη-
εκπαιδευτικές δραστηριότητες (πχ. Στα Κοινωνικά
δίκτυα ή για συστήματα συστάσεων κλπ)
45

46. ΔημοσιεύσειςΔημοσιεύσεις
Διεθνή και Ελληνικά Συνέδρια / Ειδικοί Τόμοι
[c01] Chounta, I.A., Avouris, N. “Groupware Evaluation: An Overview”. In 1st European Workshop on HCI Design and Evaluation: The influence
of domains. Limassol, Cyprus, April 8th, 2011
[c02] Chounta, I.A., Avouris, N. “A case study: Tablets in orchestrated, collaborative activities”. In 2nd STELLARnet Alpine Rendez-Vous,
Workshop 4: Structuring online collaboration through 3 Ts: task time & teams. France, March 27-31, 2011
[c03] Chounta I.A., Avouris N., Study of the effect of awareness on synchronous collaborative problem-solving, In the 2nd International
Conference on Intelligent Networking and Collaborative systems (INCoS 2010) (INCoS 2010 Proceedings, pp. 153-160, ISBN: 978-0-7695-
4278-2/10, 2010 IEEE, DOI: 10.1109/INCOS.2010.75).
[c04] Chounta, I.A., Avouris, N. (2009). Heuristic Evaluation of an Argumentation Tool used by Communities of Practice. In EC-TEL 2009
Workshop: "TEL-CoPs'09: 3rd International Workshop on Building Technology Enhanced Learning solutions for Communities of Practice“
[c05] Chounta I-A., Katsini C., Raptis G., (2010). Synergo v.5: A collaborative application for Tablets, In Proceedings of the 4th Conference of
Electrical and Computer Engineering Students, Demonstrations Section, Patras, Greece (in Greek)
[c06] Chounta, Irene-Angelica; Sintoris, Christos; Masoura, Melpomeni; Yiannoutsou, Nikoleta; Avouris, Nikolaos (2013). The good, the bad and
the neutral: an analysis of team-gaming activity. In: EC-TEL meets ECSCW: Workshop on Collaborative Technologies for Working and
Learning, Paphos, CyprusLearning, Paphos, Cyprus
[c07] Kahrimanis, G., Meier, A., Chounta, I.A., Voyiatzaki, E., Spada, H., Rummel, N., Avouris, N. (2009). Assessing collaboration quality in
synchronous CSCL problem-solving activities: Adaptation and empirical evaluation of a rating scheme. In EC-TEL 2009, LNCS, vol. 5794,
October 2009, Springer-Verlag, pp. 267-272
[c08] Kahrimanis, G., Chounta, I.A., Avouris, N., (2010). Study of correlations between logfile-based metrics of interaction and the quality of
synchronous collaboration, 9th International Conference on the Design of Cooperative Systems, Workshop on Analysing the quality of
collaboration, Aix en Provence, May 2010. Published in International Reports on Socio-Informatics (IRSI), 7(1), 2010
[c09] Kahrimanis G., Chounta I.A., Avouris N., (2010) Determining relations between core dimensions of collaboration quality - A
multidimensional scaling approach, In the 2nd International Conference on Intelligent Networking and Collaborative Systems (INCoS
2010) (INCoS 2010 Proceedings, pp. 78-85, ISBN: 978-0-7695-4278-2/10, 2010 IEEE, DOI: 10.1109/INCOS.2010.77)
[c10] Kahrimanis G., Chounta I.A., Avouris N., (2011), "Rating dimensions of collaboration quality in synchronous collaborating dyads: findings
and interpretations", in Connecting Computer-Supported Collaborative Learning to Policy and Practice: CSCL2011 Conference
Proceedings. Volume I — Long Papers, International Society of the Learning Sciences, Spada, H., Stahl, G., Miyake, N., Law, N. (Eds.)
(2011) . 9th International Conference on Computer Supported Collaborative Learning (CSCL 2011). Hong Kong, China, pp 446--453.
[c11] Chounta, I.A., and Avouris, N. (2012). Time Series Analysis of Collaborative Activities, In Collaboration and Technology, edited by V.
Herskovic, H. Hoppe, M. Jansen, and J. Ziegler, 7493:145–152. Lecture Notes in Computer Science. Springer Berlin / Heidelberg, 2012.
available from http://www.springerlink.com/content/j81w777588546126/
[c12] Chounta, I.A., and Avouris, N. (2014). It’s all about time: towards a real-time evaluation scheme for collaborative activities. ICALT 2014, (to
appear)
[c13] Chounta, I.A., Giemza, A., Hoppe, H.U.(2014). “Multilevel analysis of Collaborative Activities based on a Mobile Learning Scenario for Real
Classrooms”, Collabtech 2014, Chile (to appear)
[c14] Chounta, I.A., Hecking, T., Hoppe, H.U., Avouris, N.(2014) “Two make a network: using network graphs to assess the quality of
collaboration of dyads”, CRIWG 2014, Chile (to appear)
46

47. ΔημοσιεύσειςΔημοσιεύσεις
Κεφάλαια Βιβλίων
[b01] Kahrimanis, G., Chounta, Ι.Α., and Avouris, Ν.(2012). “Validating Empirically a Rating Approach for
Quantifying the Quality of Collaboration.” In Intelligent Adaptation and Personalization Techniques in
Computer-Supported Collaborative Learning, edited by T. Daradoumis, et al., 408:295–310. Studies in
Computational Intelligence. Springer Berlin / Heidelberg, 2012.
Διεθνή Περιοδικά
[j01] Chounta, I.A. and Avouris, N. (2013). Towards a Time Series Approach for the Classification and
Evaluation of Collaborative Activities, In: Computing and Informatics Journal (to appear)
[j02] Chounta, I.A. and Avouris, N. (2014). Towards the real-time evaluation of collaborative activities:
Integration of an automatic rater in the classroom from the teacher’s perspective, In: EducationIntegration of an automatic rater in the classroom from the teacher’s perspective, In: Education
and Information Technologies Journal, Springer (submitted)
47

48. ΑναφορέςΑναφορές
Abdi, H. (2003). Partial least square regression (PLS regression): Thousand Oaks, CA: Sage.
Barros, B., & Verdejo, M. F. (2000). Analysing student interaction processes in order to improve collaboration. The DEGREE approach. International Journal of
Artificial Intelligence in Education, 11(3), 221-241.
Chatfield, C. (2003). The Analysis of Time Series: An Introduction, (Chapman & Hall/CRC Texts in Statistical Science).
De Wever, B., & Van Keer, H. (2010). Development of a content analysis approach for collaboration in a wiki environment. Paper presented at the Proceedings of
the 9th International Conference of the Learning Sciences-Volume 2.
Dönmez, P., Rosé, C., Stegmann, K., Weinberger, A., & Fischer, F. (2005). Supporting CSCL with automatic corpus analysis technology. Paper presented at the
Proceedings of th 2005 conference on Computer support for collaborative learning: learning 2005: the next 10 years!
Dyke, G., Lund, K., & Girardot, J.-J. (2009). Tatiana: an environment to support the CSCL analysis process. Paper presented at the Proceedings of the 9th
international conference on Computer supported collaborative learning-Volume 1.
Everitt, B. S., Landau, S., Leese, M., & Stahl, D. (2011). Miscellaneous Clustering Methods.
Hoppe, H. U., Engler, J., & Weinbrenner, S. (2012, 07/2012). The Impact of Structural Characteristics of Concept Maps on Automatic Quality Measurement. Paper
presented at the International Conference of the Learning Sciences (ICLS 2012), Sydney, Australia.
Kahrimanis, G. (2010). Computer Supported Collaborative Learning: Models and Tools Supporting Evaluation. University of Patras.
Kahrimanis, G., Chounta, I. A., & Avouris, N. (2010). Study of correlations between logfile-based metrics of interaction and the quality of synchronous
collaboration. Guest Editors, 24.
Kahrimanis, G., Meier, A., Chounta, I.-A., Voyiatzaki, E., Spada, H., Rummel, N., & Avouris, N. (2009). Assessing collaboration quality in synchronous CSCL
problem-solving activities: Adaptation and empirical evaluation of a rating scheme Learning in the Synergy of Multiple Disciplines (pp. 267-272): Springer.
Lehtinen, E., Hakkarainen, K., Lipponen, L., Rahikainen, M., & Muukkonen, H. (1999). Computer supported collaborative learning: A review. The JHGI GiesbersLehtinen, E., Hakkarainen, K., Lipponen, L., Rahikainen, M., & Muukkonen, H. (1999). Computer supported collaborative learning: A review. The JHGI Giesbers
reports on education
Lipponen, L. (2002). Exploring foundations for computer-supported collaborative learning. Proceedings of the Conference on Computer Support for Collaborative
Learning: Foundations for a CSCL Community.
Lipponen, L., Rahikainen, M., Hakkarainen, K., & Palonen, T. (2003). EFFECTIVE PARTICIPATION AND DISCOURSE THROUGH A COMPUTER NETWORK:
INVESTIGATING ELEMENTARY STUDENTS'COMPUTER SUPPORTED INTERACTION. Journal of Educational Computing Research, 27(4), 355-384.
Medina, R., & Suthers, D. (2009). Using a contingency graph to discover representational practices in an online collaborative environment. Research and Practice
in Technology Enhanced Learning, 4(03), 281-305.
Meier, A., Spada, H., & Rummel, N. (2007). A rating scheme for assessing the quality of computer-supported collaboration processes. International Journal of
Computer-Supported Collaborative Learning, 2(1), 63-86.
Mitchell, T. M. (1999). Machine learning and data mining. Communications of the ACM, 42(11), 30-36.
Persico, D., & Pozzi, F. (2011). Task, Teams and Time: three Ts to structure CSCL processes. Techniques for fostering collaboration in online learning communities:
Theoretical and practical perspectives, 1-14.
Reimann, P. (2009). Time is precious: Variable-and event-centred approaches to process analysis in CSCL research. International Journal of Computer-Supported
Collaborative Learning, 4(3), 239-257.
Schümmer, T., Strijbos, J. W., & Berkel, T. (2005). A new direction for log file analysis in CSCL: Experiences with a spatio-temporal metric.
Stahl, G., Koschmann, T., & Suthers, D. (2006). Computer-supported collaborative learning: An historical perspective. In R. K. Sawyer (Ed.), Cambridge handbook
of the learning sciences (pp. 409-426). Cambridge, UK: Cambridge University Press.
Strijbos, J.-W., Martens, R. L., Prins, F. J., & Jochems, W. M. (2006). Content analysis: What are they talking about? Computers & Education, 46(1), 29-48.
Suthers, D., & Medina, R. (2011). Tracing interaction in distributed collaborative learning Analyzing Interactions in CSCL (pp. 341-366): Springer.
Suthers, D. D., Dwyer, N., Medina, R., & Vatrapu, R. (2010). A framework for conceptualizing, representing, and analyzing distributed interaction. International
Journal of Computer-Supported Collaborative Learning, 5(1), 5-42.
48

49. Ευχαριστώ
49