1. ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΑΡΑΓΩΓΗΣ & ΔΙΟΙΚΗΣΗΣ
Μια πολυκριτήρια προσέγγιση για την ενίσχυση
των ευεργετημάτων της ετερο-αξιολόγησης
Ε. Κρασαδάκη, Κ. Λακιωτάκη, N. Ματσατσίνης
8η Συνάντηση Πολυκριτήριας Ανάλυσης Αποφάσεων, ΕΕΕΕ, 8-10 Δεκεμβρίου 2011, Ερέτρια

2. Ορισμός ετερο-αξιολόγησης (peer-assessment)
Σύμφωνα με τον Topping (1998), ως ετερο-αξιολόγηση
ορίζεται ‘η διευθέτηση κατά την οποία τα άτομα
αξιολογούν την ποσότητα, το επίπεδο, την αξία, την
ποιότητα ή την επιτυχία των αποτελεσμάτων της
προσπάθειας άλλων ατόμων, ίδιας ιδιότητας’.
Δηλαδή, η ετερο-αξιολόγηση αποτελεί μια διαδικασία,
όπου οι φοιτητές αξιολογούν την επίδοση των
συναδέλφων τους, συνήθως σε γραπτές ή προφορικές
εργασίες ή και σε ομαδικά projects.

3. Βασικά ευεργετήματα ετερο-αξιολόγησης
•
•
•
•
•
•
•
•
Ενίσχυση της συμμετοχής (Gielen et al, 2011).
Ενίσχυση της μάθησης (Taras, 2002; Carless et al, 2006).
Ενίσχυση του αξιολογητή (Topping, 1998; Pryor & Lubisi, 2002).
Ενίσχυση της κρίσης (Kwan & Leung, 1996).
Ενίσχυση της αυτό-κατευθυνόμενης μάθησης (Searby & Ewers,
1997).
Ενίσχυση της δημιουργικής σκέψης (Hattum-Janssen & Lourenco,
2006).
Ενίσχυση της δημιουργικής κριτικής (Hanrahan & Isaacs, 2001).
Η μάθηση και αξιολόγηση ‘ανήκει’ σε όλους (Sadler and Good,
2006).
Οι αναφορές είναι ενδεικτικές

4. Στόχοι εφαρμογής της ετερο-αξιολόγησης
Ενασχόληση των φοιτητών σε ρόλο
αξιολογητών γραπτών/προφορικών εργασιών
συμφοιτητών τους και ως εκ τούτου την
έμμεση ενίσχυση των γνώσεων και των
ικανοτήτων επικοινωνίας.
Εκτίμηση της συμπεριφοράς των φοιτητών
στο νέο ρόλο τους, ως αξιολογητών
(μονοκριτήρια ή πολυκριτήρια συμπεριφορά).

5. Η δική μας περίπτωση απεικονιστικά πιλοτικό μάθημα
Προσαρμογή από [Felder, R., Brent, R., (2003). Journal of Engineering Education, vol. 92(1)]

6. Πρακτικές στην ετερο-αξιολόγηση
• Βαθμολόγηση των εργασιών σε προσχεδιασμένο έντυπο από τον
•
•
•
διδάσκοντα με χρήση είτε αριθμητικών σκορ ή κλιμάκων επίδοσης
(Lin, Liu, and Yuan, 2001).
Συνήθεις τεχνικές που χρησιμοποιούνται για την επεξεργασία των
δεδομένων ετερο-αξιολόγησης είναι η στατιστική ανάλυση.
Οι Lan, Graf, Lai & Kinshuk (2011) έχουν προτείνει ένα μηχανισμό
διαπραγμάτευσης βασισμένο στην ασαφή λογική για τον
συντονισμό των πολλών και διαφορετικών αξιολογικών κρίσεων
(assessment bias) των φοιτητών σε μια διαδικασία ετεροαξιολόγησης. Ο εν λόγω μηχανισμός διαπραγμάτευσης έχει
ολοκληρωθεί μέσω του συστήματος NePAS (Negotiation-based
Peer Assessment System).
Σε μια παρόμοια κατεύθυνση κινείται και η πρόταση από τους Jian
Ma and Duanning Zhou (2000), οι οποίοι εφαρμόζουν μια ασαφή
μέθοδο για τον προσδιορισμό των κριτηρίων αξιολόγησης καθώς
και των βαρών των κριτηρίων, λαμβάνοντας υπόψη τόσο την
άποψη των φοιτητών όσο και των διδασκόντων.

7. Μεθοδολογική προσέγγιση
Διαδικασία peer-assessment (πιλοτικού τμήματος)
• 6 γραπτές εργασίες (εναλλακτικές συνόλου
αναφοράς)
• 3 κριτήρια (πληρότητα θέματος, λάθη, οργάνωση
κειμένου)
• 1 ερώτηση Ολικής Αξιολόγησης
• 5βάθμια ποιοτική κλίμακα επίδοσης: κακή,
μέτρια, καλή, πολύ καλή, άριστη
• Έτος 2010: 38 φοιτητές-αξιολογητές
• Έτος 2011: 19 φοιτητές-αξιολογητές
• Σύνολο: 57
• Συλλογή προτιμήσεων: μέσω Φύλλου Αξιολόγησης

8. Μετατροπή δεδομένων
Μετατροπή Ολικής Προτίμησης
(επίδοσης)
Βαθμολόγηση
Άριστη
Π. Καλή
Άριστη
Καλή
Καλή
Μέτρια
Προδιάταξη
1
2
1
3
3
4

9. Ο αλγόριθμος UTA*
AR
g1
g2
Εναλλακτική Προδιάταξη Πληρότητα
Εργασία 1
Εργασία 2
Εργασία 3
1
2
1
Άριστη
Π. Καλή
Π. Καλή
Εργασία 4
3
Καλή
Εργασία 5
Εργασία 6
3
4
Καλή
Μέτρια
i=1
wij  ui ( gij 1)  ui ( gij )  0,
g3
Λάθη
Οργάνωση
Άριστη
Καλή
Άριστη
Π.
Καλή
Καλή
Καλή
i=2
Άριστη
Π. Καλή
Άριστη
k=1
k=2
k=3
Μέτρια
k=4
Καλή
Μέτρια
i=3
k=5
k=6



[  ( k )    ( k )]
[min] z 

 1

subject to

(a , a )  
if ak ak 1 


k k 1

 k
if ak ak 1 

  ( ak , ak 1 )  0
 n ai 1

wij  1

 i 1 j 1



 wij  0,  ( k )  0,  ( k )  0 i, j and k

i  1, 2,..., n

and j  1, 2,..., ai  1
ui ( g1 )  0
i  1, 2,..., n
i


j 1

j
wit i  1, 2,..., n and j  2,3,..., ai 1
ui ( gi ) 

t 1



(ak , ak 1)  u[g(ak )]    ( )    ( )  u[g(a 1)]
  ( 1)    ( 1)
ai 1
Post-optimality analysis
ui ( gi* ) 
w
ij
j 1
m
i  1,2,..., n
[ (a )  (a )]  z  


k
k 1
*
k
9

10. Global k-means
Αλγόριθμος Global k-means
16
5
5
14
1. Εύρεση βέλτιστου k1 το οποίο
αποτελεί κεντροειδές του
συνόλου δεδομένων.
4
k1
10
3
SSE
1. Εφαρμογή k-means Ν φορές με
αρχικά κεντροειδή το k1 και το
εκάστοτε σημείο
12
6
k
k2 1
k3
k4
8
2
k1
k3
4
3. Εύρεση βέλτιστης λύσης για το
πρόβλημα k=2
2
0
4. Επανάληψη παραπάνω βημάτων
1
k2
1
k2
0
2
0
0
3
1
1
4
2
2
3
3
5
6
Πλήθος ομάδων
7
48
4
5
5
9
10
[Likas A., Vlassis N., Verbeek J., Pattern Recognition, vol. 36(2), 451--461,2003]
10/51

11. Συνεξέταση ποιότητας ομαδοποίησης μέσω
συντελεστή Silhouette για επιλογή αριθμού ομάδων
Συντελεστής silhouette
0.9
0.85
0.8
0.75
ALL
2011
0.7
2010
0.65
0.6
2
3
4
5
6
7
8
9
Πλήθος Ομάδων
 1  si  1
Ο μέσος s(i) του συνόλου των
σημείων αποτελεί ένα μέτρο του
πόσο καλά έχουν ομαδοποιηθεί τα
δεδομένα
1  a(i ) / b(i ), εάν a(i)  b(i)

s(i )  0, εάν a(i )  b(i )
b(i ) / a(i )  1, εάν a(i )  b(i )


12. Αποτελέσματα ομαδοποίησης αξιολογητών
100%
2010 (38 άτομα)
80%
2011 (19 άτομα)
60%
100%
40%
80%
20%
60%
0%
6
1
1
4
5
6
40%
1
2
3
4
5
6
7
8
20%
0%
ALL (57 άτομα)
1
100%
80%
60%
40%
20%
0%
1
2
3
4
5
6
7
8
2
3
6
7
8

13. Κατανομή πληθυσμού ανά ομάδα
(Συνόλου: 57 ατόμων)
5
2 2
54% 9% 38%
3
4% 93% 4%
9% 27% 65%
10
3% 49% 49%
100% 0% 0%
29
1
5
44% 46% 10%
33% 34% 33%
2% 4% 94%

14. Διαφορετικές συμπεριφορές ομάδων
αξιολογητών
Πολυκριτήρια
συμπεριφορά

15. Συμπεράσματα
 Η ετερο-αξιολόγηση αξιοποιήθηκε ως ένα συμπληρωματικό μέτρο
έμμεσης ενίσχυσης της μάθησης και των δεξιοτήτων επικοινωνίας,
γραπτού και προφορικού λόγου.
 Η πολυκριτήρια φύση της ετερο-αξιολόγησης σε ένα σύνολο διαστάσεων,
μπορεί να μοντελοποιηθεί μέσω της πολυκριτήριας ανάλυσης.
 Μέσω της ομαδοποίησης ανακαλύψαμε επιπλέον αναλυτικές
πληροφορίες, οι οποίες αφορούν είτε την αλλαγή στάσης των φοιτητών ή
τις διακριτές προτιμησιακές επιλογές που αυτοί εκφράζουν.
 Οι διαφορετικές συμπεριφορές μπορούν να ανακαλυφθούν μέσω
συνδυασμού πολυκριτήριας ανάλυσης & αλγορίθμων ομαδοποίησης.
 Στα δικά μας δεδομένα διακριτές ομάδες: οκτώ.
 Πολυπληθέστερη ομάδα η (6): ισοκατανομή των βαρών στα τρία
κριτήρια.
 Έπεται σε πλήθος ατόμων η ομάδα (4): απόδοση μεγάλης σημαντικότητας
στα λάθη & την οργάνωση του γραπτού.
 Η λιγότερο πολυπληθής ομάδα αλλά διακριτή η (5): αξιολόγηση γραπτού
με αποκλειστικό κριτήριο την πληρότητα του περιεχομένου.

16. Συμπεράσματα
 Οι περισσότεροι φοιτητές τροποποίησαν το σύστημα αξιών
τους προσαρμόζοντας το σε ένα πολυκριτήριο σύστημα
αξιολόγησης, επιβεβαιώνοντας κι άλλες έρευνες στον
τομέα αυτό (Ν. Δρόσος, 2011).
 Η πρωτοτυπία εστιάζεται στην αξιοποίηση πολυκριτήριων
τεχνικών στην αναζήτηση των βαρών των κριτηρίων ετεροαξιολόγησης και την προσαρμογή της μεθοδολογίας
πολυκριτήριας ομαδοποίησης στο ειδικότερο ζήτημα της
ετερο-αξιολόγησης.
 Γενικότερα, η πολυκριτήρια προσέγγιση που προτείνεται,
ενισχύει τα ευεργετήματα της ετερο-αξιολόγησης, που έτσι
κι αλλιώς από παιδαγωγικής άποψης είναι πολλά και
σημαντικά.