Η παρουσίαση - σύνοψη της διπλωματικής μου εργασίας για την ολοκλήρωση του μεταπτυχιακού μου στα Πληροφοριακά Συστήματα.

1. Βαθμολόγηση εργασιών με
crowdsourcing
Παναγιώτης Αρβανιτάκης
ΠΛΗΣ Διπλωματική Εργασία
Επιβλέπων: Αλέξανδρος Χατζηγεωργίου
Μέλος ΕΚ: Συρμακέσης Σπυρίδων

2. Αντικείμενο εργασίας
 Δημιουργία διαδικτυακής πλατφόρμας για:
 Ανάρτηση εργασιών από διδάσκοντες
 Υποβολή απαντήσεων από μαθητές
 Διαχείριση του crowdsourcing.
 Ανάθεση εργασιών
 Συλλογή - επεξεργασία αποτελεσμάτων
 Πρόταση αξιόπιστης βαθμολογίας
 Αξιολόγηση βαθμολογητών
28/1/2017 Π. Αρβανιτάκης 2

3. Προηγούμενες προσπάθειες
ΑΥΤΟΜΑΤΗ ΒΑΘΜΟΛΟΓΗΣΗ
1960 έως
σήμερα
Εργασίες
πληροφορικής-
μαθηματικών
Αντικειμενικού τύπου ή
ελέγχου αποτελέσματος.
28/1/2017 Π. Αρβανιτάκης 3
ΜΗ ΑΥΤΟΜΑΤΗ ΒΑΘΜΟΛΟΓΗΣΗ
Συμμετοχή
ανθρώπινου
παράγοντα
Βαθμολόγηση και
από ομότιμους
Εφαρμογή σε εργασίες
πληροφορικής

4. Βασικές αδυναμίες αυτών
28/1/2017 Π. Αρβανιτάκης 4
ΜΗ ΑΥΤΟΜΑΤΗ ΒΑΘΜΟΛΟΓΗΣΗ
επίδραση
ανθρώπινου
παράγοντα
(προκατάληψη)
εμπειρία
βαθμολογητών
ύπαρξη
απαραίτητου
αριθμού
αξιολογητών
όχι άμεσο
αποτέλεσμα
ΑΥΤΟΜΑΤΗ ΒΑΘΜΟΛΟΓΗΣΗ
περιορισμένη
εφαρμογή
1. προγραμματιστικές
ασκήσεις
2. αντικειμενικού
τύπου ασκήσεις
έλεγχος
αποτελέσματος
και όχι συνολικής
ποιότητας
εργασίας
έλλειψη
ανατροφοδότησης
γνώσης
μη εφαρμογή σε
θεωρητικές
επιστήμες

5. Μεθοδολογία (γενικά)
 Επισκόπηση συστημάτων αυτοματοποιημένης
αξιολόγησης προγραμμάτων - συστημάτων με
εφαρμογή του crowdsourcing
 Επιλογή του moodle ως βάση της εφαρμογής μας,
επεξεργασία – τροποποίησή του.
 Μελέτη στατιστικών μεθόδων για την αξιόπιστη
εξαγωγή προτεινόμενου βαθμού και αξιολόγηση
βαθμολογητών
28/1/2017 Π. Αρβανιτάκης 5

6. Προβλήματα, αντιμετώπιση
ΒΑΣΙΚΑ ΠΡΟΒΛΗΜΑΤΑ ΑΝΤΙΜΕΤΩΠΙΣΗ
moodle: Μόνο ένας βαθμός ανά
εργασία
Δυνατότητα ύπαρξης πολλαπλών
βαθμολογητών
Έλεγχος αξιοπιστίας βαθμολόγησης
1. Στατιστική επεξεργασία
προτεινόμενων βαθμών
2. Προτεινόμενος βαθμός
εργασίας
1. Έλεγχος για ακραίους βαθμούς
(outliers)
2. Επεξεργασία αυτών
 Εξαίρεση ακραίων (outliers)
 Εξαγωγή προτεινόμενου
βαθμού
Χειρισμός βαθμολογητών που
αποκλίνουν
1. Αποστολή μηνύματος ή
2. Διαγραφή τους από το μάθημα –
μη υπολογισμός των βαθμών τους
28/1/2017 Π. Αρβανιτάκης 6

7. Διάγραμμα δραστηριοτήτων
28/1/2017 Π. Αρβανιτάκης 7

8. Υλοποίηση: Ύπαρξη πολλαπλών
βαθμολογητών
 Δημιουργία νέας βάσης στο moodle με
δύο νέους πίνακες
 mdl_subgrades: Εκεί αποθηκεύονται οι βαθμοί κάθε
καθηγητή για κάθε μάθημα και
μαθητή.
 sub_errors: Εκεί αποθηκεύονται οι καθηγητές
που έδωσαν λάθος βαθμό και το
σύστημα τους θεώρησε outliers.
28/1/2017 Π. Αρβανιτάκης 8

9. Υλοποίηση: Στατιστική
επεξεργασία των βαθμών
 Έλεγχος για ακραίους βαθμούς (outliers)
 Χρήση των ορίων Tukey (διάστημα [Q1  1,5·Q, Q3  1,5·Q])
Q1=74 δ Q3=84
Παράδειγμα 1: Βαθμοί: 70, 70, 74, 74, 80, 82, 82, 83, 84, 85, 100
Δεκτοί στο διάστημα [59 , 99]
Μέσος όρος δεκτών τιμών: 784/10= 78,4
Μέσος όρος όλων των τιμών: 884/11= 80,4
28/1/2017 Π. Αρβανιτάκης 9
0
1
2
3
59 70 74 80 82 83 84 85 99 100
Βαθμοί - όρια Tukey

10. Υλοποίηση: Επεξεργασία των
βαθμών
Εφόσον έχουμε τουλάχιστον 3 βαθμούς:
 Εξαίρεση των ακραίων βαθμών (outliers)
 Υπολογισμός της μέσης τιμής των υπολοίπων βαθμών
 Προτεινόμενος βαθμός το προηγούμενο αποτέλεσμα
Αν έχουμε 2 βαθμούς:
 Καμία ιδιαίτερη επεξεργασία
 Προτεινόμενος βαθμός η μέση τιμή των δύο
Αν έχουμε 1 βαθμό ισχύει ο βαθμός αυτός.
28/1/2017 Π. Αρβανιτάκης 10

11. Υλοποίηση: Τρόπος χειρισμού
καθηγητών outliers
 Το σύστημα υπολογίζει κάθε βαθμό που
χαρακτηρίζεται outlier και μετρά πόσες
φορές έχει γίνει αυτό από τον κάθε
βαθμολογητή.
 Όταν ο αριθμός αυτός ξεπεράσει ένα
όριο (στην εφαρμογή μας 2 φορές)
ενημερώνεται ο διαχειριστής σχετικά.
28/1/2017 Π. Αρβανιτάκης 11

12. Υλοποίηση: Τρόπος χειρισμού
καθηγητών outliers
 Eπιλογές διαχειριστή (admin):
 Αποστολή μηνύματος – επισήμανσης σφάλματος
στον βαθμολογητή.
 Εξαίρεση του βαθμολογητή από επόμενη
βαθμολόγηση με αφαίρεση των βαθμών που είχε
ως τότε καταθέσει σε κάθε μάθημα. Οι βαθμοί
που έχουν ήδη οριστικοποιηθεί δεν αλλάζουν.
Δυνατότητα επαναφοράς του βαθμολογητή από
τον admin όποτε κρίνει εκείνος.
28/1/2017 Π. Αρβανιτάκης 12

13. Αποτελέσματα πειραματικής
αξιολόγησης
 Υπήρξαν 10 απαντήσεις εργασιών
 10 βαθμολογητές τις αξιολόγησαν
 Εξαιρέθηκαν οι outliers
 Προέκυψαν αξιόπιστες προτάσεις βαθμών
 Η πλατφόρμα λειτούργησε χωρίς προβλήματα
28/1/2017 Π. Αρβανιτάκης 13

14. Αποτελέσματα
ερωτηματολογίου αξιολόγησης
 Ερωτηματολόγιο 10 ερωτήσεων
 Μικρή δυσκολία προσαρμογής στο σύστημα
 Συμφωνία για τη χρήση crowdsourcing
 Εμπιστοσύνη στα αποτελέσματά του
 Αποδοχή εξαίρεσης outliers
 Συμφωνία για χρησιμότητα πλατφόρμας
28/1/2017 Π. Αρβανιτάκης 14

15. Συμπεράσματα
28/1/2017 Π. Αρβανιτάκης 15
1. Θετική αξιολόγηση της πλατφόρμας
2. Αποδοχή χρήσης crowdsourcing από τους
εκπαιδευτικούς
3. Εμπιστοσύνη στα εξαγόμενα αποτελέσματα
4. Σχετική ομοφωνία για εξαίρεση αποκλινόντων
(outliers)
5. Απαραίτητη η σχετική εξοικείωση με το σύστημα –
μικρός προβληματισμός εκπαιδευτικών χωρίς
προηγούμενη εμπειρία
6. Μείωση όγκου δουλειάς (βαθμολόγησης)

16. Προτάσεις
 Παρουσίαση στοιχείων βαθμολόγησης στον
admin με γραφικά στοιχεία.
 Αναβάθμιση αισθητικής
 Ανάπτυξη αλγορίθμου για αυτόματη
διαγραφή outliers βαθμολογητών
 Μετατροπή του κώδικα σε plugin του
moodle
 Παροχή αμοιβής στους βαθμολογητές
 Χρήση για βαθμολόγηση από ομότιμους
28/1/2017 Π. Αρβανιτάκης 16

17. Τέλος παρουσίασης…
.
28/1/2017 Π. Αρβανιτάκης 17