Your SlideShare is downloading. ×

Konstantina Orfanou SUS and LMS

267
views

Published on

Published in: Education

3 Comments
1 Like
Statistics
Notes
No Downloads
Views
Total Views
267
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
2
Comments
3
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. ΜΠΣ στις Επιστήμες της Εκπαίδευσης Μεταπτυχιακή Διπλωματική Εργασία Κωνσταντίνα Σ. Ορφανού ΑΜ 366 Επιβλέπων: Επίκουρος Καθηγητής Νικόλαος Τσέλιος ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΣΧΟΛΗ ΑΝΘΡΩΠΙΣΤΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΠΙΣΤΗΜΩΝ ΤΗΣ ΕΚΠΑΙΔΕΥΣΗΣ ΚΑΙ ΤΗΣ ΑΓΩΓΗΣ ΣΤΗΝ ΠΡΟΣΧΟΛΙΚΗ ΗΛΙΚΙΑ
  • 2. Σημασία της μελέτης • Εγκυροποίηση και διερεύνηση του ερωτηματολογίου System Usability Scale (SUS) στο πλαίσιο των συστημάτων διαχείρισης της μάθησης (Learning Management Systems - LMS). • LMS: εφαρμογή (λογισμικό) που αυτοματοποιεί τη διαχείριση, παρακολούθηση και υποβολή αναφορών των μαθησιακών γεγονότων (Ryann, 2009). • Αν η διεπαφή δεν είναι εύκολη στη χρήση, ο εκπαιδευόμενος επικεντρώνεται στον τρόπο αλληλεπίδρασης με αυτήν και όχι στο περιεχόμενό της (Luo, Liu, Kuo & Yuan, 2014). • Εγκυροποιημένα εργαλεία αποτίμησης της ευχρηστίας στον τομέα των συστημάτων διαχείρισης της μάθησης δεν υπάρχουν. • SUS (Brooke, 1996): αξιόπιστο και ευρέως αποδεκτό ψυχομετρικό εργαλείο αποτίμησης ευχρηστίας συστημάτων.
  • 3. 1. Εγκυροποίηση του ερωτηματολογίου SUS στο πλαίσιο των συστημάτων διαχείρισης της μάθησης (LMS). i. Η ευχρηστία των LMS κρίνεται ικανοποιητική; ii. Υπάρχει συσχέτιση μεταξύ της βαθμολογίας SUS για ένα LMS με τον αντίστοιχο συνολικό αξιολογικό χαρακτηρισμό του συστήματος; Αν ναι, πού κυμαίνεται σε σχέση με άλλες μελέτες για άλλα συστήματα; iii. Η ελληνική έκδοση του ερωτηματολογίου SUS όπως δημοσιεύτηκε από τους Katsanos et al. (2012) είναι έγκυρη και αξιόπιστη; 2. Επιβεβαίωση ευρημάτων προηγούμενων ερευνών, στο πλαίσιο αξιολόγησης ευχρηστίας των LMS. i. Υπάρχουν συσχετίσεις μεταξύ παραγόντων που έχουν μελετηθεί από προηγούμενες έρευνες και της βαθμολογίας SUS, στο πλαίσιο των LMS; o Φύλο (Bangor et al., 2008; Kobsa et al., 2009) o Ηλικία (Bangor et al., 2008; Granića & Ćukušić, 2011) o Προηγούμενη εμπειρία χρήσης του συστήματος (Sauro, 2011a; Kortum & Bangor, 2013) ii. Είναι αξιόπιστα τα αποτελέσματα του SUS με μικρό μέγεθος δείγματος; (Tullis & Stetson, 2004) 3. Έλεγχος συσχέτισης μεταξύ της βαθμολογίας SUS και επιπλέον παραγόντων. – Αυτοαποτελεσματικότητα χρήσης Διαδικτύου (internet self-efficacy) – Στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (internet user attitude) – Συχνότητα χρήσης του συστήματος Ερευνητικοί Στόχοι
  • 4. Τι είναι το SUS; • System Usability Scale. • Αποτιμά την ευχρηστία για οποιαδήποτε εφαρμογή, προϊόν ή υπηρεσία (technology agnostic). π.χ. Web sites, computer interfaces, interactive voice response systems (IVRs), κινητά τηλέφωνα, εφαρμογές τηλεοράσεων κ.ά. • Κατασκευάστηκε από τον Brooke όταν δούλευε στην εταιρία DEC (Digital Equipment Corporation) το 1986 (Brooke, 1996). • Διατίθεται δωρεάν με μοναδική προϋπόθεση την αναφορά της πηγής του. • 10 ερωτήσεις/δηλώσεις που βαθμολογούνται σε 5βάθμια κλίμακα. • Εναλλάσονται θετικά και αρνητικά διατυπωμένες ερωτήσεις. οι απαντηθέντες αναγκάζονται να διαβάζουν προσεκτικά κάθε ερώτηση. • Βαθμολογούνται υποχρεωτικά όλες. εάν κάποιος δεν είναι σίγουρος για μια απάντηση καλείται να τη βαθμολογήσει με 3. • Μία τελική τιμή.
  • 5. © Digital Equipment Corporation, 1986. Strongly Disagree Strongly Agree 1. I think that I would like to use this system frequently 1 2 3 4 5 2. I found the system unnecessarily complex 1 2 3 4 5 3. I thought the system was easy to use 1 2 3 4 5 4. I think that I would need the support of a technical person to be able to use this system 1 2 3 4 5 5. I found the various functions in this system were well integrated 1 2 3 4 5 6. I thought there was too much inconsistency in this system 1 2 3 4 5 7. I would imagine that most people would learn to use this system very quickly 1 2 3 4 5 8. I found the system very cumbersome to use 1 2 3 4 5 9. I felt very confident using the system 1 2 3 4 5 10. I needed to learn a lot of things before I could get going with this system 1 2 3 4 5 System Usability Scale
  • 6. Υπολογισμός τελικής τιμής • 0 έως 4 Εύρος τιμών ερωτήσεων: • <δοθείσα τιμή> - 1 Ερωτήσεις 1, 3, 5, 7, 9 (μονές): • 5 - <δοθείσα τιμή> Ερωτήσεις 2, 4, 6, 8, 10 (ζυγές): • <συνολικό άθροισμα> * 2,5 • Εύρος τιμών 0 έως 100 Τελική τιμή:
  • 7. Ιδιαίτερα χαρακτηριστικά του SUS Έχουν διαπιστωθεί από ερευνητές σε άλλα πλαίσια εκτός των LMS: • Αντιφατικά αποτελέσματα για την SUS τιμή ανάλογα το φύλο (Bangor, Kortum & Miller, 2008; Kobsa et al., 2009). • Αρνητική συσχέτιση ηλικίας και τελικής τιμής του SUS, r= -0,203 (Bangor et al., 2008), r = -0,467 (Granića & Ćukušić, 2011). • Εκτίμηση κλίμακας: 85+ άριστο, 70-85 καλό/ αποδεκτό, 50-70 φτωχό/ προβλήματα ευχρηστίας, <50 μη εύχρηστο (Bangor et al., 2008). • Χρήστες με προϋπάρχουσα εμπειρία αποτιμούν το σύστημα με 8-11% μεγαλύτερη βαθμολογία (Sauro, 2011). • Αξιόπιστα αποτελέσματα ακόμη και με μικρό δείγμα (12-15 άτομα) (Tullis & Stetson, 2004). • Μεγαλύτερη ή ίση αξιοπιστία συγκριτικά με άλλα γνωστά ερωτηματολόγια (Tullis & Stetson, 2004). • Ισχυρή συσχέτιση της τιμής του SUS με μια αξιολογική κρίση του συστήματος ύστερα από μία μόνο ερώτηση σε 7βάθμια κλίμακα με επίθετα (Worst Imaginable, Awful, Poor, OK, Good, Excellent, Best Imaginable) (r=0.822) (Bangor et al., 2008).
  • 8. «Ελληνικό» SUS Katsanos, Tselios and Xenos (2012): • Απόδοση στα ελληνικά του ερωτηματολογίου SUS • 3 μελέτες (Moodle) • 280 φοιτητές • Μεικτή και εξ αποστάσεως εκπαίδευση 1. Νομίζω ότι θα ήθελα να χρησιμοποιώ αυτό το δικτυακό τόπο συχνά. 2. Βρήκα αυτό το δικτυακό τόπο αδικαιολόγητα περίπλοκο. 3. Σκέφτηκα ότι αυτό το δικτυακό τόπο ήταν εύκολο στη χρήση. 4. Νομίζω ότι θα χρειαστώ βοήθεια από κάποιον τεχνικό για να είμαι σε θέση να χρησιμοποιήσω αυτό το δικτυακό τόπο. 5. Βρήκα τις διάφορες λειτουργίες σε αυτό το δικτυακό τόπο καλά ολοκληρωμένες. 6. Σκέφτηκα ότι υπήρχε μεγάλη ασυνέπεια σε αυτό το δικτυακό τόπο. 7. Φαντάζομαι ότι οι περισσότεροι άνθρωποι θα μάθουν να χρησιμοποιούν αυτό το δικτυακό τόπο πολύ γρήγορα. 8. Βρήκα αυτό το δικτυακό τόπο πολύ περίπλοκο/δύσκολο στη χρήση. 9. Ένιωσα πολύ σίγουρος/η χρησιμοποιώντας αυτό το δικτυακό τόπο . 10. Χρειάστηκε να μάθω πολλά πράγματα πριν να μπορέσω να ξεκινήσω με αυτό το δικτυακό τόπο .
  • 9. «Ελληνικό» SUS Αποτελέσματα: • Στατιστικά σημαντική συσχέτιση μεταξύ της τιμής του SUS με μια αξιολογική κρίση σε 7βάθμια κλίμακα (rs=0,474) • Καμία στατιστικά σημαντική διαφορά μεταξύ ελληνικής και αγγλικής έκδοσης • Αξιοπιστία της ελληνικής έκδοσης για την ποιοτική αξιολόγηση των LMS (Cronbach’s alpha = 0,777) • Μονοδιάστατη η ελληνική έκδοση (Katsanos et al., 2012)
  • 10. Το SUS στο πλαίσιο των LMS • Εγκυροποιημένα εργαλεία αποτίμησης της ευχρηστίας των LMS δεν υπάρχουν. • Εργασίες όπου προσπάθησαν να κατασκευάσουν εργαλεία αποτίμησης της ευχρηστίας δεν προχώρησαν (Georgiakakis, Papasalouros, Retalis, Siassiakos, & Papaspyrou, 2005; Zaharias, 2006). • Η αξιολόγηση της ευχρηστίας γινόταν με χρήση εργαλείων που επέλεγαν εμπειρικά οι ερευνητές. • Venturi and Bessis (2006): DELTA, ένα κατανεμημένο αποθετήριο πόρων μάθησης (learning resources repository). • Renaut, Batier, Flory and Heyde (2006): πλατφόρμα SPIRAL. • Perera, Allison, Nicoll, Sturgeon and Miller (2010): εικονικοί κόσμοι Second Life (SL) και Simulator Open. • Ayad and Rigas (2010): τρεις edutainment πλατφόρμες (Virtual Classroom, Game- based και Storytelling). • Davids, Chikte and Halperin (2011): web- based εφαρμογή σχετικά με τη διαχείριση των διαταραχών ηλεκτρολυτών και οξεοβασικής ισορροπίας. • Granića and Ćukušić (2011): πλατφόρμα UNITE. • Simões and de Moraes (2012): εικονικό περιβάλλον μάθησης με Moodle ως βάση. • Katsanos et al. (2012): Moodle. Μια πρώτη προσπάθεια μετάφρασης του SUS και εγκυροποίησής του στα LMS. • Marco, Penichet and Gallud (2013): Moodle, νέο εργαλείο Drag&Share. • Shi, Awan and Cristea (2013): πρώτη έκδοση του συστήματος Topolor (SPAEE) • Luo et al. (2014): LMS για την εκπαίδευση στον τομέα του διεθνούς εμπορίου
  • 11. Ερευνητικά Ερωτήματα 1. Εγκυροποίηση του ερωτηματολογίου SUS στο πλαίσιο των συστημάτων διαχείρισης της μάθησης (LMS). i. Η ευχρηστία των LMS κρίνεται ικανοποιητική; ii. Υπάρχει συσχέτιση μεταξύ της βαθμολογίας SUS για ένα LMS με τον αντίστοιχο συνολικό αξιολογικό χαρακτηρισμό του συστήματος; Αν ναι, πού κυμαίνεται σε σχέση με άλλες μελέτες για άλλα συστήματα; iii. Η ελληνική έκδοση του ερωτηματολογίου SUS όπως δημοσιεύτηκε από τους Katsanos et al. (2012) είναι έγκυρη και αξιόπιστη; 2. Επιβεβαίωση ευρημάτων προηγούμενων ερευνών, στο πλαίσιο αξιολόγησης ευχρηστίας των LMS. i. Υπάρχουν συσχετίσεις μεταξύ παραγόντων που έχουν μελετηθεί από προηγούμενες έρευνες και της βαθμολογίας SUS, στο πλαίσιο των LMS; o Φύλο (Bangor et al., 2008; Kobsa et al., 2009) o Ηλικία (Bangor et al., 2008; Granića & Ćukušić, 2011) o Προηγούμενη εμπειρία χρήσης του συστήματος (Sauro, 2011a; Kortum & Bangor, 2013) ii. Είναι αξιόπιστα τα αποτελέσματα του SUS με μικρό μέγεθος δείγματος; (Tullis & Stetson, 2004) 3. Υπάρχει συσχέτιση μεταξύ της βαθμολογίας SUS και των παρακάτω παραγόντων; – Αυτοαποτελεσματικότητα χρήσης Διαδικτύου (internet self-efficacy) – Στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (internet user attitude) – Συχνότητα χρήσης του συστήματος
  • 12. Μεθοδολογία Έρευνας • Διανομή του Ερωτηματολογίου σε φοιτητές που παρακολουθούν – διαφορετικά μαθήματα – προπτυχιακών και μεταπτυχιακών σπουδών – διαφορετικών προγραμμάτων σπουδών με διαφορετικά γνωστικά αντικείμενα – που χρησιμοποιούν διαφορετικές πλατφόρμες – και τα μαθήματα πραγματοποιούνται με μεικτή ή εξ αποστάσεως διδασκαλία. • Τα συστήματα διαχείρισης της μάθησης που αξιολογήθηκαν: – eClass – Moodle • Εργαλεία συλλογής και ανάλυσης δεδομένων: – Google Forms – ΙΒΜ SPSS Statistics
  • 13. Μεθοδολογία Έρευνας: Ερωτηματολόγιο • Το Ερωτηματολόγιο αποτελείται από 11 ερωτήσεις (32 statements): 1. Δημογραφικού χαρακτήρα (φύλο, ηλικία) 2. Χρήση του Διαδικτύου 3. Προϋπάρχουσα εμπειρία χρήσης του συστήματος πριν το συγκεκριμένο μάθημα 4. Συχνότητα χρήσης του συστήματος στα πλαίσια του μαθήματος 5. Αυτοαποτελεσματικότητα για το Διαδίκτυο (Internet Self-Efficacy) (Papastergiou, 2010 ) 6. Στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (Internet User Attitude) (Papastergiou, 2010) 7. Επίπεδο γνώσης της Αγγλικής Γλώσσας 8. SUS (Brooke, 1996) 9. Συνολικός αξιολογικός χαρακτηρισμός του συστήματος (overall adjective rating)
  • 14. Πιλοτική Έρευνα • Διανομή του Ερωτηματολογίου μέσω του Facebook (group του τμήματος) (21-24/03/2013). • Αξιολόγηση του eClass. • 63 φοιτητές του ΤΕΕΑΠΗ. • 62 γυναίκες και 1 άντρας. • Από 18 έως 44 ετών (mean=21,44 και sd=3,87). • 32 Πρώτο ή Δεύτερο έτος, 27 Τρίτο ή Τέταρτο έτος, 3 στο Πτυχίο ή Μεταπτυχιακό. • Εγγεγραμμένοι σε 2,59 κατά μέσο όρο ΤΠΕ μαθήματα (από 0 έως 6 μαθήματα). • 62 φοιτητές έχουν σύνδεση στο Διαδίκτυο από το σπίτι τους. • Χρησιμοποιούν το Διαδίκτυο κατά μέσο όρο εδώ και 6,48 χρόνια (από 1 έως 17 χρόνια). • Αυτό-αναφερόμενη συχνότητα χρήσης του συστήματος σε 5βάθμια κλίμακα: 4,43 (sd=0,86). • Αυτό-αναφερόμενη συχνότητα χρήσης του FB group σε 5βάθμια κλίμακα: 4,65 (sd=0,68). • Αυτοαποτελεσματικότητα προς το Διαδίκτυο (ISE) σε 5βάθμια κλίμακα: 4,08 (sd=0,49). • Στάση προς το Διαδίκτυο ως εργαλείο μάθησης (IUA) σε 5βάθμια κλίμακα: 4,24 (sd=0,49). • 41 φοιτητές συμπλήρωσαν την ελληνική έκδοση του ερωτηματολογίου SUS και 22 φοιτητές την αγγλική. Στόχος: έλεγχος του εργαλείου της έρευνας, δηλαδή του Ερωτηματολογίου.
  • 15. Πιλοτική Έρευνα • Μελετήθηκαν όλα τα ερευνητικά ερωτήματα. • Οι επιπλέον παράγοντες δε θα μελετηθούν στην κύρια έρευνα. • Σφάλματα στη φόρμα του Ερωτηματολογίου: – στην ερώτηση του αξιολογικού χαρακτηρισμού. – στη μετάβαση από τη δεύτερη σελίδα στην τρίτη. Έκδοση ερωτηματολογίου SUS Φοιτητές (N) Βαθμολογία SUS (0-100) Overall Adjective Rating (1-7) Mean Standard Deviation Mean Standard Deviation Ελληνική 41 81,65 12,71 4,95 0,74 Αγγλική 22 82,16 10,89 5,18 0,59
  • 16. Δείγμα κύριας έρευνας: 11 studies και 769 συμπληρωμένα surveys • 11 διαφορετικά μαθήματα από 8 διαφορετικά τμήματα του Πανεπιστημίου Πατρών. • Όλα τα μαθήματα έχουν μεικτή διδασκαλία, 9 με eClass και 2 με Moodle. • 282 άντρες και 487 γυναίκες. • Από 18 έως 52 ετών (mean=21,78 και sd=4,31). • 755 φοιτητές έχουν σύνδεση στο Διαδίκτυο από το σπίτι τους. • Χρησιμοποιούν το Διαδίκτυο κατά μέσο όρο εδώ και 8,02 χρόνια (από 1 έως 20 χρόνια). • 355 φοιτητές είχαν προηγούμενη εμπειρία χρήσης του συστήματος που χρησιμοποιείται στα πλαίσια του μαθήματος που παρακολουθούσαν. • Αυτό-αναφερόμενη συχνότητα χρήσης του συστήματος σε 5βάθμια κλίμακα: 3,81 με sd=0,99. • Αυτοαποτελεσματικότητα προς το Διαδίκτυο (ISE) σε 5βάθμια κλίμακα: 4,10 με sd=0,61. • Στάση προς το Διαδίκτυο ως εργαλείο μάθησης (IUA) σε 5βάθμια κλίμακα: 4,27 με sd=0,52. • 436 φοιτητές συμπλήρωσαν την ελληνική έκδοση του ερωτηματολογίου SUS και 333 φοιτητές την αγγλική.
  • 17. Στατιστικά αποτελέσματα Συνοπτικά τα δεδομένα της έρευνας για την αποτίμηση της αντιληπτής ευχρηστίας των LMS eClass και Moodle. Study Φοιτητές (N) LMS Βαθμολογία SUS (0-100) Perceived Usability Rating (1-7) Ελληνικό SUS Αγγλικό SUS Συνολικά Mean 95% Confidence Intervals for Mean Standard Deviation Mean 95% Confidence Intervals for Mean Standard Deviation 1 31 34 65 Eclass 79,73 ±3,30 13,31 4,75 ±0,21 0,87 2 19 37 56 Eclass 73,35 ±3,06 11,43 4,71 ±0,20 0,76 3 22 32 54 Eclass 81,57 ±3,26 11,93 5,43 ±0,16 0,60 4 40 47 87 Eclass 73,76 ±3,00 14,06 4,86 ±0,21 0,99 5 30 33 63 Eclass 81,59 ±3,50 13,90 5,21 ±0,21 0,83 6 27 25 52 Eclass 75,58 ±3,48 12,49 5,10 ±0,18 0,63 7 32 35 67 Eclass 76,23 ±3,03 12,43 5,25 ±0,20 0,80 8 15 27 42 Eclass 74,11 ±4,08 13,10 5,17 ±0,24 0,76 9 23 29 52 Eclass 75,43 ±2,92 10,48 5,12 ±0,19 0,68 10 178 0 178 Moodle 75,84 ±1,80 12,14 5,23 ±0,11 0,76 11 19 34 53 Moodle 72,17 ±4,89 17,73 4,87 ±0,23 0,83 Συνολικά 239 299 538 Eclass 76,81 ±1,10 13,02 5,05 ±0,07 0,82 197 34 231 Moodle 75,00 ±1,77 13,67 5,15 ±0,10 0,79 436 333 769 76,27 ±0,94 13,24 5,08 ±0,06 0,81
  • 18. Στατιστικά αποτελέσματα Περιγραφικά στατιστικά για τα συνολικά δεδομένα της βαθμολογίας του SUS για κάθε item ξεχωριστά. Item Ελληνική έκδοση του SUS Raw responses Αγγλική έκδοση του SUS Raw responses Mean Std. Deviation Mean Std. Deviation Q1 Νομίζω ότι θα ήθελα να χρησιμοποιώ το σύστημα moodle/eclass συχνά. 3,61 0,951 I think that I would like to use this system frequently. 3,94 0,810 Q2 Βρήκα το σύστημα moodle/eclass αδικαιολόγητα περίπλοκο. 1,72 0,831 I found the system unnecessarily complex. 1,89 0,941 Q3 Σκέφτηκα ότι το σύστημα moodle/eclass ήταν εύκολο στη χρήση. 3,96 0,839 I thought the system was easy to use. 4,11 0,855 Q4 Νομίζω ότι θα χρειαστώ βοήθεια από κάποιον τεχνικό για να είμαι σε θέση να χρησιμοποιήσω το σύστημα moodle/eclass. 1,36 0,708 I think that I would need the support of a technical person to be able to use this system. 1,44 0,791 Q5 Βρήκα τις διάφορες λειτουργίες στο σύστημα moodle/eclass καλά ολοκληρωμένες. 3,64 0,903 I found the various functions in this system were well integrated. 3,56 0,829 Q6 Σκέφτηκα ότι υπήρχε μεγάλη ασυνέπεια στο σύστημα moodle/eclass. 2,01 1,025 I thought there was too much inconsistency in this system. 2,13 0,922 Q7 Φαντάζομαι ότι οι περισσότεροι άνθρωποι θα μάθουν να χρησιμοποιούν το σύστημα moodle/eclass πολύ γρήγορα. 3,81 0,884 I would imagine that most people would learn to use this system very quickly. 3,98 0,810 Q8 Βρήκα το σύστημα moodle/eclass πολύ περίπλοκο/δύσκολο στη χρήση. 1,60 0,771 I found the system very cumbersome/awkward to use. 1,84 0,943 Q9 Ένιωσα πολύ σίγουρος/η χρησιμοποιώντας το σύστημα moodle/eclass. 3,62 0,933 I felt very confident using the system. 4,08 0,839 Q10 Χρειάστηκε να μάθω πολλά πράγματα πριν μπορέσω να ξεκινήσω με το σύστημα moodle/eclass. 1,64 0,822 I needed to learn a lot of things before I could get going with this system. 1,62 0,855
  • 19. 1ο Ερευνητικό Ερώτημα 1. Εγκυροποίηση του ερωτηματολογίου SUS στο πλαίσιο των συστημάτων διαχείρισης της μάθησης (LMS). i. Η ευχρηστία των LMS κρίνεται ικανοποιητική; ii. Υπάρχει συσχέτιση μεταξύ της βαθμολογίας SUS για ένα LMS με τον αντίστοιχο συνολικό αξιολογικό χαρακτηρισμό του συστήματος; Αν ναι, πού κυμαίνεται σε σχέση με άλλες μελέτες για άλλα συστήματα; iii. Η ελληνική έκδοση του ερωτηματολογίου SUS όπως δημοσιεύτηκε από τους Katsanos et al. (2012) είναι έγκυρη και αξιόπιστη; Διαδικασία ανάλυσης των δεδομένων: • Υπολογισμός της βαθμολογίας SUS των LMS και ερμηνεία της τιμής της με βάση τα κριτήρια των Bangor et al. (2008). • Έλεγχος συσχέτισης της βαθμολογίας SUS και του συνολικού αξιολογικού χαρακτηρισμού του συστήματος. • Σύγκριση μέσων όρων της ελληνικής και της αγγλικής έκδοσης του ερωτηματολογίου SUS. • Υπολογισμός του Cronbach’s alpha για την αξιοπιστία της ελληνικής έκδοσης του SUS. • Παραγοντική ανάλυση της ελληνικής έκδοσης του ερωτηματολογίου SUS. Βρέθηκε • Μη στατιστικά σημαντική διαφορά μεταξύ των συστημάτων eClass και Moodle. • Στατιστικά σημαντική διαφορά μεταξύ των διαφορετικών μαθημάτων των μελετών (studies).
  • 20. 1ο Ερευνητικό Ερώτημα Η βαθμολογία SUS για την αντιληπτή ευχρηστία του συστήματος που εξετάζεται σε κάθε μελέτη ξεχωριστά, συνολικά και ανά είδος συστήματος. 79.73 73.35 81.57 73.76 81.59 75.58 76.23 74.11 75.43 75.84 72.17 76.81 75.00 76,27 66.00 68.00 70.00 72.00 74.00 76.00 78.00 80.00 82.00 84.00 eClass eClass eClass eClass eClass eClass eClass eClass eClass Moodle Moodle eClass Moodle 1 2 3 4 5 6 7 8 9 10 11 Συνολ. Συνολ. Συνολ. Βαθμολογία SUS ανά μελέτη (study)
  • 21. 1ο Ερευνητικό Ερώτημα Συσχέτιση βαθμολογίας SUS με τον συνολικό αξιολογικό χαρακτηρισμό. Φοιτητές (N) Συσχέτιση SUS Gr score με overall adjective rating Συσχέτιση SUS En score με overall adjective rating Συσχέτιση SUS score με overall adjective rating Study Συνολικά Ελληνικό SUS Αγγλικό SUS rs Sig. rs Sig. rs Sig. 1 65 31 34 rs=0,490 p<0,01 rs=0,523 p<0,01 rs=492 p<0,01 2 56 19 37 rs=0,595 p<0,01 rs=0,682 p<0,01 rs=0,683 p<0,01 3 54 22 32 rs=0,462 p<0,05 rs=0,478 p<0,01 rs=0,547 p<0,01 4 87 40 47 rs=0,419 p<0,01 rs=0,499 p<0,01 rs=0,456 p<0,01 5 63 30 33 rs=0,760 p<0,01 rs=0,773 p<0,01 rs=0,762 p<0,01 6 52 27 25 rs=0,384 p<0,05 rs=0,608 p<0,01 rs=0,519 p<0,01 7 67 32 35 rs=0,635 p<0,01 rs=0,680 p<0,01 rs=0,666 p<0,01 8 42 15 27 r=0,620 p<0,05 rs=0,114 p=0,570 rs=0,278 p=0,75 9 52 23 29 rs=0,639 p<0,01 rs=0,410 p<0,05 rs=0,521 p<0,01 10 178 178 0 rs=0,427 p<0,01 - - rs=0,427 p<0,01 11 53 19 34 rs=0,491 p<0,05 rs=0,800 p<0,01 rs=0,646 p<0,01 Συνολικά 769 436 333 rs=0,491 p<0,01 rs=0,577 p<0,01 rs=0,525 p<0,01
  • 22. 1ο Ερευνητικό Ερώτημα Συσχέτιση βαθμολογίας SUS με τον συνολικό αξιολογικό χαρακτηρισμό, αγνοώντας τις εγγραφές 12, 18 και 19 της μελέτης 8. Φοιτητές (N) Συσχέτιση SUS Gr score με overall adjective rating Συσχέτιση SUS En score με overall adjective rating Συσχέτιση SUS score με overall adjective rating Study Συνολικά Ελληνικό SUS Αγγλικό SUS rs Sig. rs Sig. rs Sig. 1 65 31 34 rs=0,490 p<0,01 rs=0,523 p<0,01 rs=492 p<0,01 2 56 19 37 rs=0,595 p<0,01 rs=0,682 p<0,01 rs=0,683 p<0,01 3 54 22 32 rs=0,462 p<0,05 rs=0,478 p<0,01 rs=0,547 p<0,01 4 87 40 47 rs=0,419 p<0,01 rs=0,499 p<0,01 rs=0,456 p<0,01 5 63 30 33 rs=0,760 p<0,01 rs=0,773 p<0,01 rs=0,762 p<0,01 6 52 27 25 rs=0,384 p<0,05 rs=0,608 p<0,01 rs=0,519 p<0,01 7 67 32 35 rs=0,635 p<0,01 rs=0,680 p<0,01 rs=0,666 p<0,01 8 42 15 27 r=0,620 p<0,05 rs=0,394 p=0,057 rs=0,423 p<0,01 9 52 23 29 rs=0,639 p<0,01 rs=0,410 p<0,05 rs=0,521 p<0,01 10 178 178 0 rs=0,427 p<0,01 - - rs=0,427 p<0,01 11 53 19 34 rs=0,491 p<0,05 rs=0,800 p<0,01 rs=0,646 p<0,01 Συνολικά 769 436 333 rs=0,491 p<0,01 rs=0,577 p<0,01 rs=0,525 p<0,01
  • 23. 1ο Ερευνητικό Ερώτημα Ανάλυση εγκυρότητας της ελληνικής έκδοσης του ερωτηματολογίου SUS. Φοιτητές (N) Σύγκριση ελληνικής και αγγλικής έκδοσης του SUS Συσχέτιση SUS Gr score με overall adjective rating Study Συνολικά Ελληνικό SUS Αγγλικό SUS Mean SUS Gr Mean SUS En t(df) Sig. (2- tailed) rs Sig. 1 65 31 34 80,81 78,75 t(63)=0,619 p=0,583 rs=0,490 p<0,01 2 56 19 37 69,34 75,41 t(54)=-1,924 p=0,06 rs=0,595 p<0,01 3 54 22 32 79,32 83,13 t(52)=-1,156 p=0,253 rs=0,462 p<0,05 4 87 40 47 72,37 74,95 t(85)=-0,849 p=0,398 rs=0,419 p<0,01 5 63 30 33 81,67 81,52 u=470,000 p=0,730 rs=0,760 p<0,01 6 52 27 25 73,52 77,80 t(50)=-1,241 p=0,220 rs=0,384 p<0,05 7 67 32 35 75,39 77,00 t(65)=-0,527 p=0,600 rs=0,635 p<0,01 8 42 15 27 72,00 75,28 t(40)=-0,773 p=0,444 r=0,620 p<0,05 9 52 23 29 76,30 74,74 t(50)=0,531 p=0,598 rs=0,639 p<0,01 10 178 178 0 75,84 - - - rs=0,427 p<0,01 11 53 19 34 73,95 71,18 t(51)=0,542 p=0,590 rs=0,491 p<0,05 Συνολικά 769 436 333 75,80 76,88 u=66886,000 p=0,314 rs=0,491 p<0,01
  • 24. 1ο Ερευνητικό Ερώτημα Ανάλυση αξιοπιστίας των δύο εκδόσεων του ερωτηματολογίου SUS. Study N (Gr) Cronbach's alpha 1 31 0,815 2 19 0,766 3 22 0,807 4 40 0,868 5 30 0,892 6 27 0,669 7 32 0,733 8 15 0,799 9 23 0,753 10 178 0,802 11 19 0,894 Συνολικά 436 0,808 Study N (En) Cronbach's alpha 1 34 0,801 2 37 0,760 3 32 0,855 4 47 0,827 5 33 0,848 6 25 0,735 7 35 0,856 8 27 0,777 9 29 0,485 10 0 - 11 34 0,899 Συνολικά 333 0,820
  • 25. 1ο Ερευνητικό Ερώτημα Παραγοντική ανάλυση της ελληνικής έκδοσης του ερωτηματολογίου SUS. • Lewis and Sauro (2009): Usable (α=0,810) και Learnable (α=0,508). Item Component 1 2 Q1 ,641 -,116 Q2 ,687 ,293 Q3 ,763 ,057 Q4 ,574 ,278 Q5 ,704 ,196 Q6 ,505 ,591 Q7 -,092 ,738 Q8 ,385 ,447 Q9 ,435 ,658 Q10 ,057 ,712 Subscale Alpha No Items 1 Q1, Q2, Q3, Q4, Q5 0,649 2 Q6, Q7, Q8, Q9, Q10 0,679 Item Component 1 2 3 Q1 ,797 -,093 -,019 Q2 ,589 ,432 ,158 Q3 ,506 ,606 -,202 Q4 ,564 ,268 ,222 Q5 ,692 ,279 ,135 Q6 ,292 ,655 ,356 Q7 -,024 ,129 ,762 Q8 ,014 ,804 ,097 Q9 ,263 ,599 ,457 Q10 ,179 ,082 ,773 Subscale Alpha No Items 1 Q1, Q2, Q4, Q5 0,523 2 Q3, Q6, Q8, Q9 0,695 3 Q7, Q10 0,295 Item Component 1 2 3 4 Q1 ,141 ,065 ,069 ,914 Q2 ,617 ,284 ,099 ,307 Q3 ,434 ,573 -,193 ,354 Q4 ,776 -,027 ,069 ,117 Q5 ,623 ,134 ,069 ,415 Q6 ,590 ,466 ,292 -,019 Q7 ,020 ,153 ,809 ,020 Q8 ,097 ,880 ,191 ,045 Q9 ,678 ,333 ,348 -,135 Q10 ,260 ,002 ,755 ,073 Subscale Alpha No Items 1 Q2, Q4, Q5, Q6, Q9 0,117 2 Q3, Q8 0,619 3 Q7, Q10 0,295 4 Q1 N/A
  • 26. 1ο Ερευνητικό Ερώτημα Σύγκριση με προηγούμενες έρευνες: Συσχέτιση βαθμολογίας SUS με τον συνολικό αξιολογικό χαρακτηρισμό του συστήματος σε διαφορετικό πλαίσιο: • r=0,806 (Bangor et al., 2008) • r=0,822 (Bangor et al., 2009) • r= 0,4982 έως 0,7874 (Kortum & Bangor, 2013) Για την ελληνική έκδοση του SUS oι Katsanos et al. (2012) είχαν επίσης βρει: • Μη στατιστικά σημαντική διαφορά μεταξύ της ελληνικής και της αγγλικής έκδοσης του ερωτηματολογίου, t(278)=1,149 με p=0,252. • Μια μεσαία στατιστικά σημαντική συσχέτιση μεταξύ του ελληνικού SUS και της συνολικής αποτίμησης ευχρηστίας σε 7βάθμια κλίμακα, rs=0,474 με p<0,01. • Επαρκή αξιοπιστία (Cronbach’s alpha>0,70) της ελληνικής έκδοσης, α=0,777. • Μη επαρκή αξιοπιστία για τους παράγοντες Usability και Learnability που είχαν βρει οι Lewis and Sauro (2009), α=0,762 και α=0,531, αντίστοιχα. • Μονοδιάστατη δομή της ελληνικής έκδοσης του ερωτηματολογίου SUS.
  • 27. 2ο και 3ο Ερευνητικό Ερώτημα 2. Επιβεβαίωση ευρημάτων προηγούμενων ερευνών, στο πλαίσιο αξιολόγησης ευχρηστίας των LMS. i. Υπάρχουν συσχετίσεις μεταξύ παραγόντων που έχουν μελετηθεί από προηγούμενες έρευνες και της βαθμολογίας SUS, στο πλαίσιο των LMS; o Φύλο (Bangor et al., 2008; Kobsa et al., 2009) o Ηλικία (Bangor et al., 2008; Granića & Ćukušić, 2011) o Προηγούμενη εμπειρία χρήσης του συστήματος (Sauro, 2011a; Kortum & Bangor, 2013) ii. Είναι αξιόπιστα τα αποτελέσματα του SUS με μικρό μέγεθος δείγματος; (Tullis & Stetson, 2004) 3. Υπάρχει συσχέτιση μεταξύ της βαθμολογίας SUS και των παρακάτω παραγόντων; – Αυτοαποτελεσματικότητα χρήσης Διαδικτύου (internet self-efficacy) – Στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (internet user attitude) – Συχνότητα χρήσης του συστήματος
  • 28. 2ο και 3ο Ερευνητικό Ερώτημα Διαδικασία ανάλυσης των δεδομένων: • Σύγκριση μέσων όρων: – Ανδρών και Γυναικών – Φοιτητών με (και χωρίς) προηγούμενη εμπειρία χρήσης του συστήματος • Έλεγχος συσχετίσεων βαθμολογίας SUS με τους παράγοντες: – Ηλικία – Αυτοαποτελεσματικότητα για το Διαδίκτυο (ISE) – Στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (IUA) – Συχνότητα χρήσης του συστήματος • Έλεγχος αξιοπιστίας αποτελεσμάτων του SUS με μικρό μέγεθος δείγματος – Πέντε διαφορετικά μεγέθη δείγματος: N=6, 8, 10, 12, 14 – 20 τυχαία υποσύνολα για κάθε μέγεθος – Σύγκριση μέσου όρου της βαθμολογίας SUS του υποσυνόλου με τον μέσο όρο του συνολικού δείγματος: One sample t-test
  • 29. 2ο και 3ο Ερευνητικό Ερώτημα Παράγοντας Συσχέτιση με τη βαθμολογία SUS φύλο δεν υπάρχει στατιστικά σημαντική διαφορά μεταξύ αντρών και γυναικών 282 άντρες, mean=76,21 και sd=13,40 487 γυναίκες, mean=76,30 και sd=13,16 u= 68549,000 με p=0,968 ηλικία αρνητική συσχέτιση, μη στατιστικά σημαντική N=769 rs=-0,061 με p=0,09 ηλικιακές ομάδες μη στατιστικά σημαντική διαφορά μεταξύ των δύο ομάδων 716 προπτυχιακοί φοιτητές, mean=76,57 και sd=12,81 53 μεταπτυχιακοί φοιτητές, mean=72,17 και sd=17,73 u=16783,5 με p=0,16 προηγούμενη εμπειρία στατιστικά σημαντική διαφορά μεταξύ των φοιτητών με προηγούμενη εμπειρία χρήσης του συστήματος και αυτών χωρίς 355 φοιτητές με εμπειρία, mean=77,36 και sd=13,37 414 φοιτητές χωρίς εμπειρία, mean=75,33 και sd=13,06 u=66467,000 με p=0,022 αυτοαποτελεσματικότητα για το Διαδίκτυο (ISE) μεσαία συσχέτιση, στατιστικά σημαντική N=769 rs=0,326 με p<0,01 στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (IUA) μικρή συσχέτιση, στατιστικά σημαντική N=769 rs=0,223 με p<0,01 συχνότητα χρήσης του συστήματος μικρή συσχέτιση, στατιστικά σημαντική N=769 rs=0,267 με p<0,01
  • 30. 2ο Ερευνητικό Ερώτημα • Εργαστήκαμε όπως στην έρευνα (Tullis & Stetson, 2004). • Δεδομένα βασισμένα σε t-tests 20 τυχαίων υποσυνόλων για κάθε διαφορετικό μέγεθος (Ν). • Στο διάγραμμα φαίνεται το ποσοστό των t-tests για τα οποία το αποτέλεσμα δε διέφερε στατιστικά σημαντικά από αυτό του συνολικού δείγματος. 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% 6 8 10 12 14 Ποσοστό περιπτώσεων με αξιόπιστο αποτέλεσμα ανά μέγεθος δείγματος
  • 31. 2ο Ερευνητικό Ερώτημα Σύγκριση με προηγούμενες έρευνες: • Φύλο: τα ευρήματα συμφωνούν με αυτά των ερευνών (Lewis, 2002; Bangor et al., 2008; Sonderegger & Sauer, 2010) και διαφωνούν με των (Kobsa et al., 2009; Karahoca & Karahoca, 2009), δεν υπάρχει στατιστικά σημαντική διαφορά. • Ηλικία: Αρνητική συσχέτιση έχουν βρει και προηγούμενες έρευνες (Bangor et al., 2008; Granića & Ćukušić, 2011). • Προηγούμενη εμπειρία χρήσης: τα ευρήματα συμφωνούν με αυτά των ερευνών (Sauro, 2011a; Kortum & Bangor, 2013), υπάρχει στατιστικά σημαντική διαφορά. • Αξιοπιστία αποτελεσμάτων με μικρό δείγμα: επιβεβαιώθηκε ότι το ερωτηματολόγιο SUS ακόμη και με μικρό μέγεθος δείγματος (έως 14 άτομα) έχει αποτελέσματα που προσεγγίζουν σε υψηλό ποσοστό (>=90%) τα αποτελέσματα του συνολικού δείγματος. Οι Tullis and Stetson (2004), όμως, είχαν βρει ότι με 14 άτομα είχαν 100% προσέγγιση του συνολικού αποτελέσματος.
  • 32. • Διερευνάται η ύπαρξη διαφοράς στους νέους παράγοντες που μελετάμε ανάλογα το είδος της πλατφόρμας που χρησιμοποιείται στις μελέτες (studies). Παράγοντας Διαφορά μεταξύ των φοιτητών που χρησιμοποιούν τα δύο είδη συστήματος (eClass-Moodle) αυτοαποτελεσματικότητα για το Διαδίκτυο (ISE) στατιστικά σημαντική διαφορά 538 eclass, mean=4,15 και sd=0,62 231 moodle, mean=3,99 και sd=0,57 u=51488,000 με p<0,01 στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (IUA) στατιστικά σημαντική διαφορά 538 eclass, mean=4,21 και sd=0,52 231 moodle, mean=4,40 και sd=0,50 u=49103,000 με p<0,01 συχνότητα χρήσης του συστήματος στατιστικά σημαντική διαφορά 538 eclass, mean=3,63 και sd=0,95 231 moodle, mean=4,21 και sd=0,97 u=39004,500 με p<0,01 Διαφορές μεταξύ διαφορετικών συστημάτων
  • 33. Παράγοντας Συσχέτιση με τη βαθμολογία SUS ανά είδος συστήματος eClass Moodle φύλο μη στατιστικά σημαντική διαφορά μεταξύ αντρών και γυναικών μη στατιστικά σημαντική διαφορά μεταξύ αντρών και γυναικών 266 άντρες, mean=76,48 και sd=13,17 16 άντρες, mean=71,72 και sd=16,68 272 γυναίκες, mean=77,13 και sd=12,89 215 γυναίκες, mean=75,24 και sd=13,44 u= 35268,000 με p=0,614 u= 1619,500 με p=0,696 ηλικία αρνητική συσχέτιση, οριακά μη στατιστικά σημαντική αρνητική συσχέτιση, μη στατιστικά σημαντική N=538 N=231 rs=-0,084 με p=0,05 rs=-0,009 με p=0,889 ηλικιακές ομάδες 538 προπτυχιακοί φοιτητές, mean=76,81 και sd=13,02 μη στατιστικά σημαντική διαφορά μεταξύ των δύο ομάδων 178 προπτυχιακοί φοιτητές, mean=75,84 και sd=12,14 53 μεταπτυχιακοί φοιτητές, mean=72,17 και sd=17,73 u=4337,0 με p=0,373 προηγούμενη εμπειρία μη στατιστικά σημαντική διαφορά οριακά μη στατιστικά σημαντική διαφορά 325 φοιτητές με εμπειρία, mean=77,21 και sd=13,28 30 φοιτητές με εμπειρία, mean=79,00 και sd=14,48 213 φοιτητές χωρίς εμπειρία, mean=76,21 και sd=12,62 201 φοιτητές χωρίς εμπειρία, mean=74,40 και sd=13,48 u=32581,000 με p=0,248 u=2359,500 με p=0,054 αυτοαποτελεσματικότητα για το Διαδίκτυο (ISE) μεσαία συσχέτιση, στατιστικά σημαντική μεσαία συσχέτιση, στατιστικά σημαντική N=538 N=231 rs=0,303 με p<0,01 rs=0,368 με p<0,01 στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (IUA) μικρή συσχέτιση, στατιστικά σημαντική μικρή συσχέτιση, στατιστικά σημαντική N=538 N=231 rs=0,243 με p<0,01 rs=0,208 με p<0,01 συχνότητα χρήσης του συστήματος μικρή συσχέτιση, στατιστικά σημαντική μεσαία συσχέτιση, στατιστικά σημαντική N=538 N=231 rs=0,271 με p<0,01 rs=0,346 με p<0,01 Συσχετίσεις ανά είδος συστήματος
  • 34. Διαφορές μεταξύ κατηγοριών τμημάτων • Χωρίζονται τα τμήματα που φοιτούν οι συμμετέχοντες σε τρεις κατηγορίες: – Τεχνολογικά τμήματα (Μηχανικών Η/Υ και Ηλεκτρολόγων Μηχανικών) (215 φοιτητές) – Τμήματα Θετικών Επιστημών (Βιολογίας, Φαρμακευτικής, Χημείας, Φυσικής) (256 φοιτητές) – Τμήμα Επιστημών της Εκπαίδευσης και της Αγωγής στην Προσχολική Ηλικία (231 φοιτητές) • Ελέγχεται εάν υπάρχουν διαφορές στους τρεις νέους παράγοντες που μελετώνται μεταξύ των φοιτητών που φοιτούν σε διαφορετικής κατηγορίας τμήμα. Παράγοντας Διαφορά μεταξύ των φοιτητών που χρησιμοποιούν τα δύο είδη συστήματος (eClass-Moodle) αυτοαποτελεσματικότητα για το Διαδίκτυο (ISE) στατιστικά σημαντική διαφορά 215 τεχνολογικών τμημάτων, mean=4,37 και sd=0,57 256 τμημάτων θετικών επιστημών, mean=4,01 και sd=0,61 231 ΤΕΕΑΠΗ, mean=3,99 και sd=0,57 x2= 61,821 με p<0,01 στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (IUA) στατιστικά σημαντική διαφορά 215 τεχνολογικών τμημάτων, mean=4,29 και sd=0,56 256 τμημάτων θετικών επιστημών, mean=4,16 και sd=0,48 231 ΤΕΕΑΠΗ, mean=4,40 και sd=0,50 x2 = 30,903 με p<0,01 συχνότητα χρήσης του συστήματος στατιστικά σημαντική διαφορά 215 τεχνολογικών τμημάτων, mean=3,53 και sd=0,94 256 τμημάτων θετικών επιστημών, mean=3,75 και sd=0,97 231 ΤΕΕΑΠΗ, mean=4,21 και sd=0,97 x2= 73,235 με p<0,01
  • 35. Συμπεράσματα 1. Ερωτηματολόγιο SUS στο πλαίσιο των LMS: – Έγκυρο εργαλείο για την αξιολόγηση της αντιληπτής ευχρηστίας – Ικανοποιητικό επίπεδο ευχρηστίας τα LMS – Έγκυρη και αξιόπιστη η ελληνική έκδοση 2. Βαθμολογία SUS για την ευχρηστία ενός LMS: – Δεν εξαρτάται από το φύλο ή την ηλικία. – Προηγούμενη εμπειρία των χρηστών με το σύστημα – Αυτοαποτελεσματικότητα για το Διαδίκτυο – Στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς – Συχνότητα χρήσης του συστήματος 3. Με δείγμα μόνο 6 - 14 ατόμων - 90% αξιόπιστο αποτέλεσμα.
  • 36. Χρησιμότητα ευρημάτων έρευνας • Κατασκευαστές των συστημάτων διαχείρισης της μάθησης (πλατφόρμες e-learning): – Επίπεδο της ευχρηστίας του συστήματος. – Οι συσχετίσεις που βρέθηκαν προσφέρουν μια επιπλέον ερμηνεία της ευχρηστίας σύμφωνα με τα χαρακτηριστικά του target group. – Κοινός κώδικας επικοινωνίας με τους πελάτες τους, οι οποίοι πιθανώς να μην έχουν τις κατάλληλες γνώσεις σε θέματα ευχρηστίας λογισμικού. • Χρήστες-εκπαιδευόμενοι, Χρήστες-εκπαιδευτικοί και Εκπαιδευτικοί οργανισμοί: – Σύγκριση διαφορετικών συστημάτων. – Επιλογή του καταλληλότερου και απόρριψη των μη εύχρηστων συστημάτων.
  • 37. Επιπλέον ευρήματα • Μεγαλύτερη αυτοαποτελεσματικότητα για το Διαδίκτυο (ISE): – eClass – Φοιτητές των τεχνολογικών τμημάτων – Άντρες – Μεγαλύτεροι σε ηλικία • Θετικότερη στάση προς το Διαδίκτυο ως εργαλείο μάθησης (IUA): – Μεγαλύτεροι σε ηλικία – Οριακά σημαντική διαφορά μεταξύ των φύλων – (Hong et al., 2003) • Moodle και ΤΕΕΑΠΗ: – Θετικότερη στάση προς το Διαδίκτυο και – Μεγαλύτερη συχνότητα χρήσης του LMS • Μεγαλύτερη αυτοαποτελεσματικότητα για το Διαδίκτυο συνεπάγεται και θετικότερη στάση προς αυτό.
  • 38. Μελλοντικές προτάσεις • Διαφορετικά ιδρύματα και οργανισμοί εκπαίδευσης (Εκτός από ΑΕΙ, και από ΤΕΙ και ΙΕΚ ή/και διαφορετικές βαθμίδες εκπαίδευσης). • Πέρα από εκπαιδευόμενους, και άλλες ομάδες χρηστών (π.χ. εκπαιδευτές) • Μεικτής και εξ αποστάσεως διδασκαλίας μαθήματα. • Εκτός από eClass και Moodle, επιπλέον είδη συστημάτων τηλεκπαίδευσης π.χ., Blackboard, LAMS, κ.ά. • Μεγαλύτερη διακύμανση σε ηλικία των συμμετεχόντων. • Περαιτέρω μελέτη για τα επιπλέον ευρήματα. • Σύγκριση της αξιοπιστίας του ερωτηματολογίου SUS με διαφορετικά ερωτηματολόγια αξιολόγησης ευχρηστίας στο πλαίσιο των LMS. • Συσχέτιση της βαθμολογίας SUS με έναν συνολικό αξιολογικό χαρακτηρισμό του LMS στην κλίμακα βαθμολογίας των Πανεπιστημίων (Kortum & Bangor, 2013). • Συσχέτιση της βαθμολογίας SUS με τη στάση προς τον καθηγητή.
  • 39. Βιβλιογραφία • Ayad, K., & Rigas, D. (2010). Comparing virtual classroom, game-based learning and storytelling teachings in e-learning. International Journal of Education and Information Technologies, 4(1), 15–23. • Bangor, A., Kortum, P., & Miller, J.A. (2008). The System Usability Scale (SUS): An Empirical Evaluation, International Journal of Human-Computer Interaction, 24(6). • Bangor, A., Kortum, P., & Miller, J. (2009). Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale. pp.114-123. • Brooke, J. (1996). SUS: A “quick and dirty” usability scale. In P. W. Jordan, B. Thomas, B. A. Weerdmeester, & I. L. McClelland (Eds.), Usability evaluation in industry (pp. 189–194). London: Taylor & Francis. • Davids, M. R., Chikte, U. M. E., & Halperin, M. L. (2011). Development and evaluation of a multimedia e-learning resource for electrolyte and acid-base disorders. Advances in Physiology Education, 35(3), 295–306. doi:10.1152/advan.00127.2010 • Georgiakakis, P., Papasalouros, A., Retalis, S., Siassiakos, K., & Papaspyrou, N. (2005). Evaluating the usability of web-based learning management systems. THEMES in Education, 6(1), 45-59. • Granića, A., & Ćukušić, M. (2011). Usability testing and expert inspections complemented by educational evaluation: a case study of an e-learning platform, Educational Technology & Society, 14(2), 107–123.
  • 40. Βιβλιογραφία • Hong, K., Ridzuan, A., & Kuek, M. (2003). Students’ attitudes toward the use of the internet for learning: A study at a university in Malaysia. Educational Technology and Society, 6(2), 45- 49. • Karahoca, D., & Karahoca, A. (2009). Assessing effectiveness of the cognitive abilities and individual differences on e-learning portal usability evaluation. Procedia Social and Behavioral Sciences, 1(1), 368–380.doi:10.1016/j.sbspro.2009.01.068 • Katsanos C., Tselios N., & Xenos M. (2012). Perceived usability evaluation of learning management systems: a first step towards standardization of the System Usability Scale in Greek. In Proceedings of the 16th Pan-Hellenic Conference on Informatics, PCI 2012 (pp. 302- 307), Piraeus, Greece: IEEE CPS, 5-7 Oct., 2012, doi: 10.1109/PCi.2012.38. • Kobsa, A., Sonawalla, R., Tsudik, G., Uzun, E., & Wang, Y. (2009). Serial hook-ups: A comparative usability study of secure device pairing methods. Proceedings of the 5th Symposium on Usable Privacy and Security. Mountain View, California. Retrieved from http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.154.929 • Kortum, P. T., & Bangor, A. (2013). Usability Ratings for Everyday Products Measured With the System Usability Scale. International Journal of Human-Computer Interaction, 29(2), 67–76. doi:10.1080/10447318.2012.681221 • Lewis, J. R. (2002). Psychometric Evaluation of the PSSUQ Using Data from Five Years of Usability Studies. International Journal of Human-Computer Interaction, 14(3&4), 463–488.
  • 41. Βιβλιογραφία • Lewis J.R., & Sauro J. (2009). The factor structure of the system usability scale. In: Proceedings of the human computer interaction international conference (HCII 2009), San Diego CA, USA • Luo, G. H., Liu, E. Z. F., Kuo, H. W., & Yuan, S. M. (2014). Design and implementation of a simulation-based learning system for international trade. The International Review of Research in Open and Distance Learning, 15(1). • Marco, F. A., Penichet, V. M., & Gallud, J. A. (2013). Collaborative e-Learning through Drag & Share in Synchronous Shared Workspaces. Journal of Universal Computer Science, 19(7), 894- 911. • Papastergiou, M. (2010). Enhancing Physical Education and Sport Science students’ self- efficacy and attitudes regarding Information and Communication Technologies through a computer literacy course. Computers & Education, 54(1), 298–308. doi:10.1016/j.compedu.2009.08.015 • Perera, I., Allison, C., Nicoll, J. R., Sturgeon, T., & Miller, A. (2010). Managed Learning in 3D Multi User Virtual Environments. International Journal of Digital Society, 1(4), 256–264. • Renaut, C., Batier, C., Flory, L., & Heyde, M. (2006). Improving web site usability for a better e-learning experience. Current Developments in Technology-Assisted Education, 891–895. • Ryann, E. K. (2009). A field guide to Learning Management Systems. Learning Circuits. Retrieved November 20, 2012, from http://www.astd.org/~/media/Files/Publications/LMS_fieldguide_20091
  • 42. Βιβλιογραφία • Sauro J., “Does prior experience affect perceptions of usability?” Jan. 2011, http://www.measuringusability.com/blog/priorexposure.php. • Shi, L., Awan, M. & Cristea, A. I., 2013. Evaluating System Functionality in Social Personalized Adaptive E-Learning Systems. Proceedings of the 8th European Conference on Technology Enhanced Learning. Paphos, Cyprus, pp. 633-634. • Simões, A. P., & de Moraes, A. (2012). The ergonomic evaluation of a virtual learning environment usability, Work: A Journal of Prevention, Assessment and Rehabilitation, vol. 41, 1140–1144. • Sonderegger, A., & Sauer, J. (2010). The influence of design aesthetics in usability testing: Effects on user performance and perceived usability. Applied Ergonomics, 41(3), 403–410. doi:10.1016/j.apergo.2009.09.002 • Tullis, T. S., & Stetson, J. N. (2004). A Comparison of Questionnaires for Assessing Website Usability, Usability Professionals Association (UPA) 2004 Conference, Minneapolis, USA. • Venturi, G., & Bessis, N. (2006). User-centred Evaluation of an E-learning Repository. Proceedings of the 4th Nordic conference on Human-computer interaction: changing roles, 203–211. New York, NY, USA. • Zaharias, P. (2006, April). A usability evaluation method for e-learning: focus on motivation to learn. In CHI'06 Extended Abstracts on Human Factors in Computing Systems (pp. 1571- 1576). ACM.