Ανάπτυξη Ελληνικού Συστήματος Απάντησης Ερωτήσεων Ανοιχτού Τύπου
Your SlideShare is downloading.
×
Check these out next
More Related Content
Related Books
Free with a 30 day trial from Scribd
Continuous implicitauthentication of smartphone users using navigation data
- 1. Επ. Καθηγητής: Ανδρέας Συμεωνίδης Επ. Υπ. Διδάκτορας: Θωμάς Καρανικιώτης Θεσσαλονίκη, Νοέμβριος 2020 Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Συνεχής Έμμεση Αυθεντικοποίηση Χρηστών Κινητού Τηλεφώνου με τη Χρήση Δεδομένων Πλοήγησης Αγγελική Αγαθή Τσίντζηρα, Α.Μ.: 436 Δ.Δ.Π.Μ.Σ. Προηγμένα Συστήματα Υπολογιστών και Επικοινωνιών Ευφυή Συστήματα – Μεθοδολογίες Υπολογιστικής Νοημοσύνης και Εφαρμογές
- 2. ΠΕΡΙΕΧΟΜΕΝΑ 1. Κίνητρο 2. Θεωρητικό Υπόβαθρο 3. Αισθητήρες 4. Μεθοδολογία 5. Αλγόριθμοι 6. Μετρικές Απόδοσης 7. Αποτελέσματα 8. Συμπεράσματα 9. Μελλοντική Εργασία
- 3. ΚΙΝΗΤΡΟ Διαφύλαξη της ασφάλειας και ιδιωτικότητας προσωπικών δεδομένων χρηστών κινητών τηλεφώνων Ένα επιπλέον επίπεδο ασφαλείας στην περίπτωση κλοπής ή κατάσχεσης της συσκευής με τη βία
- 4. ΘΕΩΡΗΤΙΚΟ ΥΠΟΒΑΘΡΟ Βιομετρικά Χαρακτηριστικά • Χαρακτηριστικά που μετρούνται εύκολα και με ακρίβεια • Είναι μοναδικά για τον κάθε άνθρωπο • Δύσκολο να πλαστογραφούν • Ο πιο ασφαλής τρόπος αυθεντικοποίησης • Παραδείγματα αποτελούν το δαχτυλικό αποτύπωμα και η αναγνώριση προσώπου
- 5. • Μηχανισμός Αυθεντικοποίησης που λειτουργεί στο παρασκήνιο • Αναγνώριση συμπεριφοράς πλοήγησης χρήστη • Συνεχής έλεγχος ταυτότητας χρήστη • Σύστημα απόφασης αν η συμπεριφορά ανήκει σε εξουσιοδοτημένο χρήστη ή όχι ΘΕΩΡΗΤΙΚΟ ΥΠΟΒΑΘΡΟ Συνεχής Αυθεντικοποίηση
- 6. ΑΙΣΘΗΤΗΡΕΣ Επιταχυνσιόμετρο Προσδιορίζει τον προσανατολισμό χωρίς τη βαρύτητα της γης Γυροσκόπιο Χρησιμοποιεί τη βαρύτητα της Γης στον προσδιορισμό του προσανατολισμού
- 7. Αναζήτηση σχετικής βιβλιογραφίας Έρευνα Ανάλυση του προβλήματος Ανάλυση Ανάπτυξη μεθοδολογίας και εφαρμογή μοντέλων μηχανικής μάθησης Ανάπτυξη Εκτέλεση πειραμάτων και επικύρωση μεθοδολογίας Πειράματα Συμπεράσματα σχετικά με τα αποτελέσματα Συμπεράσματα ΜΕΘΟΔΟΛΟΓΙΑ
- 8. ΣΥΝΟΛΟ ΔΕΔΟΜΕΝΩΝ 5 Παιχνίδια: Mathisis, Speed, Focus, Memoria, Reacton Μη ελεγχόμενο περιβάλλον Αισθητήρες Κίνησης + Δεδομένα Χειρονομιών 2218 χρήστες 60% άντρες, 26% γυναίκες, 14% άγνωστα 90% android, 10% iOS 95% των χρηστών χρησιμοποίησε μία συσκευή
- 9. ΣΥΝΟΛΟ ΔΕΔΟΜΕΝΩΝ Οι χρήστες επιλέχθηκαν σύμφωνα με τα παρακάτω κριτήρια: 1. Εγγραφές μετρήσεων και από τους 2 αισθητήρες (επιταχυνσιόμετρο, γυροσκόπιο) 2. Εγγραφές αισθητήρων στον ίδιο χρόνο 3. Πλήθος εγγραφών αισθητήρων ανά παιχνίδι το ελάχιστο 3000 (λόγω δειγματοληψίας) 4. Εγγραφές μετρήσεων για το ίδιο παιχνίδι
- 10. ΠΡΟΕΠΕΞΕΡΓΑΣΙΑ X Y Z 𝑿𝟐 + 𝒀𝟐 + 𝒁𝟐 𝒀𝟐 + 𝒁𝟐 Άξονας X Άξονας Y Άξονας Z Magnitude Combined Angle Η επιλογή της κατάλληλης μεταβλητής (Magnitude) πραγματοποιήθηκε με πειράματα για κάθε μια μεταβλητή́ και στο τέλος, συγκρίθηκε η επίδοση των αλγορίθμων.
- 11. ΕΞΕΡΕΥΝΗΣΗ ΔΕΔΟΜΕΝΩΝ Έντονη διαφοροποίηση συμπεριφορών
- 12. ΔΕΙΓΜΑΤΟΛΗΨΙΑ Δειγματοληψία Κυλιόμενου Παραθύρου Δειγματοληψία 50Hz με 10 sec παράθυρο και επικάλυψη 90% • Μείωση θορύβου • Περισσότερα δείγματα κατά την εκπαίδευση • Βελτίωση της ετερογένειας των μετρήσεων
- 13. ΕΞΑΓΩΓΗ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ Χαρακτηριστικό Περιγραφή Πεδίο Μέση τιμή Μέση τιμή παραθύρου Χρόνου Τυπική Απόκλιση Τυπική απόκλιση παραθύρου Χρόνου Μέγιστη Τιμή Ελάχιστη τιμή παραθύρου Χρόνου Ελάχιστη Τιμή Μέγιστη τιμή παραθύρου Χρόνου Εύρος Τιμών Εύρος τιμών παραθύρου Χρόνου Percentile (25 – 50 – 75) 25,50,75% τεταρτημόρια Χρόνου Κύρτωση Πλάτος κορυφής Χρόνου Ασυμμετρία Προσανατολισμός της κορυφής Χρόνου Εντροπία Διασπορά της φασματικής κατανομής Χρόνου P1 Πλάτος της υψηλότερης κορυφής ΜΣ Fourier Συχνότητας F1 Συχνότητα της υψηλότερης κορυφής ΜΣ Fourier Συχνότητας P2 Πλάτος της δεύτερης υψηλότερης κορυφής ΜΣ Fourier Συχνότητας Μέση συχνότητα Μέση συχνότητα παραθύρου Συχνότητας
- 14. ΕΞΑΓΩΓΗ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ Πεδίο του Χρόνου και της Συχνότητας Χαρακτηριστικά με υψηλή συσχέτιση διαγράφηκαν Διαγράφηκαν τα χαρακτηριστικά Range και Entropy
- 15. Χρήση 4 αλγορίθμων Novelty Detection για αναγνώριση ακραίων τιμών. Εκπαίδευση ΜΟΝΟ με τα δεδομένα του εξουσιοδοτημένου χρήστη. Επικύρωση με δεδομένα εξουσιοδοτημένου και μη εξουσιοδοτημένων χρηστών. One Class SVM Local Outlier Factor Isolation Forest Elliptic Envelope Προ- επεξεργασία Training Set Validation Set Test Set ΑΛΓΟΡΙΘΜΟΙ
- 16. ENSEBLE MODELS Οι αστοχίες ενός μοντέλου μπορεί να είναι τα δυνατά σημεία του άλλου. Ο συνδυασμός 2 μοντέλων οδήγησε σε πολύ καλύτερα αποτελέσματα, όπου το καθένα ανεξάρτητα δεν θα μπορούσε να επιτύχει. Μοντέλο επιταχυνσιομέτρου Μοντέλο γυροσκοπίου Συνδυασμός μοντέλων
- 17. ΜΕΤΡΙΚΕΣ ΑΠΟΔΟΣΗΣ False Acceptance Rate = 𝑭𝑷 𝐓𝐍+𝑭𝑷 False Rejection Rate = 𝑭𝑵 𝐓𝐏+𝑭𝑵 ACCURACY = 𝚻𝐍+𝑻𝑷 𝐓𝐏+𝐅𝐍+𝐓𝐍+𝑭𝑷 F1-SCORE = 𝑻𝑷 𝐓𝐏+𝟎.𝟓 (𝐅𝐍+𝐅𝐏)
- 18. ΠΕΙΡΑΜΑΤΑ 5 1 πείραμα ανά παιχνίδι ΠΑΙΧΝΙΔΙΑ 14 1 φορά ως ιδιοκτήτες, τις υπόλοιπες ως κακόβουλοι ΧΡΗΣΤΕΣ 10 10 εκτελέσεις ανά εξουσιοδοτημένο χρήστη 10-FOLD 4 Novelty Detection ΑΛΓΟΡΙΘΜΟΙ 2 Ένα για το επιταχυνσιόμετρο, ένα για το γυροσκόπιο ΜΟΝΤΕΛΑ
- 19. ΑΠΟΤΕΛΕΣΜΑΤΑ FAR < 10% είναι ένα αποδεκτό ποσοστό ~70% αποδοχή κακόβουλων χρηστών ~30% αποδοχή κακόβουλων χρηστών ~0.7-6.9% αποδοχή κακόβουλων χρηστών
- 20. ΑΠΟΤΕΛΕΣΜΑΤΑ FRR < 10% είναι ένα αποδεκτό ποσοστό ~4-7% απόρριψη εξουσιοδοτημένου χρήστη ~1-2% απόρριψη εξουσιοδοτημένου χρήστη ~0% απόρριψη εξουσιοδοτημένου χρήστη
- 21. ΑΠΟΤΕΛΕΣΜΑΤΑ Local Outlier Factor FAR FRR Accuracy F1-Score Reacton Game 2.9 5 97 48 Speedy Game 2.3 6.6 97.54 52 Mathisis Game 2.2 6.9 97.73 54 Focus Game 2 7.1 97.89 55 Memoria Game 0.7 8.1 99.17 76 Καλύτερο Αποτέλεσμα
- 22. One Class SVM FAR FRR Accuracy F1-Score Reaction Game 6.9 4.3 93.06 29 Speedy Game 5.4 5.7 94.54 33 Mathisis Game 4.8 5.2 95.13 36 Focus Game 3.5 6 96.42 42 Memoria Game 1.1 5.7 98.78 69 ΑΠΟΤΕΛΕΣΜΑΤΑ Καλύτερο Αποτέλεσμα
- 23. ΣΥΜΠΕΡΑΣΜΑΤΑ ΑΙΣΘΗΤΗΡΕΣ ΠΡΟ-ΕΠΕΞΕΡΓΑΣΙΑ ΣΥΓΚΡΙΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΛΥΤΕΡΟ ΠΑΙΧΝΙΔΙ ONE CLASS SVM LOCAL OUTLIER FACTOR ΚΑΛΥΤΕΡΗ ΕΠΙΔΟΣΗ ΑΠΟ ΒΙΒΛΙΟΓΡΑΦΙΑ Οι μετρήσεις των αισθητήρων κίνησης παρέχουν πολύτιμες πληροφορίες, ικανές να πραγματοποιηθεί αναγνώριση χρήστη μόνο με τα δεδομένα πλοήγησης.
- 24. ΣΥΜΠΕΡΑΣΜΑΤΑ ΑΙΣΘΗΤΗΡΕΣ ΠΡΟ-ΕΠΕΞΕΡΓΑΣΙΑ ΣΥΓΚΡΙΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΛΥΤΕΡΟ ΠΑΙΧΝΙΔΙ ONE CLASS SVM LOCAL OUTLIER FACTOR ΚΑΛΥΤΕΡΗ ΕΠΙΔΟΣΗ ΑΠΟ ΒΙΒΛΙΟΓΡΑΦΙΑ Η σωστή επιλογή του παραθύρου δειγματοληψίας και επικάλυψης, βελτίωσε αισθητά την επίδοση των αλγορίθμων. Ο συνδυασμός δεδομένων στο πεδίο του χρόνου και της συχνότητας έδωσε τα καλύτερα αποτελέσματα.
- 25. ΣΥΜΠΕΡΑΣΜΑΤΑ ΑΙΣΘΗΤΗΡΕΣ ΠΡΟ-ΕΠΕΞΕΡΓΑΣΙΑ ΣΥΓΚΡΙΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΛΥΤΕΡΟ ΠΑΙΧΝΙΔΙ ONE CLASS SVM LOCAL OUTLIER FACTOR ΚΑΛΥΤΕΡΗ ΕΠΙΔΟΣΗ ΑΠΟ ΒΙΒΛΙΟΓΡΑΦΙΑ Η συμπεριφορά και οι διακυμάνσεις της επίδοσης των αλγορίθμων διατηρήθηκαν σταθερές σε όλα τα πειράματα. Τα μοντέλα που εκπαιδεύτηκαν μπορούν να χρησιμοποιηθούν στον πραγματικό κόσμο
- 26. ΣΥΜΠΕΡΑΣΜΑΤΑ ΑΙΣΘΗΤΗΡΕΣ ΠΡΟ-ΕΠΕΞΕΡΓΑΣΙΑ ΣΥΓΚΡΙΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΛΥΤΕΡΟ ΠΑΙΧΝΙΔΙ ONE CLASS SVM LOCAL OUTLIER FACTOR ΚΑΛΥΤΕΡΗ ΕΠΙΔΟΣΗ ΑΠΟ ΒΙΒΛΙΟΓΡΑΦΙΑ Το παιχνίδι καλύτερης απόδοσης ήταν το Memoria. Κατά τη διάρκεια του παιχνιδιού, ο χρήστης κάνει διαδοχικά την κίνηση Tap.
- 27. ΣΥΜΠΕΡΑΣΜΑΤΑ ΑΙΣΘΗΤΗΡΕΣ ΠΡΟ-ΕΠΕΞΕΡΓΑΣΙΑ ΣΥΓΚΡΙΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΛΥΤΕΡΟ ΠΑΙΧΝΙΔΙ ONE CLASS SVM LOCAL OUTLIER FACTOR ΚΑΛΥΤΕΡΗ ΕΠΙΔΟΣΗ ΑΠΟ ΒΙΒΛΙΟΓΡΑΦΙΑ Για εφαρμογές στις οποίες απαιτείται χαμηλό ποσοστό απόρριψης του πραγματικού χρήστη (<5.7%) σε συνδυασμό με χαμηλό ποσοστό αποδοχής κακόβουλων χρηστών (1.1%), ο One Class SVM θεωρείται ο κατάλληλος.
- 28. ΣΥΜΠΕΡΑΣΜΑΤΑ ΑΙΣΘΗΤΗΡΕΣ ΠΡΟ-ΕΠΕΞΕΡΓΑΣΙΑ ΣΥΓΚΡΙΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΛΥΤΕΡΟ ΠΑΙΧΝΙΔΙ ONE CLASS SVM LOCAL OUTLIER FACTOR ΚΑΛΥΤΕΡΗ ΕΠΙΔΟΣΗ ΑΠΟ ΒΙΒΛΙΟΓΡΑΦΙΑ Για εφαρμογές στις οποίες απαιτείται χαμηλό ποσοστό αποδοχής κακόβουλων ή μη εξουσιοδοτημένων χρηστών (<0.7%), ο αλγόριθμος Local Outlier Factor είναι πιο ο κατάλληλος.
- 29. ΣΥΜΠΕΡΑΣΜΑΤΑ ΑΙΣΘΗΤΗΡΕΣ ΠΡΟ-ΕΠΕΞΕΡΓΑΣΙΑ ΣΥΓΚΡΙΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΛΥΤΕΡΟ ΠΑΙΧΝΙΔΙ ONE CLASS SVM LOCAL OUTLIER FACTOR ΚΑΛΥΤΕΡΗ ΕΠΙΔΟΣΗ ΑΠΟ ΒΙΒΛΙΟΓΡΑΦΙΑ Οι αλγόριθμοι One Class SVM και Local Outlier Factor πέτυχαν τα καλύτερα ποσοστά της μετρικής FAR συγκριτικά με όλες τις μελέτες της βιβλιογραφίας, ακόμα και αυτής που χρησιμοποίησε το ίδιο σύνολο δεδομένων.
- 30. ΣΥΜΠΕΡΑΣΜΑΤΑ Τα αποτελέσματα αποδεικνύουν ότι το προτεινόμενο σύστημα παρέχει ένα επιπλέον επίπεδο ασφάλειας και ιδιωτικότητας και μπορεί να διασφαλίσει ότι το 99% των μη εξουσιοδοτημένων χρηστών δεν θα αποκτήσει πρόσβαση στη συσκευή και στα δεδομένα της.
- 31. SENSORS & GESTURES Αλγόριθμος FAR 1 FRR 1 FAR 2 FRR 2 FAR System FRR System One Class SVM 3.6% 10.5% 0.8% 16.4% 0.09% 4.6% Local Outlier Factor 0.5% 7.9% 1.2% 1.9% 0% 4.6% Αλγόριθμος Accuracy F2 Score Confusion Matrix One Class SVM 99.75% Attacker: 1% Original: 96% Local Outlier Factor 99.84% Attacker: 1% Original: 98% 3095 3 5 102 3098 0 5 102 Ο συνδυασμός δεδομένων φαίνεται να βελτιώνει την επίδοση των μοντέλων και αξίζει να μελετηθεί περαιτέρω στο μέλλον.
- 32. ΜΕΛΛΟΝΤΙΚΗ ΕΡΓΑΣΙΑ ● Πειράματα με περισσότερους χρήστες ● Διεξαγωγή συμπερασμάτων της ποιότητας μετρήσεων σε σχέση με τις συσκευές ή το λειτουργικό σύστημα ● Πειράματα με πολλές συσκευές ανά χρήστη ● Περαιτέρω διερεύνηση και συνδυασμοί μοντέλων και αλγορίθμων ● Περαιτέρω διερεύνηση του συνδυασμού αισθητήρων κίνησης και χειρονομιών
- 33. ΕΥΧΑΡΙΣΤΩ ΠΟΛΥ! Ερωτήσεις? Αγγελική - Αγαθή Τσίντζηρα
