Successfully reported this slideshow.
Your SlideShare is downloading. ×

Real-Time Detection Of Abnormal User Behavior In Web Applications Using Machine Learning Techniques

Check these out next

1 of 26
1 of 26

Real-Time Detection Of Abnormal User Behavior In Web Applications Using Machine Learning Techniques

Download to read offline

Given the rapid development of artificial intelligence in recent years, a question arises as to whether it could be used to improve the security of online services. In recent years, the internet is increasingly becoming a large part in people's lives, resulting in being one of the main means in media, entertainment, communication and more. However, there are many who use the internet with the intention to increase profit, not always through legal or moral means. By detecting and exploiting system vulnerabilities, malicious internet users can gain access to sensitive data, resell them to third parties, or even attack websites of large corporations or governments. At the same time, however, with the increase in computing power and the development of mathematics and statistics, significant progress has been made in the field of artificial intelligence (AI). AI is a field with applications in many different fields like education, economics, science, health and more. In recent years, it has also been used in the cybersecurity domain to develop security systems that seek to predict or detect an impending attack while minimizing the possibility of intrusion and data leakage. Within the context of this diploma thesis, a system has been developed that runs in parallel to a web application aiming to detect abnormal user behavior in real time, while also taking measures to exclude malicious users.

Given the rapid development of artificial intelligence in recent years, a question arises as to whether it could be used to improve the security of online services. In recent years, the internet is increasingly becoming a large part in people's lives, resulting in being one of the main means in media, entertainment, communication and more. However, there are many who use the internet with the intention to increase profit, not always through legal or moral means. By detecting and exploiting system vulnerabilities, malicious internet users can gain access to sensitive data, resell them to third parties, or even attack websites of large corporations or governments. At the same time, however, with the increase in computing power and the development of mathematics and statistics, significant progress has been made in the field of artificial intelligence (AI). AI is a field with applications in many different fields like education, economics, science, health and more. In recent years, it has also been used in the cybersecurity domain to develop security systems that seek to predict or detect an impending attack while minimizing the possibility of intrusion and data leakage. Within the context of this diploma thesis, a system has been developed that runs in parallel to a web application aiming to detect abnormal user behavior in real time, while also taking measures to exclude malicious users.

More Related Content

More from ISSEL

Related Books

Free with a 30 day trial from Scribd

See all

Real-Time Detection Of Abnormal User Behavior In Web Applications Using Machine Learning Techniques

  1. 1. Ανίχνευση Αποκλίνουσας Συμπεριφοράς Χρηστών Διαδικτυακής Εφαρμογής σε Πραγματικό Χρόνο με Χρήση Τεχνικών Μηχανικής Μάθησης Εκπόνηση: Λέτρος Κωνσταντίνος (ΑΕΜ: 8851) Επιβλέπων: Ανδρέας Λ. Συμεωνίδης (Αναπληρωτής Καθηγητής) ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Εργαστήριο Επεξεργασίας Πληροφορίας και Υπολογισμών Οκτώβριος 2020
  2. 2. Κίνητρο Γνώσεις πάνω σε τρεις τομείς:  Ασφάλεια Συστημάτων  Διαδικτυακές Εφαρμογές  Μηχανική Μάθηση
  3. 3. Η ανάπτυξη μίας σουίτας εργαλείων η οποία:  Καταγράφει τη δραστηριότητα των χρηστών μίας διαδικτυακής εφαρμογής.  Τη διαχωρίζει κατάλληλα σε συνόδους λειτουργίας. 1010011010010 0001010100111 1100101011001 0101001110101 0001010100010 1101011011011 Σκοπός (1)
  4. 4.  Εξάγει βασικά χαρακτηριστικά από κάθε σύνοδο.  Παράγει και χρησιμοποιεί μοντέλα μηχανικής μάθησης για το χαρακτηρισμό των συνόδων, ως ομαλές ή ανώμαλες.  Απαγορεύει την πρόσβαση στους χρήστες με μεγάλο αριθμό ανώμαλων συνόδων. Σκοπός (2)
  5. 5. Προϋποθέσεις
  6. 6. Most Popular Technologies Most Popular Databases Most Popular Web Frameworks Στατιστικά stack-overflow 2020
  7. 7. Μία … ιστοσελίδα Με μία γραμμή κώδικα γίνεται …
  8. 8. Μία ασφαλής ιστοσελίδα … ασφαλής!
  9. 9. Το Πακέτο seham (1)  Καταγραφή νέων διευθύνσεων IP.  Έλεγχος μπλοκαρίσματος διεύθυνσης.  Προετοιμασία Απόκρισης (Store Express’ Http Activity to Mongodb)
  10. 10.  Καταγραφή της χρήσιμης πληροφορίας αιτημάτων-αποκρίσεων για κάθε διεύθυνση.  Ομαδοποίηση αιτημάτων-αποκρίσεων σε συνόδους. Το Πακέτο seham (2) (Store Express’ Http Activity to Mongodb)
  11. 11. Ανάθεση Αναγνωριστικού Συνόδου Νέος χρήστης – Χρονικό Κατώφλι Τ:  1ο αίτημα τη χρονική στιγμή: 0  2ο αίτημα τη χρονική στιγμή: Τ/2  3ο αίτημα τη χρονική στιγμή: 3Τ/2 + 1 sec Δt = Τ/2 < Τ Σύνοδος Α Δt = Τ + 1 sec > Τ Σύνοδος Β Σύνοδος Α Κριτήριο: Για να ανήκει ένα αίτημα στην τρέχουσα σύνοδο θα πρέπει η χρονική του διαφορά από το προηγούμενο (του ίδιου χρήστη) να μην ξεπερνάει ένα χρονικό κατώφλι, Τ.
  12. 12.  Καταγραφή της χρήσιμης πληροφορίας αιτημάτων-αποκρίσεων για κάθε διεύθυνση.  Ομαδοποίηση αιτημάτων-αποκρίσεων σε συνόδους.  Αίτημα προς τη διεπαφή αναγνώρισης συμπεριφοράς συνόδων. Το Πακέτο seham (3) (Store Express’ Http Activity to Mongodb)
  13. 13. Η Διεπαφή Αναγνώρισης Συμπεριφοράς Συνόδων  Λήψη και επικύρωση αιτήματος από το πακέτο seham.  Εξαγωγή χαρακτηριστικών συνόδου.  Χρήση μοντέλων μηχανικής μάθησης για την εξαγωγή συμπεριφοράς συνόδου.  Απαγόρευση πρόσβασης διεύθυνσης IP με μεγάλο αριθμό ανώμαλων συνόδων.
  14. 14. Εξαγωγή Συμπεριφοράς Συνόδου (1)  Μοντέλο Ταξινόμησης Χαρακτηριστικών Συνόδου  Συλλογή Δεδομένων Ομαλών Συνόδων  Δημιουργία Ανώμαλων Συνόδων  Αναζήτηση Πλέγματος και Διασταυρωμένη – Επικύρωση 5 – Πτυχών  Εξαγωγή Βέλτιστου Μοντέλου Ταξινόμησης
  15. 15. Παραγωγή Συνόλου Δεδομένων  Ομαλές Σύνοδοι - Συλλογή Δεδομένων  Ιστοσελίδα κοινωνικής δικτύωσης  15 χρήστες για 1 μήνα  Εργαλείο Εξαγωγής Συνόδων από τη Βάση  Ανώμαλες Σύνοδοι – Παραγωγή Δεδομένων  THC Hydra – Επιθέσεις λεξικού  Hulk – Επιθέσεις Άρνησης Υπηρεσίας  LOIC – Επιθέσεις Άρνησης Υπηρεσίας  OWASP ZAP – Σάρωση Αδυναμιών
  16. 16. http://83.212.99.221/
  17. 17. Μοντέλο Ταξινόμησης Χαρακτηριστικών Συνόδου (1)  Συλλογή 800 ομαλών και 205 ανώμαλων συνόδων οι οποίες διαχωρίστηκαν σε σύνολο εκπαίδευσης (80%) και σύνολο ελέγχου (20%) διατηρώντας τα ποσοστά ανώμαλων συνόδων από κάθε κατηγορία επίθεσης.  Αναζήτηση Πλέγματος και Διασταυρωμένη – Επικύρωση 5 – Πτυχών για: 1. Multi-Layer Perceptrons 2. Support Vector Machines 3. K Nearest Neighbors 4. Decision Tree Classifiers 5. Random Forest Classifiers 6. Logistic Regression 2. Macro F1-Score Random Forest 10 Δέντρα – Gini Index 1. Recall[+: Abnormal]
  18. 18. Μοντέλο Ταξινόμησης Χαρακτηριστικών Συνόδου (2) Random Forest  Ανεκτικός Αλγόριθμος στην Ανισορροπία Κατηγοριών Αξιολόγηση Συνόλου Ελέγχου TP: 41 | TN: 159 | FP: 1 | FN: 0
  19. 19. Εξαγωγή Συμπεριφοράς Συνόδου (2)  Μοντέλο Ταξινόμησης Χαρακτηριστικών Συνόδου  Συλλογή Δεδομένων Ομαλών Συνόδων  Δημιουργία Ανώμαλων Συνόδων  Αναζήτηση Πλέγματος και Διασταυρωμένη – Επικύρωση 5 – Πτυχών  Εξαγωγή Βέλτιστου Μοντέλου Ταξινόμησης  Μοντέλο Ταξινόμησης Σώματος Συνόδου  Χρήση συνόλου δεδομένων με κακόβουλες συμβολοσειρές  Χρήση Δεδομένων Ομαλών Συνόδων  Character – Level CNN
  20. 20. Μοντέλο Ταξινόμησης Σώματος Συνόδου  Ανισορροπία Κατηγοριών  ~ 26,4 χιλιάδες ομαλές συμβολοσειρές (~7,1 χιλ. από τη σελίδα)  ~ 11,8 χιλιάδες κακόβουλες συμβολοσειρές  ~ 5.4 εκατομμύρια παράμετροι Μέγεθος Παρτίδας: 128 Αριθμός Εποχών: 7 Βελτιστοποίηση: Adam Αξιολόγηση Συνόλου Ελέγχου Abnormal
  21. 21. Τελικά Αποτελέσματα  Ενσωμάτωση Εκπαιδευμένων Μοντέλων  Χρήση για μία εβδομάδα σε πλήρη λειτουργία  10 σύνοδοι - επιθέσεις  191 ομαλές σύνοδοι  Αναγνώριση επιθέσεων: Recall = 100%  Αναγνώριση ομαλών: Recall = 96,86%  6 εσφαλμένες επισημάνσεις  Random Forest: 4/6  Character Level CNN: 2/6
  22. 22. Σύνοψη Σουίτα εργαλείων:  Πακέτο seham  Διεπαφή Αναγνώρισης Συμπεριφοράς Συνόδων  Εργαλείο Εκπαίδευσης Μοντέλου Σώματος Συνόδου  Εργαλείο Επιλογής και Εκπαίδευσης Μοντέλου Χαρακτηριστικών Συνόδου  Εργαλείο Εξαγωγής Συνόδων από τη Βάση Δεδομένων
  23. 23. Μελλοντικό Έργο  Περαιτέρω βελτιστοποίηση του κώδικα.  Άρση πρόσβασης χρηστών μέσω απαγόρευσης των token αυθεντικοποίησής τους.  Διαφορετικοί αλγόριθμοι ταξινόμησης κειμένου για το μοντέλο ταξινόμησης σώματος συνόδου.  Εργαλείο παραγωγής μοντέλων όταν δεν είναι διαθέσιμες οι ετικέτες του συνόλου δεδομένων που συλλέγεται.
  24. 24. Ευχαριστίες Θα ήθελα να ευχαριστήσω θερμά:  Τον κύριο Ανδρέα Συμεωνίδη  Τους δικούς μου ανθρώπους  Όλους εσάς για την προσοχή σας
  25. 25. Ερωτήσεις

×