Με την ραγδαία βελτίωση της τεχνολογίας, τα έργα λογισμικού αποκτούν ολοένα και σημαντικότερο ρόλο στην ζωή των ανθρώπων. Ως αποτέλεσμα, αυξάνεται συνεχώς το μέγεθος και η πολυπλοκότητά τους. Μεγάλο μέρος της του χρόνου των προγραμματιστών δαπανάται, κατά τα στάδια του ελέγχου ορθότητας και συντήρησης ενός έργου λογισμικού, για τον εντοπισμό και την διόρθωση σφαλμάτων του πηγαίου κώδικα. Ο εντοπισμός σφαλμάτων συγκεκριμένων κατηγοριών, μπορεί να αυτοματοποιηθεί με την χρήση κάποιου εργαλείου στατικής ανάλυσης. Ωστόσο, οι προγραμματιστές χρειάζονται αρκετό χρόνο για την κατανόηση και επίλυση των εντοιχιζόμενων σφαλμάτων και πολλές φορές καταλήγουν να τα αγνοούν για μεγάλα χρονικά διαστήματα. ΄Ετσι, έχει δημιουργηθεί η ανάγκη για κάποιο σύστημα αυτοματοποιημένης διόρθωσης σφαλμάτων. Παρόλο που αποτελεί ένα νέο πεδίο για τον τομέα της τεχνολογίας λογισμικού και της μηχανικής μάθησης, τα τελευταία χρόνια έχουν γίνει αρκετές ερευνητικές προσπάθειες για την δημιουργία τέτοιων συστημάτων. Ο στόχος της παρούσας διπλωματικής εργασίας είναι η χρήση της εξόρυξης δεδομένων από ανοιχτά αποθετήρια κώδικα για την ανάπτυξη ενός εργαλείου αυτοματοποιημένης διόρθωσης σφαλμάτων. Τα σφάλματα που αφορούν το παραπάνω σύστημα προέρχονται αποκλειστικά από κανόνες παραβιάσεων κώδικα του εργαλείου στατικής ανάλυσης PMD. Τα δεδομένα εξήχθησαν από αποθετήρια στο Github. Ειδικότερα, έγιναν ερωτήματα στο API του Github για την εύρεση commits, τα οποία περιέχουν στο μήνυμά τους, λέξεις κλειδιά που σχετίζονται με συγκεκριμένους κανόνες παραβιάσεων του PMD. Στην συνέχεια, με την χρήση του PMD, εξάγεται ο κώδικας γύρω από τις επιδιορθωμένες παραβιάσεις μαζί με τον κανόνα τους. Σε αυτά τα τμήματα κώδικα, πριν και μετά το commit, εξάγονται οι διαφορές τους με την χρήση του εργαλείου Gumtree. Το Gumtree εξάγει τις διαφορές τους σε επίπεδο δέντρων, εν προκειμένω αναπαραστάσεων κώδικα SrcML. Το Gumtree παράγει ως έξοδο ένα αρχείο με την λίστα των κόμβων του δέντρου που παρέμειναν ίδιοι και την λίστα των actions, που εάν εφαρμοστούν με την σειρά στο δέντρο πριν την αλλαγή, θα παράξουν το δέντρο μετά την αλλαγή. Μετά γίνεται λεξικογραφική ανάλυση αυτών των αρχείων, για την παραγωγή αντικειμένων κώδικα, που αντιπροσωπεύουν την λίστα των actions. ΄Επειτα, από αυτά τα αντικείμενα, παίρνοντας όλους τους κόμβους των actions με την σειρά, εξάγουμε ακολουθίες από τους τύπους των κόμβων. Αυτές χρησιμοποιούνται στην συνέχεια για την ομαδοποίηση των αλλαγών, με τις μεταξύ τους αποστάσεις να υπολογίζονται βάσει του μήκους της μέγιστης κοινής υπακολουθίας τους. Η ομαδοποίηση γίνεται με τον αλγόριθμο DBSCAN. Από κάθε παραγόμενη ομάδα εξάγουμε ένα πρότυπο διόρθωσης, για τον συχνότερο κανόνα των διορθώσεων της ομάδος. Τέλος, για την αυτοματοποιημένη διόρθωση παραβιάσεων του PMD, εξάγονται actions από κάποια ομάδα που έχει το ίδιο κανόνα με την παραβίαση και εφαρμόζονται σειρά σε όλα τα πιθανά σημεία της SrcML αναπαράστασής του.

1. Εφαρμογή τεχνικών εξόρυξης δεδομένων για
την αυτοματοποιημένη διόρθωση
σφαλμάτων
Διπλωματική εργασία
Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης
Πολυτεχνική σχολή
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών
Υπολογιστών
Τομέας Ηλεκτρονικής & Υπολογιστών
Εργαστήριο Επεξεργασίας
Πληροφορίας & Υπολογισμών
Εκπόνηση:
Ηρακλής Γενιτσιφτσόπουλος
ΑΕΜ: 8789
Επιβλέποντες:
Ανδρέας Λ. Συμεωνίδης
Καθηγητής Α.Π.Θ.
Θεμιστοκλής Διαμαντόπουλος
Επιβλέπων Μεταδιδακτορικός Ερευνητής

2. Διάρθρωση Παρουσίασης
➢ Εισαγωγή
➢ Ανάλυση Μεθοδολογίας
➢ Αξιολόγηση & Αποτελέσματα
➢ Συμπεράσματα & Μελλοντική Εργασία
2

3. Διάρθρωση Παρουσίασης
➢ Εισαγωγή
➢ Ανάλυση Μεθοδολογίας
➢ Αξιολόγηση & Αποτελέσματα
➢ Συμπεράσματα & Μελλοντική Εργασία
3

4. Περιγραφή του Προβλήματος
● Αύξηση μεγέθους και πολυπλοκότητας έργων λογισμικού
● Μεγάλο μέρος του χρόνου των προγραμματιστών για αποσφαλμάτωση
○ Εντοπισμός σφαλμάτων
○ Επιδιόρθωση
● Οι μεθοδολογίες για αυτόματο εντοπισμό σφαλμάτων:
○ Δυναμικός έλεγχος: έλεγχος βάσει αναμενόμενων εξόδων
○ Στατική ανάλυση: έλεγχος του πηγαίου κώδικα ή παραγώγων
4

5. Περιγραφή του Προβλήματος
Στατική ανάλυση
● Πλεονεκτήματα:
○ Χαμηλό κόστος
○ Απαιτείται λιγότερος χρόνος
● Μειονεκτήματα:
○ False positives - μεγάλος αριθμός σφαλμάτων
○ Απαιτείται προσπάθεια για την κατανόηση των μηνυμάτων
○ Η επιδιόρθωση των σφαλμάτων επιβαρύνει τους προγραμματιστές
5

6. Περιγραφή του Προβλήματος
● Ανάγκη για δημιουργία εργαλείων:
○ Εξαγωγής χρήσιμων σφαλμάτων και προτύπων διορθώσεων
○ Αυτοματοποιημένης διόρθωσης σφαλμάτων
● Πρόσφατα γίνονται ερευνητικές προσπάθειες με στόχο την αυτοματοποιημένη
διόρθωση σφαλμάτων
6

7. Στόχος διπλωματικής εργασίας
● Ανάπτυξη συστήματος αυτοματοποιημένης διόρθωσης σφαλμάτων από
εργαλεία στατικής ανάλυσης με την χρήση τεχνικών εξόρυξης δεδομένων
● Σφάλματα στην Java, εντοπισμένα από το PMD
● Δεδομένα από αποθετήρια στο Github
7

8. Διάρθρωση Παρουσίασης
➢ Εισαγωγή
➢ Ανάλυση Μεθοδολογίας
➢ Αξιολόγηση & Αποτελέσματα
➢ Συμπεράσματα & Μελλοντική Εργασία
8

9. Δομή συστήματος
9

10. Συλλογή δεδομένων
● Επιλογή 33 κανόνων του PMD με βάση:
○ Την κατηγορία του κανόνα
○ Την συχνότητα του κανόνα
○ Υποκειμενικής αξιολόγησης της
“χρησιμότητας” του κανόνα
● Αναζήτηση για commits επιδιορθώσεων
βάσει των μηνυμάτων τους
(π.χ. PMD+<ονομα κανόνα>)
● Λήψη των αρχείων πριν και μετά το
commit
10

11. Δημιουργία συνόλου δεδομένων
● Τα edit scripts αποτελούνται από:
○ Μια λίστα των matches
○ Μια λίστα των actions
● Κατηγορίες των actions είναι
○ Προσθήκη (insert)
○ Αφαίρεση (delete)
○ Μετακίνηση (move)
○ Τροποποίηση (update)
11

12. Προ-επεξεργασία δεδομένων
Γίνεται λεξικογραφική ανάλυση των actions των edit scripts για την παραγωγή
αντικειμένων EditScript της Python
Η ανάλυση ενός action: Η ανάλυση ενός TreeId:
Sequence:
Specifier
Init
Expr
Literal
Init
Expr
Literal
12

13. Εξόρυξη προτύπων διορθώσεων (μέρος Α)
● Εξαγωγή αποστάσεων ακολουθιών μέσω της μετρικής ομοιότητας:
, όπου:
○ |si| είναι το μήκος της ακολουθίας si
○ LCS(s1,s2) είναι το μήκος της μέγιστης κοινής υπακολουθίας
● Η απόσταση είναι 1 - S με εύρος τιμών [0, 1]
● Εξαγωγή πίνακα αποστάσεων υπολογίζοντας για τον συνδυασμό όλων των
ακολουθιών
13

14. Εξόρυξη προτύπων διορθώσεων (μέρος Β)
● Ορισμός μετρικής Purity:
όπου:
○ N είναι το συνολικό μέγεθος των ομαδοποιημένων σημείων
○ c είναι η κάθε ομάδα στο σύνολο των ομάδων C
○ r είναι ο κάθε κανόνας στο σύνολο των κανόνων R
○ |c ∩ r| είναι το πλήθος των διορθώσεων της ομάδας c με κανόνα r
● Η μετρική Purity χρησιμοποιήθηκε για την επιλογή των παραμέτρων του
DBSCAN
14

15. Εξόρυξη προτύπων διορθώσεων (μέρος Γ)
● Ομαδοποίηση 11219 αλλαγών με DBSCAN
● Αρχική παραμετρική ανάλυση για ε με minPts = 10, στο διάστημα [0.05, 0.5]
με συνολικά 15 τιμές:
● Επιλογή του μέσου μεταξύ
του πράσινου και κίτρινου
σημείου: ε = 0.12
15

16. Εξόρυξη προτύπων διορθώσεων (μέρος Δ)
● Περιορισμός των σημείων θορύβου στο
35% (~4000 σημεία)
● Αρχική παραμετρική ανάλυση για minPts
με ε = 0.12, στο διάστημα [5, 50] με βήμα
2 στο σχήμα
● Τελική σχεδιαστική επιλογή:
○ Τιμή ε = 0.1
○ Τιμή minPts = 20
16

17. Αυτοματοποιημένη διόρθωση σφαλμάτων
● Εξαγωγή fix look-up table
● Με βάση τον κανόνα εξάγεται EditScript από το fix look-up table
● Εξάγεται η srcML αναπαράσταση του εσφαλμένου κώδικα
● Εφαρμόζονται διαδοχικά οι μετασχηματισμοί των actions στα πιθανά σημεία
εφαρμογής
● Παράγονται πιθανώς διορθωμένες αναπαραστάσεις srcML
● Μετατροπη σε κώδικα
● Έλεγχος υποψήφιων διορθώσεων με το PMD
17

18. Εξαγωγή fix look-up table
Δομή του fix look-up table:
Υπολογισμός Ελάχιστου
Κοινού Προγόνου (LCA):
18

19. Εύρεση πιθανών σημείων εφαρμογής (μέρος Α)
● Αρχικές μέθοδοι εύρεσης πιθανών σημείων εφαρμογής:
○ Υποθέτουμε ίδιο parse tree με το πρότυπο EditScript. Βρίσκονται ακολουθόντας στο
εσφαλμένο parse tree, το ίδιο μονοπάτι με αυτό του EditScript
○ Δεν κάνουμε καμία υπόθεση. Είναι όλα τα σημεία με το ίδιο CodeBlockType
● Λύση: Αναζήτηση των πιθανών σημείων εφαρμογής ενός action στην
“γειτονιά” που εφαρμόστηκαν τα προηγούμενα actions
19

20. Εύρεση πιθανών σημείων εφαρμογής (μέρος Β)
Παράδειγμα εύρεσης
σημείων εφαρμογής:
20

21. Διάρθρωση Παρουσίασης
➢ Εισαγωγή
➢ Ανάλυση Μεθοδολογίας
➢ Αξιολόγηση & Αποτελέσματα
➢ Συμπεράσματα & Μελλοντική Εργασία
21

22. Αποτελέσματα ομαδοποίησης
● Το μέσο μέγεθος των ομάδων είναι 115 διορθώσεις
● Θόρυβος τα 3943 / 11219 (~35%) σημεία
● Προέκυψαν συνολικά 62 ομάδες
● Η τιμή του Purity είναι 0.9307
● Ομαδοποιήθηκαν συνολικά 7276 διορθώσεις για 27 από τους 33 κανόνες
● Απο τους 27 κανόνες, 19 αποτελούν τον συχνότερο κανόνα κάποιας ομάδας
○ Άρα εξάγαμε πρότυπα διορθώσεων για 19 κανόνες
22

23. Αποτελέσματα ομαδοποίησης
Αντιπροσωπευτικό δείγμα 21
ομάδων:
● Πολύ υψηλό Purity στις
περισσότερες ομάδες
● Αρκετά ικανοποιητικό
μέγεθος των ομάδων
● Οι περισσότερες περιέχουν
αλλαγές από πολλά
commits
23

24. Αποτελέσματα διόρθωσης σφαλμάτων
Συγκεντρωτικά αποτελέσματα
BugFixer για παραδείγματα
από τους 19 κανόνες:
● Με “A” οι κανόνες με
αρκετά ή πολύ χρήσιμες
διορθώσεις
● Με “B” οι κανόνες με
σχετικά ή λίγο χρήσιμες
διορθώσεις
● Με “C” οι κανόνες με
καθόλου χρήσιμες
διορθώσεις
● Περίπου το ⅓ των
κανόνων είναι κατηγορίας
A, ⅓ κατηγορίας B και ⅓
κατηγορίας C 24

25. Αποτελέσματα διόρθωσης σφαλμάτων
Παραδείγματα διόρθωσης κατηγορίας “A”:
25

26. Αποτελέσματα διόρθωσης σφαλμάτων
Παραδείγματα διόρθωσης κατηγορίας “B”:
26

27. Διάρθρωση Παρουσίασης
➢ Εισαγωγή
➢ Ανάλυση Μεθοδολογίας
➢ Αξιολόγηση & Αποτελέσματα
➢ Συμπεράσματα & Μελλοντική Εργασία
27

28. Συμπεράσματα
● Συνολικά 62 ομάδες, υψηλού Purity, με αρκετές διορθώσεις
● Αυτοματοποιημένη επιδιόρθωση σφαλμάτων από τα πρότυπα των ομάδων
● Διορθώσεις με λίγη ή πολύ χρησιμότητα για περίπου ⅔ των κανόνων του
PMD
● Προβλήματα στην διόρθωση συγκεκριμένων κανόνων
28

29. Μελλοντική εργασία
● Εξαγωγή πρότυπου EditScript που έχει το πιο όμοιο parse tree με τον
εσφαλμένο κώδικα
● Ανάπτυξη συστήματος βελτίωσης του παραγόμενου κώδικα, από τις
εξαγόμενες αναπαραστάσεις srcML
● Η ενσωμάτωση του συστήματος αυτοματοποιημένης διόρθωσης σφαλμάτων
σε κάποιο αποθετήριο λογισμικού με την μορφή ενός bot
29

30. Ευχαριστίες
Θα ήθελα να ευχαριστήσω θερμά:
● Τον καθηγητή Ανδρέα Λ. Συμεωνίδη
● Τον μεταδιδακτορικό ερευνητή Θεμιστοκλή Διαμαντόπουλο
● Όλους όσους παρακολουθήσατε την παρουσίασή μου
30

31. Ευχαριστώ για την προσοχή σας
Ερωτήσεις;
31