1. Επανοργάνωση πηγαίου κώδικα από
γράφους εξαρτήσεων οντοτήτων με βάση
παραδείγματα
Τμήμα Ηλεκτρολόγων Μηχανικών & ΜηχανικώνΥπολογιστών
Καλαντζής Γεώργιος 8818
Επιβλέποντες :
Αν. ΚαθηγητήςΑνδρέας Λ. Συμεωνίδης
Υπ. Διδάκωρ Εμμανουήλ Κρασανάκης
1

2. Περιεχόμενα
1. Εισαγωγή
2. Μεθοδολογία
3. Πειράματα
4. Συμπεράσματα
2

3. Κίνητρο
• Μέγεθος των σύγχρονων λογισμικών
• Υψηλή πολυπλοκότητα
• Διατήρηση ποιότητας
• Κόστος συντήρησης
Αυτόματη επανοργάνωση
3

4. Ορισμός Προβλήματος
• Χαρακτηρισμός οντοτήτων βάσει συσχετίσεων
(οντότητες: μέθοδοι, συσχετίσεις: calls, imports )
• Κατασκευή γράφου εξαρτήσεων οντοτήτων
4

5. Ορισμός Προβλήματος
• Οργάνωση οντοτήτων σε κοινότητες
(κλάσεις, αρχεία, φάκελοι)
• Κλασσικό πρόβλημα ανίχνευσης κοινοτήτων στην
θεωρία γράφων
• Συνδυαστική βελτιστοποίηση
(γενετική, άπληστη κτλ.)
5

6. Σχετική Έρευνα
Πληθώρα αλγορίθμων ομαδοποίησης.
Πληθώρα αλγορίθμων γενετικής βελτιστοποίησης (Υβριδική,
NSGA-III)
Μη εκμετάλλευση υπάρχουσας (μη-βέλτιστης) κοινοτικής
οργάνωσης
Μη-επιβλεπόμενοι αλγόριθμοι
6

7. Περιεχόμενα
1. Εισαγωγή
2. Μεθοδολογία
3. Πειράματα
4. Συμπεράσματα
7

8. Υπόθεση
Αξιοποίηση υπάρχουσας μη-βέλτιστη κοινοτικής οργάνωσης και των
συσχετισέων του γράφου
Η υπάρχουσα κοινοτική οργάνωση περιέχει ψήγματα ιδανικής
οργάνωσης
Μη-βέλτιστη + αλγόριθμος ανίχνευσης κοινοτήτων ≈ ιδανική
Ημι-επιβλεπόμενη μέθοδος
8

9. Προτεινόμενη Μεθοδολογία
• Φίλτρα γράφων
(Personalized Page Rank, AbsorbingWalk, Heat Kernel)
• Ranking των κόμβων βάσει των προεπιλεγμένων ομάδων
• Ανάθεση κόμβων στις ομάδες με το μέγιστο score
9
𝑝𝑒𝑟𝑠𝑜𝑛𝑎𝑙𝑖𝑧𝑎𝑡𝑖𝑜𝑛 = [1,0,0,0,0,1]

10. Προτεινόμενη Μεθοδολογία
• Εξομάλυνση ομαδοποίησης
• Γείτονες υψηλής συσχέτισης στην ίδια ομάδα
10

11. Περιεχόμενα
1. Εισαγωγή
2. Μεθοδολογία
3. Πειράματα
4. Συμπεράσματα
11

12. Διαδικασία αξιολόγησης
Πραγματικό σεναρίο με γνωστή ιδανική οργάνωση (ground truth)
Μη-ιδανική οργάνωση με συνθετική διαδικασία διαστρέβλωσης
Είσοδος διαστρεβλωμένης οργάνωσης σε αλγόριθμους
(οι μη-επιβλεπόμενοι αλγόριθμοι δεν την εκμεταλλεύονται)
Σύγκριση αποτελέσματος με ιδανική οργάνωση
(MoJo, Precision, Recall, F-score)
12

13. Διαδικασία διαστρέβλωσης
• Τυχαία ανταλλαγή στοιχείων ομάδων
• Επιλογή αριθμού τυχαίων ανταλλαγών
Υπενθύμιση! Είσοδος της διαστρεβλωμένης ομαδοποίησης σε
αλγόριθμους ανίχνευσης κοινοτήτων για εκτίμηση ιδανικής
οργάνωσης.
13

14. Δεδομένα
• Δέκα έργα λογισμικού
• Υψηλής ποιότητας (τουλάχιστον μιας δεκαετίας)
• Γράφος κλήσης συναρτήσεων
• Οργάνωση σε κλάσεις = ground truth
14

15. Συγκρινόμενοι Αλγόριθμοι
None Διαστρεβλωμένη οργάνωση
PR Τυχαίος περίπατος Personalization Page Rank
ARW Τυχαίος περίπατος Absorbing Walk
HK Τυχαίος περίπατος Heat Kernel
Gmod Άπληστη ϐελτιστοποίηση του Modularity
Gen State-of-the-art υβριδικός γενετικός
αλγορίθμος
15

16. Πειραματικά Αποτελέσματα
• Μέση τιμή μετρικών για κάθε αλγόριθμο
(διαστρέβλωση 0-100%)
• Page Rank συνήθως καλύτερα
αποτελέσματα
(8/10 καλύτερο MoJo, 9/10 καλύτερη F-score)
• Γενετικός αλγόριθμος υψηλές τιμές στο
precision χαμηλές αλλού
(μεγάλος αριθμός ομάδων)
16

17. Παράδειγμα για έργο log4j
17

18. Σύγκριση Χρόνου Εκτέλεσης
18
• Αδυναμία σύγκλισης γενετικού αλγορίθμου
• Εφαρμογή σε μεγάλα συστήματα?

19. Περιεχόμενα
1. Εισαγωγή
2. Μεθοδολογία
3. Πειράματα
4. Συμπεράσματα
19

20. Συμπεράσματα
• Ημι-επιβλεπόμενοι αλγόριθμοι > γενετικός αλγόριθμος
• Personalized Page Rank προτεινόμενος αλγόριθμος
• Scalabable
20

21. Μελλοντική Εργασία
• Διερεύνηση κι άλλων μεθόδων στο ημι-επιβλεπόμενο πλαίσιο
(Submodular optimization,GNNs)
• Συσχέτιση σημασιολογίας οντοτήτων
(πχ. ονόματα)
• Εργαλείο εκτέλεσης εντολών
21

22. Σας ευχαριστώ πολύ για τον χρόνο σας !
Ερωτήσεις?
22

23. Παράρτημα μετρικών ομοιότητας
• Χρήση μετρικών ομοιότητας ομαδοποιήσεων για σύγκριση με
ground truth.
• Αξιόπιστη μετρική MoJo (Move and Join Operations).
• Επέκταση μετρικών Recall, Precision για σύγκριση πολυσυνόλων
διαφορετικού μεγέθους.
• Μέσος όρος των μέγιστων αντιστοιχίσεων.
• 𝑅𝑒𝑐𝑎𝑙𝑙′ =
1
𝑀 𝑖 max
𝑗
𝑅𝑒𝑐𝑎𝑙𝑙(𝐶𝑖, 𝐶𝑗)
• 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛′
=
1
𝑁 𝑗 max
𝑖
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛(𝐶𝑗, 𝐶𝑖)
• 𝐹1
′
=
2∗𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛′∗𝑅𝑒𝑐𝑎𝑙𝑙′
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛′+𝑅𝑒𝑐𝑎𝑙𝑙′
23