Successfully reported this slideshow.
Your SlideShare is downloading. ×

Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικοπύ με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων

Ad

Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιο...

Ad

Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιο...

Ad

Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων
Ιο...

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Check these out next

1 of 44 Ad
1 of 44 Ad

Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικοπύ με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων

Download to read offline

Η σύγχρονη ευέλικτη (agile) προσέγγιση στην ανάπτυξη λογισµικού βασίζεται σε συστήµατα διαχείρισης εργασιών, υπεύθυνα για την οργάνωση της διαδικασίας προγραµµατισµού και τον καταµερισµό του ϕόρτου στα µέλη της οµάδας. Η ανάθεση εργασιών στο πιο κατάλληλο µέλος (triaging) είναι µια σηµαντική και απαιτητική διαδικασία και υλοποιείται από την αξιολόγηση των χαρακτηριστικών µιας αναφοράς εργασίας (τίτλος, περιγραφή, ετικέτες, σηµαντικότητα κτλ). Προηγούµενες προσπάθειες να αντιµετωπιστεί η περίπλοκη και χρονοβόρα διαδικασία αυτοµατοποίησης της ανάθεσης εργασιών περιορίζονται συνήθως στην ανάλυση αναφορών σφαλµάτων. Η παρούσα διπλωµατική εισάγει µια µέθοδο αυτοµατοποίησης της διαδικασίας ανάθεσης εργασιών, χωρίς περιοϱισµό στο είδος της εργασίας. Συγκεκριµένα, στοχεύει να διερευνήσει τη δυνατότητα πρόβλεψης του καταλληλότερου προγραµµατιστή για να εκτελέσει µια εργασία, χρησιµοποιώντας την αναφορά εργασίας. Αξιοποιήθηκαν δεδοµένα από διαφορετικά αποθετήρια, µε επίκεντρο τα δεδοµένα κειµένου (τίτλος, περιγραφή, ετικέτες). Η µεθοδολογία µας ϐασίζεται πάνω στην εφαρµογή τεχνικών επεξεργασίας κειµένου και ανάλυσης δεδοµένων. Σε αντίθεση µε την υπάρχουσα βιβλιογραφία που περιορίζεται σε απλές µεθόδους προεπεξεργασίας (tokenization, lemmatization κτλ.), εφαρµόστηκαν τεχνικές θεµατικής µοντελοποίησης (LDA), µε στόχο την εξαγωγή θεµάτων της κάθε αναφοράς και τον εµπλουτισµό των ετικετών. Τέλος, τα επεξεργασµένα δεδοµένα χωρίζονται σε σύνολα εκπαίδευσης και ελέγχου και εισάγονται σε βασικά µοντέλα ταξινόµησης (Naive Bayes και SVM). Η µεθοδολογία αποδείχθηκε αποτελεσµατική, αναθέτοντας εργασίες µε καλή ακρίβεια σε οµάδες προγραµµατιστών διαφορετικών µεγεθών και γνωστικών αντικειµένων, µε τις τεχνικές θεµατικές µοντελοποίησης να συνεισφέρουν σηµαντικά στη βελτίωση της απόδοσης.

Η σύγχρονη ευέλικτη (agile) προσέγγιση στην ανάπτυξη λογισµικού βασίζεται σε συστήµατα διαχείρισης εργασιών, υπεύθυνα για την οργάνωση της διαδικασίας προγραµµατισµού και τον καταµερισµό του ϕόρτου στα µέλη της οµάδας. Η ανάθεση εργασιών στο πιο κατάλληλο µέλος (triaging) είναι µια σηµαντική και απαιτητική διαδικασία και υλοποιείται από την αξιολόγηση των χαρακτηριστικών µιας αναφοράς εργασίας (τίτλος, περιγραφή, ετικέτες, σηµαντικότητα κτλ). Προηγούµενες προσπάθειες να αντιµετωπιστεί η περίπλοκη και χρονοβόρα διαδικασία αυτοµατοποίησης της ανάθεσης εργασιών περιορίζονται συνήθως στην ανάλυση αναφορών σφαλµάτων. Η παρούσα διπλωµατική εισάγει µια µέθοδο αυτοµατοποίησης της διαδικασίας ανάθεσης εργασιών, χωρίς περιοϱισµό στο είδος της εργασίας. Συγκεκριµένα, στοχεύει να διερευνήσει τη δυνατότητα πρόβλεψης του καταλληλότερου προγραµµατιστή για να εκτελέσει µια εργασία, χρησιµοποιώντας την αναφορά εργασίας. Αξιοποιήθηκαν δεδοµένα από διαφορετικά αποθετήρια, µε επίκεντρο τα δεδοµένα κειµένου (τίτλος, περιγραφή, ετικέτες). Η µεθοδολογία µας ϐασίζεται πάνω στην εφαρµογή τεχνικών επεξεργασίας κειµένου και ανάλυσης δεδοµένων. Σε αντίθεση µε την υπάρχουσα βιβλιογραφία που περιορίζεται σε απλές µεθόδους προεπεξεργασίας (tokenization, lemmatization κτλ.), εφαρµόστηκαν τεχνικές θεµατικής µοντελοποίησης (LDA), µε στόχο την εξαγωγή θεµάτων της κάθε αναφοράς και τον εµπλουτισµό των ετικετών. Τέλος, τα επεξεργασµένα δεδοµένα χωρίζονται σε σύνολα εκπαίδευσης και ελέγχου και εισάγονται σε βασικά µοντέλα ταξινόµησης (Naive Bayes και SVM). Η µεθοδολογία αποδείχθηκε αποτελεσµατική, αναθέτοντας εργασίες µε καλή ακρίβεια σε οµάδες προγραµµατιστών διαφορετικών µεγεθών και γνωστικών αντικειµένων, µε τις τεχνικές θεµατικές µοντελοποίησης να συνεισφέρουν σηµαντικά στη βελτίωση της απόδοσης.

More Related Content

More from ISSEL

Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικοπύ με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων

  1. 1. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Σαουλίδης Νικόλαος ΑΕΜ:9100 Επιβλέπων Καθηγητής Ανδρέας Συμεωνίδης Συνεπιβλέπων Μεταδιδακτορικός Ερευνητής Θεμιστοκλής Διαμαντόπουλος αριστοτελειοπανεπιστημιο θεσσαλονικησ τμημα ηλεκτρολογων μηχανικων και μηχανικων υπολογιστων Ιούνιος 2022 Θεσσαλονίκη
  2. 2. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 2 ΠΕΡΙΕΧΟΜΕΝΑ Εισαγωγή Σύνολο Δεδομένων Αποτελέσματα Μεθοδολογία Μελλοντική Εργασία Συμπεράσματα 1 2 3 4 6 5
  3. 3. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 3 Εισαγωγή 1
  4. 4. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΕΙΣΑΓΩΓΗ > AGILE ➟ Ανάγκη για νέα προϊόντα λογισμικού ➟ Στελέχωση ομάδων προγραμματιστών και μηχανικών λογισμικού ➟ Οι παραδοσιακές μορφές ανάπτυξης ανεπαρκείς 4 AGILE Ομάδες 5-10 ατόμων Sprint 2-4 εβδομάδες Scrum Master Ευέλικτη προσέγγιση AGILE
  5. 5. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΕΙΣΑΓΩΓΗ > ΕΙΔΗ ΕΡΓΑΣΙΩΝ 5 Bug Σφάλμα New Feature Νέο Χαρακτηριστικό Improvement Βελτίωση TASK ΕΡΓΑΣΙΑ
  6. 6. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΕΙΣΑΓΩΓΗ > ΣΥΣΤΗΜΑΤΑ ΔΙΑΧΕΙΡΙΣΗΣ ΕΡΓΑΣΙΩΝ ➟ Υπεύθυνο για την αποθήκευση και διαχείριση Εργασιών ➟ Βέλτιστη διαχείριση φόρτου εργασίας ➟ Κέντρο η Αναφορά Εργασίας (ή Σφάλματος) ➟ Τα πιο ευρέως διαδεδομένα: Bugzilla, Github Issues και Jira 6
  7. 7. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΕΙΣΑΓΩΓΗ > TRIAGING 7 B A C Task 1 Task 2 Task 3 Task 1 Task 2 Task 3 ΣΤΟΧΟΣ : Η ΑΥΤΟΜΑΤΟΠΟΙΗΣΗ ΤΟΥ TRIAGING ➟ Ανάλυση Αναφορών Εργασιών από αποθετήρια έργων λογισμικού ➟ Πρόβλεψη του καταλληλότερου assignee για κάθε νέα, άγνωστη Αναφορά ΚΥΡΙΑ ΣΗΜΕΙΑ ΤΗΣ ΕΡΓΑΣΙΑΣ: ➟ Επεξεργασία Κειμένου ➟ Εφαρμογή Θεματικής Μοντελοποίησης ➟ Ανάλυση όλων των ειδών Εργασιών
  8. 8. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 8 Σύνολο Δεδομένων 2
  9. 9. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΣΥΝΟΛΟ ΔΕΔΟΜΕΝΩΝ > Η ΒΑΣΗ 9 ~1 ΕΚΑΤΟΜΜΥΡΙΟ ΑΝΑΦΟΡΕΣ ΕΡΓΑΣΙΩΝ 656 ΑΠΟΘΕΤΗΡΙΑ ΑΠΟ ΕΡΓΑ ΑΝΟΙΚΤΟΥ ΚΩΔΙΚΑ Bug New Feature Improvement TASK ΕΡΓΑΣΙΑ
  10. 10. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΣΥΝΟΛΟ ΔΕΔΟΜΕΝΩΝ > H ΑΝΑΦΟΡΑ ΕΡΓΑΣΙΑΣ ΣΤΟ JIRA 10 Title Labels Description Assignee Type Priority Status
  11. 11. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΣΥΝΟΛΟ ΔΕΔΟΜΕΝΩΝ > ΣΥΝΟΨΗ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ 11 ● id (int) ● title (str) ● description (str) ● project (str) ● priority_id (int) ● issuetype_id (int) ● labels ([str]) ● assignee_id (str)
  12. 12. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 12 Μεθοδολογία 3
  13. 13. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΜΕΘΟΔΟΛΟΓΙΑ > ΦΙΛΤΡΑΡΙΣΜΑ ΔΕΔΟΜΕΝΩΝ 13 1 2 κατά τη λήψη από τη βάση μετά τη λήψη των δεδομένων λήψη μόνο των αναφορών που περιέχουν τα χαρακτηριστικά που χρειαζόμαστε (assignee, description, labels, κτλ) ευέλικτο φιλτράρισμα για δοκιμές στην απόδοση και εφαρμογή φίλτρων που είναι δύσκολο να εφαρμοστούν στο query από τη βάση απευθείας
  14. 14. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΜΕΘΟΔΟΛΟΓΙΑ > ΠΡΟΕΠΕΞΕΡΓΑΣΙΑ ΚΕΙΜΕΝΟΥ 14 title description Tokenization Lemmatization Special Characters Removal Stop Words Removal ΠΡΟΕΠΕΞΕΡΓΑΣΙΑ ΚΕΙΜΕΝΟΥ
  15. 15. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΜΕΘΟΔΟΛΟΓΙΑ > ΜΟΝΤΕΛΟ ΔΙΑΝΥΣΜΑΤΙΚΟΥ ΧΩΡΟΥ 15 TF η συχνότητα του όρου στο έγγραφο N ο συνολικός αριθμός των εγγράφων DFi ο αριθμός των εγγράφων που εμφανίζεται η i-οστή λέξη ανάγκη για διανυσματική αναπαράσταση των δεδομένων κειμένου σημαντικότητα του όρου στο corpus συχνότητα του όρου στο έγγραφο
  16. 16. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΜΕΘΟΔΟΛΟΓΙΑ > ΘΕΜΑΤΙΚΗ ΜΟΝΤΕΛΟΠΟΙΗΣΗ (1) 16 ➟ Ανάγκη για εκμετάλλευση της σημασιολογικής πληροφορίας από το σύνολο των αναφορών ➟ Εφαρμογή θεματικής μοντελοποίησης για την εύρεση θεμάτων από τα δεδομένα τίτλου και περιγραφής ➟ Χρήση του πιο διαδεδομένου αλγορίθμου: LDA ➟ Υλοποίηση του αλγορίθμου με τη βιβλιοθήκη gensim ➟ Είσοδος ο αριθμός των θεμάτων K ➟ Έξοδος η κατανομή των θεμάτων σε ένα έγγραφο οι σημαντικότεροι όροι του κάθε θέματος
  17. 17. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΜΕΘΟΔΟΛΟΓΙΑ > ΘΕΜΑΤΙΚΗ ΜΟΝΤΕΛΟΠΟΙΗΣΗ (2) 17 1 2 3
  18. 18. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΜΕΘΟΔΟΛΟΓΙΑ > ΘΕΜΑΤΙΚΗ ΜΟΝΤΕΛΟΠΟΙΗΣΗ (3) 18 Το αποτέλεσμα της θεματικής μοντελοποίησης για την αναφορά 12964955 στο project AMBARI
  19. 19. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΜΕΘΟΔΟΛΟΓΙΑ > ΘΕΜΑΤΙΚΗ ΜΟΝΤΕΛΟΠΟΙΗΣΗ (4) 19 Οι κατανομές των θεμάτων στις 9 πρώτες αναφορές του project AMBARI, στρογγυλοποίηση στο δεύτερο δεκαδικό για λόγους παρουσίασης
  20. 20. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΜΕΘΟΔΟΛΟΓΙΑ > ΣΥΝΟΛΑ ΕΚΠΑΙΔΕΥΣΗΣ & ΕΛΕΓΧΟΥ 20 1 2 3
  21. 21. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΜΕΘΟΔΟΛΟΓΙΑ > ΜΟΝΤΕΛΑ ΤΑΞΙΝΟΜΗΣΗΣ 21 1 2 3 4
  22. 22. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΜΕΘΟΔΟΛΟΓΙΑ > ΣΥΝΟΨΗ 22 1 2 3 4
  23. 23. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 23 Αποτελέσματα 4
  24. 24. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΑΠΟΤΕΛΕΣΜΑΤΑ > ΤΑ ΠΕΙΡΑΜΑΤΑ 24 5 πειράματα 1 2 3 4 5 κύρια πειράματα για μελέτη της απόδοσης των επιμέρους και συνδυαστικών μοντέλων | για σταθερό αριθμό assignees σε πολλά projects και για μεταβλητό αριθμό assignees στο ίδιο project δευτερεύοντα πειράματα για μελέτη της επίδρασης παραγόντων που αφορούν τα χαρακτηριστικά εισόδου και τους αλγορίθμους ταξινόμησης | ο αριθμός θεμάτων, ο εμπλουτισμός των ετικετών και η επιλογή του ταξινομητή
  25. 25. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΑΠΟΤΕΛΕΣΜΑΤΑ > ΜΕΤΡΙΚΕΣ ΑΞΙΟΛΟΓΗΣΗΣ 25 Accuracy F1-Score
  26. 26. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΑΠΟΤΕΛΕΣΜΑΤΑ > ΠΕΙΡΑΜΑ 1 (1) 26 Ερευνά τη δυνατότητα πρόβλεψης του assignee μιας αναφοράς με δεδομένη την ύπαρξη συγκεκριμένου αριθμού assignees (εν προκειμένω, πέντε), σε πολλά διαφορετικά JIRA αποθετήρια* ➟ Αποδοτικότητα των επιμέρους μοντέλων και τις δυνατότητες πρόβλεψης με έναν ρεαλιστικό αριθμό assignees (5) που συναντάμε σε μια agile ομάδα προγραμματιστών ➟ Συνδυασμός των επιμέρους μοντέλων με στόχο τη βελτίωση της ακρίβειας πρόβλεψης ➟ Σύγκριση της απόδοσης των μοντέλων σε πολλά projects προγραμματισμού, με διαφορετικό γνωστικό αντικείμενο ΣΤΟΧΟΙ *επιλέχθηκαν 12 projects τα οποία είχαν τουλάχιστον 80 αναφορές για τουλάχιστον 5 προγραμματιστές
  27. 27. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΑΠΟΤΕΛΕΣΜΑΤΑ > ΠΕΙΡΑΜΑ 1 (2) 27 ΠΑΡΑΤΗΡΗΣΕΙΣ ➟ Βελτίωση Accuracy και F1-Score ανάμεσα στο Title και All σε όλα τα projects (μέχρι 57.89% στο OAK) ➟ Βελτίωση Accuracy και F1-Score ανάμεσα στο Title+Desc και All σε 11/12 projects (μέχρι 45.24% στο MESOS) ➟ Η συνεισφορά των εμπλουτισμένων ετικετών από μόνη της βελτιώνει την απόδοση σε 11/12 projects (περισσότερα στο τέταρτο πείραμα) Η μετρική Accuracy για τα απλά και συνδυαστικά μοντέλα σε 12 projects
  28. 28. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΑΠΟΤΕΛΕΣΜΑΤΑ > ΠΕΙΡΑΜΑ 2 (1) 28 Ερευνά τη δυνατότητα πρόβλεψης του assignee μιας αναφοράς με μεταβαλλόμενο αριθμό assignees, χρησιμοποιώντας δεδομένα από το ίδιο αποθετήριο Αναφορών (project FLINK*) ➟ Αποδοτικότητα των επιμέρους μοντέλων και τις δυνατότητες πρόβλεψης σε ένα αρκετό μεγάλο εύρος αριθμών από assignees (4, 6, 8, 10, 15, 20)** ➟ Συνδυασμός των επιμέρους μοντέλων με στόχο τη βελτίωση της ακρίβειας πρόβλεψης ΣΤΟΧΟΙ *επιλέχθηκε το project FLINK, ως το μοναδικό που περιείχε τουλάχιστον 80 αναφορές για τουλάχιστον 20 assignees **το εύρος από 4 μέχρι 10 assignees επιλέχθηκε καθώς περιέχει μεγέθη ομάδων τυπικά στην agile προσέγγιση. Ωστόσο, πραγματοποιήσαμε και πειράματα με 15 και 20 assignees για να ερευνήσουμε την απόδοση των μοντέλων και σε μεγαλύτερα σύνολα.
  29. 29. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΑΠΟΤΕΛΕΣΜΑΤΑ > ΠΕΙΡΑΜΑ 2 (2) 29 ΠΑΡΑΤΗΡΗΣΕΙΣ ➟ Βελτίωση Accuracy και F1-Score ανάμεσα στο Title και All σε όλα τα projects (μέχρι 54.2%) ➟ Μικρότερη αλλά υπαρκτή βελτίωση Accuracy και F1- Score ανάμεσα στο Title+Desc και All σε όλα τα projects (μέχρι 10.4%) ➟ Το συνολικό μοντέλο δεν εμφάνισε ποτέ ακρίβεια μικρότερη του 43% σε όλο το εύρος του αριθμού assignees που δοκιμάστηκε Η μετρική Accuracy για τα απλά και συνδυαστικά μοντέλα σε στο FLINK project για μεταβαλλόμενο αριθμό assignees
  30. 30. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΑΠΟΤΕΛΕΣΜΑΤΑ > ΠΕΙΡΑΜΑ 3 30 ΠΑΡΑΤΗΡΗΣΕΙΣ ➟ η βέλτιστη επιλογή του αριθμού θεμάτων μπορεί να αυξήσει σημαντικά την αποδοτικότητα του μοντέλου topics ➟ ο βέλτιστος αριθμός θεμάτων είναι διαφορετικός σε διαφορετικά projects Ερευνά την επίδραση του αριθμού θεμάτων (είσοδος στον LDA) στην ακρίβεια πρόβλεψης του μοντέλου της κατανομής θεμάτων ➟ Ορίστηκε μια λίστα με αριθμούς θεμάτων Α = [4, 6, 8, …] και δημιουργήθηκαν length(A) μοντέλα LDA ➟ Για κάθε μοντέλο (που αντιστοιχεί σε έναν αριθμό θεμάτων) δημιουργήθηκαν αντίστοιχα σύνολα εκπαίδευσης και ελέγχου για την εκπαίδευση και αξιολόγηση των ταξινομητών SVM Διαγράμματα των μετρικών Accuracy και F1-score για τα αποτελέσματα του απλού ταξινομητή topics, για μεταβαλλόμενο αριθμό θεμάτων
  31. 31. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΑΠΟΤΕΛΕΣΜΑΤΑ > ΠΕΙΡΑΜΑ 4 31 ΠΑΡΑΤΗΡΗΣΕΙΣ ➟ ο εμπλουτισμός των ετικετών βελτιώνει την απόδοση του μοντέλου ετικετών σε 11/12 projects, με την αύξηση να φτάνει ακόμα και το 256% στο F1-Score @ARROW project Ερευνά την επίδραση του εμπλουτισμού των ετικετών με τους κορυφαίους όρους, στην επίδοση του μοντέλου ετικετών Σύγκριση της μετρικής F1-score για τα μοντέλα απλών και εμπλουτισμένων (με τους κορυφαίους όρους) ετικετών
  32. 32. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΑΠΟΤΕΛΕΣΜΑΤΑ > ΠΕΙΡΑΜΑ 5 32 ΠΑΡΑΤΗΡΗΣΕΙΣ ➟ παρατηρούμε ότι στο 83% των περιπτώσεων, οι προβλέψεις του SVM παρουσιάζουν βελτιωμένες τιμές της μετρικής Accuracy (και F1- Score), σε σχέση με τις προβλέψεις του Naive Bayes, στα συνολικά μοντέλα Ερευνά την επίδραση του είδους ταξινομητή στην επίδοση των συνολικών μοντέλων Σύγκριση της μετρικής Accuracy για τα συνολικά μοντέλα, χρησιμοποιώντας τους ταξινομητές SVM και NB
  33. 33. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 33 Συμπεράσματα 5
  34. 34. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΣΥΜΠΕΡΑΣΜΑΤΑ 34 ➟ Η ακρίβεια φτάνει το 71% στο DATALAB project, σε 5 assignees ➟ Για την εκπαίδευση χρησιμοποιούνται 80 αναφορές / assignee, αριθμός ρεαλιστικός για μια agile ομάδα Τα αποτελέσματα του πρώτου πειράματος αποδεικνύουν τις δυνατότητες πρόβλεψης του καταλληλότερου assignee, για αναφορές εργασιών οποιουδήποτε τύπου, σε πολλαπλά projects ➟ Σε οποιαδήποτε δοκιμή στο project FLINK, για 4, 5, 6, 8, 10, 15 και 20 assignees, η ακρίβεια δεν έπεσε ποτέ κάτω από 43% Τα αποτελέσματα του δεύτερου πειράματος αποδεικνύουν την αποτελεσματικότητα του μοντέλου σε ένα μεγάλο εύρος αριθμού assignees Οι τεχνικές επεξεργασίας κειμένου και θεματικής μοντελοποίησης που εφαρμόστηκαν συνεισφέρουν σημαντικά στην βελτίωση της απόδοσης των μοντέλων πρόβλεψης ➟ Η διαδικασία εμπλουτισμού των ετικετών με τους κορυφαίους όρους (προκύπτουν από τον LDA) αυξάνει κατακόρυφα την επίδοση του μοντέλου ετικετών και του συνολικού μοντέλου ➟ Η επιλογή του βέλτιστου αριθμού θεμάτων (αριθμός διαφορετικός ανά project) μπορεί να βελτιώσει σημαντικά την απόδοση του μοντέλου κατανομών θεμάτων
  35. 35. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 35 Μελλοντική Εργασία 6
  36. 36. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΜΕΛΛΟΝΤΙΚΗ ΕΡΓΑΣΙΑ 36 Βελτίωση στον τρόπο επιλογής των βαρών για τον συμψηφισμό των επιμέρους μοντέλων Βελτιστοποίηση των αλγορίθμων ταξινόμησης και δοκιμή περισσότερων Δοκιμή διαφορετικών τεχνικών διανυσματοποίησης για δεδομένα κειμένου Εξερεύνηση διαφορετικών δεδομένων (από μικρότερες, εμπορικές agile ομάδες) Συναισθηματική ανάλυση στα δεδομένα κειμένου Χρήση των comments της αναφοράς Κατασκευή συνολικού μοντέλου scrum, με συνυπολογισμό priority / severity prediction, fix-time prediction και τη διαθεσιμότητα (εργατοώρες) των προγραμματιστών
  37. 37. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 Σαουλίδης Νικόλαος ΑΕΜ:9100 Ιούνιος 2022 Θεσσαλονίκη ευχαριστώ ερωτήσεις;
  38. 38. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΠΑΡΑΡΤΗΜΑ Hidden Slides
  39. 39. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΠΑΡΑΡΤΗΜΑ > ΠΕΙΡΑΜΑ 1 39 Η τιμές των μετρικών Accuracy (αριστερά) και F1-Score (δεξιά) για τα απλά και συνδυαστικά μοντέλα σε 12 projects
  40. 40. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΠΑΡΑΡΤΗΜΑ > ΠΕΙΡΑΜΑ 2 40 Η τιμές των μετρικών Accuracy (αριστερά) και F1-Score (δεξιά) για τα απλά και συνδυαστικά μοντέλα σε 12 projects
  41. 41. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΠΑΡΑΡΤΗΜΑ > ΠΕΙΡΑΜΑ 4 41 Σύγκριση των μετρικών Accuracy και F1-Score για τις απλές και εμπλουτισμένες ετικέτες, πείραμα με 5 assignees σε 12 projects
  42. 42. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΠΑΡΑΡΤΗΜΑ > ΠΕΙΡΑΜΑ 5 42 Σύγκριση των μετρικών Accuracy και F1-Score, ανάμεσα σε SVM και NB για τα συνολικά μοντέλα, πείραμα με 5 assignees σε 12 projects
  43. 43. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΠΑΡΑΡΤΗΜΑ > ΠΡΟΕΠΕΞΕΡΓΑΣΙΑ ΚΕΙΜΕΝΟΥ 43 ́Ενα παράδειγμα προεπεξεργασίας του κειμένου της περιγραφής της αναφοράς 12964955, στο project AMBARI
  44. 44. Αυτοματοποίηση Ανάθεσης Εργασιών Λογισμικού με εφαρμογή τεχνικών Θεματικής Μοντελοποίησης σε Δεδομένα Διαχείρισης Έργων Ιούλιος 2022 ΠΑΡΑΡΤΗΜΑ > ΟΠΤΙΚΟΠΟΙΗΣΗ LDA 44 Οπτικοποίηση του αποτελέσματος της θεματικής μοντελοποίησης, με τη βοήθεια του πακέτου pyLDAvis, όπου φαίνεται να δούμε την δια-θεματική απόσταση ανάμεσα στους δίσκους, καθένας από τους οποίους αντιστοιχεί σε ένα θέμα

×