The need to produce new software is constantly increasing, both because of the digitisation of processes in industry, as well as the growing demands of consumers for new digital experiences. However, the software development process remains a difficult and complex endeavour, with many projects being challenged or failing. To address the problems of the software development process, companies are directed towards contemporary software engineering practices, such as Agile approach. For these paradigms, it is necessary to hire the right programmers for the positions, who have not only the necessary technical knowledge, but also the communication skills. However, assessment in the later axis is extremely difficult. Open source repositories can provide a solution to this problem, as they provide information on technical skills and programming languages used by programmers. Moreover, via the interaction of programmers through comments on Issues and Pull Requests, information about the their communication skills can be extracted. In this context, this thesis proposes a system for extracting and analysing developers’ contributions from the GitHub platform, to generate useful metrics, and an unsupervised learning model to cluster developers into groups according to their skills.

1. Ανάλυση και μοντελοποίηση προφίλ
προγραμματιστών μέσω τεχνικών εξόρυξης
γνώσης από αποθετήρια ανοιχτού λογισμικού
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ
ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ
ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ
ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ
ΕΡΓΑΣΤΗΡΙΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΥΠΟΛΟΓΙΣΜΩΝ
Στέργιος Νάνος
ΑΕΜ: 8701
Επιβλέποντες:
Ανδρέας Λ. Συμεωνίδης
Μιχάλης Παπαμιχαήλ

2. Δυσκολίες Έργων Λογισμικού
Ιούλιος 2023 ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ 2
Αλλαγή απαιτήσεων
λογισμικού
Εκτόξευση κλίμακας και
πολυπλοκότητας έργου
Μη αποτελεσματική
επικοινωνία
Υπέρβαση αρχικού
οικονομικού
προϋπολογισμού
1.Μη ολοκλήρωση

3. Μέθοδοι Παραγωγής Λογισμικού
Ιούλιος 2023 ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ 3
WATERFALL ITERATIVE AGILE DEVOPS

4. Ρόλοι-Αρμοδιότητες Προγραμματιστών
• Developer
• Operator
• DevOps
• Project Manager / Product Owner
• Reviewer
• Quality Assurance
Ιούλιος 2023 ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ 4

5. GitHub to the Rescue
• Πραγματικές τεχνικές δεξιότητες των μηχανικών
• Γλώσσες προγραμματισμού
• Εργαλεία
• Δεξιότητες επικοινωνίας
Ιούλιος 2023 ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ 5

6. Σκοπός Διπλωματικής
 Αξιοποίηση των συνεισφορών των
προγραμματιστών σε αποθετήρια
ανοιχτού κώδικα
 Δημιουργία συστήματος άντλησης
συνεισφορών και παραγωγής μετρικών
 Κατασκευή μοντέλου
κατηγοριοποίησης προγραμματιστών
ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ
Ιούλιος 2023 6

7. Γνώσεις που αποκτήθηκαν
• Κατασκευή διακομιστή
• Γνώσεις προγραμματισμού σε
JavaScript/TypeScript
• Χρήση web εργαλείων και framework
(Node.js, Express) και API (REST,
GraphQL)
• Χρήση ΣΔΒΔ MongoDB
• Αλγόριθμοι και μοντέλα ομαδοποίησης
• Τεχνικές προεπεξεργασίας δεδομένων
• Γνώσεις προγραμματισμού σε Python
ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ
Ιούλιος 2023 7

8. Αρχιτεκτονική του
Συστήματος
ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ
Ιούλιος 2023 8

9. Δεδομένα
Στατιστικά dataset
Μετρική Τιμή
Αριθμός Χρηστών 10.213
Αριθμός Αποθετηρίων 147.176
Αριθμός Commit 2.115.880
Αριθμός Issue 113.520
Αριθμός Pull Request 258.517
Αριθμός Pull Request
Review
317.449
Αριθμός Σχολίων σε
Commit
6.898
Αριθμός Σχολίων σε Issue 1.089.506
Συνολικό Μέγεθος
Δεδομένων
5.38GB (1.56GB
Συμπιεσμένα)
Μετρικές που χρησιμοποιήθηκαν για την
εκπαίδευση του μοντέλου
Όνομα Περιγραφή
Commits.daily_count__sum Συνολικός αριθμός commit
Issues.daily_count__sum Συνολικός αριθμός issue
PullRequests.daily_count__sum Συνολικός αριθμός pull request
PullRequestReviews.daily_count
__sum
Συνολικός αριθμός pull request
review
UserIssueComments.
PullRequests_daily_count__sum
Συνολικός αριθμός σχολίων σε
pull request
UserIssueComments.
Issues_daily_count__sum
Συνολικός αριθμός σχολίων σε
issue
Commits.code_ratio Ποσοστό αρχείων σχετικά με
συγγραφή κώδικα
Commits.doc_ratio Ποσοστό αρχείων σχετικά με
τεκμηρίωση
Commits.CICD_ratio Ποσοστό αρχείων σχετικά με
εργαλεία CI/CD
ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ
Ιούλιος 2023 9

10. Προεπεξεργασία
Αρχικός αριθμός δεδομένων: 180.028
Τελικός αριθμός δεδομένων: 11.488
ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ
Ιούλιος 2023 10
Οργάνωση δεδομένων ανά
χρήστη και αποθετήριο
Αφαίρεση bot λογαριασμών
Επιλογή αριθμού ελάχιστων
συνεισφορών
Αφαίρεση εξωκείμενων
τιμών
Κανονικοποίηση στο εύρος
[0, 1]

11. Μετρικές εσωτερικής αξιολόγησης
• Silhouette score,
• Davies-Bouldin index,
• Calinski-Harabasz index,
• DBCV
Ομαδοποίηση
Αλγόριθμοι
• KMeans,
• DBSCAN,
• Agglomerative
Ιούλιος 2023 ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ 11

12. Agglomerative Model
Ιούλιος 2023 ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ 12

13. Agglomerative Model
ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ
Ιούλιος 2023 13

14. Agglomerative Model
ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ
Ιούλιος 2023 14

15. Ρόλοι Προγραμματιστών
Agile Developer
•Κύριο μέλημα την
συγγραφή κώδικα
•Μικρό μέγεθος
commit
•Αυξημένη χρήση
εργαλείων CI/CD
Developer
(commits)
•Κύρια μέριμνα
είναι η εγγραφή
πηγαίου κώδικα
για την ανάπτυξη
του προϊόντος
•Συμμετοχή σε
προσωπικά έργα
•Μη-προσωπικά
έργα στα οποία
είναι
συνδημιουργοί
Project
Management Team
•Συνεισφορά κατά
κύριο λόγο με
σχόλια σε Pull
Requests και Issues
•Παλαιότερος ρόλος
των μελών μπορεί
να ήταν η
συγγραφή κώδικα
•Πλέον έχει
μετατοπιστεί σε
έναν περισσότερο
διοικητικό ρόλο
DevOps
•Συμμετοχή σε
ολόκληρη τη
διαδικασία
ανάπτυξης του
έργου λογισμικού
Developer (pull
Requests)
•Τα μέλη της
ομάδας αυτής
ενδιαφέρονται
κατά κύριο λόγο
για την συγγραφή
πηγαίου κώδικα
•Δεν συμμετέχουν
σε άλλες
δραστηριότητες,
όπως το άνοιγμα
issue
•Συνεισφορές σε
αποθετήρια που
δεν είναι δικά τους
•Είναι συχνά core
members των
αποθετηρίων
Operations
(documentation)
•Συνεισφορές σε
commit τα οποία
είναι σχετικά με
την τεκμηρίωση
πηγαίου κώδικα ή
την τεκμηρίωση
του έργου
λογισμικού.
•Συχνά, τα
αποθετήρια που
συμμετέχουν είναι
εξειδικευμένα για
την συγγραφή
τεκμηρίωσης
Reviewer
•Πραγματοποίηση
Pull Request
Reviews
•Αποθετήρια στα
οποία, είναι
συνιδρυτές,
•Αποθετήρια στα
οποία κατέχουν
εξέχουσα θέση
Ιούλιος 2023 ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ 15

16. Μοντέλο στην Παραγωγή
• Αδυναμία χρήσης Agglomerative
μοντέλου
• Εκπαίδευση μοντέλου ταξινόμησης
RandomForest
• Ακρίβεια (accuracy) 93,8%
ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ
Ιούλιος 2023 16

17. Ανακεφαλαίωση
 Αξιοποίηση συνεισφορών για μοντελοποίηση προφίλ προγραμματιστών
 Κατασκευή ενιαίου συστήματος συλλογής δεδομένων και παραγωγής μετρικών
 Κατασκευή μοντέλου ομαδοποίησης για την αντιστοίχιση προγραμματιστών με
ρόλους
 Επιτυχή αντιστοίχιση προγραμματιστών σε ρόλους
 Εκπαίδευση μοντέλου ταξινόμησης για χρήση στη παραγωγή
Ιούλιος 2023 ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ 17

18. Μελλοντική Εργασία
• Δημιουργία γραφικής διεπαφής
• Επέκταση Dataset
• Χρήση καθημερινών συνεισφορών προγραμματιστών
Ιούλιος 2023 ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ 18

19. Ευχαριστίες
Ιούλιος 2023 ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ 19
Θα ήθελα να ευχαριστήσω τους επιβλέποντες της διπλωματικής μου
εργασίας, τον καθηγητή μου κ. Συμεωνίδη Ανδρέα και τον Δρ. Παπαμιχαήλ
Μιχάλη για την βοήθεια και καθοδήγηση που μου προσέφεραν.

20. Ερωτήσεις
ΑΝΑΛΥΣΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΡΟΦΙΛ ΠΡΟΓΡΑΜΜΑΤΙΣΤΩΝ ΜΕΣΩ ΤΕΧΝΙΚΩΝ ΕΞΟΡΥΞΗΣ ΓΝΩΣΗΣ ΑΠΟ ΑΠΟΘΕΤΗΡΙΑ ΑΝΟΙΧΤΟΥ ΛΟΓΙΣΜΙΚΟΥ
Ιούλιος 2023 20