The benefits of machine learning are undeniable in most, if not all the aspects of human activity. From weather forecasting to classifying a tumor as benign or malignant the use of machine learning speeds up and facilitates solving the problem at hand. However, the deployment of the most suitable machine learning model for the problem at hand is a time consuming process that requires knowledge gained through experience and continuous practice on the subject. The aforementioned obstacles can be removed by means of automated machine learning which, as the name suggests, attempts to automate the development process of machine learning models, and thus the benefits of the former to become broadly available. Contributing towards that end is the field of meta-learning, which studies the performance of different machine learning models in a wide range of tasks and uses this experience to "predict" the most suitable model for a given task, avoiding the process of trial and error. This thesis deals with the task of automating machine learning by employing meta-learning techniques specifically for regression problems. The aim of this work is the development of a system able to decide the exact optimal values for the hyperparameters of three algorithms, given the data to process. In that way a great deal of time is saved during the deployment of the model and the use of machine learning becomes available to more groups of people.

1. ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ
ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ
ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ
ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ & ΥΠΟΛΟΓΙΣΤΩΝ
ΕΡΓΑΣΤΗΡΙΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ & ΥΠΟΛΟΓΙΣΜΩΝ
Ανάπτυξη εργαλείου αυτόματης μηχανικής
μάθησης για πρόβλεψη βέλτιστων τιμών
υπερπαραμέτρων με χρήση μετα-μάθησης
Θεσσαλονίκη, Οκτώβριος 2020
Γουγούσης Δημήτρης, 8328
Επιβλέποντες:
Συμεωνίδης Ανδρέας, Αναπληρωτής Καθηγητής ΑΠΘ
Χατζηδημητρίου Κυριάκος, Μεταδιδακτορικός Ερευνητής

2. Σκοπός εργασίας
Αυτοματοποίηση της Μηχανικής Μάθησης (ΜΜ) ώστε
να υπάρξει:
 Διευκόλυνση της διαδικασίας ανάπτυξης μοντέλων ΜΜ.
 Εξοικονόμηση χρόνου.
 Εκμετάλλευση των οφελών της ΜΜ από μη ειδικούς.
Αυτοματοποίηση ΜΜ μέσω μετα-μάθησης.
 Εκμετάλλευση υπάρχουσας εμπειρίας προς επίλυση νέων
προβλημάτων ΜΜ.
 Το σύστημα μαθαίνει να μαθαίνει.
 Επιλογή βέλτιστων τιμών υπερπαραμέτρων αλγορίθμου
για δεδομένο πρόβλημα.
2
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης12/11/2020

3. Εφαρμογή χρήστη
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 3

4. Μοντέλα Μετα-μάθησης –
προβλήματα παλινδρόμησης
Μοντέλα μετα-μάθησης
 Είσοδος: μετα-χαρακτηριστικά των ΣΔ.
 Έξοδος: εκτίμηση βέλτιστων τιμών υπερπαραμέτρων.
 Εκμάθηση αντιστοίχισης μετα-χαρακτηριστικών σε τιμές
υπερπαραμέτρων
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 412/11/2020

5. Αλγόριθμοι παλινδρόμησης προς
βελτιστοποίηση
 Γενικευμένα Γραμμικά Μοντέλα (GLM)
 alpha (α)
 Lambda (λ)
 Τυχαίο Δάσος (RF)
 Αριθμός δέντρων
 Μέγιστο βάθος δέντρου
 eXtreme Gradient boosting (XGboost)
 Αριθμός δέντρων
 Μέγιστο βάθος δέντρου
 Ποσοστό χαρακτηριστικών που χρησιμοποιούνται σε κάθε δέντρο
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 512/11/2020

6. Μεθοδολογία
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων
με χρήση μετα-μάθησης 6
1. Συλλογή ΣΔ
2. Προεπεξεργασία ΣΔ
3. Επαύξηση δεδομένων
4. Εξαγωγή δεδομένων εξόδου
(ground truth)
5. Εξαγωγή μετα-χαρακτηριστικών
6. Εκπαίδευση μετα-μοντέλων

7. Συλλογή & προεπεξεργασία
Συλλογή ΣΔ από kaggle & UCI
Προεπεξεργασία
 Βασικά βήματα (whitespaces, delimiter, τύπος αρχείου κ.τ.λ.)
 Κωδικοποιημένα χαρακτηριστικά (αντιστροφή)
 Χαρακτηριστικά τύπου date (εξαγωγή κατάλληλης
πληροφορίας)
1η αντιμετώπιση ελλειπουσών τιμών:
1. Απόρριψη χαρακτηριστικών με ≥ 20% ελλείπουσες τιμές
2. Αν ≤ 10% εναπομεινάντων γραμμών έχουν 1 τουλ.
ελλείπουσα τιμή → απορρίπτονται όλες
3. Αν > 10% → μένουν ως έχουν
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 7

8. Επαύξηση δεδομένων
 Διαθέσιμα ΣΔ: 97
 Ανάγκη για περισσότερα ΣΔ
 Από κάθε ΣΔ παράγονται Ν νέα ΣΔ όπου Ν = Rep – 1
To Rep εξαρτάται από το σύνολο των χαρακτηριστικών F του ΣΔ
F ∈ (0, 15), Rep = 1
F ∈ [15, 24), Rep = 2
F ∈ [24, 32), Rep = 3
F ∈ [32, 40), Rep = 4
F ≥ 40, Rep = 5
 Τελικός αριθμός ΣΔ: 180
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 8

9. Εξαγωγή δεδομένων εξόδου
(ground truth)
 Πιο χρονοβόρο τμήμα (113 ημέρες!)
 Αναζήτηση πλέγματος (grid search)
 GLM
 alpha: [0, 0.125, 0.250, …, 0.875, 1]
 lambda: Αναζήτηση εσωτερικά
 RF
 ntrees: [25, 50, 75, 100, 200, 300, 400, 500]
 max_depth: [20, 40, 60, 80]
 XGboost
 ntrees: [25, 50, 100, 200]
 max_depth: [6, 10, 15]
 colsample_bytree: [0.6, 0.7, 0.8, 0.9]
 Μικρότερο καλύτερο μοντέλο: Το μοντέλο με επίδοση τουλ. 99% του
καλύτερου που έχει το μικρότερο μέγεθος δάσους.
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 9

10. Μετα-χαρακτηριστικά
 Δύο ομάδες μετα-χαρακτηριστικών (mfe)
 15-mfe από δέντρο απόφασης
 Υπολογισμός χαρακτηριστικών δέντρου και χρήση τους ως
μετα-χαρακτηριστικά
 2η αντιμετώπιση ελλειπουσών τιμών
 Απόρριψη (drop)
 Αντικατάσταση με μέση τιμή (mean)
 >> διάμεσο (median)
 30 επιπρόσθετα μετα-χαρακτηριστικά
 8 γενικά
 22 στατιστικά
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 10

11. Μετα-χαρακτηριστικά που
χρησιμοποιήθηκαν
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 11

12. Μετα-μοντέλα
 2 τύποι:
Τυχαίου δάσους (RF) & Νευρωνικών Δικτύων (NN)
 Ισότιμος συμψηφισμός αποτελεσμάτων
 Ρύθμιση υπερπαραμέτρων μετα-μοντέλων μέσω
πειραμάτων
 10-fold cross-validation 20 φορές → 200 τιμές σφάλματος
ανά μοντέλο
 Υπολογισμός μέσης τιμής τους Μ
 >> τυπικής απόκλισής τους Τ
 Αξιολόγηση με βάση το νούμερο Μ ± Τ
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 12

13. Μετα-μοντέλα RF –
πειράματα ρύθμισης
Ρυθμιστικές επιλογές
 Μετα-χαρακτηριστικά εισόδου: [15-mfe, 45-mfe]
 Δεδομένα εξόδου: [eco, best]
 Αντιμετώπιση ελλειπουσών τιμών: [drop, mean, median]
 12 πειράματα
 72 ξεχωριστά μοντέλα
 Ένα μοντέλο ανά υπερπαράμετρο → 7 τελικά μοντέλα
 “Χειροκίνητη” ανάλυση & εξαγωγή συμπερασμάτων
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 13

14. Μετα-μοντέλα RF –
πειράματα ρύθμισης – GLM
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 14
1η Υπερ/τρος 15 metafeatures 45 metafeatures
eco = best eco = best
drop 0.432 ± 0.068 0.414 ± 0.049
mean 0.439 ± 0.064 0.415 ± 0.047
median 0.437 ± 0.066 0.415 ± 0.048
2η Υπερ/τρος 15 metafeatures 45 metafeatures
eco = best eco = best
drop 326.24 ± 425.66 366.90 ± 404.04
mean 326.23 ± 425.67 366.21 ± 404.16
median 326.16 ± 425.72 366.51 ± 404.13

15. Μετα-μοντέλα RF –
πειράματα ρύθμισης – RF
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 15
1η Υπερ/τρος 15 metafeatures 45 metafeatures
eco best eco best
drop 113.16 ± 15.206 167.42 ± 20.878 113.11 ± 16.972 168.27 ± 21.116
mean 113.76 ± 15.536 168.78 ± 19.286 113.22 ± 16.790 169.42 ± 22.157
median 113.73 ± 15.408 167.55 ± 19.562 113.23 ± 16.797 169.19 ± 21.988
2η Υπερ/τρος 15 metafeatures 45 metafeatures
eco best eco best
drop 5.882 ± 1.596 11.517 ± 1.458 5.247 ± 1.851 10.485 ± 1.356
mean 5.959 ± 1.661 11.624 ± 1.392 5.276 ± 1.873 10.626 ± 1.249
median 5.923 ± 1.637 11.615 ± 1.464 5.263 ± 1.872 10.575 ± 1.422

16. Μετα-μοντέλα RF –
πειράματα ρύθμισης – XGboost
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 16
1η Υπερ/τρος 15 metafeatures 45 metafeatures
eco best eco best
drop 50.530 ± 12.418 69.792 ± 5.888 49.055 ± 9.154 68.229 ± 6.380
mean 50.061 ± 12.652 69.268 ± 5.688 48.793 ± 9.308 67.937 ± 6.599
median 49.902 ± 12.851 68.732 ± 6.284 48.904 ± 9.268 68.071 ± 6.501
2η Υπερ/τρος 15 metafeatures 45 metafeatures
eco best eco best
drop 2.231 ± 0.590 2.698 ± 0.615 2.244 ± 0.464 2.669 ± 0.502
mean 2.280 ± 0.544 2.672 ± 0.626 2.258 ± 0.493 2.654 ± 0.490
median 2.242 ± 0.558 2.661 ± 0.633 2.241 ± 0.487 2.649 ± 0.491
3η Υπερ/τρος 15 metafeatures 45 metafeatures
eco best eco best
drop 0.124 ± 0.020 0.122 ± 0.018 0.118 ± 0.020 0.122 ± 0.016
mean 0.123 ± 0.020 0.122 ± 0.018 0.118 ± 0.020 0.121 ± 0.017
median 0.124 ± 0.021 0.123 ± 0.018 0.118 ± 0.021 0.121 ± 0.017

17. Συμπεράσματα μοντέλα RF
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 17
 45-mfe καλύτερα από 15-mfe
 eco καλύτερο από best
 Μέθοδος αντιμετώπισης ελλειπουσών τιμών όχι κρίσιμη
 Τελικές επιλογές μοντέλων

18. Μετα-μοντέλα ΝΝ –
πειράματα ρύθμισης
Ρυθμιστικές επιλογές
 Μετα-χαρακτηριστικά εισόδου: [15-mfe, 45-mfe]
 Δεδομένα εξόδου: [eco]
 Αντιμετώπιση ελλειπουσών τιμών: [drop, mean, median]
 Κανονικοποίηση: [μόνο είσοδο, είσοδο & έξοδο]
 Πλήθος κρυφών νευρώνων
 >> επιπέδων
 Πολλαπλές έξοδοι δικτύων
 1 μοντέλο ανά αλγόριθμο
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 18

19. Μετα-μοντέλα ΝΝ –
αρχικά πειράματα
 Κανονικοποίηση z-score vs διαστήματος [0,1]
 Επικράτησε z-score
 8 πειράματα
 360 ξεχωριστά μοντέλα
 Χρήση 45-mfe στην είσοδο
 Παράξενη συμπεριφορά → απορρίφθηκε
 20 πειράματα
 756 ξεχωριστά μοντέλα (648 + 108)
 28 πειράματα
 1116 ξεχωριστά μοντέλα
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 19

20. Μετα-μοντέλα ΝΝ –
πειράματα 15-mfe – GLM
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 20

21. Μετα-μοντέλα ΝΝ –
πειράματα 15-mfe – RF
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 21

22. Μετα-μοντέλα ΝΝ –
πειράματα 15-mfe – XGboost
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 22

23. Μετα-μοντέλα ΝΝ – 15-mfe –
περαιτέρω ρύθμιση
 GLM: παράξενη συμπεριφορά
 RF: βελτίωση για κανονικοποιημένη είσοδο
 XGboost: >>
 Τα επικρατέστερα μοντέλα θα χρησιμοποιούν:
 15-mfe είσοδο
 Κανονικοποίηση μόνο στην είσοδο
 8 πειράματα
 216 ξεχωριστά μοντέλα
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 23

24. Μετα-μοντέλα ΝΝ – τελικά πειράματα
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 24
GLM
RF
XGboost

25. Προβλέψεις – GLM
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 26
• Σφάλματα μοντέλων για τον αλγόριθμο GLM

26. 12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 27
Προβλέψεις – RF
• Σφάλματα μοντέλων για τον αλγόριθμο RF

27. 12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 28
Προβλέψεις – XGboost
• Σφάλματα μοντέλων για τον αλγόριθμο XGboost

28. Εξοικονόμηση χρόνου
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 29
 GLM
 Μέθοδος: 184.6 δευτ.
 Αναζήτηση
πλέγματος: 762.2 δευτ.
 RF
 Μέθοδος: 13427.6 δευτ.
 Αναζήτηση
πλέγματος: 550196.3 δευτ.
 XGboost
 Μέθοδος: 1581.8 δευτ.
 Αναζήτηση
πλέγματος: 151446.8 δευτ.
*CPU: i7-3820 @ 3.60 GHz
RAM: 32 GB @ 1600 MHz
75,78% λιγότερος
χρόνος
97,56% λιγότερος
χρόνος
98,96% λιγότερος
χρόνος

29. Σύγκριση μοντέλων βασικής μάθησης
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 30
Μεγαλύτερα
σφάλματα
Ισότιμα
σφάλματα
Μικρότερα
σφάλματα
GLM 75% 20.8% 4.2%
Τυχαίο Δάσος 0% 62.5% 37.5%
XGboost 0% 70.8% 29.2%
GoodOKBad

30. Τελικά συμπεράσματα
 Ικανοποιητικές προβλέψεις, πλην GLM
 Όφελος από συνδυασμό μετα-μοντέλων
 Σημαντική εξοικονόμηση χρόνου
 Εφάμιλλη επίδοση μοντέλων βασικής μάθησης
μεθόδου με τα “βέλτιστα”
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 31

31. Μελλοντική εργασία – Βελτιώσεις
 Διαφορετικές τιμές στην αναζήτηση πλέγματος
 Διαφορετική μέθοδος εξαγωγής δεδομένων εξόδου
 Άλλο σύνολο μετα-χαρακτηριστικών
 Ρύθμιση βαρών συνδυασμού προβλέψεων
 Χρήση περισσότερων (τύπων) μετα-μοντέλων
 Εκτενέστερη μελέτη σχεδιασμού νευρωνικών δικτύων
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 32

32. Ευχαριστίες
Ευχαριστώ θερμά:
 Τον κ. Ανδρέα Συμεωνίδη, Αναπληρωτή Καθηγητή ΑΠΘ
 Τον κ. Κυριάκο Χατζηδημητρίου, Μεταδιδακτορικό
Ερευνητή
 Τους κοντινούς μου ανθρώπους, οικογένεια & φίλους
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 33

33. Ερωτήσεις ?
12/11/2020
Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με
χρήση μετα-μάθησης 34