Successfully reported this slideshow.
Your SlideShare is downloading. ×

Gougousis Dimitris: Development of an automated machine learning system for predicting the optimal values of hyperparameters using meta-learning

Check these out next

1 of 33
1 of 33

Gougousis Dimitris: Development of an automated machine learning system for predicting the optimal values of hyperparameters using meta-learning

Download to read offline

The benefits of machine learning are undeniable in most, if not all the aspects of human activity. From weather forecasting to classifying a tumor as benign or malignant the use of machine learning speeds up and facilitates solving the problem at hand. However, the deployment of the most suitable machine learning model for the problem at hand is a time consuming process that requires knowledge gained through experience and continuous practice on the subject. The aforementioned obstacles can be removed by means of automated machine learning which, as the name suggests, attempts to automate the development process of machine learning models, and thus the benefits of the former to become broadly available. Contributing towards that end is the field of meta-learning, which studies the performance of different machine learning models in a wide range of tasks and uses this experience to "predict" the most suitable model for a given task, avoiding the process of trial and error. This thesis deals with the task of automating machine learning by employing meta-learning techniques specifically for regression problems. The aim of this work is the development of a system able to decide the exact optimal values for the hyperparameters of three algorithms, given the data to process. In that way a great deal of time is saved during the deployment of the model and the use of machine learning becomes available to more groups of people.

The benefits of machine learning are undeniable in most, if not all the aspects of human activity. From weather forecasting to classifying a tumor as benign or malignant the use of machine learning speeds up and facilitates solving the problem at hand. However, the deployment of the most suitable machine learning model for the problem at hand is a time consuming process that requires knowledge gained through experience and continuous practice on the subject. The aforementioned obstacles can be removed by means of automated machine learning which, as the name suggests, attempts to automate the development process of machine learning models, and thus the benefits of the former to become broadly available. Contributing towards that end is the field of meta-learning, which studies the performance of different machine learning models in a wide range of tasks and uses this experience to "predict" the most suitable model for a given task, avoiding the process of trial and error. This thesis deals with the task of automating machine learning by employing meta-learning techniques specifically for regression problems. The aim of this work is the development of a system able to decide the exact optimal values for the hyperparameters of three algorithms, given the data to process. In that way a great deal of time is saved during the deployment of the model and the use of machine learning becomes available to more groups of people.

More Related Content

Related Books

Free with a 30 day trial from Scribd

See all

Gougousis Dimitris: Development of an automated machine learning system for predicting the optimal values of hyperparameters using meta-learning

  1. 1. ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ & ΥΠΟΛΟΓΙΣΤΩΝ ΕΡΓΑΣΤΗΡΙΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ & ΥΠΟΛΟΓΙΣΜΩΝ Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης Θεσσαλονίκη, Οκτώβριος 2020 Γουγούσης Δημήτρης, 8328 Επιβλέποντες: Συμεωνίδης Ανδρέας, Αναπληρωτής Καθηγητής ΑΠΘ Χατζηδημητρίου Κυριάκος, Μεταδιδακτορικός Ερευνητής
  2. 2. Σκοπός εργασίας Αυτοματοποίηση της Μηχανικής Μάθησης (ΜΜ) ώστε να υπάρξει:  Διευκόλυνση της διαδικασίας ανάπτυξης μοντέλων ΜΜ.  Εξοικονόμηση χρόνου.  Εκμετάλλευση των οφελών της ΜΜ από μη ειδικούς. Αυτοματοποίηση ΜΜ μέσω μετα-μάθησης.  Εκμετάλλευση υπάρχουσας εμπειρίας προς επίλυση νέων προβλημάτων ΜΜ.  Το σύστημα μαθαίνει να μαθαίνει.  Επιλογή βέλτιστων τιμών υπερπαραμέτρων αλγορίθμου για δεδομένο πρόβλημα. 2 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης12/11/2020
  3. 3. Εφαρμογή χρήστη 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 3
  4. 4. Μοντέλα Μετα-μάθησης – προβλήματα παλινδρόμησης Μοντέλα μετα-μάθησης  Είσοδος: μετα-χαρακτηριστικά των ΣΔ.  Έξοδος: εκτίμηση βέλτιστων τιμών υπερπαραμέτρων.  Εκμάθηση αντιστοίχισης μετα-χαρακτηριστικών σε τιμές υπερπαραμέτρων Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 412/11/2020
  5. 5. Αλγόριθμοι παλινδρόμησης προς βελτιστοποίηση  Γενικευμένα Γραμμικά Μοντέλα (GLM)  alpha (α)  Lambda (λ)  Τυχαίο Δάσος (RF)  Αριθμός δέντρων  Μέγιστο βάθος δέντρου  eXtreme Gradient boosting (XGboost)  Αριθμός δέντρων  Μέγιστο βάθος δέντρου  Ποσοστό χαρακτηριστικών που χρησιμοποιούνται σε κάθε δέντρο Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 512/11/2020
  6. 6. Μεθοδολογία 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 6 1. Συλλογή ΣΔ 2. Προεπεξεργασία ΣΔ 3. Επαύξηση δεδομένων 4. Εξαγωγή δεδομένων εξόδου (ground truth) 5. Εξαγωγή μετα-χαρακτηριστικών 6. Εκπαίδευση μετα-μοντέλων
  7. 7. Συλλογή & προεπεξεργασία Συλλογή ΣΔ από kaggle & UCI Προεπεξεργασία  Βασικά βήματα (whitespaces, delimiter, τύπος αρχείου κ.τ.λ.)  Κωδικοποιημένα χαρακτηριστικά (αντιστροφή)  Χαρακτηριστικά τύπου date (εξαγωγή κατάλληλης πληροφορίας) 1η αντιμετώπιση ελλειπουσών τιμών: 1. Απόρριψη χαρακτηριστικών με ≥ 20% ελλείπουσες τιμές 2. Αν ≤ 10% εναπομεινάντων γραμμών έχουν 1 τουλ. ελλείπουσα τιμή → απορρίπτονται όλες 3. Αν > 10% → μένουν ως έχουν 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 7
  8. 8. Επαύξηση δεδομένων  Διαθέσιμα ΣΔ: 97  Ανάγκη για περισσότερα ΣΔ  Από κάθε ΣΔ παράγονται Ν νέα ΣΔ όπου Ν = Rep – 1 To Rep εξαρτάται από το σύνολο των χαρακτηριστικών F του ΣΔ F ∈ (0, 15), Rep = 1 F ∈ [15, 24), Rep = 2 F ∈ [24, 32), Rep = 3 F ∈ [32, 40), Rep = 4 F ≥ 40, Rep = 5  Τελικός αριθμός ΣΔ: 180 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 8
  9. 9. Εξαγωγή δεδομένων εξόδου (ground truth)  Πιο χρονοβόρο τμήμα (113 ημέρες!)  Αναζήτηση πλέγματος (grid search)  GLM  alpha: [0, 0.125, 0.250, …, 0.875, 1]  lambda: Αναζήτηση εσωτερικά  RF  ntrees: [25, 50, 75, 100, 200, 300, 400, 500]  max_depth: [20, 40, 60, 80]  XGboost  ntrees: [25, 50, 100, 200]  max_depth: [6, 10, 15]  colsample_bytree: [0.6, 0.7, 0.8, 0.9]  Μικρότερο καλύτερο μοντέλο: Το μοντέλο με επίδοση τουλ. 99% του καλύτερου που έχει το μικρότερο μέγεθος δάσους. 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 9
  10. 10. Μετα-χαρακτηριστικά  Δύο ομάδες μετα-χαρακτηριστικών (mfe)  15-mfe από δέντρο απόφασης  Υπολογισμός χαρακτηριστικών δέντρου και χρήση τους ως μετα-χαρακτηριστικά  2η αντιμετώπιση ελλειπουσών τιμών  Απόρριψη (drop)  Αντικατάσταση με μέση τιμή (mean)  >> διάμεσο (median)  30 επιπρόσθετα μετα-χαρακτηριστικά  8 γενικά  22 στατιστικά 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 10
  11. 11. Μετα-χαρακτηριστικά που χρησιμοποιήθηκαν 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 11
  12. 12. Μετα-μοντέλα  2 τύποι: Τυχαίου δάσους (RF) & Νευρωνικών Δικτύων (NN)  Ισότιμος συμψηφισμός αποτελεσμάτων  Ρύθμιση υπερπαραμέτρων μετα-μοντέλων μέσω πειραμάτων  10-fold cross-validation 20 φορές → 200 τιμές σφάλματος ανά μοντέλο  Υπολογισμός μέσης τιμής τους Μ  >> τυπικής απόκλισής τους Τ  Αξιολόγηση με βάση το νούμερο Μ ± Τ 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 12
  13. 13. Μετα-μοντέλα RF – πειράματα ρύθμισης Ρυθμιστικές επιλογές  Μετα-χαρακτηριστικά εισόδου: [15-mfe, 45-mfe]  Δεδομένα εξόδου: [eco, best]  Αντιμετώπιση ελλειπουσών τιμών: [drop, mean, median]  12 πειράματα  72 ξεχωριστά μοντέλα  Ένα μοντέλο ανά υπερπαράμετρο → 7 τελικά μοντέλα  “Χειροκίνητη” ανάλυση & εξαγωγή συμπερασμάτων 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 13
  14. 14. Μετα-μοντέλα RF – πειράματα ρύθμισης – GLM 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 14 1η Υπερ/τρος 15 metafeatures 45 metafeatures eco = best eco = best drop 0.432 ± 0.068 0.414 ± 0.049 mean 0.439 ± 0.064 0.415 ± 0.047 median 0.437 ± 0.066 0.415 ± 0.048 2η Υπερ/τρος 15 metafeatures 45 metafeatures eco = best eco = best drop 326.24 ± 425.66 366.90 ± 404.04 mean 326.23 ± 425.67 366.21 ± 404.16 median 326.16 ± 425.72 366.51 ± 404.13
  15. 15. Μετα-μοντέλα RF – πειράματα ρύθμισης – RF 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 15 1η Υπερ/τρος 15 metafeatures 45 metafeatures eco best eco best drop 113.16 ± 15.206 167.42 ± 20.878 113.11 ± 16.972 168.27 ± 21.116 mean 113.76 ± 15.536 168.78 ± 19.286 113.22 ± 16.790 169.42 ± 22.157 median 113.73 ± 15.408 167.55 ± 19.562 113.23 ± 16.797 169.19 ± 21.988 2η Υπερ/τρος 15 metafeatures 45 metafeatures eco best eco best drop 5.882 ± 1.596 11.517 ± 1.458 5.247 ± 1.851 10.485 ± 1.356 mean 5.959 ± 1.661 11.624 ± 1.392 5.276 ± 1.873 10.626 ± 1.249 median 5.923 ± 1.637 11.615 ± 1.464 5.263 ± 1.872 10.575 ± 1.422
  16. 16. Μετα-μοντέλα RF – πειράματα ρύθμισης – XGboost 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 16 1η Υπερ/τρος 15 metafeatures 45 metafeatures eco best eco best drop 50.530 ± 12.418 69.792 ± 5.888 49.055 ± 9.154 68.229 ± 6.380 mean 50.061 ± 12.652 69.268 ± 5.688 48.793 ± 9.308 67.937 ± 6.599 median 49.902 ± 12.851 68.732 ± 6.284 48.904 ± 9.268 68.071 ± 6.501 2η Υπερ/τρος 15 metafeatures 45 metafeatures eco best eco best drop 2.231 ± 0.590 2.698 ± 0.615 2.244 ± 0.464 2.669 ± 0.502 mean 2.280 ± 0.544 2.672 ± 0.626 2.258 ± 0.493 2.654 ± 0.490 median 2.242 ± 0.558 2.661 ± 0.633 2.241 ± 0.487 2.649 ± 0.491 3η Υπερ/τρος 15 metafeatures 45 metafeatures eco best eco best drop 0.124 ± 0.020 0.122 ± 0.018 0.118 ± 0.020 0.122 ± 0.016 mean 0.123 ± 0.020 0.122 ± 0.018 0.118 ± 0.020 0.121 ± 0.017 median 0.124 ± 0.021 0.123 ± 0.018 0.118 ± 0.021 0.121 ± 0.017
  17. 17. Συμπεράσματα μοντέλα RF 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 17  45-mfe καλύτερα από 15-mfe  eco καλύτερο από best  Μέθοδος αντιμετώπισης ελλειπουσών τιμών όχι κρίσιμη  Τελικές επιλογές μοντέλων
  18. 18. Μετα-μοντέλα ΝΝ – πειράματα ρύθμισης Ρυθμιστικές επιλογές  Μετα-χαρακτηριστικά εισόδου: [15-mfe, 45-mfe]  Δεδομένα εξόδου: [eco]  Αντιμετώπιση ελλειπουσών τιμών: [drop, mean, median]  Κανονικοποίηση: [μόνο είσοδο, είσοδο & έξοδο]  Πλήθος κρυφών νευρώνων  >> επιπέδων  Πολλαπλές έξοδοι δικτύων  1 μοντέλο ανά αλγόριθμο 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 18
  19. 19. Μετα-μοντέλα ΝΝ – αρχικά πειράματα  Κανονικοποίηση z-score vs διαστήματος [0,1]  Επικράτησε z-score  8 πειράματα  360 ξεχωριστά μοντέλα  Χρήση 45-mfe στην είσοδο  Παράξενη συμπεριφορά → απορρίφθηκε  20 πειράματα  756 ξεχωριστά μοντέλα (648 + 108)  28 πειράματα  1116 ξεχωριστά μοντέλα 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 19
  20. 20. Μετα-μοντέλα ΝΝ – πειράματα 15-mfe – GLM 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 20
  21. 21. Μετα-μοντέλα ΝΝ – πειράματα 15-mfe – RF 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 21
  22. 22. Μετα-μοντέλα ΝΝ – πειράματα 15-mfe – XGboost 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 22
  23. 23. Μετα-μοντέλα ΝΝ – 15-mfe – περαιτέρω ρύθμιση  GLM: παράξενη συμπεριφορά  RF: βελτίωση για κανονικοποιημένη είσοδο  XGboost: >>  Τα επικρατέστερα μοντέλα θα χρησιμοποιούν:  15-mfe είσοδο  Κανονικοποίηση μόνο στην είσοδο  8 πειράματα  216 ξεχωριστά μοντέλα 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 23
  24. 24. Μετα-μοντέλα ΝΝ – τελικά πειράματα 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 24 GLM RF XGboost
  25. 25. Προβλέψεις – GLM 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 26 • Σφάλματα μοντέλων για τον αλγόριθμο GLM
  26. 26. 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 27 Προβλέψεις – RF • Σφάλματα μοντέλων για τον αλγόριθμο RF
  27. 27. 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 28 Προβλέψεις – XGboost • Σφάλματα μοντέλων για τον αλγόριθμο XGboost
  28. 28. Εξοικονόμηση χρόνου 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 29  GLM  Μέθοδος: 184.6 δευτ.  Αναζήτηση πλέγματος: 762.2 δευτ.  RF  Μέθοδος: 13427.6 δευτ.  Αναζήτηση πλέγματος: 550196.3 δευτ.  XGboost  Μέθοδος: 1581.8 δευτ.  Αναζήτηση πλέγματος: 151446.8 δευτ. *CPU: i7-3820 @ 3.60 GHz RAM: 32 GB @ 1600 MHz 75,78% λιγότερος χρόνος 97,56% λιγότερος χρόνος 98,96% λιγότερος χρόνος
  29. 29. Σύγκριση μοντέλων βασικής μάθησης 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 30 Μεγαλύτερα σφάλματα Ισότιμα σφάλματα Μικρότερα σφάλματα GLM 75% 20.8% 4.2% Τυχαίο Δάσος 0% 62.5% 37.5% XGboost 0% 70.8% 29.2% GoodOKBad
  30. 30. Τελικά συμπεράσματα  Ικανοποιητικές προβλέψεις, πλην GLM  Όφελος από συνδυασμό μετα-μοντέλων  Σημαντική εξοικονόμηση χρόνου  Εφάμιλλη επίδοση μοντέλων βασικής μάθησης μεθόδου με τα “βέλτιστα” 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 31
  31. 31. Μελλοντική εργασία – Βελτιώσεις  Διαφορετικές τιμές στην αναζήτηση πλέγματος  Διαφορετική μέθοδος εξαγωγής δεδομένων εξόδου  Άλλο σύνολο μετα-χαρακτηριστικών  Ρύθμιση βαρών συνδυασμού προβλέψεων  Χρήση περισσότερων (τύπων) μετα-μοντέλων  Εκτενέστερη μελέτη σχεδιασμού νευρωνικών δικτύων 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 32
  32. 32. Ευχαριστίες Ευχαριστώ θερμά:  Τον κ. Ανδρέα Συμεωνίδη, Αναπληρωτή Καθηγητή ΑΠΘ  Τον κ. Κυριάκο Χατζηδημητρίου, Μεταδιδακτορικό Ερευνητή  Τους κοντινούς μου ανθρώπους, οικογένεια & φίλους 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 33
  33. 33. Ερωτήσεις ? 12/11/2020 Ανάπτυξη εργαλείου αυτόματης μηχανικής μάθησης για πρόβλεψη βέλτιστων τιμών υπερπαραμέτρων με χρήση μετα-μάθησης 34

×