Successfully reported this slideshow.
Your SlideShare is downloading. ×

Detection of a DC Motor Operating Conditions Using Neural Networks in Microprocessor Structures

Detection of a DC Motor Operating Conditions Using Neural Networks in Microprocessor Structures

Download to read offline

The field of Edge AI refers to the development of artificial intelligence that has the capability of processing data and run locally on hardware devices, without necessarily connecting them to the internet. Therefore, processes such as data creation can be performed without the need of uploading or downloading data from the Cloud. A main consequence of the above is the reduction of the response time of a system to extract results on a process. This triggers the development of artificial intelligence applications at the edge. Specifically, on the field of predictive maintenance at industrial level, applications of artificial intelligence at the edge can provide operational state recognition for machines in real time. This diploma thesis presents two methodological approaches to detect three states of operation, for a DC motor. These states are named as good, broken, and heavy load. Initially, for both approaches, features are extracted on the audio data of the IDMT-Isa-ELECTRIC-ENGINE dataset, after undergoing the appropriate pre-processing. A different neural network is then trained with CNN approach. Subsequently, the two models are subject to a post-training quantization process and an appropriate conversion and compression process in order to be inserted into Stm32 Discovery Kit IoT node board. After the completion of the implementations, an experimental application shall be carried out using the board to check the performance of the models on the recognition of the three sound states of the engine’s operation, as well as their response in cases of real-time change of the states. In conclusion, the results of the above procedures are presented, and conclusions are drawn on the performance of the models.

The field of Edge AI refers to the development of artificial intelligence that has the capability of processing data and run locally on hardware devices, without necessarily connecting them to the internet. Therefore, processes such as data creation can be performed without the need of uploading or downloading data from the Cloud. A main consequence of the above is the reduction of the response time of a system to extract results on a process. This triggers the development of artificial intelligence applications at the edge. Specifically, on the field of predictive maintenance at industrial level, applications of artificial intelligence at the edge can provide operational state recognition for machines in real time. This diploma thesis presents two methodological approaches to detect three states of operation, for a DC motor. These states are named as good, broken, and heavy load. Initially, for both approaches, features are extracted on the audio data of the IDMT-Isa-ELECTRIC-ENGINE dataset, after undergoing the appropriate pre-processing. A different neural network is then trained with CNN approach. Subsequently, the two models are subject to a post-training quantization process and an appropriate conversion and compression process in order to be inserted into Stm32 Discovery Kit IoT node board. After the completion of the implementations, an experimental application shall be carried out using the board to check the performance of the models on the recognition of the three sound states of the engine’s operation, as well as their response in cases of real-time change of the states. In conclusion, the results of the above procedures are presented, and conclusions are drawn on the performance of the models.

More Related Content

More from ISSEL

Related Books

Free with a 30 day trial from Scribd

See all

Detection of a DC Motor Operating Conditions Using Neural Networks in Microprocessor Structures

  1. 1. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Κωσταντίνος Στράντζαλης (ΑΕΜ: 8434) Επιβλέποντας: Ανδρέας Συμεωνίδης (Αναπληρωτής Καθηγητής) Συνεπιβλέποντες: Παναγιώτης Κατσαρός (Αναπληρωτής Καθηγητής), Φώτιος Γκιουλέκας (Μεταδιδακτορικός Ερευνητής)
  2. 2. Περιεχόμενα
  3. 3. Σκοπός της διπλωματικής εργασίας
  4. 4. Περιεχόμενα
  5. 5. Γνώσεις που αποκτήθηκαν
  6. 6. Περιεχόμενα
  7. 7. Πλακέτα STM32 Discovery kit IoT node
  8. 8. Σετ δεδομένων (IDMT-ISA-ELECTRIC-ENGINE) • Hχητικές καταγραφές από έναν κινητήρα συνεχούς ρεύματος για τρείς καταστάσεις λειτουργίας: Good, Broken και Heavy Load. • Συχνότητα δειγματοληψίας 44100 Hz, μορφή αποθήκευσης WAVE. • Είδος κινητήρα: ACT Motor Brushless DC 42BLF01, 4000 RPM, 24VDC.
  9. 9. Περιπτώσεις περιβαλλοντικών καταστάσεων Περιγραφή Pure Καταγραφές χωρίς την παρουσία άλλων ήχων ή θορύβου. Talking Καταγραφές με τη παρουσία ήχων από ομιλία ανθρώπων. White Noise Καταγραφές με την παρουσία λευκού θορύβου που αναπαράγεται από ηχεία. Atmo Καταγραφές με την παρουσία ήχων από περιβάλλον εργοστασίου σε τρία επίπεδα έντασης (χαμηλό, μεσαίο, υψηλό) που αναπαράγονται με τη χρήση ηχείων. Stress Test Καταγραφές, με προσομοιωμένες παραλλαγές στη διάταξη και προσομοίωση για οριακές περιπτώσεις. Σετ δεδομένων (IDMT-ISA-ELECTRIC-ENGINE)
  10. 10. Είδος ηχητικών καταγραφών Διάρκεια (λεπτά) Pure 15 Talking 18 Atmo (high) 9 Atmo (medium) 9 Atmo (low) 9 White noise 9 Stresstest 6:06 Χρήση δεδομένωνήχου για τις υλοποιήσεις
  11. 11. Προ-επεξεργασία δεδομένων: Μεθοδολογική προσέγγιση βασισμένηστα εργαλεία λογισμικού της STM
  12. 12. Μεθοδολογική προσέγγιση βασισμένηστα εργαλεία λογισμικού της STM Αρχιτεκτονική νευρωνικού δικτύου (Keras): Διαδικασία compile και εκπαίδευσης: Συνάρτηση απωλειών Categorical Cross Entropy Βελτιστοποιητής Stochastic Gradient Descent Μετρική Ακρίβεια Εποχές 10
  13. 13. Εξαγωγή μοντέλου TensorFlowLite: Μεθοδολογική προσέγγιση βασισμένηστα εργαλεία λογισμικού της STM
  14. 14. Μετατροπή σε μοντέλο C μέσω του εργαλείου X-CUBE-AI: • Συμπίεση του νευρωνικού δικτύου. • Βελτιστοποίηση στη χρήση της μνήμης (RAM & ROM). • Παραγωγή του βελτιστοποιημένου C κώδικα που αφορά τα απαραίτητα αρχεία για την τοπολογία, τα βάρη και τα bias του νευρωνικού δικτύου. Οι διαδικασίες βελτιστοποίησης βασίζονται στις εξής τεχνικές: • Συμπίεση βαρών. • Συγχώνευση στρωμάτων. • Βέλτιστη ενεργοποίηση / λειτουργία μνήμης. Μεθοδολογική προσέγγιση βασισμένηστα εργαλεία λογισμικού της STM
  15. 15. Μετατροπή σε μοντέλο C μέσω του εργαλείου X-CUBE-AI: Χαρακτηριστικά μοντέλου Complexity 501.428 MACC Flash occupation 7,65 KB RAM 5,52 KB Μεθοδολογική προσέγγιση βασισμένηστα εργαλεία λογισμικού της STM
  16. 16. Εφαρμογή στο STM32 Discovery kit IoT node: Μεθοδολογική προσέγγιση βασισμένηστα εργαλεία λογισμικού της STM
  17. 17. Εξαγωγή χαρακτηριστικών (Mel Frequency Cepstral Coefficients (MFCC’s)): • Διαχωρισμός δεδομένων σε παράθυρα 1 sec με επικάλυψη 0,5 sec. • Εκτέλεση FFT με μήκος 256 δείγματα για πλαίσια 20 ms. • Μετατροπή σε κλίμακα Mel και χρήση 32 Mel φίλτρων. • Επιλογή 13 Cepstral Coefficients. Good Broken Heavy Load Μεθοδολογική προσέγγιση βασισμένηστο Edge Impulse
  18. 18. Προσδιορισμός νευρωνικού δικτύου: Μεθοδολογική προσέγγιση βασισμένηστο Edge Impulse Συνάρτηση απωλειών Categorical Cross Entropy Βελτιστοποιητής Adam Μετρική Ακρίβεια Εποχές 90
  19. 19. Διαδικασία εξαγωγής του εκτελέσιμου αρχείου για το STM32 Discovery Kit IoT Node: 1. Το περιβάλλον Edge Impulse παρέχει τη δυνατότητα μιας αυτοματοποιημένης διαδικασίας για την εξαγωγή του εκτελέσιμου προγράμματος για το STM32 Discovery Kit IoT Node. 2. Επιλογή της πλακέτας με τη δυνατότητα επιλογής ανάμεσα σε δύο περιπτώσεις: Quantized μοντέλο και Unoptimized μοντέλο. 3. Επιλογή του Quantized μοντέλου που παρουσιάζει καλύτερες επιδόσεις σε επίπεδα μνήμης (RAM και ROM), καθώς και σε χρόνο απόκρισης. 4. Παραγωγή εκτελέσιμου αρχείου .bin. Μεθοδολογική προσέγγιση βασισμένηστο Edge Impulse
  20. 20. Έλεγχος επίδοσης των μοντέλωνσε πραγματικό χρόνοστο STM32 Discovery kit IoT node
  21. 21. Περιεχόμενα
  22. 22. Μοντέλο STM Αποτελέσματα εκπαίδευσης, επικύρωσης και ελέγχου: Good Broken Heavy Load Good 10637 1 2 Broken 0 10587 8 Heavy Load 32 0 10635 Ακρίβεια εκπαίδευσης Ακρίβεια επικύρωσης Απώλεια εκπαίδευσης Απώλεια επικύρωσης 99,91% 99,87%. 0,0073 0,0074
  23. 23. Αποτελέσματα επικύρωσης στο περιβάλλον CubeMX μέσω της χρήσης του εργαλείου X-CUBE-AI: Μοντέλο STM
  24. 24. Μοντέλο Edge Impulse Αποτελέσματα εκπαίδευσης και πληροφορίες επίδοσης του μοντέλου για τη χρήση του στη πλακέτα: Πίνακας σύγχυσης:
  25. 25. Αποτελέσματα μοντέλου STM σε πραγματικόχρόνο στη πλακέτα Good – Broken: 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 0% 20% 40% 60% 80% 100% Pure Good Broken Heavy Load 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 0% 20% 40% 60% 80% 100% Pure - Custom Stress Test Good Broken Heavy Load Pure Atmo High Atmo Medium Atmo Low Talking White Noise Stress Test Custom Stress Test Μέσος όρος Good (%) 92 89 89 90 90 84 77 82 Μέσος όρος Broken (%) 89 88 89 90 88 91 90 61 Χρόνος Απόκρισης Μετάβασης (sec) 4,46 4,62 4,61 4,23 4,65 4,25 3,73 5,22
  26. 26. 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 0% 20% 40% 60% 80% 100% Pure Good Broken Heavy Load 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 0% 20% 40% 60% 80% 100% Pure - Custom Stress Test Good Broken Heavy Load Pure Atmo High Atmo Medium Atmo Low Talking White Noise Stress Test Custom Stress Test Μέσος όρος Good (%) 90 89 90 89 90 89 88 89 Μέσος όρος Heavy Load (%) 87 59 79 81 80 84 80 58 Χρόνος Απόκρισης Μετάβασης (sec) 5,43 8,14 4,86 4,22 5,09 4,63 4,29 9,07 Good – Heavy Load: Αποτελέσματα μοντέλου STM σε πραγματικόχρόνο στη πλακέτα
  27. 27. 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 0% 20% 40% 60% 80% 100% Pure Good Broken Heavy Load 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 0% 20% 40% 60% 80% 100% Pure - Custom Stress Test Good Broken Heavy Load Pure Atmo High Atmo Medium Atmo Low Talking White Noise Stress Test Custom Stress Test Μέσος όρος Heavy Load (%) 89 64 83 86 85 78 71 56 Μέσος όρος Broken (%) 89 88 88 89 87 89 88 72 Χρόνος Απόκρισης Μετάβασης (sec) 3,68 3,63 4,16 4,31 4,60 3,97 4,19 4,54 Heavy Load – Broken: Αποτελέσματα μοντέλου STM σε πραγματικόχρόνο στη πλακέτα
  28. 28. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 0% 20% 40% 60% 80% 100% Pure Good Broken Heavy Load 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 0% 20% 40% 60% 80% 100% Pure - Custom Stress Test Good Broken Heavy Load Pure Atmo High Atmo Medium Atmo Low Talking White Noise Stress Test Custom Stress Test Μέσος όρος Good (%) 87,2 81,7 87,1 97,8 91,4 80,4 97,9 54,9 Μέσος όρος Broken (%) 99,6 65,3 85,7 99,6 91,7 99,6 90,2 92,5 Χρόνος Απόκρισης Μετάβασης (sec) 3,31 4,62 3,94 5,22 3,75 2,13 2,32 2,62 Good– Broken: Αποτελέσματα μοντέλου Edge Impulse σε πραγματικό χρόνοστη πλακέτα
  29. 29. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 0% 20% 40% 60% 80% 100% Pure Good Broken Heavy Load 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 0% 20% 40% 60% 80% 100% Pure - Custom Stress Test Good Broken Heavy Load Pure Atmo High Atmo Medium Atmo Low Talking White Noise Stress Test Custom Stress Test Μέσος όρος Good (%) 95,9 85,2 95,8 96,1 96,4 96,4 71,9 72,6 Μέσος όρος Heavy Load (%) 99,6 82,5 99,2 99,6 81 99,6 94,8 84,6 Χρόνος Απόκρισης Μετάβασης (sec) 2,92 2,95 5,17 3,32 4,39 3,96 2,27 5,80 Good– Heavy Load: Αποτελέσματα μοντέλου Edge Impulse σε πραγματικό χρόνοστη πλακέτα
  30. 30. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 0% 20% 40% 60% 80% 100% Pure Good Broken Heavy Load 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 0% 20% 40% 60% 80% 100% Pure - Custom Stress Test Good Broken Heavy Load Pure Atmo High Atmo Medium Atmo Low Talking White Noise Stress Test Custom Stress Test Μέσος όρος Heavy Load (%) 99,6 94,6 99,5 99,6 94,5 97,7 92,0 84,9 Μέσος όρος Broken (%) 99,6 69,3 85,8 99,6 99,4 99,6 99,5 68,7 Χρόνος Απόκρισης Μετάβασης (sec) 3,23 5,39 5,31 4,95 3,23 3,69 5,11 2,31 Heavy Load – Broken: Αποτελέσματα μοντέλου Edge Impulse σε πραγματικό χρόνοστη πλακέτα
  31. 31. Περιεχόμενα
  32. 32. Συμπεράσματα Συγκριτική ανάλυση των μοντέλων σε 5 άξονες: 1. Πίνακας σύγχυσης κάθε μοντέλου για όλο το φάσμα των πειραμάτων: Πίνακας σύγχυσης για το μοντέλο STM. Πίνακας σύγχυσης για το μοντέλο Edge Impulse. 2. Χρόνοι απόκρισης μετάβασης καταστάσεων κινητήρα: Good Broken Heavy Load Good 100% 0% 0% Broken 5,90% 89,26% 4,84% Heavy Load 11,16% 0% 88,84% Good Broken Heavy Load Good 89,06% 0% 10,94% Broken 2,63% 94,74% 2,63% Heavy Load 3,65% 0,73% 95,62% Μοντέλο STM Μοντέλο Edge Impulse 4,55 sec 3,83 sec
  33. 33. 3. Κατανάλωση RAM και ROM των νευρωνικών δικτύων: 4. Ευκολία υλοποίησης: 5. Περιορισμοί: Συμπεράσματα STM Edge Impulse STM Edge Impulse
  34. 34. Μελλοντική Εργασία Χρήση άλλων αισθητήρων της πλακέτας:  Επιταχυνσιόμετρο, για τη μέτρηση των δονήσεων που παράγει ο κινητήρας.  Αισθητήρας θερμοκρασίας, για την ανίχνευση της περίπτωσης υπερθέρμανσης. Προσθήκη περισσότερων κλάσεων για τις καταστάσεις λειτουργίας του κινητήρα:  Διαφορετικές περιπτώσεις για τις καταστάσεις λειτουργίας, που μπορούν να περιλαμβάνουν συγκεκριμένα είδη σφαλμάτων για τον κινητήρα, καθώς και του τμήματος που παρουσιάζει βλάβη.  Αποτέλεσμα, η αναλυτική και συγκεκριμενοποιημένη ανίχνευση σφαλμάτων, γεγονός που οδηγεί στην εξοικονόμηση προσπάθειας και χρόνου. Χρήση μίας πλακέτας σε ένα περιβάλλον λειτουργίας πολλών κινητήρων ίδιου τύπου:  Χρήση του συνόλου των ήχων που παράγονται από τους κινητήρες.  Ανίχνευση της ενδεχόμενης μετάβασης ενός κινητήρα από την κανονική του λειτουργία σε κάποια άλλη.
  35. 35. Ευχαριστίες Θα ήθελα να ευχαριστήσω θερμά τον καθηγητή μου και επιβλέποντα κ. Ανδρέα Συμεωνίδη για την εμπιστοσύνη που μου έδειξε για την ανάληψη αυτής της διπλωματικής εργασίας. Έπειτα, θα ήθελα να ευχαριστήσω βαθύτατα τον συνεπιβλέποντα και αναπληρωτή καθηγητή του τμήματος πληροφορικής του Α.Π.Θ. κ. Παναγιώτη Κατσαρό για το έναυσμα που μου έδωσε στην ενασχόλησή μου με το θέμα της συγκεκριμένης διπλωματικής εργασίας. Επιπλέον, θα ήθελα να εκφράσω την ευγνωμοσύνη μου στον μεταδιδάκτωρ του τμήματος πληροφορικής Α.Π.Θ. κ. Φώτιο Γκιουλέκα για την καθοδήγηση που μου παρείχε καθ’ όλη τη διάρκεια έως και τη διεκπεραίωση του τελικού αποτελέσματος. Θα ήθελα επίσης να ευχαριστήσω ιδιαίτερα τους γονείς μου για την στήριξη που μου παρείχαν σε όλη τη διάρκεια των σπουδών μου. Τέλος, δε θα μπορούσα να ξεχάσω τους στενούς μου φίλους που στέκονται πάντα δίπλα μου, αλλά και να ευχαριστήσω από καρδιάς συγκεκριμένα στον παιδικό μου φίλο Χαράλαμπο Μπούμη που είναι πάντα στο πλευρό μου στις εύκολες αλλά και στις δύσκολες στιγμές.
  36. 36. Ερωτήσεις

×