Download to read offline
Uploaded byISSEL
∆ηµιουργία συµπεριφορών αυτόνοµου αυτοκινήτου µε χρήση προσοµοιωτή και απλών καµερών
Η αυτόνοµη οδήγηση είναι µια τεχνολογία η οποία αναπτύσσεται και εξελίσσεται ϱαγδαία τα τελευταία χρόνια. Τόσο η επιστηµονική κοινότητα όσο και οι κατασκευάστριες εταιρίες καταβάλλουν αξιοσηµείωτες προσπάθειες για την ανάπτυξη της τεχνολογίας προς την επίτευξη της αυτόνοµης οδήγησης. Η αυτόνοµη τεχνολογία οχηµάτων θα µπορεί να είναι σε θέση να παρέχει ορισµένα πλεονεκτήµατα σε σύγκριση µε τα παραδοσιακά οχήµατα, καθώς στα επόµενα χρόνια, θα αυξήσει δραµατικά την ασφάλεια των πολιτών, θα µειώσει το χρόνο των µεταφορών αλλά και την κυκλοφοριακή συµφόρηση των δρόµων, συντελώντας στην εύρυθµη λειτουργία του κυκλοφοριακού συστήµατος. Για την επίτευξη µια τέτοιας πραγµατικότητας είναι απαραίτητη η αντίληψη του χώρου γύρω από το αυτόνοµο όχηµα, η προσαρµογή του στο περιβάλλον και η άµεση απόκρισή του σε αλλαγές αυτού. Το όχηµα θα πρέπει να πλοηγείται µε ασφάλεια στο οδικό δίκτυο και να ανταποκρίνεται ανάλογα, αναγνωρίζοντας τόσο τα στατικά και όσο και τα δυναµικά εµπόδια. Επιπλέον, θα πρέπει να υπολογίζει και να αξιολογεί σενάρια αποφάσεων και να επιλέγει την κατάλληλη ανταπόκριση σύµφωνα µε τις συνθήκες. ΄Ετσι, τα αυτόνοµα οχήµατα θα πρέπει να είναι εξοπλισµένα µε εξειδικευµένους αισθητήρες και µε το κατάλληλο σύστηµα ελέγχου και λήψης αποφάσεων. Η παρούσα διπλωµατική εργασία εστιάζει στον σχεδιασµό και την υλοποίηση ενός τέτοιου συστήµατος ικανού να πλοηγείται αυτόνοµα σε προσπελάσιµο δρόµο αφού τον αναγνωρίσει επιτυχώς, κάνοντας χρήση οπτικής πληροφορίας που λαµβάνεται από RGB κάµερα, η οποία είναι ενσωµατωµένη στο όχηµα. Το όχηµα κινείται σε προσοµοιωµένο περιβάλλον, και συγκεκριµένα στον προσοµοιωτή CARLA. Γίνεται εκτενής χρήση συναρτήσεων της βιβλιοθήκης Υπολογιστικής Όρασης OpenCV για την διαµόρφωση και αξιοποίηση της ληφθείσας οπτικής πληροφορίας. Για την αναγνώριση των δυναµικών εµποδίων η οπτική πληροφορία αναλύεται από το µοντέλο βαθιάς µάθησης YOLO (You Only Look Once), ενώ χρησιµοποιείται Οπτική Αναγνώριση Χαρακτήρων (OCR) για την εξαγωγή πληροφορίας από τα σήµατα οδικής κυκλοφορίας και γίνεται ανάλυση ιστογράµµατος για Αναγνώριση Χρώµατος (Color Recognition) των ϕωτεινών σηµατοδοτών. Για την κατασκευή βασικού µονοπατιού δηµιουργείται ένας κατευθυνόµενος γράφος του χάρτη και χρησιµοποιείται ο αλγόριθµος Α* για την αναζήτηση της βέλτιστης διαδροµής. Τέλος, η πλοήγηση επιτυγχάνεται µε ένα σύστηµα διατήρησης των λωρίδων (Lane Keeping Assist System) και τη χρήση ενός PID ελεγκτή.
More Related Content
Similar to ∆ηµιουργία συµπεριφορών αυτόνοµου αυτοκινήτου µε χρήση προσοµοιωτή και απλών καµερών
∆ηµιουργία συµπεριφορών αυτόνοµου αυτοκινήτου µε χρήση προσοµοιωτή και απλών καµερών
- 1. Δημιουργία συμπεριφορών αυτόνομου αυτοκινήτουμε χρήση προσομοιωτή και απλών καμερών Διπλωματική Εργασία Εκπόνηση: Μαστραλέξη Χριστίνα Μαρία 9284 Επίβλεψη: Καθηγητής Ανδρέας Συμεωνίδης Μεταδιδακτορικός ερευνητής Εμμανουήλ Τσαρδούλιας
- 2. 05 04 Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 2 02 Μεθοδολογία Μελλοντική Εργασία 01 Εισαγωγή Συμπεράσματα 03 Αποτελέσματα & Αξιολόγηση
- 3. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 3 Ασφάλεια Κόστος Περιβάλλον Ανάπτυξη • Τήρηση του Κ.Ο.Κ. • Μείωση τροχαίων ατυχημάτων • Ανεπηρέαστο από ανθρώπινα λάθη • Χαμηλότερο κόστος μεταφορών • Μεγαλύτερη διάρκεια ζωής οχήματος • Λιγότερες ανάγκες επισκευών και μειωμένα έξοδα συντήρησης • Μείωση κυκλοφοριακού προβλήματος • Μετακίνηση ατόμων με αναπηρία • Μέσα Μαζικής Μεταφοράς • Σημαντική μείωση ρύπων • Ενεργειακά αποδοτική οδήγηση Κίνητρο
- 4. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 4 Level 0 Κανένας Αυτοματισμός Level 1 Αυτοματισμός Συγκεκριμένων Λειτουργιών Level 2 Αυτοματισμός Συνδυαζόμενων Λειτουργιών Level 3 Περιορισμένος Αυτοματισμός Level 4 Υψηλό Επίπεδο Αυτοματοποίησης Βαθμοί Αυτονομίας Level 5 Πλήρης Αυτοματοποίησ
- 5. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 5 Σκοπός της διπλωματικής Δημιουργία συστήματος αυτόνομης οδήγησης Χρήση της κάμερας ως βασικού αισθητήρα 3 επιμέρους διεργασίες: Αντίληψη Χρήση και επεξεργασία των εικόνων που λαμβάνονται από την κάμερα για να ερμηνεύσει το περιβάλλον του οχήματος Πλοήγηση Διατήρηση ελέγχου και πλοήγηση του οχήματος χρησιμοποιοώντας πληροφορίες για την θέση του στο οδόστρωμα και την τοποθεσία του στον χάρτη Χάραξη βασικού μονοπατιού Σχεδίαση ενός βασικού μονοπατιού στον χάρτη με βάση ένα αρχικό και ένα τελικό σημείο
- 6. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 6 Τεχνολογίες Προσομοιωτής CARLA • Υποστηρίζει την ανάπτυξη, την εκπαίδευση και την αξιολόγηση συστημάτων αυτόνομης οδήγησης • 10 χάρτες πόλεων • Διαφορετικές καιρικές συνθήκες και συνθήκες φωτισμού • Actors: οχήµατα, πεζοί, αισθητήρες, φωτεινοί σηµατοδότες και σήµατα οδικής κυκλοφορίας • Ρεαλιστική φυσική του οχήματος και διαφορετικά σενάρια οδήγησης • Waypoints: σημεία διαδρομής του χάρτη OpenCV • Βιβλιοθήκη κατάλληλη για διαφορετικές εφαρμογές στους τομείς της οπτικής επεξεργασίας YOLO (You Only Look Once) • Aλγόριθµος που χρησιµοποιεί νευρωνικά δίκτυα για τον εντοπισµό και την αναγνώριση αντικειµένων σε πραγµατικό χρόνο
- 7. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 7 02 Μεθοδολογία 05 Μελλοντική Εργασία 01 Εισαγωγή 04 Συμπεράσματα 03 Αποτελέσματα & Αξιολόγηση
- 8. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 8 Υποσυστήματα Υποσύστημα Αντίληψης Αναγνώριση χρώματος φαναριών Υποσύστημα Πλοήγησης Υποσύστημα Κατασκευής Βασικού Μονοπατιού Κατασκευή βασικού μονοπατιού με χρήση του αλγορίθμου Α* Πλοήγηση με χρήση PID ελεγκτή Αναγνώριση λωρίδων στο οδόστρωμα Αναγνώριση αντικειμένων Αναγνώριση σημάτων ταχύτητας Πλοήγηση με διατήρηση λωρίδας
- 9. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 9 Υποσύστημα Αντίληψης Αναγνώριση Λωρίδων Select ROI Grayscale Noise Reduction Canny Edge Detector Hough Transfer Combine line segments into two lanes Line Coordinates Προεπεξεργασία Εικόνας
- 10. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 10 Υποσύστημα Αντίληψης Αναγνώριση Λωρίδων
- 11. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 11 Υποσύστημα Αντίληψης Αναγνώριση Αντικειμένων - Σύνολο Δεδομένων 7 κλάσεις bike vehicle bus motorbike pedestrian traffic light traffic sign • 3624 εικόνες μεγέθους 1600×1200 • 7 κλάσεις • 5 διαφορετικές πόλεις του προσομοιωτή • Διαφορετικές συνθήκες καιρού Ημέρα με ήλιο Ημέρα με συννεφιά Ημέρα με συννεφιά και βρεγμένο δρόμο Ημέρα με χαμηλής έντασης βροχή Ημέρα με μέτριας έντασης βροχή Training Set Test Set
- 12. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 12 Υποσύστημα Αντίληψης Αναγνώριση Αντικειμένων - Δημιουργία Ετικετών .jpg .txt Σύνολο δεδομένων σε YOLO format Πλαίσιο οριοθέτησης Ετικέτες στην εικόνα
- 13. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 13 Υποσύστημα Αντίληψης Αναγνώριση Αντικειμένων – YOLO (You Only Look Once) S x S grid on input Class probability map Bounding Boxes + confidence Final Detections • YOLOv4 • Νευρωνικά δίκτυα για εντοπισμό αντικειμένων σε πραγματικό χρόνο • Λαµβάνει την εικόνα εισόδου µία φορά και δεν την επεξεργάζεται ξανά µετά την είσοδο κατά την εκτέλεση του • Ανίχνευση: πρόβληµα παλινδρόµησης • Είσοδος: εικόνες • Έξοδος: πιθανότητες κλάσεων και συντεταγμένες του πλαισίου οριοθέτησης
- 14. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 14 Υποσύστημα Αντίληψης Αναγνώριση των σημάτων ταχύτητας με Tesseract OCR • OCR – Optical Character Recognition • Σήματα ορίου ταχύτητας κυκλοφορίας: 30, 60 και 90 km/h • Page Segmentation mode (PSM) 9: «Η εικόνα περιέχει μία λέξη μέσα σε κύκλο»
- 15. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 15 Υποσύστημα Αντίληψης Αναγνώριση χρώματος των φωτεινών σηματοδοτών με ανάλυση ιστογράμματος Red mask Green mask • RGB ιστογράμματα • Επεξεργασία ξεχωριστά (R, G, B) ή σε ζεύγη (RG, GB, BR) • Πληροφορία από το GR ιστόγραμμα
- 16. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 16 Υποσύστημα Πλοήγησης PID ελεγκτής Διατήρηση Λωρίδας • Έλεγχος ταχύτητας και θέσης με χρήση PID ελεγκτών μέσω του CARLA API Δύο επιμέρους διαδικασίες: • Αναγνώριση λωρίδων στο οδόστρωμα (Υποσύστημα Αντίληψης) • Καθορισμός κίνησης- Στόχος: Διατήρηση του οχήματος ανάμεσα στα όρια των λωρίδων και πλοήγηση στη μέση • Προκαθορισμένες διαδρομές με καθορισμό αρχικού σημείου εκκίνησης και τελικού σημείου προορισμού • Ελεγκτές: τροποποίηση σφάλματος μεταξύ της επιθυμητής και της πραγματικής εξόδου • Επιλογή του αναλογικού, ολοκληρωτικού και διαφορικού κέρδους • Επιθυμητή διαδρομή: καθορισμένα waypoints (σημεία) • Έλεγχος με διατήρηση λωρίδας (Lane Keeping Assist System)
- 17. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 17 Υποσύστημα Κατασκευής Βασικού Μονοπατιού Κατασκευή Γράφου • Aλγόριθμος Α*: εύρεση συντομότερου μονοπατιού • Υπολογισμός του κόμβου με το χαμηλότερο κόστος f(n) = g(n) + h(n) g(n): κόστος από την αρχική στην τρέχουσα κατάσταση h(n): απόσταση από την παρούσα κατάσταση στην κατάσταση - στόχο • Καλή ταχύτητα εκτέλεσης και αξιοπιστία
- 18. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 18 02 Μεθοδολογία 05 Μελλοντική Εργασία 01 Εισαγωγή 04 Συμπεράσματα 03 Αποτελέσματα & Αξιολόγηση
- 19. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 19 Μετρικές Αξιολόγησης Actual Positive Class Actual Negative Class Predicted Positive Class True Positive (TP) False Negative (FN) Predicted Negative Class False Positive (FP) True Negative (TN) IoU (Intersection over Union) • περιγράφει πως αλληλεπικαλύπτονται το πραγµατικό πλαίσιο σε σχέση µε το πλαίσιο που προβλέφθηκε κατά την ανίχνευση αντικειµένων mAP (mean Average Precision) • χρησιμοποιείται στην ανίχνευση αντικειμένων και συνδυάζει σε μια μετρική τις μετρικές precision και recall IoU = Area of Overlap Area of Union Accuracy = TP + TN TP + TN + FP + FN Precision = TP TP + FP Recall = TP + TN TP F-Measure = Precision + Recall 2 * Precision * Recall
- 20. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 20 Μετρικές Αξιολόγησης Aξιολόγηση ολοκλήρωσης των διαδρομών • ποσοστό ολοκλήρωσης κατα µέσο όρο για Ν διαδροµές 1 Ν 𝑖=1 𝑁 𝑝𝑖 Υπολογισμός σφάλματος της μεθόδου αναγνώρισης λωρίδων • Υπολογισμός της γωνίας μεταξύ της πραγματικής λωρίδας και της λωρίδας που εντοπίστηκε • σφάλµα µεταξύ των ευθειών κατά µέσο όρο : 1 Ν 𝑖=1 𝑁 𝜔𝑖
- 21. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 21 01 Αναγνώριση Αντικειµένων
- 22. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 22 01 Αναγνώριση Αντικειµένων
- 23. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 23 02 Οπτική Αναγνώριση Χαρακτήρων • Tesseract OCR • Σήματα ορίου ταχύτητας 30, 60 και 90 km/h • Αξιολόγηση σε σύνολο 100 εικόνων από το dataset 03 Αναγνώριση χρώµατος των φωτεινών σηµατοδοτών • Ανάλυση ιστογράμματος • Κόκκινη, πράσινη και πορτοκαλί ένδειξη • Αξιολόγηση σε σύνολο 100 εικόνων από το dataset • Απομόνωση των πλαισίων οριοθέτησης στα οποία ανιχνεύτηκαν σημάτα • Απομόνωση των πλαισίων οριοθέτησης στα οποία ανιχνεύτηκαν φανάρια
- 24. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 24 04 Αναγνώριση Λωρίδων • Αναγνώριση σε διαφορετικές συνθήκες φωτισμού • Αξιολόγηση σε σύνολο 50 εικόνων από το dataset • Υπολογισμός της απόκλισης των πραγματικών ακμών στην εικόνα από αυτές που εντοπίστηκαν από τη μέθοδο Αναγνώριση Διαστραυρώσεων • Σηματοδοτούνται με οριζόντια γραμμή στο οδόστρωμα • Αξιολόγηση σε σύνολο 50 εικόνων από το dataset • Απόκλιση: θ = 1,06° µε τυπική απόκλιση σ = 0.8
- 25. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 25 05 Πλοήγηση µε χρήση PID ελεγκτή • Έλεγχος ταχύτητας και κατεύθυνσης του οχήματος • 6 προκαθορισμένες διαδρομές σε 3 από τις πόλεις του CARLA • H εκτέλεση της διαδροµής βαθµολογείται µε 0 εφόσον δεν ολοκληρωθεί µε επιτυχία µια διαδροµή και µε 1 εφόσον το όχηµα εκτελέσει µε επιτυχία την πλοήγηση στη διαδροµή που ορίστηκε
- 26. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 26 02 Μεθοδολογία 05 Μελλοντική Εργασία 01 Εισαγωγή 04 Συμπεράσματα 03 Αποτελέσματα & Αξιολόγηση
- 27. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 27 Συμπεράσματα Επιτυχής αναγνώριση στατικών και δυναμικών εμποδίων με χρήση του δικτύου YOLO Η μέθοδος εντοπισμού των λωρίδων ανταποκρίθηκε επιτυχώς σε διαφορετικές συνθήκες καιρού και φωτισμού Η διαδικασία της οπτικής αναγνώρισης χαρακτήρων επηρεάστηκε πολύ περίσσοτερο από τις υπόλοιπες μεθόδους από τις καιρικές συνθήκες Η μέθοδος διατήρησης λωρίδας λειτουργεί ικανοποιητικά σε δρόμους χωρίς διαστραυρώσεις αλλά σε δρόμους χωρίς λωρίδες η μέθοδος αυτή δεν θα μπορούσε να εφαρμοστεί
- 28. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 28 02 Μεθοδολογία 05 Μελλοντική Εργασία 01 Εισαγωγή 04 Συμπεράσματα 03 Αποτελέσματα & Αξιολόγηση
- 29. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 29 Μελλοντική Εργασία Σύστηµα πλοήγησης που να λειτουργέι εξ ολοκλήρου µε τη χρήση κάµερας, µελετώντας πιο σύνθετες µεθόδους, σε συνδυασµό µε µια υλοποιήση µιας Μηχανής Καταστάσεων (FSM) Χρήση µιας αναλυτικής µεθόδου για τον καθορισµό των κανόνων αξιολόγησης με προκατασκευασµένο πίνακα που αντικατοπτρίζει την αξία ενός κανόνα για κάθε συµπεριφορά και κάθε παράβαση που µπορεί να εκτελεί το όχηµα Δημιουργία μεγαλύτερου συνόλου δεδοµένων για την εκπαίδευση του µοντέλου YOLO Aξιολόγηση µε µέρος του συνόλου δεδοµένων που να περιλαµβάνει περισσότερες εικόνες µε ακραίες συνθήκες φωτισµού και καιρού Δηµιουργία ενός συστήµατος εναλλακτικών διαδροµών σε περίπτωση αποφυγής εµποδίων ή προσπέρασης οχήµατος, το οποίο θα λάµβανε πληροφορίες από το σύστηµα αντίληψης
- 30. Δεκέμβριος 2022 ∆ημιουργίασυμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 30 Ευχαριστώ πολύ για την προσοχή σας! Ερωτήσεις;