SlideShare a Scribd company logo

Camera-driven behavioral planning for autonomous vehicles on the CARLA Simulator

ISSEL
ISSEL

Autonomous driving is developing and evolving rapidly in the recent years. Both the scientific community and industry are making significant efforts to develop the necessary sophisticated technology and ultimately to achieve autonomous driving. Autonomous vehicle technology is expected to provide several advantages compared to traditional vehicles, as in the coming years, it will dramatically increase citizens’ safety, reduce transportation time and road congestion. In order to develop such a solution, it is necessary for the autonomous vehicles to have an excellent perception of the surrounding space, be able to adapt to it, and respond instantly to any changes of the surrounding environment. The vehicle must safely navigate on the road and properly respond to static and dynamic obstacles. In addition, it should evaluate decision scenarios and then, according to the cir cumstances, select the appropriate response. Thus, autonomous vehicles need to be equipped with appropriate state-of-the-art sensors and also with the appropriate control and decision-making system. This dissertation focuses on the design and development of such an autonomous driving system. The purpose of the system is to safely navigate on the road recog nized via optical means. The Computer Vision OpenCV library is extensively used throughout the project for preprocessing the received RGB image, so as to make it suitable for analysis. The perception system uses the programming interface of the CARLA simulator to integrate an RGB camera. For the identification of dynamic ob stacles, visual information is analyzed by the deep learning model YOLO (You Only Look Once) while using Optical Character Recognition (OCR) to export information from road traffic signals and a histogram analysis is performed for traffic light color recognition. In the global path construction system, a guided graph of the map is created and the algorithm A* is used to search for the optimal route. Finally, a Lane Keeping Assistance system and a PID controller are used for the navigation control system.

1 of 30
Download to read offline
Δημιουργία συμπεριφορών αυτόνομου
αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
Διπλωματική Εργασία
Εκπόνηση:
Μαστραλέξη Χριστίνα Μαρία
9284
Επίβλεψη:
Καθηγητής Ανδρέας Συμεωνίδης
Μεταδιδακτορικός ερευνητής
Εμμανουήλ Τσαρδούλιας
05
04
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
2
02 Μεθοδολογία
Μελλοντική Εργασία
01
Εισαγωγή
Συμπεράσματα
03
Αποτελέσματα &
Αξιολόγηση
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
3
Ασφάλεια
Κόστος
Περιβάλλον
Ανάπτυξη
• Τήρηση του Κ.Ο.Κ.
• Μείωση τροχαίων
ατυχημάτων
• Ανεπηρέαστο από
ανθρώπινα λάθη
• Χαμηλότερο κόστος
μεταφορών
• Μεγαλύτερη διάρκεια ζωής
οχήματος
• Λιγότερες ανάγκες
επισκευών και μειωμένα
έξοδα συντήρησης
• Μείωση κυκλοφοριακού
προβλήματος
• Μετακίνηση ατόμων με
αναπηρία
• Μέσα Μαζικής Μεταφοράς
• Σημαντική μείωση ρύπων
• Ενεργειακά αποδοτική
οδήγηση
Κίνητρο
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
4
Level 0
Κανένας Αυτοματισμός
Level 1
Αυτοματισμός Συγκεκριμένων
Λειτουργιών
Level 2
Αυτοματισμός Συνδυαζόμενων
Λειτουργιών
Level 3
Περιορισμένος Αυτοματισμός
Level 4
Υψηλό Επίπεδο
Αυτοματοποίησης
Βαθμοί Αυτονομίας
Level 5
Πλήρης Αυτοματοποίησ
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
5
Σκοπός της διπλωματικής
Δημιουργία συστήματος αυτόνομης οδήγησης
Χρήση της κάμερας ως βασικού αισθητήρα
3 επιμέρους διεργασίες:
Αντίληψη
Χρήση και επεξεργασία των εικόνων που λαμβάνονται από την κάμερα για να ερμηνεύσει το περιβάλλον του οχήματος
Πλοήγηση
Διατήρηση ελέγχου και πλοήγηση του οχήματος χρησιμοποιοώντας πληροφορίες για την θέση του στο οδόστρωμα και την
τοποθεσία του στον χάρτη
Χάραξη βασικού μονοπατιού
Σχεδίαση ενός βασικού μονοπατιού στον χάρτη με βάση ένα αρχικό και ένα τελικό σημείο
Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή
και απλών καμερών
6
Τεχνολογίες
Προσομοιωτής CARLA
• Υποστηρίζει την ανάπτυξη, την εκπαίδευση και
την αξιολόγηση συστημάτων αυτόνομης
οδήγησης
• 10 χάρτες πόλεων
• Διαφορετικές καιρικές συνθήκες και συνθήκες
φωτισμού
• Actors: οχήµατα, πεζοί, αισθητήρες, φωτεινοί
σηµατοδότες και σήµατα οδικής κυκλοφορίας
• Ρεαλιστική φυσική του οχήματος και διαφορετικά
σενάρια οδήγησης
• Waypoints: σημεία διαδρομής του χάρτη
OpenCV
• Βιβλιοθήκη κατάλληλη για διαφορετικές
εφαρμογές στους τομείς της οπτικής
επεξεργασίας
YOLO (You Only Look Once)
• Aλγόριθµος που χρησιµοποιεί νευρωνικά
δίκτυα για τον εντοπισµό και την αναγνώριση
αντικειµένων σε πραγµατικό χρόνο

Recommended

Χάραξη βέλτιστου μονοπατιού και πλοήγηση αυτόνομου οχήματος σε δυναμικό περιβ...
Χάραξη βέλτιστου μονοπατιού και πλοήγηση αυτόνομου οχήματος σε δυναμικό περιβ...Χάραξη βέλτιστου μονοπατιού και πλοήγηση αυτόνομου οχήματος σε δυναμικό περιβ...
Χάραξη βέλτιστου μονοπατιού και πλοήγηση αυτόνομου οχήματος σε δυναμικό περιβ...ISSEL
 
Development of a system for designing remote digital image processing pipelin...
Development of a system for designing remote digital image processing pipelin...Development of a system for designing remote digital image processing pipelin...
Development of a system for designing remote digital image processing pipelin...ISSEL
 
Ανάπτυξη υποδομής για τη δημιουργία ροών απομακρυσμένης επεξεργασίας εικόνας ...
Ανάπτυξη υποδομής για τη δημιουργία ροών απομακρυσμένης επεξεργασίας εικόνας ...Ανάπτυξη υποδομής για τη δημιουργία ροών απομακρυσμένης επεξεργασίας εικόνας ...
Ανάπτυξη υποδομής για τη δημιουργία ροών απομακρυσμένης επεξεργασίας εικόνας ...ISSEL
 
Eύρεση θέσης στάθμευσης και κατηγοριοποίηση ανθρώπινης δραστηριότητας με χρήσ...
Eύρεση θέσης στάθμευσης και κατηγοριοποίηση ανθρώπινης δραστηριότητας με χρήσ...Eύρεση θέσης στάθμευσης και κατηγοριοποίηση ανθρώπινης δραστηριότητας με χρήσ...
Eύρεση θέσης στάθμευσης και κατηγοριοποίηση ανθρώπινης δραστηριότητας με χρήσ...ISSEL
 
Automatic parking slots identification via mobile phone sensors, using human ...
Automatic parking slots identification via mobile phone sensors, using human ...Automatic parking slots identification via mobile phone sensors, using human ...
Automatic parking slots identification via mobile phone sensors, using human ...ISSEL
 
Autonomous vehicle perception using a monocular camera
Autonomous vehicle perception using a monocular cameraAutonomous vehicle perception using a monocular camera
Autonomous vehicle perception using a monocular cameraISSEL
 
Αντίληψη αυτόνοµου οχήµατος µε χρήση κάµερας
Αντίληψη αυτόνοµου οχήµατος µε χρήση κάµεραςΑντίληψη αυτόνοµου οχήµατος µε χρήση κάµερας
Αντίληψη αυτόνοµου οχήµατος µε χρήση κάµεραςISSEL
 
Τεχνικές Πληθοπορισµού σε Αυτόνοµα Οχήµατα για την ∆ηµιουργία Επιπέδων στο Σύ...
Τεχνικές Πληθοπορισµού σε Αυτόνοµα Οχήµατα για την ∆ηµιουργία Επιπέδων στο Σύ...Τεχνικές Πληθοπορισµού σε Αυτόνοµα Οχήµατα για την ∆ηµιουργία Επιπέδων στο Σύ...
Τεχνικές Πληθοπορισµού σε Αυτόνοµα Οχήµατα για την ∆ηµιουργία Επιπέδων στο Σύ...ISSEL
 

More Related Content

Similar to Camera-driven behavioral planning for autonomous vehicles on the CARLA Simulator

DIploma Thesis, MSc in Digital Communication Media and Interaction Environmen...
DIploma Thesis, MSc in Digital Communication Media and Interaction Environmen...DIploma Thesis, MSc in Digital Communication Media and Interaction Environmen...
DIploma Thesis, MSc in Digital Communication Media and Interaction Environmen...StavrosMarkoulakis
 
«Ψηφιοποίηση | Πρόκληση & Ευκαιρία» - Κωνσταντίνος Ντάλλας
«Ψηφιοποίηση | Πρόκληση & Ευκαιρία» - Κωνσταντίνος Ντάλλας«Ψηφιοποίηση | Πρόκληση & Ευκαιρία» - Κωνσταντίνος Ντάλλας
«Ψηφιοποίηση | Πρόκληση & Ευκαιρία» - Κωνσταντίνος ΝτάλλαςOTS SA
 
Μιχαήλ Παπαμιχαήλ
Μιχαήλ ΠαπαμιχαήλΜιχαήλ Παπαμιχαήλ
Μιχαήλ ΠαπαμιχαήλISSEL
 
Ιoannis Αgrotis
Ιoannis ΑgrotisΙoannis Αgrotis
Ιoannis ΑgrotisISSEL
 
Optimization of traffic lights timing using Reinforcement learning to minimiz...
Optimization of traffic lights timing using Reinforcement learning to minimiz...Optimization of traffic lights timing using Reinforcement learning to minimiz...
Optimization of traffic lights timing using Reinforcement learning to minimiz...ISSEL
 
Υπολογισμός χρονισμού φωτεινών σηματοδοτών με χρήση ενισχυτικής μάθησης προς ...
Υπολογισμός χρονισμού φωτεινών σηματοδοτών με χρήση ενισχυτικής μάθησης προς ...Υπολογισμός χρονισμού φωτεινών σηματοδοτών με χρήση ενισχυτικής μάθησης προς ...
Υπολογισμός χρονισμού φωτεινών σηματοδοτών με χρήση ενισχυτικής μάθησης προς ...ISSEL
 
Αναπαράσταση Οπτικού Προγραμματισμού με το εργαλείο «ΚωδικΌραμα» | Αναστάσιος...
Αναπαράσταση Οπτικού Προγραμματισμού με το εργαλείο «ΚωδικΌραμα» | Αναστάσιος...Αναπαράσταση Οπτικού Προγραμματισμού με το εργαλείο «ΚωδικΌραμα» | Αναστάσιος...
Αναπαράσταση Οπτικού Προγραμματισμού με το εργαλείο «ΚωδικΌραμα» | Αναστάσιος...WROHellas
 
Σταμάτης Πολύδωρας, Auto Forum 2017
Σταμάτης Πολύδωρας, Auto Forum 2017Σταμάτης Πολύδωρας, Auto Forum 2017
Σταμάτης Πολύδωρας, Auto Forum 2017Starttech Ventures
 

Similar to Camera-driven behavioral planning for autonomous vehicles on the CARLA Simulator (8)

DIploma Thesis, MSc in Digital Communication Media and Interaction Environmen...
DIploma Thesis, MSc in Digital Communication Media and Interaction Environmen...DIploma Thesis, MSc in Digital Communication Media and Interaction Environmen...
DIploma Thesis, MSc in Digital Communication Media and Interaction Environmen...
 
«Ψηφιοποίηση | Πρόκληση & Ευκαιρία» - Κωνσταντίνος Ντάλλας
«Ψηφιοποίηση | Πρόκληση & Ευκαιρία» - Κωνσταντίνος Ντάλλας«Ψηφιοποίηση | Πρόκληση & Ευκαιρία» - Κωνσταντίνος Ντάλλας
«Ψηφιοποίηση | Πρόκληση & Ευκαιρία» - Κωνσταντίνος Ντάλλας
 
Μιχαήλ Παπαμιχαήλ
Μιχαήλ ΠαπαμιχαήλΜιχαήλ Παπαμιχαήλ
Μιχαήλ Παπαμιχαήλ
 
Ιoannis Αgrotis
Ιoannis ΑgrotisΙoannis Αgrotis
Ιoannis Αgrotis
 
Optimization of traffic lights timing using Reinforcement learning to minimiz...
Optimization of traffic lights timing using Reinforcement learning to minimiz...Optimization of traffic lights timing using Reinforcement learning to minimiz...
Optimization of traffic lights timing using Reinforcement learning to minimiz...
 
Υπολογισμός χρονισμού φωτεινών σηματοδοτών με χρήση ενισχυτικής μάθησης προς ...
Υπολογισμός χρονισμού φωτεινών σηματοδοτών με χρήση ενισχυτικής μάθησης προς ...Υπολογισμός χρονισμού φωτεινών σηματοδοτών με χρήση ενισχυτικής μάθησης προς ...
Υπολογισμός χρονισμού φωτεινών σηματοδοτών με χρήση ενισχυτικής μάθησης προς ...
 
Αναπαράσταση Οπτικού Προγραμματισμού με το εργαλείο «ΚωδικΌραμα» | Αναστάσιος...
Αναπαράσταση Οπτικού Προγραμματισμού με το εργαλείο «ΚωδικΌραμα» | Αναστάσιος...Αναπαράσταση Οπτικού Προγραμματισμού με το εργαλείο «ΚωδικΌραμα» | Αναστάσιος...
Αναπαράσταση Οπτικού Προγραμματισμού με το εργαλείο «ΚωδικΌραμα» | Αναστάσιος...
 
Σταμάτης Πολύδωρας, Auto Forum 2017
Σταμάτης Πολύδωρας, Auto Forum 2017Σταμάτης Πολύδωρας, Auto Forum 2017
Σταμάτης Πολύδωρας, Auto Forum 2017
 

More from ISSEL

Ανίχνευση αντικειµένων από λίγα δείγµατα µε χρήση γραφηµάτων και τεχνικών ΜΕΤ...
Ανίχνευση αντικειµένων από λίγα δείγµατα µε χρήση γραφηµάτων και τεχνικών ΜΕΤ...Ανίχνευση αντικειµένων από λίγα δείγµατα µε χρήση γραφηµάτων και τεχνικών ΜΕΤ...
Ανίχνευση αντικειµένων από λίγα δείγµατα µε χρήση γραφηµάτων και τεχνικών ΜΕΤ...ISSEL
 
Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...
Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...
Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...ISSEL
 
Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...
Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...
Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...ISSEL
 
Ανάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής Νοημοσύνης
Ανάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής ΝοημοσύνηςΑνάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής Νοημοσύνης
Ανάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής ΝοημοσύνηςISSEL
 
Ανάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptx
Ανάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptxΑνάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptx
Ανάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptxISSEL
 
Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...
Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...
Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...ISSEL
 
Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...
Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...
Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...ISSEL
 
Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...
Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...
Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...ISSEL
 
Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...
Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...
Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...ISSEL
 
Δημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας Ισχυρισμών
Δημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας ΙσχυρισμώνΔημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας Ισχυρισμών
Δημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας ΙσχυρισμώνISSEL
 
Εξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµατα
Εξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµαταΕξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµατα
Εξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµαταISSEL
 
Ανάπτυξη Μηχανισμών Αυτοματοποίησης των διαδικασιών κατασκευής συστημάτων λο...
Ανάπτυξη Μηχανισμών Αυτοματοποίησης των  διαδικασιών κατασκευής συστημάτων λο...Ανάπτυξη Μηχανισμών Αυτοματοποίησης των  διαδικασιών κατασκευής συστημάτων λο...
Ανάπτυξη Μηχανισμών Αυτοματοποίησης των διαδικασιών κατασκευής συστημάτων λο...ISSEL
 
ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...
ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...
ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...ISSEL
 
Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...
Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...
Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...ISSEL
 
Εξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικού
Εξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικούΕξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικού
Εξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικούISSEL
 
Ανάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία Εφαρµογής
Ανάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία ΕφαρµογήςΑνάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία Εφαρµογής
Ανάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία ΕφαρµογήςISSEL
 
Camera-based localization of annotated objects in indoor environments
Camera-based localization of annotated objects in indoor environmentsCamera-based localization of annotated objects in indoor environments
Camera-based localization of annotated objects in indoor environmentsISSEL
 
Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...
Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...
Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...ISSEL
 
Design and implementation of an automation mechanism to automatically develop...
Design and implementation of an automation mechanism to automatically develop...Design and implementation of an automation mechanism to automatically develop...
Design and implementation of an automation mechanism to automatically develop...ISSEL
 
ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...
ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...
ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...ISSEL
 

More from ISSEL (20)

Ανίχνευση αντικειµένων από λίγα δείγµατα µε χρήση γραφηµάτων και τεχνικών ΜΕΤ...
Ανίχνευση αντικειµένων από λίγα δείγµατα µε χρήση γραφηµάτων και τεχνικών ΜΕΤ...Ανίχνευση αντικειµένων από λίγα δείγµατα µε χρήση γραφηµάτων και τεχνικών ΜΕΤ...
Ανίχνευση αντικειµένων από λίγα δείγµατα µε χρήση γραφηµάτων και τεχνικών ΜΕΤ...
 
Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...
Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...
Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...
 
Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...
Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...
Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...
 
Ανάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής Νοημοσύνης
Ανάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής ΝοημοσύνηςΑνάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής Νοημοσύνης
Ανάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής Νοημοσύνης
 
Ανάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptx
Ανάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptxΑνάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptx
Ανάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptx
 
Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...
Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...
Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...
 
Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...
Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...
Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...
 
Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...
Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...
Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...
 
Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...
Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...
Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...
 
Δημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας Ισχυρισμών
Δημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας ΙσχυρισμώνΔημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας Ισχυρισμών
Δημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας Ισχυρισμών
 
Εξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµατα
Εξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµαταΕξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµατα
Εξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµατα
 
Ανάπτυξη Μηχανισμών Αυτοματοποίησης των διαδικασιών κατασκευής συστημάτων λο...
Ανάπτυξη Μηχανισμών Αυτοματοποίησης των  διαδικασιών κατασκευής συστημάτων λο...Ανάπτυξη Μηχανισμών Αυτοματοποίησης των  διαδικασιών κατασκευής συστημάτων λο...
Ανάπτυξη Μηχανισμών Αυτοματοποίησης των διαδικασιών κατασκευής συστημάτων λο...
 
ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...
ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...
ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...
 
Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...
Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...
Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...
 
Εξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικού
Εξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικούΕξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικού
Εξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικού
 
Ανάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία Εφαρµογής
Ανάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία ΕφαρµογήςΑνάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία Εφαρµογής
Ανάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία Εφαρµογής
 
Camera-based localization of annotated objects in indoor environments
Camera-based localization of annotated objects in indoor environmentsCamera-based localization of annotated objects in indoor environments
Camera-based localization of annotated objects in indoor environments
 
Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...
Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...
Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...
 
Design and implementation of an automation mechanism to automatically develop...
Design and implementation of an automation mechanism to automatically develop...Design and implementation of an automation mechanism to automatically develop...
Design and implementation of an automation mechanism to automatically develop...
 
ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...
ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...
ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...
 

Camera-driven behavioral planning for autonomous vehicles on the CARLA Simulator

  • 1. Δημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών Διπλωματική Εργασία Εκπόνηση: Μαστραλέξη Χριστίνα Μαρία 9284 Επίβλεψη: Καθηγητής Ανδρέας Συμεωνίδης Μεταδιδακτορικός ερευνητής Εμμανουήλ Τσαρδούλιας
  • 2. 05 04 Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 2 02 Μεθοδολογία Μελλοντική Εργασία 01 Εισαγωγή Συμπεράσματα 03 Αποτελέσματα & Αξιολόγηση
  • 3. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 3 Ασφάλεια Κόστος Περιβάλλον Ανάπτυξη • Τήρηση του Κ.Ο.Κ. • Μείωση τροχαίων ατυχημάτων • Ανεπηρέαστο από ανθρώπινα λάθη • Χαμηλότερο κόστος μεταφορών • Μεγαλύτερη διάρκεια ζωής οχήματος • Λιγότερες ανάγκες επισκευών και μειωμένα έξοδα συντήρησης • Μείωση κυκλοφοριακού προβλήματος • Μετακίνηση ατόμων με αναπηρία • Μέσα Μαζικής Μεταφοράς • Σημαντική μείωση ρύπων • Ενεργειακά αποδοτική οδήγηση Κίνητρο
  • 4. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 4 Level 0 Κανένας Αυτοματισμός Level 1 Αυτοματισμός Συγκεκριμένων Λειτουργιών Level 2 Αυτοματισμός Συνδυαζόμενων Λειτουργιών Level 3 Περιορισμένος Αυτοματισμός Level 4 Υψηλό Επίπεδο Αυτοματοποίησης Βαθμοί Αυτονομίας Level 5 Πλήρης Αυτοματοποίησ
  • 5. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 5 Σκοπός της διπλωματικής Δημιουργία συστήματος αυτόνομης οδήγησης Χρήση της κάμερας ως βασικού αισθητήρα 3 επιμέρους διεργασίες: Αντίληψη Χρήση και επεξεργασία των εικόνων που λαμβάνονται από την κάμερα για να ερμηνεύσει το περιβάλλον του οχήματος Πλοήγηση Διατήρηση ελέγχου και πλοήγηση του οχήματος χρησιμοποιοώντας πληροφορίες για την θέση του στο οδόστρωμα και την τοποθεσία του στον χάρτη Χάραξη βασικού μονοπατιού Σχεδίαση ενός βασικού μονοπατιού στον χάρτη με βάση ένα αρχικό και ένα τελικό σημείο
  • 6. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 6 Τεχνολογίες Προσομοιωτής CARLA • Υποστηρίζει την ανάπτυξη, την εκπαίδευση και την αξιολόγηση συστημάτων αυτόνομης οδήγησης • 10 χάρτες πόλεων • Διαφορετικές καιρικές συνθήκες και συνθήκες φωτισμού • Actors: οχήµατα, πεζοί, αισθητήρες, φωτεινοί σηµατοδότες και σήµατα οδικής κυκλοφορίας • Ρεαλιστική φυσική του οχήματος και διαφορετικά σενάρια οδήγησης • Waypoints: σημεία διαδρομής του χάρτη OpenCV • Βιβλιοθήκη κατάλληλη για διαφορετικές εφαρμογές στους τομείς της οπτικής επεξεργασίας YOLO (You Only Look Once) • Aλγόριθµος που χρησιµοποιεί νευρωνικά δίκτυα για τον εντοπισµό και την αναγνώριση αντικειµένων σε πραγµατικό χρόνο
  • 7. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 7 02 Μεθοδολογία 05 Μελλοντική Εργασία 01 Εισαγωγή 04 Συμπεράσματα 03 Αποτελέσματα & Αξιολόγηση
  • 8. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 8 Υποσυστήματα Υποσύστημα Αντίληψης Αναγνώριση χρώματος φαναριών Υποσύστημα Πλοήγησης Υποσύστημα Κατασκευής Βασικού Μονοπατιού Κατασκευή βασικού μονοπατιού με χρήση του αλγορίθμου Α* Πλοήγηση με χρήση PID ελεγκτή Αναγνώριση λωρίδων στο οδόστρωμα Αναγνώριση αντικειμένων Αναγνώριση σημάτων ταχύτητας Πλοήγηση με διατήρηση λωρίδας
  • 9. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 9 Υποσύστημα Αντίληψης Αναγνώριση Λωρίδων Select ROI Grayscale Noise Reduction Canny Edge Detector Hough Transfer Combine line segments into two lanes Line Coordinates Προεπεξεργασία Εικόνας
  • 10. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 10 Υποσύστημα Αντίληψης Αναγνώριση Λωρίδων
  • 11. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 11 Υποσύστημα Αντίληψης Αναγνώριση Αντικειμένων - Σύνολο Δεδομένων 7 κλάσεις bike vehicle bus motorbike pedestrian traffic light traffic sign • 3624 εικόνες μεγέθους 1600×1200 • 7 κλάσεις • 5 διαφορετικές πόλεις του προσομοιωτή • Διαφορετικές συνθήκες καιρού  Ημέρα με ήλιο  Ημέρα με συννεφιά  Ημέρα με συννεφιά και βρεγμένο δρόμο  Ημέρα με χαμηλής έντασης βροχή  Ημέρα με μέτριας έντασης βροχή Training Set Test Set
  • 12. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 12 Υποσύστημα Αντίληψης Αναγνώριση Αντικειμένων - Δημιουργία Ετικετών .jpg .txt Σύνολο δεδομένων σε YOLO format Πλαίσιο οριοθέτησης Ετικέτες στην εικόνα
  • 13. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 13 Υποσύστημα Αντίληψης Αναγνώριση Αντικειμένων – YOLO (You Only Look Once) S x S grid on input Class probability map Bounding Boxes + confidence Final Detections • YOLOv4 • Νευρωνικά δίκτυα για εντοπισμό αντικειμένων σε πραγματικό χρόνο • Λαµβάνει την εικόνα εισόδου µία φορά και δεν την επεξεργάζεται ξανά µετά την είσοδο κατά την εκτέλεση του • Ανίχνευση: πρόβληµα παλινδρόµησης • Είσοδος: εικόνες • Έξοδος: πιθανότητες κλάσεων και συντεταγμένες του πλαισίου οριοθέτησης
  • 14. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 14 Υποσύστημα Αντίληψης Αναγνώριση των σημάτων ταχύτητας με Tesseract OCR • OCR – Optical Character Recognition • Σήματα ορίου ταχύτητας κυκλοφορίας: 30, 60 και 90 km/h • Page Segmentation mode (PSM) 9: «Η εικόνα περιέχει μία λέξη μέσα σε κύκλο»
  • 15. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 15 Υποσύστημα Αντίληψης Αναγνώριση χρώματος των φωτεινών σηματοδοτών με ανάλυση ιστογράμματος Red mask Green mask • RGB ιστογράμματα • Επεξεργασία ξεχωριστά (R, G, B) ή σε ζεύγη (RG, GB, BR) • Πληροφορία από το GR ιστόγραμμα
  • 16. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 16 Υποσύστημα Πλοήγησης PID ελεγκτής Διατήρηση Λωρίδας • Έλεγχος ταχύτητας και θέσης με χρήση PID ελεγκτών μέσω του CARLA API Δύο επιμέρους διαδικασίες: • Αναγνώριση λωρίδων στο οδόστρωμα (Υποσύστημα Αντίληψης) • Καθορισμός κίνησης- Στόχος: Διατήρηση του οχήματος ανάμεσα στα όρια των λωρίδων και πλοήγηση στη μέση • Προκαθορισμένες διαδρομές με καθορισμό αρχικού σημείου εκκίνησης και τελικού σημείου προορισμού • Ελεγκτές: τροποποίηση σφάλματος μεταξύ της επιθυμητής και της πραγματικής εξόδου • Επιλογή του αναλογικού, ολοκληρωτικού και διαφορικού κέρδους • Επιθυμητή διαδρομή: καθορισμένα waypoints (σημεία) • Έλεγχος με διατήρηση λωρίδας (Lane Keeping Assist System)
  • 17. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 17 Υποσύστημα Κατασκευής Βασικού Μονοπατιού Κατασκευή Γράφου • Aλγόριθμος Α*: εύρεση συντομότερου μονοπατιού • Υπολογισμός του κόμβου με το χαμηλότερο κόστος f(n) = g(n) + h(n) g(n): κόστος από την αρχική στην τρέχουσα κατάσταση h(n): απόσταση από την παρούσα κατάσταση στην κατάσταση - στόχο • Καλή ταχύτητα εκτέλεσης και αξιοπιστία
  • 18. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 18 02 Μεθοδολογία 05 Μελλοντική Εργασία 01 Εισαγωγή 04 Συμπεράσματα 03 Αποτελέσματα & Αξιολόγηση
  • 19. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 19 Μετρικές Αξιολόγησης Actual Positive Class Actual Negative Class Predicted Positive Class True Positive (TP) False Negative (FN) Predicted Negative Class False Positive (FP) True Negative (TN) IoU (Intersection over Union) • περιγράφει πως αλληλεπικαλύπτονται το πραγµατικό πλαίσιο σε σχέση µε το πλαίσιο που προβλέφθηκε κατά την ανίχνευση αντικειµένων mAP (mean Average Precision) • χρησιμοποιείται στην ανίχνευση αντικειμένων και συνδυάζει σε μια μετρική τις μετρικές precision και recall IoU = Area of Overlap Area of Union Accuracy = TP + TN TP + TN + FP + FN Precision = TP TP + FP Recall = TP + TN TP F-Measure = Precision + Recall 2 * Precision * Recall
  • 20. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 20 Μετρικές Αξιολόγησης Aξιολόγηση ολοκλήρωσης των διαδρομών • ποσοστό ολοκλήρωσης κατα µέσο όρο για Ν διαδροµές 1 Ν 𝑖=1 𝑁 𝑝𝑖 Υπολογισμός σφάλματος της μεθόδου αναγνώρισης λωρίδων • Υπολογισμός της γωνίας μεταξύ της πραγματικής λωρίδας και της λωρίδας που εντοπίστηκε • σφάλµα µεταξύ των ευθειών κατά µέσο όρο : 1 Ν 𝑖=1 𝑁 𝜔𝑖
  • 21. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 21 01 Αναγνώριση Αντικειµένων
  • 22. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 22 01 Αναγνώριση Αντικειµένων
  • 23. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 23 02 Οπτική Αναγνώριση Χαρακτήρων • Tesseract OCR • Σήματα ορίου ταχύτητας 30, 60 και 90 km/h • Αξιολόγηση σε σύνολο 100 εικόνων από το dataset 03 Αναγνώριση χρώµατος των φωτεινών σηµατοδοτών • Ανάλυση ιστογράμματος • Κόκκινη, πράσινη και πορτοκαλί ένδειξη • Αξιολόγηση σε σύνολο 100 εικόνων από το dataset • Απομόνωση των πλαισίων οριοθέτησης στα οποία ανιχνεύτηκαν σημάτα • Απομόνωση των πλαισίων οριοθέτησης στα οποία ανιχνεύτηκαν φανάρια
  • 24. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 24 04 Αναγνώριση Λωρίδων • Αναγνώριση σε διαφορετικές συνθήκες φωτισμού • Αξιολόγηση σε σύνολο 50 εικόνων από το dataset • Υπολογισμός της απόκλισης των πραγματικών ακμών στην εικόνα από αυτές που εντοπίστηκαν από τη μέθοδο Αναγνώριση Διαστραυρώσεων • Σηματοδοτούνται με οριζόντια γραμμή στο οδόστρωμα • Αξιολόγηση σε σύνολο 50 εικόνων από το dataset • Απόκλιση: θ = 1,06° µε τυπική απόκλιση σ = 0.8
  • 25. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 25 05 Πλοήγηση µε χρήση PID ελεγκτή • Έλεγχος ταχύτητας και κατεύθυνσης του οχήματος • 6 προκαθορισμένες διαδρομές σε 3 από τις πόλεις του CARLA • H εκτέλεση της διαδροµής βαθµολογείται µε 0 εφόσον δεν ολοκληρωθεί µε επιτυχία µια διαδροµή και µε 1 εφόσον το όχηµα εκτελέσει µε επιτυχία την πλοήγηση στη διαδροµή που ορίστηκε
  • 26. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 26 02 Μεθοδολογία 05 Μελλοντική Εργασία 01 Εισαγωγή 04 Συμπεράσματα 03 Αποτελέσματα & Αξιολόγηση
  • 27. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 27 Συμπεράσματα Επιτυχής αναγνώριση στατικών και δυναμικών εμποδίων με χρήση του δικτύου YOLO Η μέθοδος εντοπισμού των λωρίδων ανταποκρίθηκε επιτυχώς σε διαφορετικές συνθήκες καιρού και φωτισμού Η διαδικασία της οπτικής αναγνώρισης χαρακτήρων επηρεάστηκε πολύ περίσσοτερο από τις υπόλοιπες μεθόδους από τις καιρικές συνθήκες Η μέθοδος διατήρησης λωρίδας λειτουργεί ικανοποιητικά σε δρόμους χωρίς διαστραυρώσεις αλλά σε δρόμους χωρίς λωρίδες η μέθοδος αυτή δεν θα μπορούσε να εφαρμοστεί
  • 28. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 28 02 Μεθοδολογία 05 Μελλοντική Εργασία 01 Εισαγωγή 04 Συμπεράσματα 03 Αποτελέσματα & Αξιολόγηση
  • 29. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 29 Μελλοντική Εργασία Σύστηµα πλοήγησης που να λειτουργέι εξ ολοκλήρου µε τη χρήση κάµερας, µελετώντας πιο σύνθετες µεθόδους, σε συνδυασµό µε µια υλοποιήση µιας Μηχανής Καταστάσεων (FSM) Χρήση µιας αναλυτικής µεθόδου για τον καθορισµό των κανόνων αξιολόγησης με προκατασκευασµένο πίνακα που αντικατοπτρίζει την αξία ενός κανόνα για κάθε συµπεριφορά και κάθε παράβαση που µπορεί να εκτελεί το όχηµα Δημιουργία μεγαλύτερου συνόλου δεδοµένων για την εκπαίδευση του µοντέλου YOLO Aξιολόγηση µε µέρος του συνόλου δεδοµένων που να περιλαµβάνει περισσότερες εικόνες µε ακραίες συνθήκες φωτισµού και καιρού Δηµιουργία ενός συστήµατος εναλλακτικών διαδροµών σε περίπτωση αποφυγής εµποδίων ή προσπέρασης οχήµατος, το οποίο θα λάµβανε πληροφορίες από το σύστηµα αντίληψης
  • 30. Δεκέμβριος 2022 ∆ημιουργία συμπεριφορών αυτόνομου αυτοκινήτου με χρήση προσομοιωτή και απλών καμερών 30 Ευχαριστώ πολύ για την προσοχή σας! Ερωτήσεις;