Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
Εντοπισμός και χαρτογράφηση ατελειών
οδοστρώματος κατά την οδήγηση μέσω
αισθητήρων και έξυπνων συσκευών
Διπλωματική Εργασία
Εκπόνηση:
Νικόλαος Κοταρέλας
ΑΕΜ: 9106
Επίβλεψη:
Καθηγητής Ανδρέας Συμεωνίδης
Δρ. Εμμανουήλ Τσαρδούλιας
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
2
Εισαγωγή
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
3
Περίπλοκη διαδικασία η συντήρησή του
Εισαγωγή
Σημαντικότητα οδικού δικτού
Αφορμή...
Διευκολύνεται με την γνώση της τοποθεσίας ζημιών
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
Εισαγωγή
Στόχος...
Ανάπτυξη ολοκληρωμένου συστήματος για τον
εντοπισμό και χαρτογράφηση ατελειών
οδοστρώματος
Βασίζεται σε κινούμενα οχήματα, εξοπλισμένα
με:
• Αισθητήρα IMU, για τον εντοπισμό των αναταράξεων
• Αισθητήρα GPS, για τον εξακρίβωση της θέσης της ατέλειας
Ακριβής εντοπισμός των
ζημιών
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
5
Μεθοδολογί
α
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
6
Μεθοδολογία
Ενσωματωμένη
Συσκευή
Επεξεργασία Δεδομένων
1
2
3
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
Ενσωματωμένη
Συσκευή
7
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
8
Hardware
Ενσωματωμένη Συσκευή
Τοποθετείται σε οχήματα για την
συλλογή δεδομένων
Περιλαμβάνει:
• Αισθητήρες IMU και GPS
• Raspberry Pi 4 ως
κεντρική μονάδα επεξεργασίας
• Διεπαφή με πλήκτρα και φωτεινές
ενδείξεις για τον χρήστη
Διαστάσεις: 110mm (Μ) x 83mm (Π) x 73mm (Υ)
• Διάτρητη πλακέτα για ηλεκτρικές
συνδέσεις
• Αερόψυξη μονάδας επεξεργασίας
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
9
Software
Λειτουργία της συσκευής βασίζεται στο ROS2:
Κόμβοι σε:
Κόμβοι για:
• Την επικοινωνία με αισθητήρες (Σειριακή, I2
C)
• Χειρισμός διεπαφής χρήστη
• Βαθμονόμηση αισθητήρα IMU
• Παράλληλη εκτέλεση προγραμμάτων (Κόμβοι)
• Μηχανισμός ανταλλαγής μηνυμάτων μεταξύ κόμβων
(θέματα)
• Αποθήκευση δεδομένων σε rosbags
• C++  Εξασφάλιση real-time εκτέλεσης
• Python  Απλοποίηση μαθηματικά περίπλοκων
μηχανισμών (πχ βαθμονόμηση)
Ενσωματωμένη Συσκευή
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
Συλλογή
Δεδομένων
10
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
11
Συλλογή Δεδομένων
Βαθμονόμηση
Αυθαίρετη τοποθέτηση συσκευής σε κάθε διαδρομή  Μη συμβατά δεδομένα
Λύση: Βαθμονόμηση του αισθητήρα
IMU
⃗
𝒂𝒊𝒎𝒖𝒄𝒂𝒍𝒊𝒃
=𝑹𝒛,𝝋∙𝑹𝒚,𝝍 ∙𝑹𝒙,𝜽 ∙⃗
𝒂𝒊𝒎𝒖
Στατική
Βαθμονόμηση
Δυναμική
Βαθμονόμηση
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
12
Συλλογή Δεδομένων
Βαθμονόμηση
Στατική βαθμονόμηση Δυναμική βαθμονόμηση
Ευθύγραμμη επιβράδυνση 
Μηδενική αλλαγή πλευρικής επιτάχυνση
𝝋=𝒂𝒕𝒂𝒏𝟐(−𝚫 𝒂𝒚 ,𝚫𝒂𝒙)
Σύγκριση πορείας οχήματος
με x-άξονα μαγνητόμετρου
𝝋=𝜽𝒎𝒂𝒈𝒏 − 𝜽𝒕𝒓𝒂𝒄𝒌
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
13
Πορείες
Λάρισα – 07/10/2023 Θεσ/νίκη – 19/11/2023
Θεσ/νίκη – 01/10/2023
Πόλη
Ημερομηνί
α
Απόσταση Διάρκεια
Δειγματ.
ΙΜU
Δειγματ. GPS
Θεσ/νίκη 01/10/2023 8.6χλμ 38:11 100Hz 5Hz
Λάρισα 07/10/2023 28.8χλμ 45:12 100Hz 5Hz
Θεσ/νίκη 19/11/2023 14.0χλμ 42:04 100Hz 5Hz
Συλλογή Δεδομένων
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
14
ROS2 Monitor
Συλλογή Δεδομένων
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
15
Ετικετοποίηση
Συλλογή Δεδομένων
Annotator
Ετικετοποίηση δεδομένων
Δημιουργία θεμελιώδους αλήθειας
Ανάπτυξη GUI εφαρμογής
Τύπος
ατέλειας
Αριθμός
ετικετώ
ν
Βύθισμα 135
Ανύψωση 87
Ράγισμα 253
Ανθρωποθυρίδα 91
Επικινδυνότητ
α ατέλειας
Αριθμός
ετικετών
Χαμηλή 417
Μέτρια 121
Υψηλή 28
Αποτελέσματα ετικετοποίησης – Λάρισα 07/10/2023
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
Ανάλυση
Δεδομένων
16
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
17
Ανάλυση Δεδομένων
Αλγόριθμος εντοπισμού
Είσοδος: Βαθμονομημένη γραμμική επιτάχυνση z-άξονα (κατακόρυφος άξονας - )
Χρήση απλής μεθόδου εντοπισμού  Μέθοδος κατωφλίου
Ακατάλληλη η πρωτογενής μορφή των μετρήσεων του αισθητήρα IMU  Βήμα
προεπεξεργασίας
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
18
Αλγόριθμος εντοπισμού
1o βήμα: Φίλτρο
Wiener
Αποθορυβοποίησ
η
Ανάλυση Δεδομένων
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
19
Αλγόριθμος εντοπισμού
2o βήμα: Υψιπερατό Φίλτρο
Butterworth
Αφαίρεση χαμηλόσυχνων φαινομένων
Ανάλυση Δεδομένων
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
20
Αλγόριθμος εντοπισμού
3o βήμα: Περιβάλλουσα
Σήματος
Εξαγωγή μετρικής για κατωφλίωση (anomaly score)
Ανάλυση Δεδομένων
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
21
Αλγόριθμος εντοπισμού
4o βήμα: Αλγόριθμος κατωφλίου με
αδράνεια
Εξαγωγή ανώμαλων χρονικών
περιόδων
Ανάλυση Δεδομένων
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
22
Αλγόριθμος εντοπισμού
Χρήση ετικετοποιημένων δεδομένων (χειρωνακτικά) ως θεμελιώδη αλήθεια (ground truth)
Τρόπος αξιολόγησης: Δυαδική κατηγοριοποίηση κάθε χρονικού
σημείου
Κλάση Accuracy Precision Recall F1-Measure
Ομαλά σημεία - 0.9793 0.9728 0.9760
Ανώμαλα σημεία - 0.8141 0.8526 0.8329
Σύνολο
(Macro-averaging)
0.9580 0.8967 0.9127 0.9046
Ανάλυση Δεδομένων
Σύνολο σημείων: 271148
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
23
Αλγόριθμος εντοπισμού
Ανάλυση Δεδομένων
Απόστασ
η
1m 2m 4m
Ποσοστό
σετ
60% 73.3% 83.2%
Ποσοστό του σετ θεμελιώδους αλήθειας που έχει
εντοπισμένη ατέλεια σε κοντινή απόσταση
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
Αποθήκευση
Εντοπισμένων Ατελειών
24
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
25
Αποθήκευση εντοπισμένων ατελειών
Χρήση δύο συλλογών
Ανάλυση Δεδομένων
Ομαδοποιεί τις ατέλειες μέσω
χωρικής συσταδοποίησης
(clustering)
Περιέχει κάθε εντοπισμένη
ατέλεια σαν ξεχωριστή
οντότητα
Καλύτερη εκτίμηση
χαρακτηριστών ατέλειας
(θέση, επικινδυνότητα)
MongoDB Wrapper  Αποθήκευση, οπτικοποίηση σε χάρτη, διαχείρηση βάσης
Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος
κατά την οδήγηση μέσω αισθητήρων και έξυπνων
συσκευών
Ευχαριστώ
26

Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών.pptx

  • 1.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών Εντοπισμός και χαρτογράφηση ατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών Διπλωματική Εργασία Εκπόνηση: Νικόλαος Κοταρέλας ΑΕΜ: 9106 Επίβλεψη: Καθηγητής Ανδρέας Συμεωνίδης Δρ. Εμμανουήλ Τσαρδούλιας
  • 2.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 2 Εισαγωγή
  • 3.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 3 Περίπλοκη διαδικασία η συντήρησή του Εισαγωγή Σημαντικότητα οδικού δικτού Αφορμή... Διευκολύνεται με την γνώση της τοποθεσίας ζημιών
  • 4.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών Εισαγωγή Στόχος... Ανάπτυξη ολοκληρωμένου συστήματος για τον εντοπισμό και χαρτογράφηση ατελειών οδοστρώματος Βασίζεται σε κινούμενα οχήματα, εξοπλισμένα με: • Αισθητήρα IMU, για τον εντοπισμό των αναταράξεων • Αισθητήρα GPS, για τον εξακρίβωση της θέσης της ατέλειας Ακριβής εντοπισμός των ζημιών
  • 5.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 5 Μεθοδολογί α
  • 6.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 6 Μεθοδολογία Ενσωματωμένη Συσκευή Επεξεργασία Δεδομένων 1 2 3
  • 7.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών Ενσωματωμένη Συσκευή 7
  • 8.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 8 Hardware Ενσωματωμένη Συσκευή Τοποθετείται σε οχήματα για την συλλογή δεδομένων Περιλαμβάνει: • Αισθητήρες IMU και GPS • Raspberry Pi 4 ως κεντρική μονάδα επεξεργασίας • Διεπαφή με πλήκτρα και φωτεινές ενδείξεις για τον χρήστη Διαστάσεις: 110mm (Μ) x 83mm (Π) x 73mm (Υ) • Διάτρητη πλακέτα για ηλεκτρικές συνδέσεις • Αερόψυξη μονάδας επεξεργασίας
  • 9.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 9 Software Λειτουργία της συσκευής βασίζεται στο ROS2: Κόμβοι σε: Κόμβοι για: • Την επικοινωνία με αισθητήρες (Σειριακή, I2 C) • Χειρισμός διεπαφής χρήστη • Βαθμονόμηση αισθητήρα IMU • Παράλληλη εκτέλεση προγραμμάτων (Κόμβοι) • Μηχανισμός ανταλλαγής μηνυμάτων μεταξύ κόμβων (θέματα) • Αποθήκευση δεδομένων σε rosbags • C++  Εξασφάλιση real-time εκτέλεσης • Python  Απλοποίηση μαθηματικά περίπλοκων μηχανισμών (πχ βαθμονόμηση) Ενσωματωμένη Συσκευή
  • 10.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών Συλλογή Δεδομένων 10
  • 11.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 11 Συλλογή Δεδομένων Βαθμονόμηση Αυθαίρετη τοποθέτηση συσκευής σε κάθε διαδρομή  Μη συμβατά δεδομένα Λύση: Βαθμονόμηση του αισθητήρα IMU ⃗ 𝒂𝒊𝒎𝒖𝒄𝒂𝒍𝒊𝒃 =𝑹𝒛,𝝋∙𝑹𝒚,𝝍 ∙𝑹𝒙,𝜽 ∙⃗ 𝒂𝒊𝒎𝒖 Στατική Βαθμονόμηση Δυναμική Βαθμονόμηση
  • 12.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 12 Συλλογή Δεδομένων Βαθμονόμηση Στατική βαθμονόμηση Δυναμική βαθμονόμηση Ευθύγραμμη επιβράδυνση  Μηδενική αλλαγή πλευρικής επιτάχυνση 𝝋=𝒂𝒕𝒂𝒏𝟐(−𝚫 𝒂𝒚 ,𝚫𝒂𝒙) Σύγκριση πορείας οχήματος με x-άξονα μαγνητόμετρου 𝝋=𝜽𝒎𝒂𝒈𝒏 − 𝜽𝒕𝒓𝒂𝒄𝒌
  • 13.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 13 Πορείες Λάρισα – 07/10/2023 Θεσ/νίκη – 19/11/2023 Θεσ/νίκη – 01/10/2023 Πόλη Ημερομηνί α Απόσταση Διάρκεια Δειγματ. ΙΜU Δειγματ. GPS Θεσ/νίκη 01/10/2023 8.6χλμ 38:11 100Hz 5Hz Λάρισα 07/10/2023 28.8χλμ 45:12 100Hz 5Hz Θεσ/νίκη 19/11/2023 14.0χλμ 42:04 100Hz 5Hz Συλλογή Δεδομένων
  • 14.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 14 ROS2 Monitor Συλλογή Δεδομένων
  • 15.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 15 Ετικετοποίηση Συλλογή Δεδομένων Annotator Ετικετοποίηση δεδομένων Δημιουργία θεμελιώδους αλήθειας Ανάπτυξη GUI εφαρμογής Τύπος ατέλειας Αριθμός ετικετώ ν Βύθισμα 135 Ανύψωση 87 Ράγισμα 253 Ανθρωποθυρίδα 91 Επικινδυνότητ α ατέλειας Αριθμός ετικετών Χαμηλή 417 Μέτρια 121 Υψηλή 28 Αποτελέσματα ετικετοποίησης – Λάρισα 07/10/2023
  • 16.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών Ανάλυση Δεδομένων 16
  • 17.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 17 Ανάλυση Δεδομένων Αλγόριθμος εντοπισμού Είσοδος: Βαθμονομημένη γραμμική επιτάχυνση z-άξονα (κατακόρυφος άξονας - ) Χρήση απλής μεθόδου εντοπισμού  Μέθοδος κατωφλίου Ακατάλληλη η πρωτογενής μορφή των μετρήσεων του αισθητήρα IMU  Βήμα προεπεξεργασίας
  • 18.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 18 Αλγόριθμος εντοπισμού 1o βήμα: Φίλτρο Wiener Αποθορυβοποίησ η Ανάλυση Δεδομένων
  • 19.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 19 Αλγόριθμος εντοπισμού 2o βήμα: Υψιπερατό Φίλτρο Butterworth Αφαίρεση χαμηλόσυχνων φαινομένων Ανάλυση Δεδομένων
  • 20.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 20 Αλγόριθμος εντοπισμού 3o βήμα: Περιβάλλουσα Σήματος Εξαγωγή μετρικής για κατωφλίωση (anomaly score) Ανάλυση Δεδομένων
  • 21.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 21 Αλγόριθμος εντοπισμού 4o βήμα: Αλγόριθμος κατωφλίου με αδράνεια Εξαγωγή ανώμαλων χρονικών περιόδων Ανάλυση Δεδομένων
  • 22.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 22 Αλγόριθμος εντοπισμού Χρήση ετικετοποιημένων δεδομένων (χειρωνακτικά) ως θεμελιώδη αλήθεια (ground truth) Τρόπος αξιολόγησης: Δυαδική κατηγοριοποίηση κάθε χρονικού σημείου Κλάση Accuracy Precision Recall F1-Measure Ομαλά σημεία - 0.9793 0.9728 0.9760 Ανώμαλα σημεία - 0.8141 0.8526 0.8329 Σύνολο (Macro-averaging) 0.9580 0.8967 0.9127 0.9046 Ανάλυση Δεδομένων Σύνολο σημείων: 271148
  • 23.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 23 Αλγόριθμος εντοπισμού Ανάλυση Δεδομένων Απόστασ η 1m 2m 4m Ποσοστό σετ 60% 73.3% 83.2% Ποσοστό του σετ θεμελιώδους αλήθειας που έχει εντοπισμένη ατέλεια σε κοντινή απόσταση
  • 24.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών Αποθήκευση Εντοπισμένων Ατελειών 24
  • 25.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών 25 Αποθήκευση εντοπισμένων ατελειών Χρήση δύο συλλογών Ανάλυση Δεδομένων Ομαδοποιεί τις ατέλειες μέσω χωρικής συσταδοποίησης (clustering) Περιέχει κάθε εντοπισμένη ατέλεια σαν ξεχωριστή οντότητα Καλύτερη εκτίμηση χαρακτηριστών ατέλειας (θέση, επικινδυνότητα) MongoDB Wrapper  Αποθήκευση, οπτικοποίηση σε χάρτη, διαχείρηση βάσης
  • 26.
    Εντοπισμός και χαρτογράφησηατελειών οδοστρώματος κατά την οδήγηση μέσω αισθητήρων και έξυπνων συσκευών Ευχαριστώ 26

Editor's Notes

  • #1 Καλημέρα και από μεριάς μου. Το θέμα της διπλωματικής μου εργασίας αφορά τον «Εντοπισμό και χαρτογράφηση ατελειών οδοστρώματος κατά την οδήγηση με χρήση αισθητήρων και έξυπνων συσκευών». Την επίβλεψη είχε ο κ. Συμεωνίδης, ενώ συνεπιβλέπων ήταν ο κ. Τσαρδούλιας
  • #2 Ξεκινάμε με μια μικρή εισαγωγή και συγκεκριμένα με την...
  • #3 αφορμή της εργασίας, που είναι ο πρωτεύων ρολός που διαδραματίζει το οδικό δίκτυο στην καθημερινότητά μας. Τα πλεονεκτήματα δεν αφορούν μόνο την προσωπική μας άνεση και ασφάλεια που προσφέρει το οδικό δίκτυο στις μετακινήσεις μας, αλλά αφορά και συλλογικά προτερήματα, όπως η ανάπτυξη της οικονομίας που υποστηρίζει. Ωστόσο, για να εκμεταλλευόμαστε τα πλεονεκτήματα που μας παρέχει, απαιραίτητη κρίνεται η συντήρησή του, που... Αποτελεί μια περίπλοκη διαδικασία, καθώς οι φθορές του οδοστρώματος είναι, ως επί το πλείστον, απρόβλεπτες. Οι πόροι που διαθέτουν οι αρμόδιες αρχές είναι γενικά περιορισμένοι, οπότε... Η πληροφορία της τοποθεσίας των ζημιών του οδοστρώματος διευκολύνει το έργο τους και βοηθάει στην βελτιστοποίηση της διαδικασίας συντήρησης
  • #4 Ο στόχος, λοιπόν, της εργασίας είναι η ανάπτυξη ενός ολοκληρωμένου συστήματος για τον εντοπισμό και χαρτογράφηση των ατελειών οδοστρώματος Όταν λέμε ολοκληρωμένο αναφερόμαστε στο γεγονός πως η υλοποίηση πρέπει να περιγράφει όλα τα βήματα ενός τέτοιου συστήματος: από την μεθοδολογία συλλογής δεδομένων, την ανάλυση τους, καθώς και την αποθήκευση των αποτελεσμάτων Αξίζει να τονιστεί πως ο εντοπισμός των ζημιών πρέπει να γίνει με ακρίβεια για να διευκολύνει την συντήρηση του οδοστρώματος Όσο αφορά την συγκεκριμένη υλοποίηση, ο εντοπισμός των ατελειών βασίζεται σε οχήματα που κινούνται πάνω στο προς εξέταση οδόστρωμα. Τα οχήματα αυτά είναι εξοπλισμένα με: Έναν αισθητήρα IMU, για τον εντοπισμό των αναταράξεων που προκαλεί η ατέλεια, και με έναν αισθητήρα GPS για τον εντοπισμό της θέσης
  • #5 Συνεχίζουμε με λεπτομερή αναφορά στην μεθοδολογία της εργασίας
  • #6 Η μεθοδολογία μπορεί να χωριστεί σε 2 κατηγορίες υλοποιήσεων... αυτήν που αφορά την ενσωματωμένη συσκευή της υλοποίησης, και αυτή που αφορά το κομμάτι της επεξεργασίας δεδομένων. Η ενσωματωμένη συσκευή σχεδιάστηκε στα πλαίσια της εργασίας και φιλοξενεί τους αισθητήρες IMU και GPS για την εκτέλεση των απαραίτητων πειραμάτων. Αποτελεί την βάση της υλοποίησης, καθώς από αυτήν προκύπτουν τα δεδομένα που χρησιμοποιήθηκαν μετέπειτα. Όσο αφορά την επεξεργασία δεδομένων, αυτή χωρίζεται σε 3 βήματα. Συγκεκριμένα, ... Στο πρώτο βήμα έχουμε την συλλογή δεδομένων που πραγματοποιείται χρησιμοποιώντας την συσκευή, και περιλαμβάνει και την μεταποίηση τους για το επόμενο βήμα... που είναι αυτό της ανάλυσης των σημάτων του αισθητήρα IMU, για τον εντοπισμό των ατελειών του οδοστρώματος. Η υλοποίηση ολοκληρώνεται με την λογική αποθήκευσης των εντοπισμένων ατελειών σε μια βάση δεδομένων.
  • #7 Λίγα λόγια για την ενσωματωμένη συσκευή
  • #8 Όπως προαναφέρθηκε, η συσκευή σχεδιάστηκε και κατασκευάστηκε στα πλαίσια της εργασίας. Αποτελείται από ένα 3D εκτυπωμένο περίβλημα και περιλαμβάνει: Τους αισθητήρες IMU και GPS Ένα raspberry pi 4 ως μονάδα κεντρικής επεξεργασίας Διεπαφή με πλήκτρα και φωτεινές ενδείξεις για την εύκολη χρήση της Μια διάτρητη πλακέτα στην οποία έγιναν οι συνδέσεις και περιέχονται τα λοιπά εξαρτήματα Και έναν ανεμιστήρα για την ψύξη της κεντρικής μονάδας επεξεργασίας
  • #9 Όσο αφορά το λογισμικό της συσκευής, αυτό βασίζεται στο ROS2 (Robot Operating System). Εν συντομία, το ROS2 δίνει την δυνατότητα ανάπτυξης προγραμμάτων που εκτελούνται παράλληλα στην συσκευή, τα οποία ονομάζονται κόμβοι. Παρέχει ταυτόχρονα ένα μηχανισμό ασύγχρονης επικοινωνίας μεταξύ των κόμβων, ενώ περιέχει και λειτουργικότητα για την live αποθήκευση δεδομένων με χρονοσήμανση. Με την χρήση του ROS, λοιπόν, δημιουργήθηκαν κόμβοι για την επικοινωνία με τους αισθητήρες, από τους οποίους πηγάζουν και τα δεδομένα, αλλά και κόμβοι για την διαχείρηση της διεπαφής με τον χρήστη και την βαθμονόμηση του αισθητήρα IMU, που θα εξεταστεί μετέπειτα Οι κόμβοι είναι γενικά γραμμένοι σε C++ για την εξασφάλιση της εκτέλεσής τους σε πραγματικό χρόνο, ενώ η python χρησιμοποιήθηκε για κόμβους που περιέχουν περίπλοκους υπολογισμούς
  • #10 Από αυτή την διαφάνεια και ύστερα μπαίνουμε στην δεύτερη κατηγορία υλοποιήσεων, που αφορά την επεξεργασία δεδομένων. Όπως δείξαμε, περιέχει 3 βήματα, οπότε θα ξεκινήσουμε με το πρώτο, που είναι η συλλογή των δεδομένων
  • #11 Σημαντικό υποβήμα στην συλλογή δεδομένων είναι η διαδικασία βαθμονόμησης του αισθητήρα IMU. Ο λόγος που χρειάζεται να πραγματοποιηθεί η παραπάνω διαδικασία, είναι η αυθαίρετη τοποθέτηση της συσκευής στο εκάστοτε όχημα. Ο αυθαίρετος προσανατολισμός δημιουργεί ασυμβατότητα μεταξύ των δεδομένων που συλλέχθηκαν σε διαφορετικές διαδρομές. Το φαινόμενο αυτό αποτελεί πρόβλημα στην ερμηνεία των δεδομένων από κάποιον αλγόριθμο εντοπισμού, καθώς το μοτίβο που περιμένει να δει στον εκάστοτε άξονα, αλλάζει από διαδρομή σε διαδρομή. Η λύση, λοιπόν, είναι η βαθμονόμηση του αισθητήρα. Τι εννοούμε όμως με βαθμονόμηση? Όπως ίσως φάνηκε από το animation που μόλις είδατε, ουσιαστικά σημαίνει η περιστροφή γύρω από τους άξονες του συστήματος συντεταγμένων του αισθητήρα, ώστε αυτοί να συμπέσουν με τον προσανατολισμό των αξόνων του συστήματος συντεταγμένων του οχήματος, που φαίνεται στο σχήμα. Συγκεκριμένα, σημαίνει ο z-άξονας να είναι ο κατακόρυφος, ο x-άξονας να έχει κατεύθυνση την πορεία του οχήματος, και ο y-άξονας να έχει κατεύθυνση προς τα αριστερά του οχήματος Αυτός είναι ο τύπος που δίνει την αλλαγή συντεταγμένων από το σύστημα συντεταγμένων του αισθητήρα προς το βαθμονομημένο σύστημα. Αποτελείται από 3 περιστρόφες γύρω από κάθε άξονα. Οι γωνίες περιστροφής γύρω από τους άξονες x και y βρίσκονται μέσω της στατικής βαθμονόμησης, που ονομάζεται έτσι επειδή γίνεται όσο το όχημα είναι ακίνητο Η γωνία περιστροφής γύρω από τον z-άξονα βρίσκεται μέσω της δυναμικής βαθμονόμησης, που λαμβάνει μέρος μετά την στατική και απαιτεί από το όχημα να βρίσκεται σε κίνηση
  • #12 Λίγα λόγια για τις δύο διαδικασίες βαθμονόμησης Ο στόχος στην στατική βαθμονόμηση είναι να βρεθεί η κατεύθυνση του διανύσματος της βαρύτητας ενώ το όχημα είναι ακίνητο. Η κλίση που μπορεί να έχει ο δρόμος επηρεάζει την μετρούμενη κατεύθυνση του διανύσματος βαρύτητας, Γι αυτό και το πείραμα εκτελείται δύο φορές, με το όχημα στην ίδια διεύθυνση, αλλά με αντίθετη φορά, ώστε το τελικό μετρούμενο διάνυσμα της βαρύτητας να μην είναι επηρεασμένο από την κλίση του δρόμου Στην δυναμική βαθμονόμηση, ζητούμενο είναι η γωνία περιστροφής γύρω από τον z-άξονα. Η διαδικασία δοκιμάστηκε με δύο τρόπος. Στον πρώτο εκμετταλεύονται οι ευθύγραμμες επιβραδύνσεις του οχήματος για να αποφανθούμε πως η πλευρική επιτάχυνση του οχήματος δεν αλλάζει, και όλη η επιβράδυνση θα πρέπει να εμφανιστεί στον διαμήκη άξονα του οχήματος Στον δεύτερο τρόπο, μετριέται η γωνία που σχηματίζει ο x-άξονας με τον Βορρά μέσω του μαγνητόμετρου. Παράλληλα, μετριέται και η πορεία που έχει το όχημα σε σχέση με τον Βορρά, μέσω του αισθητήρα GPS. Η διαφορά των γωνιών είναι η ζητούμενη γωνία περιστροφής γύρω από τον z-άξονα Ωστόσο, λόγω της ύπαρξης θορύβου στο μαγνητόμετρο από σιδηρομαγνητικά υλικά που χρησιμοποιούνται εκτενώς στην αυτοκινητοβιομηχανία, ο δεύτερος τρόπος απορρίφθηκε
  • #13 Επόμενο βήμα, είναι η συλλογή δεδομένων με χρήση των εργαλείων που περιγράφηκαν έως τώρα. Γενικά, πραγματοποιήθηκαν αρκετές διαδρομές με την συσκευή τοποθετημένη σε ένα όχημα. Στην διαφάνεια αυτή, παρουσιάζονται οι πιο σημαντικές που χρησιμοποιήθηκαν εκτενώς στην φάση της ανάλυσης.
  • #14 Στα πλαίσια της εργασίας αναπτύχθηκε και το συγκεκριμένο πρόγραμμα με γραφικό περιβάλλον, που προβάλλει ζωντανά τις μετρήσεις των αισθητήρων, καθώς και το stream της κάμερας μέσω ασύρματης επικοινωνίας (WiFi). Δεν το αναφέραμε μέχρι τώρα, αλλά τα δεδομένα περιλαμβάνουν και stream από κάμερα για την διευκόλυνση της ανάλυσής τους από τον χρήστη, χωρίς ωστόσο να χρησιμοποιούνται στον αλγόριθμο εντοπισμού, που θα εξετάσουμε αργότερα.
  • #15 Στην συλλογή δεδομένων περιλαμβάνεται και το κομμάτι της ετικετοποίησης των δεδομένων. Η διαδικασία αποσκοπεί στην δημιουργία μιας θεμελιώδους αλήθειας με σκοπό την αξιολόγηση των αποτελεσμάτων αλλά και την χρήση τους προς εκπαίδευση κάποιου μοντέλου μηχανικής μάθησης Για την διευκόλυνση της διαδικασίας της ετικετοποίησης, δημιουργήθηκε μία εφαρμογή με γραφικό περιβάλλον στο οποίο εισάγονται τα συλλεχθέντα δεδομένα. Ύστερα, ο χρήστης είναι ελεύθερος να τοποθετήσει ετικέτες που περιλάμβανουν την αρχή και το τέλος μιας ατέλειας, καθώς και χαρακτηριστικά της όπως ο τύπος της και η επικινδυνότητά της Ενδεικτικά κάποια αποτελέσματα από την ετικετοποίηση στα δεδομένα της Λάρισας
  • #16 Συνεχίζουμε με την ανάλυση των συλλεχθέντων δεδομένων. Στις επόμενες διαφάνειες θα παρουσιαστεί ο αλγόριθμος εντοπισμού που χρησιμοποιήθηκε στις χρονοσειρές του αισθητήρα IMU.
  • #17 Πριν μιλήσουμε όμως για τον αλγόριθμο αυτόν καθαυτόν, να αναφερθούμε λίγο στην πορεία σκέψης και σχεδιασμού του. Λόγω των πολλών μετώπων που είχε η εργασία, επιλέχθηκε να ακολουθηθεί σαν πρώτη υλοποίηση μία απλή μέθοδος. Έτσι λοιπόν, επιλέχθηκε η μέθοδος της κατωφλίωσης, στην οποία έχουμε σαν είσοδο μια χρονοσειρά-μετρική που οι τιμές της αυξάνονται όταν εμφανίζεται το συμβάν που μας ενδιαφέρει, και μειώνονται στην αντίθετη περίπτωση. Όταν η μετρική αυτή ξεπεράσει ένα κατώφλι, σηματοδοτείται η έναρξη μια ανωμαλίας, και όταν η μετρική πέσει κάτω από αυτό, σηματοδοτείται το τέλος της. Ωστόσο, στην δικιά μας περίπτωση, η πρωτογενής μορφή των μετρήσεων του αισθητήρα IMU είναι ακατάλληλη για αυτήν την χρήση. Τα σήματα περιέχουν φαινόμενα όπως θόρυβος, επίδραση βαρύτητας, αναταράξεις από στροφές και επιταχύνσεις του οχήματος που θα πρέπει να αφαιρεθούν ώστε να μείνουν στο σήμα μόνο οι αναταράξεις που προκαλούνται από το οδόστρωμα. Απαραίτητο, λοιπόν, για γίνει αυτό, είναι ένα βήμα προεπεξεργασίας. Επιλέγουμε σαν είσοδο στο βήμα της προεπεξεργασίας την γραμμική επιτάχυνση στον z-άξονα, μιας και είναι ο άξονας που επηρεάζεται περισσότερο από τις αναταράξεις του οδοστρώματος.
  • #18 Στο παραπάνω σχήμα βλέπουμε ένα χρονικό στιγμιότυπο της γραμμικής επιτάχυνσης στον z-άξονα. Παρατηρείτε την επίδραση της βαρύτητας που εμφανίζεται σαν μια DC συνιστώσα στο σήμα και τις αυξομειώσεις λόγω του θορύβου. Στις κόκκινες περιοχές είναι οι χρονικές στιγμές που το όχημα διήλθε από κάποια ατέλεια. Η προεπεξεργασία ξεκινάει με την εφαρμογή ενός φίλτρου Wiener που αποσκοπεί στην αποθορυβοποίησή του. Όπως βλέπουμε και στο σχήμα...
  • #22 Χρησιμοποιώντας σαν θεμελιώδη αλήθεια τα ετικετοποιημένα δεδομένα, αξιολογήθηκε η απόδοση του αλγόριθμου. Η συγκεκριμένη αξιολόγηση είναι αυστηρή, καθώς ελέγχει σημείο προς σημείο αν κατηγοριοποιήθηκε σωστά σαν ομαλό ή ανώμαλο. Παρατηρούμε ότι στην περίπτωση των ομαλών σημείων, ο αλγόριθμος εντοπίζει με μεγάλη ακρίβεια τα σημεία. Στην περίπτωση των ανώμαλων σημείων, ο αλγόριθμος έχει μικρότερη απόδοση. Ωστόσο, θα πρέπει να τονιστεί ότι τα σημεία που δεν εντοπίζονται σωστά σαν ανώμαλα είναι αυτά που βρίσκονται στην αρχή και στο τέλος μιας ατέλειας, ενώ η ίδια η ατέλεια εντόπιζεται, όπως είδαμε και στο παράδειγμα της προηγούμενης διαφάνειας.
  • #23 Τέλος, μια γεωγραφική αξιολόγηση του αλγόριθμου. Συγκεκριμένα, στον πίνακα βλέπουμε το ποσοστό των ετικετοποιημένων ατελειών που έχουν εντοπιστεί εντός μιας συγκεκριμένης απόστασης. Τα νούμερα μπορεί να μην φαίνονται ικανοποιητικά, αλλά σε αυτό ευθύνεται κυρίως η ασυμβατότητα των ετικετοποιημένων και εντοπισμένων ατελειών ‘Ενα χαρακτηριστικό παράδειγμα φαίνεται στο κάτω γράφημα. Στην ετικετοποίηση, ο χρήστης δημιούργησε δύο ατέλειες πολύ κοντά μεταξύ τους, αλλά ο αλγόριθμος εντόπισε μία ατέλεια που διαρκεί χρονικά όσο και οι δύο.
  • #24 Η παρουσίαση ολοκληρώνεται με την λογική αποθήκευσης των εντοπισμένων ατελειών σε μια βάση δεδομένων
  • #25 Στην βάση δεδομένων αποθηκεύονται τα χαρακτηριστικά της ατέλειας, όπως η θέση και η επικινδυνότητά της. Ένας διερμηνέας δημιουργήθηκε ως abstraction layer για την διεπαφή με την βάση. Παρέχει λειτουργικότητα για την αποθήκευση, οπτικοποίηση των ατελειών αλλά και διάφορα εργαλεία διαχείρησης της ίδιας της βάσης Συγκεκριμένα, ο διερμηνέας διαχειρίζεται δύο συλλογές από καταχωρήσεις: την συλλογή ξεχωριστών καταχωρήσεων, όπου περιέχεται κάθε εντοπισμένη ατέλεια, και την συλλογή ομαδοποιημένων καταχωρήσεων, η οποία προκύπτει από την χωρική συσταδοποίηση της πρώτης συλλογής. Η δεύτερη συλλογή έχει δημιουργηθεί ώστε αν κάποια ατέλεια του οδοστρώματος έχει εντοπιστεί παραπάνω από μία φορά, να μην υπάρχουν περισσότερα από ένα αντίγραφα του στην τελική αξιολόγηση Επίσης, περιέχεται λογική ώστε οι εκτιμήσεις των χαρακτηριστικών να βελτιώνονται με την ύπαρξη πολλαπλών καταχωρήσεων που αντιστοιχούν στην ίδια ατέλεια
  • #26 Σας ευχαριστώ για την προσοχή σας
  • #29 Συνεχίζουμε με λεπτομερή αναφορά στην μεθοδολογία της υλοποίησης