Intelligent assistance system for visually impaired people

1. STUDIO 6 - POLYPHEMUS PROJECT
Χαϊδούτη Αγγελική
Βασίλης Γιαννόπουλος
Έλενα Λυδίου
Θεοδώρα Καραγιάννη
Μαρία Μπακάκου
Μελίνα Χαραλαμπίδη

2. Brief
Θα επικεντρωθούμε στην ανάγκη ατόμων με οπτική ανεπάρκεια να επισκέπτονται καταστήματα,
ανεξάρτητοι, για την κάλυψη των αγορών τους. Σκοπός είναι να δημιουργήσουμε ένα σύστημα –
ρομπότ, που θα καταχωρεί τα επιθυμητά προϊόντα σε λίστα αγορών. Κατά την περιήγηση του χρήστη
στο κατάστημα, το σύστημα θα αναγνωρίζει, θα επεξεργάζεται, και θα αναπαράγει την επιθυμητή
οπτική πληροφορία του προϊόντος και του περιβάλλοντος (κείμενο, μορφή, χρώμα) σε ακουστική. Σε
συνδυασμό με τις πληροφορίες που έχουν καταχωρηθεί στο σύστημα, θα υποδεικνύει στο χρήστη
την τοποθεσία του προϊόντος στο χώρο. Επιπλέον θα διευκολύνει τον χρήστη στην οργάνωση της
αποθήκευσης των αγορασμένων προϊόντων και καταχωρώντας τις ημερομηνίες λήξης, θα τον
ενημερώνει για την κατάσταση των προϊόντων αυτών.
2

3. ● Άτομα τυφλά εκ γενετής και
μη.
● Άτομα εξοικειωμένα με την
τεχνολογία.
● Άτομα που έχουν ανεπτυγμένη
την ικανότητα να κινηθούν
ανεξάρτητα με όποια μέσα
τους είναι απαραίτητα.
Πλαίσιο
● Καταστήματα
i. Mini Market.
ii. Super Market.
iii. Καταστήματα που
διαθέτουν e-shop.
● Οικιακή χρήση
Target Group

4. 5
Το σύστημα να διαθέτει
ανάγλυφες ενδείξεις.
1
Το σύστημα να διαθέτει
Custom πλακέτα διαστάσεων
8cm x 2.5cm
2
Το σύστημα να διαθέτει wide
angle κάμερα.
3
Το σύστημα να διαθέτει
ακουστικό Bone conduction με
ενσωματωμένο μικρόφωνο
4
Προδιαγραφές
4
Το σύστημα να λειτουργεί μέσω
αλγόριθμου deep learning, ο
οποίος θα συνδέεται με cloud.
Ακόμα θα διαθέτει πρόγραμμα για
λειτουργία φωνητικής εντολής.

5. Τεχνολογία
5
Hardware
● Custom πλακέτες
● Ακουστικό bone conduction
● Κάμερα με φακό ευρυγώνιο
● Bluetooth
● Μικρόφωνο
● Μεγάφωνο
● Flat vibrator motor (δόνηση)
● Κουμπιά: On/Off και SPEAK
● Module για ασύρματη φόρτιση
Software
● Αλγόριθμος deep learning:
το σύστημα αναγνωρίζει
οπτικές πληροφορίες.
το σύστημα μαθαίνει να
αναγνωρίζει εικόνες που
δεν έχει ξαναδεί.
● Cloud που περιέχει βιβλιοθήκη
με μεγάλο αριθμό οπτικών
πληροφοριών.

6. Τελικό Concept
Το σύστημα POLYPHEMUS είναι μία ευφυής συσκευή
που προορίζεται για χρήση από άτομα με οπτική
ανεπάρκεια και τους δίνει την δυνατότητα να εκτελούν
τα καθημερινά τους ψώνια, ανεξάρτητοι. Παρέχει στο
χρήστη πληροφορίες που αναγράφονται πάνω στα
προϊόντα, τους καθοδηγεί στο χώρο και τους βοηθάει
στην οργάνωση κατά την κατ΄οίκων χρήση.
Αποτελείται από τρία υποσυστήματα, που επικοινωνούν
μεταξύ τους ασύρματα:
1. Σύστημα κεφαλιού
2. Σύστημα βραχιόλι
3. Βάση ασύρματης φόρτισης
6

7. Προκαταρκτικά Σχέδια
7

8. Τελικά 3D
8

9. Τελικά 3D
9

10. Τελικά 3D
10

11. Exploded View και τεχνολογία
τελικού concept
● Custom PCB πλακέτα
(με application
processor)
● Ακουστικό bone
conduction
● Κάμερα με φακό
fisheye 180 μοίρες.
● Wifi receiver ( για
πρόσβαση στο
διαδίκτυο από το κινητό
του χρήστη.)
● Bluetooth
● Μικρόφωνο
● Μεγάφωνο
● Flat vibrator motor
(δόνηση)
● Custom PCB πλακέτα (
με microcontroller
processor
● Κουμπιά: On/Off και
SPEAK
● Module για ασύρματη
φόρτιση

12. Storyboard
12
https://www.youtube.com/watch?v=eUgitmULXKI&feature=youtu.be&fbclid=Iw
AR0C4Txv1TW-jKm3BVug8cqdIbqQxt3X7Cv7xgMHQlKML3q_3ABOUgYDxxo