PPK-RCM E3 Software technologies and software for knowledge management
Ce teiep m_sc_research_presentation_20170427
1. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
Γρηγόρης Δουμένης MSc CE
Autonomous Systems
and the Internet of Things
Scientific, Engineering
and Cultural challenges
Click to add reference
4. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
Ορισμοί
o Αυτόνομο Σύστημα (cybernetics)
Σύστημα που μπορεί να προσαρμόσει την
συμπεριφορά του, ανταποκρινόμενο σε
(απρόσμενα) γεγονότα.
o Διαδίκτυο των πραγμάτων – IoT
Συστήματα με διεύθυνση IP (webopedia)
Διασύνδεση μεταξύ «έξυπνων» συσκευών (Wikipedia)
Η υποδομή που επιτρέπει ad-hoc συνεργασία μεταξύ
συσκευών (GD)
Σύγχυση
IEEE: “Towards Definition of Internet of Things” (5/15, 85pages !!)
4
Click to add reference
5. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
Παραδείγματα αυτόνομων οχημάτων
o Πότε ένα σύστημα είναι πραγματικά αυτόνομο?
Πλήρης αυτονομία αποφάσεων
vs Man-in-the-loop (π.χ. FBW)
Όταν μπορεί να επιβιώσει για να εκτελέσει την αποστολή του. Π.χ. Όχημα
που ανεφοδιάζεται, συντηρείται και επισκευάζεται αυτόματα.
5
Click to add reference
6. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
ΙοΤ
o Internet of things
Παλιά ιδέα (1982, CMU), επίσημα από το 1999
o To ΙοΤ αποτελεί εξέλιξη των (δικτυωμένων)
ενσωματωμένων συστημάτων
the traditional fields of embedded systems, wireless sensor networks, control
systems, automation ... all contribute to enabling the Internet of things (IoT).
o Large scale /Smart Applications
Exp. growth
AI at the edge?
6
Click to add reference
7. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
Παραδείγματα Εφαρμογών ΙοΤ
o Smart home
o IoT platforms
7
Click to add reference
8. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
Αυτόνομα συστήματα σε περιβάλλον ΙοΤ
o Αυτονομία
επιβίωση – κινητικότητα – «νοημοσύνη»
o Δικτύωση
Ανταλλαγή πληροφορίας
Π.χ. ενημέρωση κατάστασης (όχημα με βλάβη μπροστά)
Επαναπρογραμματισμός, συλλογική μνήμη
o Συλλογικότητα
Συνεργασία, συλλογική νοημοσύνη
o A new (bold) world or the perfect storm?
8
Click to add reference
9. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
Scientific challenges
o Security / privacy
Not an engineering challenge!
o “Understanding” the environment
Progress in AI, deep learning
Understand the “reasoning” process
o Energy autonomy
Energy harvesting in microscale
Energy neutrality in macroscale
9
Click to add reference
10. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
Engineering challenges
o Scalability
o Multi-modal sensing
Current mainstream: GPS, Inertial, Ultrasound
Emerging: Vision, 3D cloud (LiDAR)
o Dependable computing / Safety
Tesla accident (and robots’ ethics)
10
Click to add reference
11. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
Πολιτισμικές και κοινωνικές προκλήσεις
o Διαδικασίες / υποκατάσταση επαγγελμάτων
Τέρμα «το αυτοκινητάκι μου» => Αυτόνομα ταξί
Logistics => pizza delivery
with drones!
Ιατρική => Αιματολογικές
εξετάσεις
o Εμπιστοσύνη στις μηχανές
Πλησιάζω στο garage, θα ανοίξει
η πόρτα?
Πόσοι από εσάς κλείνετε την
κουζίνα με χρονοδιακόπτη?
11
Click to add reference
12. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
Πολιτισμικές προκλήσεις - Ανωνυμία
o Το internet σας γνωρίζει
(καλύτερα από ότι νομίζετε)!
No secrets in digital world:
“What will a future without secrets look like?” TED talk from
Alessandro Acquisti in 2013 (co-director of CMU Center for Behavioral
Decision Research) (https://www.youtube.com/watch?v=H_pqhMO3ZSY)
Personal assistants: Alexa, Cortana, google echo
(http://www.shellypalmer.com/2017/01/5-awesome-illegal-uses-alexa/)
Privacy is overestimated!?
Data is nothing without the context
Alicia Asin, CEO libelium: "Big Data and the Hypocrisy of Privacy"
(https://www.youtube.com/watch?v=oWwQfgpvlzI)
12
Click to add reference
13. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
Παρουσίαση ερευνητικών δραστηριοτήτων
o Οι κοινωνικές/πολιτισμικές προκλήσεις δεν αφορούν
τα UAVs ή το IoT συγκεκριμένα. Ας μιλήσουμε για τις
επιστημονικές προκλήσεις:
IoT
Application integration
and scalability
Energy autonomy
Autonomous vehicles
Guidance / Obstacle avoidance (machine vision)
Wireless video (surveillance / object tracking)
13
Click to add reference
14. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
IoT – Application Integration
o Σύστημα περιβαλλοντολογικού ελέγχου στα κτήρια του ΤΕΙ
14
Click to add reference
15. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
o Platform
architecture
o Size of database (1 min/sample)
16b/meas x 5 meas/min x 525.600mins/year => 5MB/year
~600 nodes/TEI => 5+TB/year DB size
150bytes json message x 2 => 700+Tb traffic/year
IoT – System and scalability
15
Click to add reference
16. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
HVAC motes
o Εμπορικός επεξεργαστής
MSP430f5529 + CC3100 WiFi
o Ολοκλήρωση
στο εργαστήριο
17. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
IoT – System and scalability
o Communication platform
o Future work (thesis):
Automation (timetable, presence detection)
Measurement uncertainty
Big data analytics (Thermal modeling, fault detection)
17
Click to add reference
18. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
IoT – Energy Autonomy
o Η Πρόκληση: “Install and forget”
Ένας ασύρματος κόμβος δεν πρέπει να χρειάζεται αλλαγή
μπαταρίας για τον προβλεπόμενο χρόνο ζωής του.
o Τα βήματα στην ενεργειακή αυτονομία:
Περιορισμός της κατανάλωσης
Συλλογή (και αποθήκευση) ενέργειας
Η ενέργεια είναι στοχαστικό σήμα
Απώλειες μετατροπής
«Ζήσε» με όση ενέργεια (θα) είναι διαθέσιμη
Αρκετές πηγές είναι ψευδο-περιοδικές
18
Click to add reference
22. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
IoT – Predictive Energy management
22
Click to add reference
Next Harvesting
Time TH
Blind Period
(BP)
Capacity
Waste (CW)
Minimal Energy
Level Emin
Accumulator Capacity EA
t
Energy Level E0
Pmax
Pmin
P1
P2
E
Energy to be
Harvested EH
Optimal
Energy
Drainage
Point
Non Storable
Energy
Initial Energy
E(0)
αH(s)
s
ds
EnergytobeHarvested
DistributionDensity
0s
t=0
23. Μηχανικών Πληροφορικής
ΣΤΕΦ - ΤΕΙ ΗΠΕΙΡΟΥ
UAVs
o Machine vision and 3D cloud for real-time obstacle avoidance (tbd)
o UAV range prediction (Bingo project – Ready for thesis)
23
Click to add reference
Μια αναφορά στην σημασία των τεχνολογιών που θα συζητήσουμε.
Εδώ βλέπουμε τον «χάρτη των αναδυόμενων τεχνολογιών» (υπάρχουν πολλοί προφήτες, εμείς βλέπουμε τις προφητείες της gartner
Τα 5 στάδια
Ερευνητική Καινοτομία
Κορύφωση προσδοκιών
Απομυθοποίηση (και θάνατος?)
Τεχνολογική και οικονομική Ωρίμανση
Πλατώ παραγωγικότητας (εκμετάλλευση)
Οικονομικός αντίκτυπος της αγοράς (επιχειρηματικής) του IoT
Αυτόνομο σύστημα
O Ορισμός ποικίλει ανάλογα με το επιστημονικό πεδίο, δανειζόμαστε έναν από τα cybernetics
Watson et. All http://www.jhuapl.edu/techdigest/TD/td2604/Watson.pdf
Ο ορισμός είναι πολύ ευρύς και εν πολλοίς δεν υφίσταται ακόμη τέτοιο σύστημα
Για το διαδίκτυο των πραγμάτων δεν υπάρχει κοινά αποδεκτός ορισμός:
(http://iot.ieee.org/images/files/pdf/IEEE_IoT_Towards_Definition_Internet_of_Things_Revision1_27MAY15.pdf)
Διότι αντιπροσωπεύει διαφορετικά πράγματα για τον καθένα ανάλογα με το επιστημονικό του πεδίο
Διότι συγχέεται με τις εφαρμογές που μπορεί να υποστηρίξει (η ίδια σύγχυση μεταξύ internet και WWW)
Σύστημα που μπορεί να προσαρμόσει την συμπεριφορά του ανταποκρινόμενο σε (απρόσμενα) γεγονότα
Ο ορισμός είναι πολύ ευρύς και εν πολλοίς δεν υφίσταται ακόμη τέτοιο σύστημα
- Στην πράξη αναφερόμαστε στην ικανότητα ενός συστήματος (οχήματος) να αντιλαμβάνεται το περιβάλλον και να αντιδρά βέλτιστα προσπαθώντας να φέρει σε πέρας την αποστολή του
Παράδειγμα από την αεροπορία:
Current: Pilot-in-the-loop (in plane, FBW, airliners), Pilot-in-the-remote-loop (in GCS, FBW, airliners)
Almost current: Remote medicine and blood delivery service at Rwanda (Pilot in mission planning) http://www.dronesatwork.com/one-drones-save-life/
Συνεπώς μπορεί να υπάρξει αυτόνομο όχημα, αν δεχθούμε περιορισμούς στο «περιβάλλον λειτουργίας» και στο εύρος των επιλογών απέναντι σε «απρόσμενα γεγονότα»
Π.χ. στα αυτόνομα οχημάτων (αυτοκίνητα), έχουν καθιερωθεί πέντε επίπεδα αυτονομίας (http://www.sae.org/misc/pdfs/automated_driving.pdf) Level 1: Adaptive cruise control, L2 acc and lane keep (driver assistance), L3 driver must be alert (tesla), L4 autonomous on specific scenarios (roads), L5 fully autonomous.
Σε ότι αφορά το τελευταίο bullet:
Last: ETH some kind of multi-rotor self-assembly (https://www.wired.com/2013/07/distributed-flight-array-modular-self-assembling-flying-robots/)
Θα έχουμε ποτέ ένα τέτοιο όχημα?
(Προσωπικά) ελπίζω όχι!! : Τέτοιες ικανότητες σε ένα πραγματικό περιβάλλον προϋποθέτουν εξελίξεις στην ΑΙ που -κατά την γνώμη πολλών- θα δημιουργήσουν κάποια μορφή «συνείδησης» και πιθανόν «ενστίκτου επιβίωσης»(Πολύ δημοφιλές scenario sci-fi: Skynet – Terminator, HAL – odyssey 2002 για τους παλαιότερους).
-1982 CMU coke machine
-1999, MIT, RFIDs Kevin-Ashton
Τα νούμερα διαφέρουν οι τάσεις παραμένουν:
IHS forecasts that the IoT market will grow from an installed base of 15.4 billion devices in 2015 to 30.7 billion devices in 2020 and 75.4 billion in 2025
Συνοψίζοντας,
Είδαμε ότι η Αυτονομία προϋποθέτει ικανότητα διαχείρισης πόρων, δυνατότητα αλληλεπίδρασης με το περιβάλλον και εντέλει «ευφυΐα»
Περαιτέρω η «παγκόσμια δικτύωση» και μάλιστα σε σημασιολογικό επίπεδο (ανταλλαγή πληροφορίας όχι δεδομένων)επιτρέπει την δημιουργία μιας «συλλογικής μνήμης» που μπορούν να μοιράζονται όλα τα συστήματα ενός «domain”.
Χωρίς να ξεχνάμε και βασικές δυνατότητες όπως ο προγραμματισμός ΟΤΑ (in-situ, real time)
Όλα αυτά οδηγούν στην συνεργασία των μηχανών, πιθανόν χωρίς ανθρώπινη παρέμβαση, και στην δημιουργία μιας «συλλογικής» νοημοσύνης.
Αν η τελευταία δήλωση μοιάζει να προέρχεται από σενάριο επιστημονικής φαντασίας, στην πραγματικότητα,η δυνατότητα δημιουργίας συνεργατικών εφαρμογών είναι υπαρκτή και σε ορισμένες περιπτώσεις βρίσκονται στο στάδιο της εμπορικής εκμετάλλευσης
Σίγουρα υπάρχουν ακόμη εμπόδια και χρειάζεται επιστημονική έρευνα, όπως επίσης έρευνα χρειάζεται και για τις προκλήσεις που θα προέλθουν από αυτές τις προόδους.
Τέτοιες προκλήσεις είναι:
- Understand the “reasoning” process: The system must be able to explain and justify each decision..
Η επεκτασιμότητα (δηλ. η διαχείριση των προβλημάτων από την εκθετική αύξηση των κόμβων, δικτύων) είναι ένα πρόβλημα που
Αφορά τόσο τις υποδομές όσο και την υπολογιστική πολυπλοκότητα των αλγορίθμων διαχείρισης και των εφαρμογών.
(περισσότερα παρακάτω.
Πέρα από τα ατυχήματα που οφείλονται σε σφάλματα (σχεδίασης ή χρήσης) προβάλλονται
Και ηθικά/νομικά θέματα: π.χ. το δίλημμα του robot (να σκοτώσει ένα αθώο περαστικό ή τον ιδιοκτήτη του)
Που φέρνει την κουβέντα μας στα κοινωνικά θέματα:
Τα robot υποκαθιστούν εργάτες, τα αυτόνομα οχήματα επαγγελματίες οδηγούς και όχι μόνον!
Dependability: Οι παλιές κουζίνες είχαν χρονοδιακόπτη, οι καινούργιες (στο όχι άμεσο μέλλον) θα ξέρουν πότε έγινε το φαγητό, θα τις εμπιστευτείτε?
Not only big data analytics or NSA:
15 seconds delay is enough to drop your natural reservations!
Bot generates strangers’ (yet attractive) images from your facebook’s friends!
Sound surveillance:
All personal assistants are always listening (for command!). Google’s echo records up to 60 seconds.
So you could watch TV and ask to order the t-shirt worn by your favorite actor (need to access on-line database)
The privacy/anonymity debate: Η ιδιοτικότητα είναι υπερεκτιμημένη? Πόσα προσωπικά (προς το παρόν) δεδομένα θα δίναμε για να λάβουμε προηγμένες υπηρεσίες?
Να θυμίσω την πρόσφατη ανατροπή του νόμου για την συγκατάθεση στην χρήση προσωπικών δεδομένων στις ΗΠΑ διότι «ήταν επιζήμιο για την οικονομική ανάπτυξη»
Η αλήθεια είναι ότι ξεφύγαμε λίγο, αλλά ήθελα να παρουσιάσω κάποια θέματα που θα επηρεάσουν (θετικά ή αρνητικά) και τους στόχους της ερευνας τα επόμενα χρόνια.
Ξεκινήσαμε με την διαπίστωση της σπατάλης ενέργειας από την λειτουργία των fancoils
Μετά από έξι διπλωματικές εργασίες καταλήξαμε με αυτό!
Δημιουργήσαμε μια WEB based εφαρμογή για τον απομακρυσμένο έλεγχο των fancoils,
Που επιτρέπει τον χειρισμό κάθε fancoil και παράλληλα
συγκεντρώνει στοιχεία θερμοκρασίας και υγρασίας από πολλά σημεία στο κτήριο.
Ετσι δημιουργούμε μια «πυκνή» βάση δεδομένων για τις «επιδόσεις» του κτηρίου.
Βλέπουμε το θέμα της συγκέντρωσης/διαχείρισης των δεδομένων και την ανάγκη χρήσης ενιαίων πλατφορμών ανεξέρτητα από το δίκτυο ή το είδος των δεδομένων
(παρεπιπτόντως υπάρχουν πολλές εταιρείες στην ελλάδα που αναπτ΄θσουν ή χρησημοποιούν τέτοια συστήματα και ψάχνουν για κόσμο!)
Στο θέμα της ποσότητας των δεδομένων προς αποθήκευση και επεξεργασία, ένα παράδειγμα από το «ταπεινό» σύστημά μας:
Εδώ παρουσιάζουμε το υλικό που τοποθετείται στο fan coil
Είναι ένα μικροεπεξεργαστικό σύστημα με αρχιτεκτονική συμβατή με ένα IoT mote
(επεξεργαστής, δίκτυό (wifi), sensors, actuators
Ολο το λογισμικό και η ολοκλήρωση έγινε στο TEI.
Εδώ παρουσιάζουμε την αρχιτεκτονική της πλατφόρμας και του server.
Αφού υλοποιήσαμε την πρώτη έκδοση με «κλειστή» (δική μας) αρχιτεκτονική επικοινωνιών,
Επιλέξαμε το MQTT (open) standard ως πλατφόρμα δικτύωσης.
Ολο το λογισμικό (πλην του MQTT broker) και η ολοκλήρωση έγινε στο TEI.
Το τρέχον σύστημα αποτελεί καλή βάση για τεχνολογική έρευνα:
Με τους συναδέλφους είμαστε διαθέσιμοι να συζητήσουμε πτυχιακές ή ερευνητικές πρωτοβουλίες
https://thenewstack.io/mqtt-protocol-iot/
http://www.hivemq.com/blog/mqtt-essentials-part-3-client-broker-connection-establishment
Τώρα το θέμα της ενεργειακής αυτονομίας το εξετάζουμε σε μικροκλίμακα και αφορά την πιθανότητα να ανεξαρτητοποίησης του κόμβου από μπαταρίες ή ενσύρματη τροφοδοσία
Υποθέστε ότι ένας κόμβος μπορεί να λειτουργήσει με ισχύ μεταξύ Pmin -> 1 sample per hour και Pmax -> 1 sample per sec
Δοθείσης της κατανομής ενεργειακής πυκνότητας στο σημείο τοποθεσίας, ποια είναι η μεγιστή δυνατή P που πρέπει να επιλέξω ώστε να μην έχω παύση λειτουργίας λόγω έλλειψης ενέργειας?
Φθίνουσα εισροή ενέργειας (π.χ νύχτα) δεν σημαινει κατανάγκη και μείωση του P
Χρειαζόμαστε ένα προβλεπτικό μοντέλο που να μαθαίνει από το παρελθόν και να προβλέπει την περιοδικότητα (αν υπάρχει)