JFall 2014 - A Storm of Drones

2. Inleiding
• Verdieping van Game of Drones
• Technische uitleg van het systeem
• Frameworks, libraries, componenten
• Problemen en uitdagingen
• Anders dan standaard JEE
• Besturing vereist AI
2

3. Artificial Intelligence 101
Nodig voor autonome drones
Basisopzet van een AI-systeem:
• Sensing: zintuigen,
3
“aanvoelen” van de
omgeving
• Interpreting: interpreteren
van de waargenomen
waardes, bepalen acties
• Acting: uitvoeren van acties
Interpreting
(Behaviors)
Sensing
(Analyzers)
Acting
(Drone
aansturing)

4. Subsumption architecture
4
Sensors'
Actuators'
Besturing van meerdere drones en de presentatie
“Mastermind” van het geheel
Scenario'
Besturing van een enkele drone, autonome operatie
Directe interactie met een drone
Behaviour1'
Behaviour2'
''''''
Opdeling in herbruikbare tasks
en behaviors die tasks combineren,
uitschakelen of beïnvloeden

5. Sensing: opzet
• Verschillende sensoren
• Video, hoogte, gyroscoop…
• Analyzers
• Sensing implementatie o.b.v. sensordata drones
• Bv. patroonherkenning
• Verschil tussen analyse van eigen sensoren en
externe apparaten
• Eigen: continue stroom
• Extern: event gebaseerd
5

6. Sensing: blackboard pattern
6
Verzamelplek van features
Verschillende analyzers als
knowledge source die
“Features” op het
blackboard plaatsen
Interpretation deel:
activeert Analyzers en interpreteert “Features”

7. Sensing probleem: lokalisering
• Indoor == GPS onbruikbaar
• Geen absolute informatie behalve hoogte
• Behaviors vereisen dit wel
• Relatieve informatie te onnauwkeurig
• Oplossing: patroonherkenning
• Gezichtsdetectie: OpenCV
• Kleurherkenning: home made
• Confidence
• Scale back
• Focussen en details 7

8. Interpreting - Behaviors
• Interpreting:
• Goal - Sensing == ERROR
• Behavior: autonoom stukje gedrag
• Bepaalt goal en daarmee besturing
• Javascript/Java koppeling
• Scenario’s en Behaviors zijn steeds
verschillend
• Realisatie veel trial-and-error
• Verkorten van de develop/build/run cycle
8

9. Demo
9

10. Interpreting probleem:
stabiliteit
• Automatische besturing noodzakelijk
• Geen menselijke correcties meer
• Wegregelen verstoringen en vertraging
• Probleem: stabiliteit, overshoot
• Oplossing: betere feedback loop
• Vele kleine correcties
• PID regelaar
10

11. Interpreting: PID
11
• Proportioneel, integraal,
afgeleide
• Extra: reageren (I) en
anticiperen (D)
• Makkelijk te realiseren,
moeilijk te configureren
• Trial & error
• x,y-as, z-as, rotatie

12. Acting
• Beperkte mogelijkheden
• Hardware constraints
• Onnauwkeurigheid
• Extern (bv. wind) en intern (bv. wrijving)
• Sensing detecteert daadwerkelijke resultaat
• Relatieve besturing
• “Ga 0,5s naar rechts met 25% vermogen”
12

13. Opzet
13

14. Componenten
14

15. Voorbeeld: Kong
15
1
2
Wijs drones toe aan teams

16. Voorbeeld: Kong
16
1, 2
Start Kong scenario
3

17. Voorbeeld: Kong
17
1, 5
Start game
2
3 4

18. Voorbeeld: Kong
18
1
Playing game
4
2 3

19. Voorbeeld: Kong
19
1
Einde scenario
2 3
4

20. Frameworks
20
Vert.X:
•Remoting, Eventing en Bus
YADrone:
•Java-implementatie van ARDrone SDK
OpenCV:
•Standaard Library voor implementatie computer vision
Augmenters & video streaming
Reveal.js, AngularJS
•HTML5 Presentatie framework

21. Vert.x
JVM/Vert.x
Container
21
Bus (Hazelcast)
events
Timer
Verticle Behavior
Verticle
new Thread()
.start()
Analyzer

22. YADrone
• 100% java-based framework voor ARDrone
• Reverse engineered vanaf
ARDrone SDK
• Veel bugs
• CommandManager, ConfigurationManager
VideoManager, NavDataManager
• Listener-producer
• Vertaling naar AT-Commandos
22

23. Augmenters & Video streaming
• Video pipeline implementatie
• Augmenters voor presentatie
23
Analy
zers
Augmenters Enco
der

24. Presentatie
• Reveal.js als HTML5 presentatie framework
• Externe interactie —> Integratie met
AngularJS
• Draait als verticle binnen Vert.x
• Interactie scenario’s - presentatie
• —> Go to slide x
• —> Start video stream
• —> Start muziek
• <— Start scenario
24

25. Problemen
25

26. Video streaming
dd Defcon
• MJPEG stabiliteit
• Delay/encoding (RTMP)
• Latency
26
• Stabiliteit:
• Socket timeouts (tickle)
• Video en navdata hick-ups
• Config aanpassingen
• Latency in YADrone
• Bandbreedte bij meerdere
drones

27. Netwerk & Security
• Elke drone heeft eigen AP
• unencrypted
• first come, first serve
• ARDrone via WPA2 koppelen aan Airport
• firmware aanpassing noodzakelijk
• m.b.v. Android app
27

28. Vragen?
28

29. Links
• YADrone: http://vsis-www.informatik.uni-hamburg.de/oldServer/teaching//
projects/yadrone/
• YADrone (Salves versie met bugfixes): https://github.com/ronsmits/YADrone
• ARDrone WPA: https://github.com/daraosn/ardrone-wpa2
• ARDrone SDK: https://projects.ardrone.org/
• Subsumption architecture: http://en.wikipedia.org/wiki/
Subsumption_architecture
• Java ScriptEngine: http://docs.oracle.com/javase/7/docs/api/javax/script/
ScriptEngine.html
• PID Controllers: http://en.wikipedia.org/wiki/PID_controller
• MindWave - http://store.neurosky.com/products/mindwave-1
• Reveal.JS: http://lab.hakim.se/reveal-js/#/
• Vert.x: http://vertx.io/
• OpenCV: http://opencv.org/
29

30. Backupslides
30

31. PID: Kp
31

32. PID: Ki
32

33. PID: Kd
33

34. Optioneel: YADrone opzet
34