Building a self-driving RC car

1. Building a self-driving RC car
bertjan@openvalue.de
Bert Jan Schrijver
@bjschrijver

2. Building a self-driving RC car
Bert Jan Schrijver
@bjschrijverbertjan@openvalue.de

3. @TimvEijndhoven@bjschrijver

4. @bjschrijver@bjschrijver
Let’s meet
Bert Jan Schrijver

5. @bjschrijver@bjschrijver
Let’s meet
Tim van Eijndhoven

6. @bjschrijver
How it all started…

7. @bjschrijver
RoboRace challenge

8. @bjschrijver
The rules
• 4 teams
• Each team gets:
• RC car kit
• Fixed budget (150 euro)
• Three races:
1. drag race (start, drive, stop)
2. race track (race 1 + corners)
3. destruction derby ;-)
(race 2 with multiple cars on same track)

9. @bjschrijver
The kit

10. @bjschrijver
The brain

11. @bjschrijver
The platform

12. @bjschrijver
Vert.x
• Toolkit for building reactive applications on the JVM
• Event-driven, non-blocking
• General purpose application framework
• Why Vert.x for our project?
• Lightweight, fast
• Polyglot
• Distributed eventbus (browser included!)
• Building microservices with Vert.x: https://youtu.be/yLg-LPSRjho

13. @bjschrijver
Connecting the dots

14. @bjschrijver
• General purpose input/output
GPIO

15. @bjschrijver
Speaking the same language

16. @bjschrijver
PWM
• Pulse-width modulation, repeating pulses of variable width
• ServoBlaster: https://github.com/richardghirst/PiBits/tree/
master/ServoBlaster

17. @bjschrijver
Staying safe

18. @bjschrijver
Getting visual

19. @bjschrijver
RPi Cam Web Interface
• Web interface for the Raspberry Pi Camera module
• Video streaming
• Web interface to configure video settings
https://github.com/silvanmelchior/RPi_Cam_Web_Interface

20. @bjschrijver
Ready for the road

21. @bjschrijver
Putting stuff together

22. @bjschrijver
Learning to drive…

23. @bjschrijver
OpenCV
• Open source computer vision and machine learning library
written in C++ with Java interfaces
• Optimised algorithms for computer vision
• Most widely used computer vision library
• Many resources available

24. @bjschrijver
1: Canny edge detection 2: Probabilistic Hough Line Transform
3: Filter group and average lines 4: Determine lane center

25. @bjschrijver
Show me some code…

26. @bjschrijver
Boars Nest (Laptop) Duke Farm (Car)
Daisy
Luke
Bo
Servoblaster
Boss
Hogg
Roscoe
Flash
GeneralLee
Heartbeat
Manual inputs
Steering / Speed
instructions
Start/Stop
autopilot
Image feed
Angle &
Distance
Intermediate
CV images

27. @bjschrijver
Expectation

28. @bjschrijver
Reality

29. @bjschrijver

30. @bjschrijver

31. @bjschrijver

32. @bjschrijver

33. @bjschrijver

34. @bjschrijver
Let’s race!

35. @bjschrijver

36. @bjschrijver

37. @bjschrijver
In the real world

38. @bjschrijver

39. @bjschrijver

40. @bjschrijver

41. @bjschrijver

42. @bjschrijver

43. @bjschrijver
Examples of safety measures
• Geographic area limitation
• Strictly defined conditions
• Redundancy
• Multiple sensors
• Isolating control systems
• Human intervention fallback

44. @bjschrijver
Weakness of AI for computer vision

45. @bjschrijver
Ethics

46. @bjschrijver
http://moralmachine.mit.edu

47. @bjschrijver
http://moralmachine.mit.edu

48. @bjschrijver
“In hazardous situations that prove to be
unavoidable, despite all technological
precautions being taken, the protection
of human life enjoys top priority in a
balancing of legally protected interests.”

49. @bjschrijver
“In the event of unavoidable accident
situations, any distinction based on
personal features (age, gender, physical
or mental constitution) is strictly
prohibited.”

50. @bjschrijver
Future improvements
• Improve detection and navigation of curved lanes
• Optimize line detection algorithm using sliding window
• Automatic (re)calibration of:
• Video parameters
• OpenCV parameters
• Add Flight recorder to enable replay and debug
• Control servos directly from Java
• Use a neural network for navigation
• Optimize for running everything on the car

51. Questions?
@bjschrijver

52. Thanks for your time.
Got feedback? Tweet it!
All pictures belong
to their respective
authors
https://github.com/rc-dukes
@bjschrijver