Für unsere Kunden entwickeln wir in Projekten Applikationen und die dafür notwendige Infrastruktur. Oft betreiben wir diese Infrastruktur auch über mehrere Monate oder Jahre hinweg und entwickeln diese technologisch weiter. Dabei sammeln wir viele wertvolle und teils unerwartete Erfahrungen. In einem dieser Projekte haben wir eng mit dem MQTT-Spezialisten dc-square (HiveMQ) zusammengearbeitet um für den Kunden ein Broker-Cluster als zentrale geschäftskritische Messaging-Plattform aufzusetzen und zu etablieren. Das Sammeln und Visualisieren der vielen Monitoring-Metriken sowie Logs war für uns von Anfang an eine wichtige Herangehensweise um, mit den durchwachsenen Anforderungen des Kunden, die Clients und Workflows zu verstehen und den Problemen im Tagesgeschäft Herr zu werden. Dieser Vortrag beleuchtet zentrale “Lessons Learned” und teils offene Fragestellungen aus ca. 2 Jahren MQTT-Broker-Betrieb in Production. Vorkenntnisse Grundlegendes Verständnis über Anforderungen und Eigenschaften moderner Webapplikationen bzw. web-basierten IT-Architekturen. Lernziele In diesem Vortrag werden wichtige Aspekte und Herausforderungen + Lösungen beim Aufsetzen und den Betrieb eines MQTT Message Brokers (HiveMQ) vorgestellt. Speaker: Arnold Bechtoldt, inovex Event: buildingIoT 2018 Mehr Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege/ Mehr Tech-Artikel: https://www.inovex.de/blog/

1. MQTT in the Enterprise
How to successfully run an MQTT Message Broker
Arnold Bechtoldt
(Senior Systems Engineer)
v2
5 learnings from two years
of suffering challenges!

2. Background

3. Thousands of cars (MQTT clients)

4. Dozens of backend services
(MQTT clients)

5. ~ 40,000 MQTT sessions

6. > 100,000 incoming MQTT msgs
per minute

7. > 1,000,000 customers

8. Today’s Learning Goal:
How not to kill customers with IoT!

9. Many (many) developers,
sysadmins, supporters, QA

10. inovex to the rescue!

11. Message Broker in the Middle (MITM)
11

12. Lesson #1
MQTT: Forget what you've
learned before!

13. ● Rules from HTTP world won’t apply
● “MQTT is simple.” vs. “MQTT is hard.”
● MQTT tooling support (was) missing
● HiveMQ is a rather stateful application
MQTT is different
13

14. Lesson #2
The(re is no) “I” in IoT!

15. ● Most MQTT clients connected via GSM/UMTS
● Miserable internet connection
● Almost all support tickets caused by network issues
● Embedded hardware lacks network fault tolerance
● Comparing (MQTT) monitoring metrics helps
IoT networking
15

16. 16

17. Lesson #3
Monitor your (MQTT) clients to
understand their behaviour!

18. HiveMQ Prometheus Metrics (> 1800)
18

19. Visualizing Metrics
19

20. MQTT Broker Dashboard (Grafana)
20

21. (Bad) Dev/Prod Parity
21
Testing
Integration
Production

22. Lesson #4
Log all* MQTT events and
people will start loving you!

23. Notice: Don’t break data privacy law!
23

24. Prepared for general use
24

25. Unstructured logs as base ...
25

26. … manipulated with Logstash
26

27. … to show MQTT client login
27

28. … or dropped messages!
28

29. Lesson #5
“S” in IoT stands for security!

30. ● MQTT security mechanisms are okay
● IoT security is possible
● Problem Exists Between Chair And Keyboard (PEBCAK)
● Fight for security!
Security in the Enterprise
30

31. Don’t ...
● force passwords with length of 8 chars.
● log passwords in plaintext.
● forget authorization after implementing authentication.
● use credentials across ten thousands of clients.
● publish passwords on Github!!!
Ultimative list of recommendations
31

32. 32

33. [...] die pragmatische, unkomplizierte und produktive Zusammenarbeit mit inovex
positiv hervorzuheben, da [...] komplexe Problemstellungen [...] gemeinsam gelöst
wurden [...].
Generell finde ich die Zusammenarbeit [...] schon ziemlich gut und v. a. auch
pragmatisch. Auch dass sich alle [...] verantwortlich fühlen, dass die Dinge
laufen/funktionieren.
Thank you to all [...] and giving us the chance to provide such a
solution, from monitoring point of view it seems that we have
the best MQTT connection ever.
33
Mission accomplished!

34. ● github.com/inovex/mqtt-stresser
● github.com/inovex/mqtt_blackbox_exporter
● inovex.de/blog (HAProxy MQTT Health Check)
● …
Open Source now ...
34
inovex.de/jobs

35. Arnold Bechtoldt
inovex
github.com/bechtoldt youtube.com/inovexGmbH
arbe.io inovex.de inovex.de/blog
arnold.bechtoldt@inovex.de
sayat.me/arbe