1. Wie baue ich einen
Freifunkbackbone
Was wir in den letzten 5 Jahren
gelernt haben
FreifunkTag19
Maximilian Wilhelm
<max@sdn.clinic>
@BarbarossaTM

2. 2
Who am I?
● Maximilian Wilhelm
– @BarbarossaTM
● Senior Infrastructure Architect, Uni Paderborn
● Infrastructure Archmage, Freifunk Hochstift
● Fanboy of
– (Debian) Linux
– ifupdown2
● Networker
● OpenSource Hacker

3. Agenda
● Geschichtsstunde
● Richtfunkbackbone, erster Versuch
● Wachstumsschmerzen
● Was würde in ISP tun?
● SDN

4. 4
Geschichtsstunde
● Gegründet als Freifunk Paderborn auf #30c3
● Schnell stark gewachsen dank viel Unterstützung
– Bäcker
– Werbegemeinschaft
– Land NRW (Hallo Staatskanzlei!)
– Seit 2016 auch Stadt + Kreis Paderborn
● Expandiert zum Freifunk Hochstift (09/2015)

5. 5
Geschichtsstunde
● 40+ Systeme
– Physisch + VMs
– Verteilt im Hochstift und .de
– Angebunden per RiFu-Backbone und VPNs
● BATMAN-L2-Netz soll überall verfügbar sein
– Verbunden per Fastd Tunnel und RiFu+Vlans
– Fast 100% der Knoten per Fastd an Gateways
● Zoo aus gesponsorter Hardware (Server + Netz)
● Money was an issue

6. 6
Richtfunkbackbone, erster Versuch

7. 7
Netzwerk-Setup
● Pro POP
– Irgendein Switch
– Antennen (was gerade da war™)
– Hand voll PoE-Injektoren
– Wenn’s gut lief ein EdgeRouter als Switch
– Eine Hand voll Aps
● Oder 841er
● Ein VLAN pro Richtfunkstrecke für B.A.T.M.A.N.
● Ein VLAN 23 für echten Traffic
#Yolo

8. 8
Yolo Operations
● Wenn schon B.A.T.M.A.N. dann richtig
– Mesh-Eigenschaft auf im RiFu-Netz nutzen
– Pro POP Netz auf APs ausleiten
– Aber wie?!
● “Echte” APs
– 5GHz nutzen können wäre schon geil
– Ging mit Gluon damals nicht (legal)
● Wie bekommt man das zusammen?

9. 9
B.A.T.M.A.N. auf EdgeRoutern!
● Wir hatten kein Geld
● EdgeRouter waren billig
● Wäre cool, wenn die auch BATMAN sprächen..
➔ https://git.c3pb.de/freifunk-pb/edgerouter
● Nice try, aber
– Nicht update-safe
– Explodiert auf andere Modellen und Versionen
– Performance eher so mittel, da kein offloading
● Nope

10. 10
Die AP-Frage
● Unifi APs mit Stock-Firmware
– UAP
– UAP AC Outdoor (die Älteren erinnern sich)
● Dafür braucht’s dann aber Management
– Sinnvollerweise getrennt vom Client-Netz
● Also braucht’s wohl auch ein IP-Netz
● Router-Frage immer noch nicht gelöst...

11. 11
Wachstumsschmerzen

12. 12
B.A.T.M.A.N. Layer2 skaliert nicht
● Size does matter!
● Ein BATMAN Mesh mit 1k Knoten dreht nicht
– Haben wir getestet
– Ihr bestimmt auch
● Mehrere kleinere “Sites” bauen
– September 2015

13. 13
Der große Wurf: Regionen

14. 14
Sites / Regionen
● 26 Regionen definieren ...
– … kleinsten angedachten Split
– … größt mögliche Skalierung
– (Ohne weitere große Änderungen)
● Erstmal reich(t)en wenige Sites
– Site fasst Regionen zusammen
– Legacy + 9 neue (City, PB N, O, S, W, …)
● Site entspricht B.A.T.M.A.N.-Instanz

15. 15
Konzept vs. Umsetzung
● 10 Sites
– Legacy
– Paderborn: City, Nord, Ost, Süd, West, Umland
– Büren
– Höxter: Nord, Süd
– Umland
● Wie umsetzen?
– Ein VLAN pro Site und RF-Strecke?
– Plus VLAN für IP?

16. 16
Wireless Backbone (soll)
#VlanHölle

17. 17
Was würde ein ISP tun?

18. 18
Raus aus der #VlanHölle
● B.A.T.M.A.N. braucht Layer2-Verbindung
– Da kommen wir nicht drum herum
● IP-Backbone bauen wir auf jeden Fall
● Overlay?
✗ EdgeRouter können kein B.A.T.M.A.N.
✗ MPLS unter Linux nur tw. vorhanden
➔ VXLAN
➔ Irgendeine Linux-Kiste™

19. 19
IPoBATMANoVXLANoWBBL
● Wait what?
Ethernet (RF / Kabel)
Vlan
IP
VXLAN
B.A.T.M.A.N. Adv.
VXLAN
IP

20. 20
MTU
IP-Paket-im-Mesh
BATMAN
(+ Eth)
VXLANUDPIP.1q

21. 21
Wünsch Dir was
● Dual-Stack IP-Backbone
– IP-Konnektivität
– Dynamisches Routing (OSPF, BGP)
● Kann 9+ B.A.T.M.A.N. Instanzen transportieren
● Besteht aus einem Haufen Linux-Kisten (APU2)
● Jeder POP gleich aufgebaut
– Switch, Router, ein paar Wifi-Backbone-Links (ubnt)
– APs
● Fun and profitworld peace

22. Wie kommen wir da hin..?!

24. 24
VLAN-Konzept
● Trennung zwischen logischen Netzen
● Wir brauchen immernoch VLANs
– Ein echtes Interface pro Netz skaliert nicht
● VLAN-ID Global eindeutig
– Bereiche vorsehen
– ID kann ausgewertet werden
➔ https://wiki.ffho.net/infrastruktur:vlans

25. 25
VLAN-Konzept
● VLAN-Kategorien:
– Backbonerouter ↔ Backbonerouter
● Via Richtfunk
● Via Kabel
– Management-Netz pro POP
– Mesh-Auskopplung pro POP
– Client-Netz-Auskoppling pro POP
– Etc.

26. 26
IP-Adressierungsplan
● Analog zu VLAN-Konzept
● Für Legacy-IP und IPv6!
● IP-Bereich pro Funktion
– Infrastruktur
● Transfernetze
● Netze pro POP
● Service-IPs
– Client-Netze
– Management-Netze

27. 27
Ein POP – Bauplan
● Hardware
– 1 Backbone-Router (APU)
– 1 Switch (Netonix WS-12-250)
– n Richtfunkdings (Ubnt PBE-5AC-300/500/Gen2)
– m APs (Ubnt Mesh-Pro)
● Logisch
– 1 Management-Netz (/24)
– n Transfernetze (/31 + /126)
– n * s VXLANs (s = Anzahl Sites / POP)

28. 28
Hardware
● Einheitlicher Hardware Pool
– PCengines APU2
– Netonix WISP Switches
– Ubiquiti Networks
● PowerBeam
● LiteBeam
● AC Mesh Pro

29. 29
#SDN
Disclaimer: Font on special request of AbraXXL
“Freifunk Hochstift Superior Saltstack Automated Backbone
des Todes of Doom oVXLAN”
-- hexa

30. 30
SDN ingredients
ifupdown2

31. 31
Automation

32. 32
FFHO WiFi Backbone (ist)

33. 33
Vorher / Nachher (PaderHalle)

34. 34
Wir können auch 19”

35. 35
Und dann ging’s hoch hinaus

36. 36
Kabel basteln in 30m Höhe

37. 37
Freifunkromantik

38. 38
Management-Backdoor
● Management-Netz wird
nur von APU geroutet
● Wenn APU kaputt,
Management kaputt
● VLAN einfach über alle
RF-Strecken
exportieren
● Zur Not an jedem
adjazenten POP
konfigurierbar!

39. 39
Management Backdoor

40. 40
Intent-driven, fully automated
deployment of Freifunk Backbones
ifupdown2

41. 41
Ein POP in Netbox

42. 42
Backbonerouter / Interfaces

43. 43
Backbonerouter / IPs

44. 44
New Hotness: Ubnt EdgePoint
● Outdoor-Switch!
● Nur noch 1x Strom
und 1x LWL auf’s
Dach!
● Leider geil
● Vereinfacht Aufbau
ungemein

45. 45
Freifunkromantik

46. 46
Mehr Freifunkromantik

47. 47
Further Reading
● Salt-Orchestrated Software Defined (Freifunk)
Network (german)
– https://www.slideshare.net/BarbarossaTM/software
-defined-freifunk-backbones-78288014
– https://blog.sdn.clinic/category/freifunk/ffho/

48. 48
Questions? Remarks?
Thank you :-)
Maximilian Wilhelm
<max@elitepeer.de>
@BarbarossaTM