Der Freifunk Hochstift betreibt seit 2014 ein Richtfunkbackbone, das im Laufe der Jahre stark gewachsen ist und sie an einigen Stellen weiterentwickelt hat. Wir wollen Euch die Geschichte unseres Richtfunkbackbones erzählen mit allen ihren hellen und dunklen Seiten und allen Ideen die mal gut schienen und sich als "eher so mittel" herausgestellt haben.

1. Wie baue ich einen
Freifunkbackbone
Was wir in den letzten 5 Jahren
gelernt haben
FreifunkTag19
Maximilian Wilhelm
<max@sdn.clinic>
@BarbarossaTM

2. 2
Who am I?
● Maximilian Wilhelm
– @BarbarossaTM
● Senior Infrastructure Architect, Uni Paderborn
● Infrastructure Archmage, Freifunk Hochstift
● Fanboy of
– (Debian) Linux
– ifupdown2
● Networker
● OpenSource Hacker

3. Agenda
● Geschichtsstunde
● Richtfunkbackbone, erster Versuch
● Wachstumsschmerzen
● Was würde in ISP tun?
● SDN

4. 4
Geschichtsstunde
● Gegründet als Freifunk Paderborn auf #30c3
● Schnell stark gewachsen dank viel Unterstützung
– Bäcker
– Werbegemeinschaft
– Land NRW (Hallo Staatskanzlei!)
– Seit 2016 auch Stadt + Kreis Paderborn
● Expandiert zum Freifunk Hochstift (09/2015)

5. 5
Geschichtsstunde
● 40+ Systeme
– Physisch + VMs
– Verteilt im Hochstift und .de
– Angebunden per RiFu-Backbone und VPNs
● BATMAN-L2-Netz soll überall verfügbar sein
– Verbunden per Fastd Tunnel und RiFu+Vlans
– Fast 100% der Knoten per Fastd an Gateways
● Zoo aus gesponsorter Hardware (Server + Netz)
● Money was an issue

6. 6
Richtfunkbackbone, erster Versuch

7. 7
Netzwerk-Setup
● Pro POP
– Irgendein Switch
– Antennen (was gerade da war™)
– Hand voll PoE-Injektoren
– Wenn’s gut lief ein EdgeRouter als Switch
– Eine Hand voll Aps
● Oder 841er
● Ein VLAN pro Richtfunkstrecke für B.A.T.M.A.N.
● Ein VLAN 23 für echten Traffic
#Yolo

8. 8
Yolo Operations
● Wenn schon B.A.T.M.A.N. dann richtig
– Mesh-Eigenschaft auf im RiFu-Netz nutzen
– Pro POP Netz auf APs ausleiten
– Aber wie?!
● “Echte” APs
– 5GHz nutzen können wäre schon geil
– Ging mit Gluon damals nicht (legal)
● Wie bekommt man das zusammen?

9. 9
B.A.T.M.A.N. auf EdgeRoutern!
● Wir hatten kein Geld
● EdgeRouter waren billig
● Wäre cool, wenn die auch BATMAN sprächen..
➔ https://git.c3pb.de/freifunk-pb/edgerouter
● Nice try, aber
– Nicht update-safe
– Explodiert auf andere Modellen und Versionen
– Performance eher so mittel, da kein offloading
● Nope

10. 10
Die AP-Frage
● Unifi APs mit Stock-Firmware
– UAP
– UAP AC Outdoor (die Älteren erinnern sich)
● Dafür braucht’s dann aber Management
– Sinnvollerweise getrennt vom Client-Netz
● Also braucht’s wohl auch ein IP-Netz
● Router-Frage immer noch nicht gelöst...

11. 11
Wachstumsschmerzen

12. 12
B.A.T.M.A.N. Layer2 skaliert nicht
● Size does matter!
● Ein BATMAN Mesh mit 1k Knoten dreht nicht
– Haben wir getestet
– Ihr bestimmt auch
● Mehrere kleinere “Sites” bauen
– September 2015

13. 13
Der große Wurf: Regionen

14. 14
Sites / Regionen
● 26 Regionen definieren ...
– … kleinsten angedachten Split
– … größt mögliche Skalierung
– (Ohne weitere große Änderungen)
● Erstmal reich(t)en wenige Sites
– Site fasst Regionen zusammen
– Legacy + 9 neue (City, PB N, O, S, W, …)
● Site entspricht B.A.T.M.A.N.-Instanz

15. 15
Konzept vs. Umsetzung
● 10 Sites
– Legacy
– Paderborn: City, Nord, Ost, Süd, West, Umland
– Büren
– Höxter: Nord, Süd
– Umland
● Wie umsetzen?
– Ein VLAN pro Site und RF-Strecke?
– Plus VLAN für IP?

16. 16
Wireless Backbone (soll)
#VlanHölle

17. 17
Was würde ein ISP tun?

18. 18
Raus aus der #VlanHölle
● B.A.T.M.A.N. braucht Layer2-Verbindung
– Da kommen wir nicht drum herum
● IP-Backbone bauen wir auf jeden Fall
● Overlay?
✗ EdgeRouter können kein B.A.T.M.A.N.
✗ MPLS unter Linux nur tw. vorhanden
➔ VXLAN
➔ Irgendeine Linux-Kiste™

19. 19
IPoBATMANoVXLANoWBBL
● Wait what?
Ethernet (RF / Kabel)
Vlan
IP
VXLAN
B.A.T.M.A.N. Adv.
VXLAN
IP

20. 20
MTU
IP-Paket-im-Mesh
BATMAN
(+ Eth)
VXLANUDPIP.1q

21. 21
Wünsch Dir was
● Dual-Stack IP-Backbone
– IP-Konnektivität
– Dynamisches Routing (OSPF, BGP)
● Kann 9+ B.A.T.M.A.N. Instanzen transportieren
● Besteht aus einem Haufen Linux-Kisten (APU2)
● Jeder POP gleich aufgebaut
– Switch, Router, ein paar Wifi-Backbone-Links (ubnt)
– APs
● Fun and profitworld peace

22. Wie kommen wir da hin..?!

24. 24
VLAN-Konzept
● Trennung zwischen logischen Netzen
● Wir brauchen immernoch VLANs
– Ein echtes Interface pro Netz skaliert nicht
● VLAN-ID Global eindeutig
– Bereiche vorsehen
– ID kann ausgewertet werden
➔ https://wiki.ffho.net/infrastruktur:vlans

25. 25
VLAN-Konzept
● VLAN-Kategorien:
– Backbonerouter ↔ Backbonerouter
● Via Richtfunk
● Via Kabel
– Management-Netz pro POP
– Mesh-Auskopplung pro POP
– Client-Netz-Auskoppling pro POP
– Etc.

26. 26
IP-Adressierungsplan
● Analog zu VLAN-Konzept
● Für Legacy-IP und IPv6!
● IP-Bereich pro Funktion
– Infrastruktur
● Transfernetze
● Netze pro POP
● Service-IPs
– Client-Netze
– Management-Netze

27. 27
Ein POP – Bauplan
● Hardware
– 1 Backbone-Router (APU)
– 1 Switch (Netonix WS-12-250)
– n Richtfunkdings (Ubnt PBE-5AC-300/500/Gen2)
– m APs (Ubnt Mesh-Pro)
● Logisch
– 1 Management-Netz (/24)
– n Transfernetze (/31 + /126)
– n * s VXLANs (s = Anzahl Sites / POP)

28. 28
Hardware
● Einheitlicher Hardware Pool
– PCengines APU2
– Netonix WISP Switches
– Ubiquiti Networks
● PowerBeam
● LiteBeam
● AC Mesh Pro

29. 29
#SDN
Disclaimer: Font on special request of AbraXXL
“Freifunk Hochstift Superior Saltstack Automated Backbone
des Todes of Doom oVXLAN”
-- hexa

30. 30
SDN ingredients
ifupdown2

31. 31
Automation

32. 32
FFHO WiFi Backbone (ist)

33. 33
Vorher / Nachher (PaderHalle)

34. 34
Wir können auch 19”

35. 35
Und dann ging’s hoch hinaus

36. 36
Kabel basteln in 30m Höhe

37. 37
Freifunkromantik

38. 38
Management-Backdoor
● Management-Netz wird
nur von APU geroutet
● Wenn APU kaputt,
Management kaputt
● VLAN einfach über alle
RF-Strecken
exportieren
● Zur Not an jedem
adjazenten POP
konfigurierbar!

39. 39
Management Backdoor

40. 40
Intent-driven, fully automated
deployment of Freifunk Backbones
ifupdown2

41. 41
Ein POP in Netbox

42. 42
Backbonerouter / Interfaces

43. 43
Backbonerouter / IPs

44. 44
New Hotness: Ubnt EdgePoint
● Outdoor-Switch!
● Nur noch 1x Strom
und 1x LWL auf’s
Dach!
● Leider geil
● Vereinfacht Aufbau
ungemein

45. 45
Freifunkromantik

46. 46
Mehr Freifunkromantik

47. 47
Further Reading
● Salt-Orchestrated Software Defined (Freifunk)
Network (german)
– https://www.slideshare.net/BarbarossaTM/software
-defined-freifunk-backbones-78288014
– https://blog.sdn.clinic/category/freifunk/ffho/

48. 48
Questions? Remarks?
Thank you :-)
Maximilian Wilhelm
<max@elitepeer.de>
@BarbarossaTM