Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Wie baue ich ein Freifunkbackbone - Was wir in den letzten 5 Jahren gelernt haben

310 views

Published on

Der Freifunk Hochstift betreibt seit 2014 ein Richtfunkbackbone, das im Laufe der Jahre stark gewachsen ist und sie an einigen Stellen weiterentwickelt hat.

Wir wollen Euch die Geschichte unseres Richtfunkbackbones erzählen mit allen ihren hellen und dunklen Seiten und allen Ideen die mal gut schienen und sich als "eher so mittel" herausgestellt haben.

Published in: Internet
  • Be the first to comment

  • Be the first to like this

Wie baue ich ein Freifunkbackbone - Was wir in den letzten 5 Jahren gelernt haben

  1. 1. Wie baue ich einen Freifunkbackbone Was wir in den letzten 5 Jahren gelernt haben FreifunkTag19 Maximilian Wilhelm <max@sdn.clinic> @BarbarossaTM
  2. 2. 2 Who am I? ● Maximilian Wilhelm – @BarbarossaTM ● Senior Infrastructure Architect, Uni Paderborn ● Infrastructure Archmage, Freifunk Hochstift ● Fanboy of – (Debian) Linux – ifupdown2 ● Networker ● OpenSource Hacker
  3. 3. Agenda ● Geschichtsstunde ● Richtfunkbackbone, erster Versuch ● Wachstumsschmerzen ● Was würde in ISP tun? ● SDN
  4. 4. 4 Geschichtsstunde ● Gegründet als Freifunk Paderborn auf #30c3 ● Schnell stark gewachsen dank viel Unterstützung – Bäcker – Werbegemeinschaft – Land NRW (Hallo Staatskanzlei!) – Seit 2016 auch Stadt + Kreis Paderborn ● Expandiert zum Freifunk Hochstift (09/2015)
  5. 5. 5 Geschichtsstunde ● 40+ Systeme – Physisch + VMs – Verteilt im Hochstift und .de – Angebunden per RiFu-Backbone und VPNs ● BATMAN-L2-Netz soll überall verfügbar sein – Verbunden per Fastd Tunnel und RiFu+Vlans – Fast 100% der Knoten per Fastd an Gateways ● Zoo aus gesponsorter Hardware (Server + Netz) ● Money was an issue
  6. 6. 6 Richtfunkbackbone, erster Versuch
  7. 7. 7 Netzwerk-Setup ● Pro POP – Irgendein Switch – Antennen (was gerade da war™) – Hand voll PoE-Injektoren – Wenn’s gut lief ein EdgeRouter als Switch – Eine Hand voll Aps ● Oder 841er ● Ein VLAN pro Richtfunkstrecke für B.A.T.M.A.N. ● Ein VLAN 23 für echten Traffic #Yolo
  8. 8. 8 Yolo Operations ● Wenn schon B.A.T.M.A.N. dann richtig – Mesh-Eigenschaft auf im RiFu-Netz nutzen – Pro POP Netz auf APs ausleiten – Aber wie?! ● “Echte” APs – 5GHz nutzen können wäre schon geil – Ging mit Gluon damals nicht (legal) ● Wie bekommt man das zusammen?
  9. 9. 9 B.A.T.M.A.N. auf EdgeRoutern! ● Wir hatten kein Geld ● EdgeRouter waren billig ● Wäre cool, wenn die auch BATMAN sprächen.. ➔ https://git.c3pb.de/freifunk-pb/edgerouter ● Nice try, aber – Nicht update-safe – Explodiert auf andere Modellen und Versionen – Performance eher so mittel, da kein offloading ● Nope
  10. 10. 10 Die AP-Frage ● Unifi APs mit Stock-Firmware – UAP – UAP AC Outdoor (die Älteren erinnern sich) ● Dafür braucht’s dann aber Management – Sinnvollerweise getrennt vom Client-Netz ● Also braucht’s wohl auch ein IP-Netz ● Router-Frage immer noch nicht gelöst...
  11. 11. 11 Wachstumsschmerzen
  12. 12. 12 B.A.T.M.A.N. Layer2 skaliert nicht ● Size does matter! ● Ein BATMAN Mesh mit 1k Knoten dreht nicht – Haben wir getestet – Ihr bestimmt auch ● Mehrere kleinere “Sites” bauen – September 2015
  13. 13. 13 Der große Wurf: Regionen
  14. 14. 14 Sites / Regionen ● 26 Regionen definieren ... – … kleinsten angedachten Split – … größt mögliche Skalierung – (Ohne weitere große Änderungen) ● Erstmal reich(t)en wenige Sites – Site fasst Regionen zusammen – Legacy + 9 neue (City, PB N, O, S, W, …) ● Site entspricht B.A.T.M.A.N.-Instanz
  15. 15. 15 Konzept vs. Umsetzung ● 10 Sites – Legacy – Paderborn: City, Nord, Ost, Süd, West, Umland – Büren – Höxter: Nord, Süd – Umland ● Wie umsetzen? – Ein VLAN pro Site und RF-Strecke? – Plus VLAN für IP?
  16. 16. 16 Wireless Backbone (soll) #VlanHölle
  17. 17. 17 Was würde ein ISP tun?
  18. 18. 18 Raus aus der #VlanHölle ● B.A.T.M.A.N. braucht Layer2-Verbindung – Da kommen wir nicht drum herum ● IP-Backbone bauen wir auf jeden Fall ● Overlay? ✗ EdgeRouter können kein B.A.T.M.A.N. ✗ MPLS unter Linux nur tw. vorhanden ➔ VXLAN ➔ Irgendeine Linux-Kiste™
  19. 19. 19 IPoBATMANoVXLANoWBBL ● Wait what? Ethernet (RF / Kabel) Vlan IP VXLAN B.A.T.M.A.N. Adv. VXLAN IP
  20. 20. 20 MTU IP-Paket-im-Mesh BATMAN (+ Eth) VXLANUDPIP.1q
  21. 21. 21 Wünsch Dir was ● Dual-Stack IP-Backbone – IP-Konnektivität – Dynamisches Routing (OSPF, BGP) ● Kann 9+ B.A.T.M.A.N. Instanzen transportieren ● Besteht aus einem Haufen Linux-Kisten (APU2) ● Jeder POP gleich aufgebaut – Switch, Router, ein paar Wifi-Backbone-Links (ubnt) – APs ● Fun and profitworld peace
  22. 22. Wie kommen wir da hin..?!
  23. 23. 24 VLAN-Konzept ● Trennung zwischen logischen Netzen ● Wir brauchen immernoch VLANs – Ein echtes Interface pro Netz skaliert nicht ● VLAN-ID Global eindeutig – Bereiche vorsehen – ID kann ausgewertet werden ➔ https://wiki.ffho.net/infrastruktur:vlans
  24. 24. 25 VLAN-Konzept ● VLAN-Kategorien: – Backbonerouter ↔ Backbonerouter ● Via Richtfunk ● Via Kabel – Management-Netz pro POP – Mesh-Auskopplung pro POP – Client-Netz-Auskoppling pro POP – Etc.
  25. 25. 26 IP-Adressierungsplan ● Analog zu VLAN-Konzept ● Für Legacy-IP und IPv6! ● IP-Bereich pro Funktion – Infrastruktur ● Transfernetze ● Netze pro POP ● Service-IPs – Client-Netze – Management-Netze
  26. 26. 27 Ein POP – Bauplan ● Hardware – 1 Backbone-Router (APU) – 1 Switch (Netonix WS-12-250) – n Richtfunkdings (Ubnt PBE-5AC-300/500/Gen2) – m APs (Ubnt Mesh-Pro) ● Logisch – 1 Management-Netz (/24) – n Transfernetze (/31 + /126) – n * s VXLANs (s = Anzahl Sites / POP)
  27. 27. 28 Hardware ● Einheitlicher Hardware Pool – PCengines APU2 – Netonix WISP Switches – Ubiquiti Networks ● PowerBeam ● LiteBeam ● AC Mesh Pro
  28. 28. 29 #SDN Disclaimer: Font on special request of AbraXXL “Freifunk Hochstift Superior Saltstack Automated Backbone des Todes of Doom oVXLAN” -- hexa
  29. 29. 30 SDN ingredients ifupdown2
  30. 30. 31 Automation
  31. 31. 32 FFHO WiFi Backbone (ist)
  32. 32. 33 Vorher / Nachher (PaderHalle)
  33. 33. 34 Wir können auch 19”
  34. 34. 35 Und dann ging’s hoch hinaus
  35. 35. 36 Kabel basteln in 30m Höhe
  36. 36. 37 Freifunkromantik
  37. 37. 38 Management-Backdoor ● Management-Netz wird nur von APU geroutet ● Wenn APU kaputt, Management kaputt ● VLAN einfach über alle RF-Strecken exportieren ● Zur Not an jedem adjazenten POP konfigurierbar!
  38. 38. 39 Management Backdoor
  39. 39. 40 Intent-driven, fully automated deployment of Freifunk Backbones ifupdown2
  40. 40. 41 Ein POP in Netbox
  41. 41. 42 Backbonerouter / Interfaces
  42. 42. 43 Backbonerouter / IPs
  43. 43. 44 New Hotness: Ubnt EdgePoint ● Outdoor-Switch! ● Nur noch 1x Strom und 1x LWL auf’s Dach! ● Leider geil ● Vereinfacht Aufbau ungemein
  44. 44. 45 Freifunkromantik
  45. 45. 46 Mehr Freifunkromantik
  46. 46. 47 Further Reading ● Salt-Orchestrated Software Defined (Freifunk) Network (german) – https://www.slideshare.net/BarbarossaTM/software -defined-freifunk-backbones-78288014 – https://blog.sdn.clinic/category/freifunk/ffho/
  47. 47. 48 Questions? Remarks? Thank you :-) Maximilian Wilhelm <max@elitepeer.de> @BarbarossaTM

×