PLNOG 9: Robert Ślaski - JAK OD ZERA ZBUDOWANO SIEĆ OPERATORSKĄ - zapiski z dziennika budowy

ATM Systemy Informatyczne S.A.
JAK OD ZERA
ZBUDOWANO SIEĆ OPERATORSKĄ
- zapiski z dziennika budowy
Robert Ślaski
Chief Network Architect
CCIE#10877
PLNOG9
22-23 października 2012
Kraków

ATM Systemy Informatyczne S.A. PLNOG9, Kraków 2012
2
 Ciężko opowiedzieć o dwóch latach pracy w 45 minut, ale…
 …trochę o projekcie
 …trochę o technologii
 …trochę o najlepszych praktykach
 …trochę o ciekawych wpadkach
Zapraszamy na pokład!
http://XXw.pbase.com/flying_dutchman/

3
CEL

4
 Zbudować ogólnopolską sieć operatorską
 Wykorzystać technologię MPLS w architekturze typu enterprise
 Udostępnić usługi transportowe dla użytkowników
 Zapewnić wspólne usługi dla użytkowników
 Usługi Zintegrowanej Komunikacji
 Usługi kryptograficzne
 Usługi wymiany ruchu data oraz VoIP
 Usługi zarządzania i monitorowania
 Budżet określony - ma być jak najlepiej, jak najnowocześniej,
najwydajniej, jak najbardziej niezawodnie - i w ogóle NajNajNaj
Definicja zadania

Skala zadania
 350 węzłów sieci
 Węzły główne
 Węzły tranzytowe
 Węzły dostępowe
 450 lokalizacji dołączanych użytkowników
 Usługi wspólne w głównych węzłach sieci
 Transport od STM-1 do 10GbE
 Silna redundancja geograficzna
(niezależność usług per województwo)
 Scentralizowane węzły zarządzania i monitorowania
5

Transport danych
 Usługi transportowe (czyli to co daje MPLS)
 Usługa powszechna: L3 VPN, styki PE-CE typu static, EIGRP, OSPF, BGP, RIP
(wspierane i wykorzystywane)
 L2 VPN (pseudowire)
 Ethernet port
 Ethernet VLAN
 Serial / HDLC / Frame Relay
 E1
 L2 VPN (VPLS)
 CEoPS E1 (transport kanałów E1)
 Portfolio usług out-of-the-box oraz usługi kreowane na życzenie
6

Usługi wspólne
 Szyfrowanie komunikacji w obrębie sieci użytkowników (serwery kluczy, PKI)
 Bezpieczna wymiana ruchu pomiędzy sieciami tego samego użytkownika
 Bezpieczna wymiana ruchu pomiędzy różnymi użytkownikami sieci
 Ogólnopolski System Zintegrowanej Komunikacji
 szyfrowane usługi VoIP zintegrowane z lokalnymi PBX
 telefonia IP
 wymiana ruchu VoIP (bramki IP-to-IP)
 Monitorowanie urządzeń CPE użytkowników
 Centralny dostęp do Internetu
7

Struktura sieci
 Sieć Operatorska – centralna, wspólna część sieci
 Sieć Transportowa
 System Kryptograficzny
 System Wymiany Ruchu
 System Zintegrowanej Komunikacji
 Systemy Zarządzania
 Inne systemy usługowe i wspomagające
 Sieci Użytkowników – systemy każdego z użytkowników
 Sieci transmisji danych użytkownika (wiele)
 Sieć Zintegrowanej Komunikacji użytkownika (jedna)
8

Przykład usługi wspólnej
- System Zintegrowanej Komunikacji
 Wspólna usługa telefonii VoIP oraz telefonii IP
 Łączy lokalizacje użytkownika oraz użytkowników między sobą
 Usługi dodatkowe Zintegrowanej Komunikacji
 W systemie wymagane jest szyfrowanie - również aby się dołączyć
 Więcej szczegółów w osobnej prezentacji
9

Przykład usługi wspólnej
– wymiana ruchu IP
 Sześć spośród głównych węzłów sieci wyposażono w redundantne pary
wysokowydajnych firewalli IP
 Kontrola ruchu dla potrzeb wewnętrznych sieci oraz użytkowników
 Kontrola wymiany ruchu pomiędzy sieciami użytkowników
 Dedykowane wirtualne firewalle dla każdego z użytkowników
- możliwość zarządzania
„własnymi” firewallami
1010

11
BUDOWA

12
 Wszyscy (klient, wykonawca, użytkownik,…) mają rozumieć to samo
 Spójność kluczowych pojęć i sformułowań szczególnie tych, które mogą mylić:
Sieć Transportowa vs Sieć Rdzeniowa
Sieć Rdzeniowa vs Sieć Operatorska
Hierarchia węzła vs Kategoria węzła
Węzeł vs Lokalizacja
port vs interfejs
Diabeł tkwi w szczegółach (projektu)
- słownik wspólnych pojęć

13
 Punkty wyjściowe budowy konwencji nazewnictwa
 Podział sieci na regiony geograficzne (podział „prawie-wojewódzki”)
 Podział węzłów i lokalizacji na kategorie (główne, tranzytowe, dostępowe)
 Hierarchiczna zasada budowy nazewnictwa
 Rozdział urządzeń operatora i użytkownika
 Objęcie konwencjami zarówno obiektów fizycznych, jak i logicznych
 Podział urządzeń na kategorie funkcjonalne, np.
 PE – router PE operatora
 RU – router użytkownika
 SER – router usługowy
 GK – gatekeeper
 DGK – directory gatekeeper
- konwencja nazewnictwa

14
 Jak budujemy nazewnictwo:
 Duże kontra małe kontra CAŁKIEM DUŻE litery
 ZAPIS_Z_PODKREŚLENIAMI kontra
ZAPIS-Z-MYŚLNIKAMI
 UŻYWAMY_SPACJI kontra
NIE UŻYWAMY SPACJI
 KANAŁ_LOGICZNY kontra
PORT_ZDALNY [KANAŁ_LOGICZNY] kontra
PORT_ZDALNY [KANAŁ_LOGICZNY](FUNKCJA)
 A jak potem wyegzekwować używanie konwencji?
- konwencja zapisu

15
 Hierarchiczna zasada budowy nazewnictwa (przykład)
 Numer węzła: <XX><YYY>
(np. 61312)
 Nazwa węzła: NET<K>-<XX><YYY>
(np. NETB-61312)
 Nazwa lokalizacji: <UUU><K>-<XX><YYY>
(np. MRGB-61312)
 Nazwa urządzenia operatora: NET<K>-<XX><YYY>-<F><N>
(np. NETB-61312-SER3)
 Nazwa portu urządzenia operatora: NET<K>-<XX><YYY>-<F><N> <P>
(np. NETB-61312-SER3GE1)
- hierarchiczność nazewnictwa

16
 Urządzenia aktywne
i elementy konfiguracji
 Urządzenie operatora
 Urządzenie użytkownika
 Nazwa VLANu
 Nazwa VRF / VPN
 Opis portu urządzenia
 Opis interfejsu urządzenia
 Nazwa usługi
- zakres standaryzacji nazewnictwa
 Elementy infrastruktury
 Łącze transmisyjne
 Łącze agregujące
 Połączenie wewnątrzwęzłowe
 Szafa
 Rozdzielnica napięcia
 Obwód zasilający
 Panel zasilający
 Gniazdo panela zasilającego

17
 Projekt adresacji – neverending story
 Nad spójnością koncepcji adresacji musi panować jeden Architekt
(ewentualnie dwóch – jeśli są to bliźniaki jednojajowe)
 Konflikt interesów – czyli:
 to co dobre z punktu widzenia projektanta systemu, np. VoIP
 niekoniecznie jest dobre z punktu widzenia odpowiedzialnego za regułki firewalli
 Zakres projektu adresacji
 Adresacja IP (części operatorskiej, zarządzania, użytkowników)
 Adresacja MPLS (RT, RD)
 Adresacja IS-IS
 Adresacja VLAN ID (lokalne, globalne)
- adresacja story

18
 Globalna alokacja adresów prywatnych między użytkowników
 Który z poniższych schematów adresacji jest lepszy (i dla kogo)?
- adresacja story
/32 Loopbacki PE
/32 Loopbacki inne
/32 Loopbacki rezerwa
/30 Stykówki węzła
/30 Stykówki transportowe
/nn LANy węzłów
/mm LANy interconnect
/32 Loopbacki PE1
/30 Stykówki PE1
/32 Loopbacki PEn
/30 Stykówki PEn
/xx LAN1
/xx LAN n
/xx LANy interconnect

Staging, głupcze!
19
 Staging – element kluczowy późniejszej sprawnej budowy sieci
 Modelowanie rdzenia, UC, szyfrowania, dołączenia użytkowników…
 Weryfikacja technologii, doboru sprzętu, oprogramowania
 Weryfikacja założeń wstępnego projektu technicznego
 Przetestowanie rozwiązań w pełnej skali
 Opracowanie metod inwentaryzacji i oznaczania sprzętu
 Wygrzanie i prekonfiguracja sprzętu przed rozwiezieniem
 Opracowanie standardów i szablonów konfiguracji oraz dokumentacji
 Testy modelowania systemów w NMS
 Przeprowadzenie szkoleń profilowanych dla kadry Klienta

Staging w liczbach
Najpoważniejsze dotychczas tego typu przedsięwzięcie w Polsce
20
 12800 zainstalowanych pozycji towarowych
 160kW mocy zainstalowanej, 90kW mocy klimatyzacji
 600m2 powierzchni
 550 urządzeń
 126 sterowanych obwodów zasilania
 30 szaf
 18 ton sprzętu
 3 rozdzielnie elektryczne
 1 ekspres do kawy

Budowa stagingu
- projekt i prace wstępne (luty)
Pomieszczenie zaprojektowane
specjalnie dla potrzeb projektu
(tu na razie jest ściernisko)
21

Budowa stagingu
- budowlanka i elektryka (marzec)
Podwieszane drabinki kablowe
– rzecz MegaUżyteczna ™
22

Budowa stagingu
- materializacja elektrowni (kwiecień)
23
Power ctrl.
Power
controller
output
Relay
name Switchgear
Circuit
No.
Circuit
name UPS?
Number of
sockets Plug code Plug type
Cord
length [m]
Power cons.
norm. [kW]
Power cons.
fail. [kW] Assign. Circuit label
PWR11A PWR11A-1 G1-S1 RTSI/G1 F1 G1-1 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,79kW 3,58kW Rack A A-L1L2
PWR11B PWR11B-1 G2-S1 RTSI/G2 F1 G2-1 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,79kW 3,58kW Rack A A-L3L4
PWR10A PWR10A-1 U1-S1 RTSI/U1 F1 U-1 YES 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,65kW 1,30kW Rack B B-L1
PWR10B PWR10B-1 U1-S2 RTSI/U1 F2 U-2 YES 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,65kW 1,30kW Rack B B-L2
PWR10A PWR10A-2 U1-S3 RTSI/U1 F3 U-3 YES 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,65kW 1,30kW Rack B B-L3
PWR10B PWR10B-2 U1-S4 RTSI/U1 F4 U-4 YES 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,65kW 1,30kW Rack B B-L4
PWR11A PWR11A-2 G1-S2 RTSI/G1 F2 G1-2 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,93kW 1,86kW Rack C C-L1
PWR11B PWR11B-2 G2-S2 RTSI/G2 F2 G2-2 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,93kW 1,86kW Rack C C-L2
PWR11A PWR11A-3 G1-S3 RTSI/G1 F3 G1-3 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,93kW 1,86kW Rack C C-L3
PWR11B PWR11B-3 G2-S3 RTSI/G2 F3 G2-3 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,93kW 1,86kW Rack C C-L4
PWR11A PWR11A-4 G1-S4 RTSI/G1 F4 G1-4 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 3,15kW 6,30kW Rack D D-L1L2
PWR11B PWR11B-4 G2-S4 RTSI/G2 F4 G2-4 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 3,15kW 6,30kW Rack D D-L3L4
PWR11A PWR11A-5 G1-S5 RTSI/G1 F5 G1-5 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 1,25kW 2,50kW Rack E E-L1
PWR11B PWR11B-5 G2-S5 RTSI/G2 F5 G2-5 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 1,25kW 2,50kW Rack E E-L2
PWR11A PWR11A-6 G1-S6 RTSI/G1 F6 G1-6 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 1,25kW 2,50kW Rack E E-L3
PWR11B PWR11B-6 G2-S6 RTSI/G2 F6 G2-6 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 1,25kW 2,50kW Rack E E-L4
PWR11A PWR11A-7 G1-S7 RTSI/G1 F7 G1-7 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,87kW 1,73kW Rack F F-L1
PWR11B PWR11B-7 G2-S7 RTSI/G2 F7 G2-7 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,87kW 1,73kW Rack F F-L2
PWR11A PWR11A-8 G1-S8 RTSI/G1 F8 G1-8 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,87kW 1,73kW Rack F F-L3
PWR11B PWR11B-8 G2-S8 RTSI/G2 F8 G2-8 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,87kW 1,73kW Rack F F-L4
PWR11A PWR11A-9 G1-S9 RTSI/G1 F9 G1-9 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,73kW 3,46kW Rack G G-L1L2
PWR11B PWR11B-9 G2-S9 RTSI/G2 F9 G2-9 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,73kW 3,46kW Rack G G-L3L4
PWR11A PWR11A-10 G1-S10 RTSI/G1 F10 G1-10 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 0,90kW 1,80kW Rack H H-L1L2
PWR11B PWR11B-10 G2-S10 RTSI/G2 F10 G2-10 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 0,90kW 1,80kW Rack H H-L3L4
PWR11A PWR11A-11 G1-S11 RTSI/G1 F11 G1-11 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 0,83kW 1,65kW Rack I I-L1L2
PWR11B PWR11B-11 G2-S11 RTSI/G2 F11 G2-11 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 0,83kW 1,65kW Rack I I-L3L4
PWR11A PWR11A-12 G1-S12 RTSI/G1 F12 G1-12 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,06kW 2,12kW Rack J J-L1L2
PWR11B PWR11B-12 G2-S12 RTSI/G2 F12 G2-12 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,06kW 2,12kW Rack J J-L3L4
PWR11A PWR11A-13 G1-S13 RTSI/G1 F13 G1-13 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,05kW 2,10kW Rack K K-L1L2
PWR11B PWR11B-13 G2-S13 RTSI/G2 F13 G2-13 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,05kW 2,10kW Rack K K-L3L4
PWR11A PWR11A-14 G1-S14 RTSI/G1 F14 G1-14 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,05kW 2,10kW Rack L L-L1L2
PWR11B PWR11B-14 G2-S14 RTSI/G2 F14 G2-14 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,05kW 2,10kW Rack L L-L3L4
PWR11A PWR11A-15 G1-S15 RTSI/G1 F15 G1-15 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,08kW 2,15kW Rack M M-L1L2
PWR11B PWR11B-15 G2-S15 RTSI/G2 F15 G2-15 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,08kW 2,15kW Rack M M-L3L4
PWR11A PWR11A-16 G1-S16 RTSI/G1 F16 G1-16 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,47kW 0,94kW Rack N N-L1
PWR11B PWR11B-16 S2-S16 RTSI/G2 F16 G2-16 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,47kW 0,94kW Rack N N-L2
PWR12A PWR12A-1 G1-S17 RTSI/G1 F17 G1-17 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,47kW 0,94kW Rack N N-L3
PWR12B PWR12B-1 G2-S17 RTSI/G2 F17 G2-17 NO 1 CAB-AC-2500W-EU CEE 7/7 3,0 0,47kW 0,94kW Rack N N-L4
PWR12A PWR12A-2 G1-S18 RTSI/G1 F18 G1-18 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 0,83kW 1,65kW Rack O O-L1L2
PWR12B PWR12B-2 G2-S18 RTSI/G2 F18 G2-18 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 0,83kW 1,65kW Rack O O-L3L4
PWR12A PWR12A-3 G1-S19 RTSI/G1 F19 G1-19 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 2,08kW 4,16kW Rack P P-L1L2
PWR12B PWR12B-3 G2-S19 RTSI/G2 F19 G2-19 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 2,08kW 4,16kW Rack P P-L3L4
PWR12A PWR12A-4 G1-S20 RTSI/G1 F20 G1-20 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 2,08kW 4,16kW Rack R R-L1L2
PWR12B PWR12B-4 G2-S20 RTSI/G2 F20 G2-20 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 2,08kW 4,16kW Rack R R-L3L4
PWR12A PWR12A-5 G1-S21 RTSI/G1 F21 G1-21 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,93kW 3,86kW Rack S S-L1L2
PWR12B PWR12B-5 G2-S21 RTSI/G2 F21 G2-21 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,93kW 3,86kW Rack S S-L3L4
PWR12A PWR12A-6 G1-S22 RTSI/G1 F22 G1-22 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,93kW 3,86kW Rack T T-L1L2
PWR12B PWR12B-6 G2-S22 RTSI/G2 F22 G2-22 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,93kW 3,86kW Rack T T-L3L4
PWR12A PWR12A-7 G1-S23 RTSI/G1 F23 G1-23 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 2,09kW 4,18kW Rack U U-L1L2
PWR12B PWR12B-7 G2-S23 RTSI/G2 F23 G2-23 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 2,09kW 4,18kW Rack U U-L3L4
PWR12A PWR12A-8 G1-S24 RTSI/G1 F24 G1-24 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 2,09kW 4,18kW Rack V V-L1L2
PWR12B PWR12B-8 G2-S24 RTSI/G2 F24 G2-24 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 2,09kW 4,18kW Rack V V-L3L4
PWR12A PWR12A-9 G1-S25 RTSI/G1 F25 G1-25 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 0,64kW 1,28kW Rack W W-L1L2
PWR12B PWR12B-9 G2-S25 RTSI/G2 F25 G2-25 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 0,64kW 1,28kW Rack W W-L3L4
PWR12B PWR12B-11 G2-S27 RTSI/G2 F27 G2-27 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,36kW 1,36kW Rack Y Y-L1L2L3L4
PWR12A PWR12A-10 G1-S26 RTSI/G1 F26 G1-26 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,05kW 2,10kW Rack Z Z-L1L2
PWR12B PWR12B-10 G2-S26 RTSI/G2 F27 G2-26 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,05kW 2,10kW Rack Z Z-L3L4
PWR12A PWR12A-11 G1-S27 RTSI/G1 F27 G1-27 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 1,36kW 1,36kW Rack Z0 Z0-L1L2L3L4
PWR12A PWR12A-12 G1-S28 RTSI/G1 F28 G1-28 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 0,89kW 1,78kW Rack Z1 Z1-L1L2
PWR12B PWR12B-12 G2-S28 RTSI/G2 F28 G2-28 NO 2 CAB-AC-2500W-EU CEE 7/7 3,0 0,89kW 1,78kW Rack Z1 Z1-L3L4
PWR10A PWR10A-3 U1-S5
RTSI/U1 F5 U-5 YES 1 IEC 60309 32A, P+N+E IEC60309 ? 1,50kW 3,00kW Rack Z2 Z2-L1
PWR10B PWR10B-3 U1-S6
PWR10A PWR10A-4 U1-S7
RTSI/U1 F9 U-9 YES 1 IEC 60309 32A, P+N+E IEC60309 ? 1,50kW 3,00kW Rack Z3 Z3-L1 and D-L1
PWR10B PWR10B-4 U1-S8
RTSI/U1 F11 U-11 YES 1 IEC 60309 32A, P+N+E IEC60309 ? 1,50kW 3,00kW Rack Z3 Z3-L3 and D-L3
----- ----- ----- RTSI/U1 F13 U-13 YES 2 CAB-AC-2500W-EU CEE 7/7 3,0 0,50kW 0,50kW Rack Z6,Z7 Z6-L1
----- ----- ----- RTSI/U1 F14 U-14 YES 2 CAB-AC-2500W-EU CEE 7/7 3,0 0,50kW 0,50kW Rack Z6,Z7 Z6-L2
----- ----- ----- RTSI/U1 F15 U-15 YES 2 ----- CEE 7/7 3,0 1,00kW 1,00kW various UPS PWR CTRL
----- ----- ----- RTSI/U1 F16 U-16 YES 5 ----- CEE 7/7 3,0 1,00kW 1,00kW various
Sockets in: rack A, rack
D, rack O, rack Z1, admin
room
schemat koncepcyjny instalacji… wykonano w miedzi

24
Budowa stagingu
- szafy (kwiecień)
przywiezione szafy… ustawiano na swoich miejscach

Budowa stagingu
- początek montażu urządzeń (kwiecień)
25
te fajne zabawki w środku pudeł… trafiły dokładnie tu

26
… oczywiście
Staging to również ludzie
nie zapomniano
o Ludziach Pracy…

Uruchomienie stagingu (czerwiec)
- TADA!
27

28
 Sprawne zasilanie i jeszcze sprawniejsze chłodzenie 
 Dostęp konsolowy do wszystkich ważnych urządzeń
- 272 porty terminalserwerów (Lantronix SLC)
 Zdalne sterowanie wszystkimi 126 obwodami
zasilającymi w rozdzielniach (Lantronix SLP)
 Dokumentacja, dokumentacja
i jeszcze raz dokumentacja
(obwody, kable zasilające, kable danych,
światłowody, porty, miejsce w szafach,
zajętość podłogi, porty terminalserwerów,
numery seryjne, labelki, oznaczenia kodowe,
hostname, budżety mocy, moduły, transceivery, itepe, itede, …)
Staging – czyli jak okiełznać
małe, niesforne Data Center

29
OKIEŁZNAĆ
TECHNOLOGIĘ

30
 W IGP mogą znajdować się tylko /32 - loopbacki PE sieci transportowej
 Użyto IS-IS L1, stuningowanego pod kątem stabilności
 Szybkość zapewniona została przez BFD
 Zalety IS-IS
 Możliwość zakodowania w adresie różnych informacji
(np. 49.0001.0020.0150.0251)
 Transport L2
 IS-IS jest śliczny 
Routing w sieci
AFI AREA ID SYS ID SEL
1B 1B2B 6B
0020 0150 0251. .
ID węzła obszar ID routera

31
 MBGP
 iBGP AS65112
 Rozgłasza resztę podsieci transportowych (stykówki, LANy, zarządzanie)
 Transport informacji dla MPLS VPN
 Dwupoziomowa hierarchia Route-Reflectorów, oparta na koniach roboczych
control plane – Cisco ASR1000
 Lekki tuning konwergencji: BGP Next-Hop-Tracking
 Wymiana ruchu eBGP z innymi systemami prywatnymi
Routing w sieci

Niezawodność
 Zastosowanie złożonej konfiguracji sieci MPLS, umożliwiającej wymianę
prefiksów IP krytycznych dla działania sieci w każdym jej węźle
 Uniezależnienie się od firewalli w odległym węźle sieci
 Znaczące zwiększenie niezawodności sieci
 Szczegóły w osobnej prezentacji
 Redundancja wewnętrzna
głównych węzłów i usług
 Separacja wojewódzka sieci
 Dywersyfikacja dostawców transportu
w sieci podkładowej
32

33
ZAWSZE!
Routing a BFD
http://XXw.swamppolitics.com/news/politics/blog/2010/04/01/BFD%20T%20shirt.html
BFD (Bidirectional Forwarding Detection)
Kiedy należy go stosować?

34
 Zwykły proszek
Co daje BFD? - Same zalety
OSPF ISIS BGP
Sąsiad 1
Hello
sąsiedztwa
Sąsiad n
HSRP
Hello
sąsiedztwa
zdarzenia BFD
Informacja o sesji BFD
OSPF ISIS BGP
BFD Hello
Sąsiad 1
Hello Hello
Sąsiad n
HSRP
Tablica stanu sesji BFD
Hello
 Proszek z wykorzystaniem BFD

35
 W sześciu głównych węzłach sieci zegary PRC / Stratum-1
 Synchronizacja do czasu GPS, atomowy zegar rubidowy
 Synchronizacja NTP dla sieci rdzeniowej oraz użytkowników
 Możliwość realizacji synchronizacji usług TDM i CEoPS (wyjście sygnału E1)
 Zegar operatora sieci
podkładowej też jest
całkiem niezły
Zegarowanie

36
 Stratum 1: wszystkie PRC synchronizują bezpośrednio wszystkie elementy
sieci operatorskiej (są wystarczająco wydajne)
 Stratum 2: PE sieci operatorskiej synchronizują (poprzez VRF) dołączone
urządzenia brzegowe CE (po dwa PE jako peery NTP, zabezpieczenie ACL)
 Stratum 3: Urządzenia brzegowe CE użytkownika synchronizują kolejne
urządzenia użytkownika
Zegarowanie
NETA-98701-AS1#sh ntp ass
address ref clock st when poll reach delay offset disp
-~280.390.240.3 .GPS. 1 316 512 377 16.065 0.684 7.034
+~280.390.250.3 .GPS. 1 260 512 377 7.676 -0.484 12.775
*~280.390.211.3 .GPS. 1 241 1024 377 7.343 -0.477 12.778
+~280.390.234.3 .GPS. 1 97 1024 377 13.647 -0.496 8.959
-~280.390.216.3 .GPS. 1 348 512 377 0.781 -0.653 7.993
+~280.390.235.3 .GPS. 1 339 512 377 5.825 -0.510 10.862
* sys.peer, # selected, + candidate, - outlyer, x falseticker, ~ configured

37
 Uruchomiony dostęp przez sieć 3G do 50 głównych węzłów tranzytowych sieci
 Dedykowane małe routery pracujące jako access-serwery
 Dostęp do konsol urządzeń w danym węźle (funkcja terminal-serwera)
 Dostęp IP do sieci
 Priorytet: bezpieczeństwo dostępu
 Jedyny dostęp z zewnątrz: prywatny APN
 W APN dostęp przez IPSec VPN remote access
 Separacja ruch VRFami
 RADIUS AAA:
 Autoryzacja certyfikatów PKI
 Uwierzytelnianie użytkownika
 Kontrola ruchu firewallami
Dostęp out-of-band
do krytycznych węzłów sieci
Radio Information
=================
Radio power mode = ON
Current Band = WCDMA 2100, Channel Number = 12678
Current RSSI = -88 dBm
Band Selected = Auto
Number of nearby cells = 1
Cell 1
Primary Scrambling Code = 0x5
RSCP = -84 dBm, ECIO = -6 dBm

38
Dostęp przez sieć 3G
- architektura bezpieczeństwa
Porty
Ethernet
Global
(admin, mgmt)
Porty
Konsol
Dostęp IP do
reszty sieci
VPN
VPN
VPN
AAA
(RADIUS)
VRF
3G
VRF
USER
Węzeł XXXXX
Kompleks
firewalli
Systemy centralne
Access Server (AS)

39
Zwykły proszek ;-) Proszek z APNu prywatnego
Zalety dostępu
przez prywatny APN 3G
Profile 1, Packet Session Status = ACTIVE
IP address = 280.390.6.118
Negotiated QOS Parameters:
Precedence = Low Priority, Delay = Class 4
^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Reliability = Unack GTP, LLC, Ack RLC
Peak = 256 kB/sec, Mean = 50000 kB/hr
Traffic Class = Background
^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Uplink Max = Unknown, Guaranteed = 16kbps
Downlink Max = Unknown, Guaranteed = 64kbps
Max SDU size = 1500 bytes
SDU error ratio = 1E-4, BER = 1E-5
Profile 2, Packet Session Status = ACTIVE
IP address = 281.392.3.14
Negotiated QOS Parameters:
Precedence = High Priority, Delay = Class 1
^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Reliability = Unack GTP, LLC, Ack RLC
Peak = 256 kB/sec, Mean = 50000 kB/hr
Traffic Class = Interactive
^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Uplink Max = Unknown, Guaranteed = 16kbps
Downlink Max = Unknown, Guaranteed = 64kbps
Max SDU size = 1500 bytes
SDU error ratio = 1E-4, BER = 1E-5
 Niezależność od własnej infrastruktury (jeśli nie jest to APN w naszej sieci)
 Bezpieczeństwo gwarantowane przez operatora 3G (subskrypcja APN per SIM)
 Koszty: opłata instalacyjna + opłata miesięczna + abonament za karty SIM
(możliwość użycia taryf telemetrycznych)
 Lepsze parametry transmisji radiowej

40
Autoryzacja certyfikatu w fazie 1 IKE
Użycie podwójnej autoryzacji IKE
- konfiguracja w Cisco IOS
crypto pki trustpoint NET-CA2
[…]
revocation-check crl none
[…]
authorization list PKI_AUTHOR
authorization username subjectname commonname
!
aaa authorization network PKI_AUTHOR group ACS_RADIUS
crypto isakmp profile ADMINS
vrf VRF_AS_USERS
client authentication list VPN_USER_AUTH
isakmp authorization list VPN_AUTHOR
accounting VPN_ACCT
[…]
aaa group server radius ACS_RADIUS
server 289.390.2.66 auth-port 1645 acct-port 1646
server 289.390.2.67 auth-port 1645 acct-port 1646
aaa authentication login VPN_USER_AUTH group ACS_RADIUS local-case
aaa authorization network VPN_AUTHOR group ACS_RADIUS local
aaa accounting network VPN_ACCT start-stop group ACS_RADIUS
Autoryzacja fazy 1,5 IKE (Xauth)

41
 Odmowa dostępu - odrzucenie certyfikatu fazy 1 IKE przez serwery RADIUS
Autoryzacja certyfikatu PKI
%PKI-3-CERTIFICATE_INVALID_UNAUTHORIZED: Certificate chain validation has failed. Unauthorized
%CRYPTO-5-IKMP_INVAL_CERT: Certificate received from 289.390.3.200 is bad: certificate invalid
RADIUS(0000285D): Send Access-Request to 289.390.2.66:1645 id 21684/234
RADIUS: authenticator 11 B3 F7 1A 13 30 3F 7C - B5 67 B6 09 9B 9D B5 D5
RADIUS: User-Name [1] 26 „Jozef_Tkaczuk_ADMINS“
RADIUS: User-Password [2] 18 *
RADIUS: Service-Type [6] 6 Outbound [5]
RADIUS: NAS-IP-Address [4] 6 280.390.226.111
RADIUS: Acct-Session-Id [44] 10 "00002FB0“
RADIUS: Nas-Identifier [32] 27 „NET-98701-AS1.local“
RADIUS: Event-Timestamp [55] 6 1349728733
RADIUS(0000285D): Started 3 sec timeout
RADIUS: Received from id 21684/234 280.390.2.66:1645, Access-Reject, len 20
RADIUS: authenticator E6 94 55 55 B2 61 0C EE - EB 89 BB 9F B7 62 68 87

42
 Akceptacja dostępu – zatwierdzenie certyfikatu i dalsze fazy IKE
(włączone logowanie sesji IPSec)
Autoryzacja dostępu
%CRYPTO-6-VPN_TUNNEL_STATUS: (Server) Authentication PASSED User=j.tkaczuk.atm.vpn Group=ADMINS
Client_public_addr=289.390.3.200 Server_public_addr=289.390.3.26 f_vrf=VRF_AS_3G
%CRYPTO-5-SESSION_STATUS: Crypto tunnel is UP. Peer 289.390.3.200:65020 f_vrf: VRF_AS_3G Id:
e=jozef.tkaczuk@atmsi.com.pl, cn=Jozef_Tkaczuk_ADMINS, ou=ADMINS,o=ATM
%CRYPTO-6-EZVPN_CONNECTION_UP: (Server) Mode=CLIENT_OR_NEM_PLUS Client_type=UNKNOWN
User=j.tkaczuk.atm.vpn Group=ADMINS Client_public_addr=289.390.3.200 Server_public_addr=289.390.3.26
Assigned_client_addr=289.390.226.66 f_vrf=VRF_AS_3G
NET-98701-AS1#sh run | in crypto logging
crypto logging session
crypto logging ezvpn

43
 Okresowa reautoryzacja zgodnie z ustawionym lifetime IKE, kolejno:
 Fazy 1 IKE (reautoryzacja certyfikatu)
 Oraz fazy 1,5 IKE (ponowne pytanie o user / pass w VPN client)
 Rozłączenie również logowane (syslog oraz RADIUS Accounting)
Reautoryzacja i rozłączenie
%CRYPTO-5-SESSION_STATUS: Crypto tunnel is DOWN. Peer 280.390.3.200:65020 f_vrf: VRF_AS_3G Id:
e=jozef.tkaczuk@atm-si.com.pl, cn=Jozef_Tkaczuk_ADMINS,ou=ADMINS,o=ATM
%CRYPTO-6-EZVPN_CONNECTION_DOWN: (Server) Mode=CLIENT_OR_NEM_PLUS Client_type=UNKNOWN
User=j.tkaczuk.atm.vpn Group=ADMINS Client_public_addr=289.390.3.200 Server_public_addr=289.390.3.26
Assigned_client_addr=289.390.226.66 f_vrf=VRF_AS_3G
crypto isakmp policy 20
encr aes 256
group 2
lifetime 3600
!

44
 Wiele kolektorów (trap, syslog) będących maszynami wirtualnymi
 Podział systemów na grupy monitorowania
– różne kategorie urządzeń kierują ruch do różnych kolektorów
 Zalety
 Kontrola poprawności wysyłania danych firewallami
 Rozłożenie obciążenia
 Bezpieczeństwo
Best practices
- Podział sieci na grupy monitorowania
PE-A
PE-B
PE-X
VPN
VPN
VPN
VPN
Firewall

45
Trochę Magicznych Aliasów Ułatwiających Życie
 ’i’
(show ip int brie | ex administratively down|deleted)
 ’id’
(show int descr | ex admin down|deleted)
 ’CON_PE1’
(telnet 280.390.199.64 2039 /vrf VRF_AS_USERS)
 ’top’
(show proc cpu | ex 0.00)
 ’sex’
(remote command module 9 show platform hardware network-clocks)
Best practices
- Magia aliasów

46
 Zasada obowiązująca na wszystkich urządzeniach
 Wszystkie używane interfejsy/porty muszą posiadać opis (deskrypszyn)
 Wszystkie nieużywane interfejsy/porty muszą być położone (szat)
 Wykonanie aliasu ‘id’ (skonfigurowany na każdym urządzeniu)
pokaże kandydatów mogących sprawiać problemy
Best practices
- Standard konfiguracji portów
NETB-97801-SER1#id
Interface Status Protocol Description
Gi0/0/0 up up LI-50 (NETB-97801-PE1 Gi1/28)
Gi0/0/0.4000 up up LI-50 (NETA-97801-PE1 Gi1/28) [RR]
Gi0/0/1 up up LI-51 (NETA-97801-PE2 Gi1/28)
Lo0 up up LOOP Core
NETB-97801-SER1#id
Interface Status Protocol Description
Gi0/0/0 up up LI-50 (NETB-97801-PE1 Gi1/28)
Gi0/0/0.4000 up up LI-50 (NETA-97801-PE1 Gi1/28) [RR]
Gi0/0/1 down down LI-51 (NETA-97801-PE2 Gi1/28)
Lo0 up up LOOP Core
Temu bym
się przyjrzał
okej
nie-okej

47
 Interfejsy Loopback0 są wykorzystywane nawet na urządzeniach dołączanych
przez jeden interfejs (włącznie ze switchami)
 Z adresu interfejsu Loopback0 wychodzi ruch wszystkich usług
control / management plane (nawet gdy są inne interfejsy loopback)
 Porządek czyli Ordnung
 Wykorzystanie spójnego zakresu adresacji loopback0 (firewalle się cieszą)
Best practices
- Magia loopbacka 0
NET-98701-PE1#sh run | in source
ip telnet source-interface Loopback0
ip ftp source-interface Loopback0
ip tftp source-interface Loopback0
ip ssh source-interface Loopback0
ip tacacs source-interface Loopback0
logging source-interface Loopback0
snmp-server trap-source Loopback0
ntp source Loopback0

48
 W większości VPNów instalowana jest trasa domyślna (default), ściągająca
cały ruch do wybranego kompleksu firewalli kontrolujących wymianę ruchu
między VPNami
 Najczęściej służy ona wymianie ruchu pomiędzy VPNami
poprzez firewalle
 Ale przy okazji ściąga też do firewalli cały niepotrzebnie
pałętający się po VPNie ruch („defaultowa ssawka”),
które to firewalle z radością ruch ten odrzucają,
ale co najważniejsze - informują o tym przez syslog
Best practices
- Magia defaulta
%ASA-4-106023: Deny tcp INTER:10.11.115.5/50004 dst MGMT:280.390.2.23/646 by access-group "INTER_IN"

49
 Kompleksy firewalli w sieci kontrolują większość przepływu ruchu
pomiędzy VPNami
 Polityki reguł są dość ścisłe, szczególnie jeśli chodzi
o kontrolę interfejsów z których możliwy jest dany ruch
 Prawie cały ruch który odbija się od firewalla
(deny) jest logowany do sysloga
 Dla niektórych permanentnie upierdliwych
patternów ruchu (jak windowsowy NETBIOS),
skonfigurowano regułki wykluczające logowanie
Best practices
- Magia polityk firewalla

50
 Syslog to najlepszy czworonożny przyjaciel inżyniera
- widać w nim od razu większość problemów
 Oglądanie kanału Syslog24 możliwe jest na serwerze,
najlepiej widać go w postaci mono i czarno-białej, czyli tekstowej
 Syslog wysyłamy do serwerów centralnych, ale pamiętajmy
o solidnej lokalnej dawce (logg buffered 512000 debug)
 Komunikaty o statusie śmieci, np. takie:
można odfiltrować przed wysłaniem (ale zostają w lokalnym logu)
Best practices
- Magia sysloga
%ISDN-6-CONNECT: Interface Serial0/1/1:0 is now connected to 28914522 N/A
%ISDN-6-CONNECT: Interface Serial0/1/0:26 is now connected to 84752313 N/A
%ISDN-6-DISCONNECT: Interface Serial0/1/0:0 disconnected from 19514341 , call lasted 47 seconds
logging discriminator SYSLOG_D severity drops 6 facility drops ISDN msg-body drops CONNECTED
logging host 289.390.2.14 discriminator SYSLOG_D
logging host 289.390.2.16 discriminator SYSLOG_D

51
 Wystarczy jedna mała konfiguracja …
 …i patrząc na sysloga od razu widać kto i co nabroił 8-)
Best practices
- Logowanie zmian w syslogu
%PARSER-5-CFGLOG_LOGGEDCMD: User:i_am_a_bad_ass logged command:reload
%DUAL-5-NBRCHANGE: EIGRP-IPv4 1: Neighbor 23.56.78.9 (GigabitEthernet0/3.13) is down: holding time expired
%LINK-3-UPDOWN: Interface GigabitEthernet0/1, changed state to down
%OSPF-5-ADJCHG: Process 1030, Nbr 23.56.78.9 on GigabitEthernet0/1.101 from FULL to DOWN, Neighbor Down:
Dead timer expired
%SNMP-5-COLDSTART: SNMP agent on host NET-98701-PE1 is undergoing a cold start
archive
log config
logging enable
notify syslog contenttype plaintext
hidekeys
path flash:NETA-98701-AS1
maximum 14
write-memory

52
 Banner w CLI to podstawa
(niestety najczęściej tworzą go prawnicy, a nie ASCII-artyści ;-)
 Na serwerze TACACS możliwe jest zdefiniowanie promptów, dzięki czemu
jeszcze przed zalogowaniem widać, czy TACACS działa (Telnet-only)
Best practices
- Bannery i TACACS
*********************************************
* __ __ ____ ______ ____ ____ __ *
* | |__| || || | / || || | *
* | | | | | | | || o ||__ || | *
* | | | | | | |_| |_|| |__| ||__| *
* | ` ' | | | | | | _ / | | __ *
* / | | | | | | ` || | *
* _/_/ |____| |__| |__|__|____||__| *
* *
* (ale nie dotykaj, bo popsujesz) *
* *
*********************************************
User Access Verification
Username: admin
Password:
*********************************************
* __ __ ____ ______ ____ ____ __ *
* | |__| || || | / || || | *
* | | | | | | | || o ||__ || | *
* | | | | | | |_| |_|| |__| ||__| *
* | ` ' | | | | | | _ / | | __ *
* / | | | | | | ` || | *
* _/_/ |____| |__| |__|__|____||__| *
* *
* (ale nie dotykaj, bo popsujesz) *
* *
*********************************************
NET username: admin
NET password:
TACACS działa TACACS nie działa

53
 Preferowanym sposobem dostępu do urządzeń jest SSH
 Można użyć Telnet (jeśli SSH nie działa) - ale połączenia Telnet przechodzące
przez firewalle (czyli w zasadzie wszystkie) są LOGOWANE
 Nie ma autoryzacji komend (spowalnia), ale podlegają one rozliczaniu (RADIUS
Accounting + Syslog)
 Jest za to system uprawnień
(osobno dla urządzeń operatora oraz użytkowników)
 Konsola uwierzytelniane kontami lokalnymi z procedurą rotowania
Best practices
- Zasady BHP

54
Kanał Syslog24TM
 Podgląd dostępny jest dla każdego operatora sieci
 W stabilnej sieci liczba oglądanych zdarzeń nie powinna przekraczać 5-10/s
 Filtrowanie niepotrzebny zdarzeń bezpośrednio na urządzeniach
 Filtrowanie śmieci bezpośrednio w telewizorze (egrep –v)
 Znanych problemów
 Permanentnie upierdliwych komunikatów
Najlepszy Na Świecie
System Monitorowania
[admin@nms]$ tail -f /var/log/syslog_net
%CDP-4-NATIVE_VLAN_MISMATCH: Native VLAN mismatch discovered on GigabitEthernet0/19 (151), with Switch
GigabitEthernet1/0/47 (1)
%CRYPTO-4-RECVD_PKT_NOT_IPSEC: Rec'd packet not an IPSEC packet. (ip) vrf/dest_addr= USER-VRF-
DICKS15/10.0.10.16, src_addr= 10.30.116.8, prot= 17

55
 Prekonfiguracja przy użyciu szablonów Excel
 Dlaczego Excel? Ponieważ jest czytelny prawie dla każdego
 Jeden plik dla sieci operatorskiej
 Po jednym pliku dla każdego z użytkowników
 W każdym pliku jedna zakładka per typ urządzeń
 Wersjonowanie i changelog
 Czas kodowania: ok. 6 tygodni
 Razem ponad 1,5MB kodu
 Przykładowo, dla głównych PE prekonfiguracja ma ok. 2500 linii
 Zawierają komplet konfiguracji niezbędnej do poprawnej pracy z usługami
(L2, interfejsy core, management, IGP, BGP, MPLS/LDP, podstawowe reguły bezpieczeństwa,
PKI, szyfrowanie GET, VRFy, interfejsy PE-CE, routing PE-CE dla użytkowników,…)
Jak skonfigurować
ten cały bałagan?

56
 Zalety
 DRAMATYCZNA minimalizacja pomyłek konfiguracyjnych
 Uspójnienie konfiguracji pomiędzy urządzeniami (te same formuły)
 Algorytmizacja projektu adresacji
– po stworzeniu szablonów konieczne były pewne zmiany w projekcie adresacji
 Prostota użycia (copy-paste)
 Możliwość modyfikacji przez dowolnego inżyniera
w miarę obeznanego z funkcjami Excela
 Wady
 Quick’n’dirty programming – czyli prawie one man work
 Spora pracochłonność
 Mają sens przy konfiguracji od zera dużej sieci
Szablony – dużo zalet i mało wad

57
 Jedynym parametrem do podania jest numer węzła / lokalizacji
 Po podaniu w arkuszu mamy wygenerowaną kompletną prekonfigurację
dla każdego z urządzeń danego węzła
 Copy-paste z arkusza na konsolę
i urządzenie skonfigurowane 
Jak używać tych szablonów?
Numer węzła 98701
Nazwa użytkownika NET
Katerogia węzła NETA
Nazwa węzła NETA-97801
Obszar 98
Węzeł 701
Nazwa węzła NET-98701
Lokalizacja węzła Koluszki Zachodnie
Node index 0
Core MTU L2 1754
Core MTU L3 1740
Jest GK? TAK
Jest DGK? TAK
Jest P? TAK
Jest P2? NIE
Jest PE2? TAK
Jest CUCM_5CLUSTER NIE
Jest AS? TAK
[…] […]
Global
LI-40, podsieć PE1-SER1 280.390.226.64 /30
LI-40, PE1280.390.226.65
LI-40, SER1280.390.226.66
LI-42, podsieć PE2-SER1 280.390.226.68 /30
LI-42, PE2280.390.226.69
LI-42, SER1280.390.226.70

58
 W osobnej zakładce arkusza generowane są parametry:
prawie cała adresacja wszystkich podsieci oraz interfejsów
 W kolejnych zakładkach
generowane są konfigi
wykorzystujące owe parametry
 Funkcje per-komórka
Mięsko szablonów, czyli internale
Global
LI-55, podsieć PE1-SER1 280.390.226.64 /30
LI-55, PE1280.390.226.65
LI-55, SER1280.390.226.66
LI-57, podsieć PE2-SER1 280.390.226.68 /30
LI-57, PE2280.390.226.69
LI-57, SER1280.390.226.70
[…] […]
! Section: NET_ADMINC PE-CA
! PE1
conf t
interface GigabitEthernet3/32
description LI-45 (NETA-98701-CA1 Gi0/1)
vrf forwarding NET-CORE-ADMIN98
ip address 280.390.22.41 255.255.255.252
no ip redirects
no ip proxy-arp
ip authentication mode eigrp 1 md5
ip authentication key-chain eigrp 1 PE_CE_KEY
ip summary-address eigrp 1 0.0.0.0 0.0.0.0 255
carrier-delay msec 0
bfd interval 300 min_rx 300 multiplier 3
cdp enable
no shut

59
 Proste generowanie tekstu opisu interfejsu
=ZŁĄCZ.TEKSTY(" description LI-41 (";NAZWA_WEZLA;"-PE1 ";JEŻELI(KAT_WEZLA=„NETC"; "Gi1/37)";
"Gi1/24)"))
description LI-41 (NETB-98701-PE1 Gi1/24)
 Proste generowanie adresu IP
=ZŁĄCZ.TEKSTY("280.390.";200+$B$6;".";JEŻELI(NUMER_WEZLA=„98701";64+2;JEŻELI(NUMER_WEZLA=„98702";56+2
;24+2)))
280.390.216.26
 Adresacja IP interfejsu ASA
=JEŻELI(LUB(NUMER_WEZLA=„98701";NUMER_WEZLA=„98702");ZŁĄCZ.TEKSTY(" ip address 280.390.159.";
JEŻELI(NUMER_WEZLA=„98701";177;185);"255.255.255.248 standby 280.390.159.";JEŻELI(NUMER_WEZLA=„98701"
;178;186));"!")
ip address 280.390.159.185 255.255.255.248 standby 280.390.159.186
 Tekst z wyszukiwaniem tablicowym
=ZŁĄCZ.TEKSTY(" description ";WYSZUKAJ.PIONOWO(TEKST(NUMER_WEZLA;0); węzły!$D$4:$W$353;11;FAŁSZ);"
(";JEŻELI(NETD_STRC="NIE";ZŁĄCZ.TEKSTY(WYSZUKAJ.PIONOWO(TEKST(NUMER_WEZLA;0);węzły!$D$4:$W$353;16;
FAŁSZ);", ");"");WYSZUKAJ.PIONOWO(TEKST(NUMER_WEZLA;0); węzły!$D$4:$W$353;18;FAŁSZ);"
";WYSZUKAJ.PIONOWO(TEKST(NUMER_WEZLA;0); węzły!$D$4:$W$353;17;FAŁSZ);")")
description LC-101 (NETA-29301-PE2 Pos3/0)
Mięsko szablonów, czyli internale

60
PRZYPADKI
Z
ŻYCIA

61
 Interfejsy loopback
 Ścisłe reguły firewalli
 Trasy domyślne
 Wszystko do sysloga
 Dostęp shell do sysloga
Pokażemy teraz jak używać tej całej magii
PNTS
(Potężne Narzędzie do
Troubleshootingu Sieci)
+ =

62
 Jednakże trapy z tego adresu dochodzą do systemu monitorowania
 Po sprawdzeniu okazuje się, że router był wcześniej wykorzystywany w trakcie
stagingu i wówczas skonfigurowano na nim inny zestaw adresów docelowych
trapów SNMP
 Konfiguracji routera nie wyczyszczono przed wgraniem docelowej konfiguracji
 Przy okazji, na routerze tym odkryto również trochę innych „archiwaliów”
wymagających posprzątania
Jak złapać Łodefaka
- przypadek 1
%ASA-4-106023: Deny udp src CORE:280.390.241.209/60799 dst MGMT:280.390.2.13/162 by access-group "CORE_IN“
%ASA-4-106023: Deny udp src CORE:280.390.241.209/51135 dst MGMT:280.390.1.194/162 by access-group "CORE_IN“
%ASA-4-106023: Deny udp src CORE:280.390.241.209/53079 dst MGMT:280.390.1.200/162 by access-group "CORE_IN"
[…]
 „Szefie, w syslogu są jakieś dziwne logi z firewalla…”

63
 Pojawiają się w momencie zapisu konfiguracji na routerach
 Przypuszczenia, że konfiguracja nie odkłada się w repozytorium systemu
zarządzania potwierdzają się
 Przyczyna – brak ustawionego na routerze adresu źródłowego IP dla TFTP,
po którym do systemu zarządzania wysyłana jest konfiguracja routera
 Skonfigurowanie ‘ip tftp source-interface Loopback0’ załatwia sprawę
- przypadek 2
%ASA-4-106023: Deny udp src INTER:10.15.105.5/50004 dst MGMT:280.390.2.18/69 by access-group "INTER_IN"
%ASA-4-106023: Deny udp src INTER:10.22.106.13/50004 dst MGMT:280.390.2.18/69 by access-group "INTER_IN"
%ASA-4-106023: Deny udp src UC:10.120.49.26/50578 dst MGMT:280.390.2.18/69 by access-group "UC_IN"
[…]

64
 Ciekawostką jest ruch na interfejsie skierowany do tego samego interfejsu
 Interfejs dołączony do rdzenia, UDP/646 (LDP), adresacja - wszystko pasuje
 Przyczyną faktycznie jest odpadnięcie jednego z routerów PE jednego
z węzłów, co widać w dalszych (ale sporo późniejszych) komunikatach
 Default ściągnął pakiety LDP discovery do firewalla
- przypadek 3
%ASA-4-106023: Deny udp src CORE:280.390.221.254/646 dst CORE:280.390.248.65/646 by access-group "CORE_IN"
%ROUTING-LDP-5-SESSION_PROTECTION : Session hold up initiated for peer 280.390.248.65:0
%ROUTING-LDP-5-SESSION_PROTECTION : Session recovery failed for peer 280.390.248.65:0
%ROUTING-LDP-5-NBR_CHANGE : Neighbor 280.390.248.65:0, DOWN (Session Protection disabled targeted session)
%BGP-5-ADJCHANGE: neighbor 280.390.248.65 Down BGP Notification sent
%BGP-3-NOTIFICATION: sent to neighbor 280.390.248.65 4/0 (hold time expired) 0 bytes
%BGP_SESSION-5-ADJCHANGE: neighbor 280.390.248.65 VPNv4 Unicast topology base removed from session BGP
Notification sent
%BGP_SESSION-5-ADJCHANGE: neighbor 280.390.248.65 IPv4 Unicast topology base removed from session BGP
Notification sent
[…]

65
 Interfejs ‘UC’ wskazuje na źródło z VPNu telefonii IP
 Adres docelowy jest adresem publicznym
 Przyczyną okazuje się źle ustawiony adres DNS dla telefonu IP
 Problem szybko naprawiono
- przypadek 4
%ASA-4-106023: Deny udp src UC:280.390.128.46/49260 dst INTER:211.70.168.183/53 by access-group "UC_IN"
[…]

66
 Interfejs źródłowy ‘UC’ wskazuje na VPN telefonii IP
 Protokół 50 wskazuje na pałętające się po sieci ESP
 Przyczynę ustrzelono za pierwszym razem:
 Cichy crash routera pełniącego funkcje gatekeepera w UC
 Znika trasa specyficzna (EIGRP) do loopbacka tegoż routera
 Pakiety ESP ruchu szyfrowanego GETVPN wysyłane przez inne routery,
zamiast trasą specyficzną do routera, ściągane są defaultem do firewalla
- przypadek 5
%ASA-4-106023: Deny protocol 50 src UC:10.223.0.1 dst UC:10.123.0.31 by access-group "UC_IN"
[…]

67
 Broadcast sieciowy UDP/138 wygląda na PC z Windows
 VPN UC wskazuje, ze ktoś się podłączył z pecetem zamiast telefonu IP
 …który to PC na dodatek zaczyna potem skanować jakiś biedny router
 Cel został szybko namierzony i zniszczony 8-)
- przypadek 6
%ASA-4-106023: Deny udp src UC:208.390.32.224/138 dst INTER:208.390.32.255/138 by access-group „UC_IN"
%ASA-4-106023: Deny udp src UC:208.390.32.224/138 dst INTER:208.390.32.255/138 by access-group „UC_IN”
%ASA-4-106023: Deny udp src UC:208.390.32.224/138 dst INTER:208.390.32.255/138 by access-group „UC_IN”
[…]
%ASA-4-106023: Deny tcp src UC:208.390.32.224/44248 dst INTER:208.390.0.24/135 by access-group "UC_IN"
%ASA-4-106023: Deny tcp src UC:208.390.32.224/44248 dst INTER:208.390.0.24/110 by access-group "UC_IN„
[…]

68
 Wtopka Pierwsza
 Wtopka Druga
 Wtopka Trzecia
…
(długo, długo nic)
…
 Wtopka Czwarta
Najciekawsze potknięcia
http://spongebob.nick.com/

69
 Przypadek: łącza optyczne od węzłów do lokalizacji użytkownika, służą do
podłączenia kilku usług do różnych VPNów - więc mają przenosić 802.1Q
 Łącza Strugane Z Kija TM dostarcza sam użytkownik sieci.
Niestety - w praniu, w kilku lokalizacjach okazuje się, że łącza przenoszą
dowolne VLANy, pod warunkiem że są to VLANy natywne ;-)
Wtopka Pierwsza
do zbudowania działającego obejścia,
zamiast separacji L2 (802.Q) na łączu,
wybrano separację L3 (tunel GRE)
U klienta mamy usługę VPN L3,
po przejrzeniu dostępnych technologii…
NIE MA PROBLEMU!

70
 Konfiguracja jest dość trywialna:
Wtopka Pierwsza
1. Na PE kreujemy odpowiednie VRFy
- transportowy (VRF T)
- usługi (VRF U)
2. Między PE i CE rozpinamy
tunel GRE
3. Tunel jest w VRF usługi (VRF U),
ale pakiety GRE przesyła
w VRF transportowym (VRF T)
(komenda „tunnel vrf”)
NIE DZIAŁA!

71
 Grrr, przecież nawet testowaliśmy w labie i działało… na małym routerze…
w węźle mamy teraz Cisco 7600…
Wtopka Pierwsza
CEF720
Module B
w/DFC3
Port
ASIC
Supervisor Engine 720
PFC3
CEF720
Module A
w/DFC3
L3/4
Engine
DFC3
Layer 2
Engine
DFC3
L3/4
Engine
Layer 2
Engine
Fabric Interface/
Replication
Engine
720Gbps
Switch
Fabric
20Gbps
20Gbps
S
D
Fabric Interface/
Replication
Engine
Port
ASIC
1
2
3
4
5
Port
ASIC
Port
ASIC
Zaraz, zaraz! 7600?
(chwila sprawdzania jak
7600 przełącza pakiety)
"If you do not enable tunnel-MPLS recirculation, the IPv4 and IPv4-tunneled packets
that need to be labeled (for example, the packets that are encapsulated with
an MPLS header) will be corrupted when they are transmitted fromthe Cisco 7600
series router„
http://XXw.cisco.com/en/US/docs/ios/mpls/command/reference/mp_m1.html#wp1012208
NETA-97801-PE1(config)# mls mpls tunnel-recir
DZIAŁA!

72
 Objaw: jakiś czas po uruchomieniu rdzenia, w sieci zaczęły pojawiać się
niepokojące zjawiska – błędy MD5 i odpadanie peerów BGP
Wtopka Druga
%TCP-6-BADAUTH: Invalid MD5 digest from 280.390.215.250(36732) to 280.390.216.249(179) tableid – 0
%TCP-6-BADAUTH: Invalid MD5 digest from 280.390.215.250(36732) to 280.390.216.249(179) tableid – 0
%BGP_SESSION-5-ADJCHANGE: neighbor 280.390.215.250 VPNv4 Unicast topology base removed from session BGP
Notification sent
%BGP_SESSION-5-ADJCHANGE: neighbor 280.390.215.250 IPv4 Unicast topology base removed from session BGP
Notification sent
%BGP-5-ADJCHANGE: neighbor 280.390.215.250 Up
[…]
 Rzecz dotyczy tylko jednego fragmentu sieci
 W dotkniętych peerach (przed tym jak pójdą w stan down) dostępnych jest
jedynie około 20% prefiksów IPv4 i VPNv4

73
 Aha, znowu problem z łączami... niestety - łącza są czyste jak łza…
ping wzorowy, statystyki interfejsów też
Wtopka Druga
 Już chcemy odpalać wszystkie debugi, aż ktoś obejrzał dobrze neighbory:
NETB-98701-SER1#show ip bgp nei 280.390.215.250
[…]
Connections established 45; dropped 44
[…]
Transport(tcp) path-mtu-discovery is enabled
[…]
Datagrams (max data segment is 8960 bytes):
Rcvd: 2365 (out of order: 4), with data: 2327, total data bytes: 2615067
Sent: 414 (retransmit: 5 fastretransmit: 0),with data: 37, total data bytes: 1767
[…]
Neighbor 1
NETB-29101-PE1#show ip bgp nei 280.390.229.252
[…]
Transport(tcp) path-mtu-discovery is enabled
[…]
Datagrams (max data segment is 1760 bytes):
[…]
Neighbor 2
ILE?

74
 Jeszcze raz pingi, tym razem do wartości MTU i z Don’t Fragment…
w jedną stronę idą, w drugą nie! (debug ICMP pokaże)
Wtopka Druga
 Czy ktoś ostatnio coś zmieniał?
(przekopywanie sysloga w poszukiwaniu zmian)
 TAK – było powiększane MTU!
 MTU w rdzeniu powinno być większe niż MTU dla IP (ze względu na
konieczność nałożenia na pakiet IP labelek MPLS)
 W tym przypadku w jednym z węzłów posłużono się wzorcem, gdzie MTU były
takie same. Efekt – Path MTU Discovery nie zaprotestowało (ICMP ginęły po
drodze) i pakiety wysyłane były z MTU interfejsu lokalnego.
Efekt finalny – błędy w transmisji TCP sesji BGP i zrywanie sesji
 Po poprawce MTU – ustąpiło jak ręką odjął

75
 Objaw: w sieci (lekko już produkcyjnej) sporadycznie pojawiały się fale
komunikatów o pętli w RIB (dziesiątki w jednej serii, z różnych węzłów)
Wtopka Trzecia
NETC-15700-PE1: %IPRT-3-RIB_LOOP: Resolution loop formed by routes in RIB
NETB-28300-PE2: %IPRT-3-RIB_LOOP: Resolution loop formed by routes in RIB
NETA-98702-PE1: %IPRT-3-RIB_LOOP: Resolution loop formed by routes in RIB
[…]
%LDP-5-GR: GR session 280.390.244.49:0 (inst. 6): interrupted--recovery pending
 Podejrzenie: komunikaty te korelują się z niestabilnościami w sieci
 Komenda ‘show ip route loops’ mało przydatna (zjawisko chwilowe)
 Ale: logi o niestabilnościach wskazują na adresy małych węzłów dostępowych

76
Wtopka Trzecia
.0 /32 jakiś adres
.1 /32 PE_IP Loop0
.2 /32 SP_IP Loop0
.3 /32 jakiś adres
.4 /30 stykówka PE<-->SP
.8 /30 jakaś podsieć
NODE_NET /28
via Null0
Chwila, moment…
coś tu jest nie tak…
Rozgłaszane przez IGP
Rozgłaszane
przez BGP
Co jeśli PE_IP zniknie z routingu w sieci?
Adresacja MAŁEGO_WĘZŁA

77
Wtopka Trzecia
.0 /32 jakiś adres
.1 /32 PE_IP Loop0
.2 /32 SP_IP Loop0
.3 /32 jakiś adres
.4 /30 stykówka PE<-->SP
RESZTA /29
via Null0
Rozgłaszane przez IGP
Rozgłaszane
przez BGP
SW_IP /32
via SP
DZIAŁA!
Adresacja MAŁEGO_WĘZŁA

78
 W sieci wykonywano rozciągnięty w czasie proces migracji jednego z
użytkowników ze starej sieci do nowej - używał on EIGRP PE-CE
 Od dłuższego czasu w sieci występowały sporadyczne zdarzenia
EIGRP SIA (Stuck In Active), ale wiązane były one z procesem migracji
 Migracja polegała na podłączeniu danej lokalizacji użytkownika do nowej sieci,
możliwie kompletnym zsumaryzowaniu prefiksów i odłączeniu od starej sieci
 Migracja przez lokalne zespoły, odłączenie wykonywane przez użytkownika
Wtopka Czwarta
%DUAL-5-NBRCHANGE: EIGRP-IPv4 1: Neighbor 280.390.105.2 (GbE1/1.1011) is up: new adjacency
%DUAL-5-NBRCHANGE: EIGRP-IPv4 1: Neighbor 280.390.18.19 (GbE0/0/3.501) is down: Peer Termination Received
%DUAL-5-NBRCHANGE: EIGRP-IPv4 1: Neighbor 280.390.18.27 (GbE0/0/3.502) is down: stuck in active
%DUAL-5-NBRCHANGE: EIGRP-IPv4 1: Neighbor 280.390.18.27 (GbE0/0/3.502) is up: new adjacency
%DUAL-5-NBRCHANGE: EIGRP-IPv4 1: Neighbor 280.390.105.2 (GbE1/1.1001) is down: BFD peer down notified
[…]
 Pewnej ciemnej nocy, piekło zstąpiło na Ziemię:

79
 Pozostałe VPNy niedotknięte, choć obciążenie CPU na PE spore
Wtopka Czwarta
 Globalny meltdown EIGRP w całej sieci użytkownika, 40-60% load na PE
 Zespół odpowiedzialny za architekturę przestaje odbierać telefony
i rozpoczyna diagnostykę oraz stawianie dziesiątek hipotez
 Jakie mogą być przyczyny EIGRP SiA w sieci MPLS VPN?
 Nadmierna redundancja
 Wadliwe SoO (Site-of-Origin)
 Duża dysproporcja wydajności
 Rozpinanie się sesji EIGRP
AHA!

80
Wtopka Czwarta
 Zespół odpowiedzialny za architekturę zaczyna odbierać telefony
i rozpoczyna działania naprawcze
 Wygaszenie całego VPN L3 – odpięcie wszystkich styków PE-CE
 Poprawki w trybie awaryjnym:
 Przy udziale klienta, położenie łącz do starej sieci
 Przy udziale klienta, wykonanie brakujących sumaryzacji
 Tymczasowe wyłączenie redundancji PE-CE
 Poprawki w SoO
 Po okresie obserwacji stabilności dodanie redundancji PE-CE
DZIAŁA!

81
TO DZIAŁA!

82
 Projekt zrealizowany z sukcesem i w terminie :-)
 Mimo bardzo dużej skali
 Mimo ściśle określonego czasu i budżetu
 Mimo dynamicznie zmieniających się warunków i wymagań
 Mimo potrzeby wielostronnych ustaleń
 Mimo konieczności koordynacji prac różnych zespołów
 Projekt pełen ciekawych rozwiązań
technologicznych i organizacyjnych
Ta Sieć Działa!

83
 Książka o zrealizowanym projekcie
 Wyprzedzającym o lata swoją epokę
 Używającym nowoczesnych technologii
i pionierskich rozwiązań
 Który skalą przerastał wszystko dotychczasowe
 W którym sztuka kompromisu sięgnęła wyżyn
 Gdzie efekt przerósł początkowe plany
 Dla inżynierów, PM-ów i ich dyrektorów
 Napisana przez głównego inżyniera projektu
Dla odprężenia, na długie wieczory:
o całkiem innym sporym projekcie

PLNOG 9: Robert Ślaski - JAK OD ZERA ZBUDOWANO SIEĆ OPERATORSKĄ - zapiski z dziennika budowy

Recommended

Recommended

More Related Content

Similar to PLNOG 9: Robert Ślaski - JAK OD ZERA ZBUDOWANO SIEĆ OPERATORSKĄ - zapiski z dziennika budowy

Similar to PLNOG 9: Robert Ślaski - JAK OD ZERA ZBUDOWANO SIEĆ OPERATORSKĄ - zapiski z dziennika budowy (20)

PLNOG 9: Robert Ślaski - JAK OD ZERA ZBUDOWANO SIEĆ OPERATORSKĄ - zapiski z dziennika budowy