Data Center Allegro wyboista droga L2 do autostrady L3

1. 12-3-29 Data Center Allegro 1

2. 12-3-29 Data Center Allegro 2
Przemysław Grygiel
CCIE #15278
Data Center Allegro
wyboista droga L2 do autostrady L3

3. 12-3-29 Data Center Allegro 3
Agenda
•
Data Center >3 lata temu
•
Core Upgrade
•
Racki i moduły L3
•
IPv6
•
Nasz sposób na Data Center

4. Infrastruktura sieciowa DC Grupy
Allegro•
~500 urządzeń sieciowych
•
2 główne DC
•
Kilka tysięcy serwerów
•
100Gb/s ruchu w rdzeniu sieci
•
Liczba racków podwaja się co 2-3 lata
12-3-29 Data Center Allegro 4

5. Data Center >3 lata temu
•
Kilkadziesiąt szaf rack
•
Klasyczna sieć L2
•
RPVST
•
Centralny firewall (FWSM)
•
Load Balancery F5
Wygodnie 
12-3-29 Data Center Allegro 5
SiSi SiSi
6500 6500
Core
Distribution
(rack)
Access
(blade)
FWSM
Firewall Load Balancer
F5
L3
L2STP
Root

6. L2 Data Center jest wygodne ale …
12-3-29 L2 6
•
Sztormy broadcastowe
•
Dużo TCN (Topology Change
Notification) – wiedz, że coś
dzieje 
•
Diagnostyka
#sh mac address-table address 0021.5ee2.2e36

7. L2 Data Center
•
>100 VLANów - wszędzie i na każdym trunku
•
Zapomniane linki pomiędzy szafami – „takie na
chwile”
•
Mało odporne na „czynnik ludzki”
•
Pętle
12-3-29 L2 7

8. Core upgrade - 2010
Wymiana 6509 na Nexusy 7010
Wymiana FWSMów na N par dużych ASA
Dlaczego?
•
Brak wolnych portów na 6500
•
Migracja do 10G
•
Wydajność
•
Uproszczenie topologii STP
•
Docelowo migracja sieci do L3
•
Wirtualizacja
12-3-29 Core upgrade 8

9. Nasze wdrożenie Nexusów w liczbach
•
W szczycie blisko 100 virtual Port Channels (vPC)
•
3 wirtualne switche - Virtual Device Contexts (VDC)
•
Kilka przestrzeni routingowych (VRF)
•
IP Dual Stack IPv4/IPv6
•
Wsparcie dla multicastów
•
Private VLANs
Ale też:
•
2 nowe bugi (nie krytyczne)
•
Kilkanaście case’ów w TAC
12-3-29 Nexus 7000 9

10. VDC (Virtual Device Contexts)
Po co nam VDC?
•
Efektywne wykorzystanie
mocy obliczeniowej
•
Separacja
•
Administracja per VDC
•
Lab 
12-3-29 VDC 10
Virtual switch
Production
Virtual switch
Hosting
Virtual switch
Lab
Nexus 7010
Max 4 VDC

11. vPC – upraszczamy topologię STP
12-3-29 vPC 11

12. vPC – upraszczamy topologię STP
12-3-29 vPC 12

13. vPC - o czym warto pamiętać
•
Zalecane konfiguracja
• vPC peer-link (2x10G)
• vPC keepalive-link (2x1G)
•
Każde VDC musi mieć własny peer-link i keepalive-link
12-3-29 vPC 13
„We recommend that you configure the vPC peer links
on dedicated ports of different N7K M132XP-12 modules
to reduce the possibility of a failure. For the best
resiliency scenario, use at least two N7K-M132XP-12
modules.” Dedicated mode

14. vPC - o czym warto pamiętać
•
Unikalna domena vPC dla każdej pary urządzeń
•
In-Service Software Upgrade (ISSU)
•
Peer link loop-avoidance logic
•
vPC i L3
12-3-29 vPC 14

15. vPC i L3
12-3-29 vPC 15
Problem:
Chcemy podłączyć parę
ASA do Nexusów i zestawić
sesję OSPFa pomiędzy nimi.

16. vPC i L3
12-3-29 vPC 16
Rozwiązanie:
Wydzielony Port-Channel z
VLANnem połączeniowym L3
umiejscowionym poza vPC
peer link

17. vPC i L3
12-3-29 vPC 17

18. vPC rozwiązuje nam problem z STP ale inne
problemy sieci L2 pozostają:
• TCNy
• Sztormy broadcastowe
• Diagnostyka
To może jednak L3?
12-3-29 L3 18

19. Rack jako węzeł L3
Korzyści:
•
Ograniczenie domeny broadcastowej
•
Eliminacja STP w rdzeniu
•
Wysoka skalowalność
•
Poprawa czasu konwergencji
•
Efektywne wykorzystywanie linków ECMP
•
Mniej broadcastów - mniejsze obciążenie CPU serwerów
•
TTL 
12-3-29 L3 19

20. L3 do racka
To również wyzwania:
•
Organizacja polityk bezpieczeństwa
•
Separacja stref na poziomie VRFów
•
Zarządzanie adresacją
•
Konfiguracja routingu
•
Koszty?
12-3-29 L3 20

21. Moduły L3
Wiele racków = jeden węzeł L3 i jedna funkcja
Cała potrzebna infrastruktura w jednym miejscu:
•
Serwery
•
Macierze
•
Switche (routery)
•
Load Balancery
•
Firewalle
12-3-29 Moduł L3 21

22. Moduł kontra racki L3
Zalety:
•
Kompromis pomiędzy L2 a L3
•
Mniej ruchu w rdzeniu
•
Prosta konfiguracja
Wady:
•
Efektywność wykorzystania sprzętu
•
Elastyczność
•
Brak rozproszenia
12-3-29 Moduł L3 22

23. Firewalle w Data Center
•
Jeden duży firewall to zawsze za mało
•
Centralny firewall przy atakach DDoS
staje się SPoFem
•
A może rozproszyć firewalle na wiele
mniejszych?
•
Czy wszędzie potrzebujemy firewalle
stanowe?
•
Co z zarządzaniem wieloma?
12-3-29 DC Firewall 23

24. VRF (Virtual Routing and Forwarding)
Data Center L3 Interconnect
12-3-29 DC Interconnect 24

25. interface TenGigabitEthernet2/3
interface
TenGigabitEthernet2/3.3001
ip vrf forwarding vrfA
encapsulation dot1Q 3001
ip address 10.1.1.1
255.255.255.252
interface
TenGigabitEthernet2/3.3002
ip vrf forwarding vrfB
encapsulation dot1Q 3002
ip address 10.2.1.1
255.255.255.252
interface
TenGigabitEthernet2/3.3003
ip vrf forwarding vrfC12-3-29 DC Interconnect 25
interface TenGigabitEthernet2/3
interface TenGigabitEthernet2/3.3001
ip vrf forwarding vrfA
encapsulation dot1Q 3001
ip address 10.1.1.2 255.255.255.252
interface TenGigabitEthernet2/3.3002
ip vrf forwarding vrfB
encapsulation dot1Q 3002
ip address 10.2.1.2 255.255.255.252
interface TenGigabitEthernet2/3.3003
ip vrf forwarding vrfC
encapsulation dot1Q 3003
ip address 10.3.1.2 255.255.255.252
rt1.dc1 rt1.dc2

26. Data Center L3 Interconnect
12-3-29 DC Interconnect 26
EoMPLS/VPLS

27. IPv6 co mamy
12-3-29 IPv6 27
•
Uruchomiony peering IPv6 z:
•
Sieć DC skonfigurowana i przygotowana pod IPv6
•
Serwisy dostępne po IPv6:
•
www.citeam.pl
•
Obrazki allegro
•
…

28. IPv6 - spostrzeżenia
•
Dynamiczne protokoły routingu IPv6 na Cisco ASA 
•
ACLe IPv6
•
Adresacja serwerów statyczna czy dynamiczna?
•
F5 prosty sposób na dodawanie nowych VIPów IPv6
•
F5 translacja IPv6 <-> IPv4
12-3-29 IPv6 28

29. Nasza recepta na Data Center
•
Pojedyncze racki to węzły L3
•
Przewidywalne w rozmiarze usługi zamykamy w
modułach L3
•
Pozostałe węzły L2 podłączamy tak, aby Spanning tree
miał tylko jedną ścieżkę do roota:
•
vPC – vPC
•
vPC – Multi Chassis Etherchannel
•
Połączenia pomiędzy DC tylko L3
12-3-29 DC 29

30. Nasza recepta na Data Center
•
Decentralizacja, decentralizacja i jeszcze raz
decentralizacja
•
Automatyzacja konfiguracji i zarządzania
•
Cloud – część zadań przenosimy administracyjnych na
developerów 
•
Out of Band Management dla > 1000 urządzeń
12-3-29 DC 30

31. Pytania?
12-3-29 31

32. 12-3-29 32
Dziękuje za uwagę