SlideShare a Scribd company logo
1 of 61
Download to read offline
Sprzętowe i programowe 
aspekty działania punktu 
wymiany ruchu 
Paweł Nastachowski <p.nastachowski@plix.pl> 
Kamil Grabowski <k.grabowski@plix.pl> 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Czy wiecie kiedy 
powstał PLIX? 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Strona internetowa 
2006 - 2007 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Aktualna wersja 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
my.plix 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
admin.plix 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Kryzys w 
oprogramowaniu 
• nowe funkcjonalności są dodawane bardzo wolno 
• małe zmiany okazują się dużymi 
• zbyt szybko zmieniające się wymagania 
• biblioteki oraz języki programowania pędzą do przodu 
• projekt wymyka się spod kontroli! 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Potrzeba zmian! 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Dziel i zwyciężaj 
config tools 
17 marca 2011, Warszawa 
framework.plix 
admin.plix 
display.plix 
webservice.plix 
my.plix 
plix.pl 
harvester_tools 
trap monitor 
czwartek, 17 marca 2011
Czy użytkownicy, 
aby na pewno wiedzą 
czego chcą? 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
czwartek, 17 marca 2011
A jak jest naprawdę? 
• użytkownik wie czego chce 
• ... ale nie zawsze wie, czego potrzebuje 
• użytkownik myśli procesowo 
• programista/projektant myśli strukturalnie 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Szacowanie czasu? 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
czwartek, 17 marca 2011
Dbajmy o jakość 
• nowa funkcjonalność - nowa gałąź 
• zawsze dostępna działająca wersja kodu 
• automatyczne testy + refaktoryzacja 
• środowisko produkcyjne oraz testowe 
• one click deploy 
• monitoring, statystyki, logi 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Utrzymanie kosztuje! 
• pozbywaj się rzeczy, które nie są potrzebne, bądź nie 
są używane 
• czy nowa funkcjonalność jest na pewno potrzebna? 
• dokumentacja, komentarze i testy to też kod 
• przeterminowane produkty są tanie 
• ... ale zazwyczaj są trujące i śmierdzą! 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Technologie 
17 marca 2011, Warszawa 
Shoulda, RSpec 
collectd 
czwartek, 17 marca 2011
Co przyniosły zmiany? 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
Nowy, szybszy 
TrapMonitor 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
czwartek, 17 marca 2011
MY.PLIX 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
ADMIN.PLIX 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
czwartek, 17 marca 2011
Czy wiecie jakiego 
koloru są nasze 
switche? 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Od zakupu do 
uruchomienia na 
produkcji 
czyli nowe pudełka ;-) 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Co w sobie kryje: 
• 1 RU 
• 2 PSU 
• 24x1G (12 combo) 
• 2x10G (XFP) + moduł 4x10G (XFP) 
• MPLS 
• BGP 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Co to za cudo ??? 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Extreme Networks 
Summit x480 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
• Ring 10G 
• MPLS (VPLS) 
• Multicast 
Co chcemy zrobić: 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Co wyszło w testach 
• Pierwsze uruchomienie, podpięcie się konsolą 
przypadkowe kliknięcie tab+ctrl+b (SysRq), restart 
przełącznika Pierwsze uruchomienie, podpięcie się konsolą 
przypadkowe kliknięcie tab+ctrl+b (SysRq), restart przełącznika 
• pierwszy case w extreme 
• RSVP-TE nie działa z ISIS (brak analogicznej komendy do 
„enable ospf mpls-next-hop”) 
• Musieliśmy sieć przerobić na OSPF 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Co wyszło w testach 
• Korzystanie ze ścieżki „primary any” powoduje czas 
przełączenia w granicach 30-90 sekund (nie akceptowalne) 
• Obeszliśmy problem tworząc dwie ścieżki secondary i w 
każdej wymuszamy jako pierwszy hop adres połączeniówki 
sąsiada (nie Loopback) 
• Nie działają VMAN’y po MPLS 
• Drugi zgłoszony case do Extreme (poprawka w 14 dni) 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
• Udało się je zakończyć 
• Wszystkie zgłoszone problemy do Extreme-a zostały 
rozwiązane 
• Drugi zgłoszony case do Extreme (poprawka w 14 dni) 
• Po długiej naradzie dochodzimy że sprzęt nadaje się do 
wdrożenia 
Podsumowanie 
testów 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Pierwsza próba 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Pierwsze podejście 
• Jedziemy 
• Zapinamy pierwsze 10G do Warszawy 
• Testujemy 
• Przepinamy kilku klientów 
• Wracamy na starą konfigurację ... 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Podsumowanie 
• Porty 10G z przodu urządzenia nie podnoszą się jeśli 
urządzenia wstaną w pewnym okresie czasu od siebie. 
• Pomaga restart przełączników, okazuje się że 
potrzebujemy moduły 10G XFP specjalnie programowane 
pod Extreme 
• Jeśli port nam się nie podniósł wymiana XFP na Extreme-owego 
nie pomaga potrzebny restart 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Podsumowanie 
• Port-channel + VPLS 
• Po restarcie portu przestaje działać, po maga tylko 
restart przełącznika 
• Trzeba w odpowiedniej kolejności stworzyć 
konfigurację. Najpierw portch-channel potem dodajemy 
VLAN VPLS-owy 
• Trzeci case zgłoszony do extreme’a 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Drugie podejście 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Pierwsza próba 
• Jedziemy 
• Zapinamy 10G do Warszawy 
• Testujemy 
• Przepinamy klientów 
• Zapinamy 10G w kierunku Krakowa 
• Świętujemy ;-)) 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Podsumowanie 
• Moduły programowane pod extreme-a nie działają z 
wkładkami w DWDM-ie TKT 
• Postanawiamy przenieść transmisje na tylną kartę 4x10G, 
tam działają moduły wszystkich producentów 
• Po kliku godzinach okazuje się że na losowych VPWS-ach 
pakiety IGRP są „odbijane” 
• Czwarty case zgłoszony do Extreme (Poprawione 
oprogramowanie otrzymaliśmy w ciągu 48 godzin) 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Podsumowanie 
• Moduły programowane pod extreme-a nie działają z 
wkładkami w DWDM-ie TKT 
• Postanawiamy przenieść transmisje na tylną kartę 4x10G, 
tam działają moduły wszystkich producentów 
• Po kliku godzinach okazuje się że na losowych VPWS-ach 
pakiety IGRP są „odbijane” 
• Czwarty case zgłoszony do Extreme (Poprawione 
oprogramowanie otrzymaliśmy w ciągu 48 godzin) 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Wnioski 
• „Ciesze się że już nie dzwonicie o 1:30” - R.Lachowiecki 
Extreme 
• Kilka rzeczy wyszło dopiero na produkcji, nie wszystko da 
się wytestować w LAB’ie 
• Najważniejsze to dobry support 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011
Pytania ? 
17 marca 2011, Warszawa 
czwartek, 17 marca 2011

More Related Content

More from Kamil Grabowski

Jak wygrać Igrzyska Chmury
Jak wygrać Igrzyska ChmuryJak wygrać Igrzyska Chmury
Jak wygrać Igrzyska ChmuryKamil Grabowski
 
Sekrety magicznego ogrodu Docker
Sekrety magicznego ogrodu DockerSekrety magicznego ogrodu Docker
Sekrety magicznego ogrodu DockerKamil Grabowski
 
Porażka nie wchodzi w grę, czyli o niezawodności
Porażka nie wchodzi w grę, czyli o niezawodnościPorażka nie wchodzi w grę, czyli o niezawodności
Porażka nie wchodzi w grę, czyli o niezawodnościKamil Grabowski
 
RRDTool + RUBY DSL = RRD-FFI
RRDTool + RUBY DSL = RRD-FFIRRDTool + RUBY DSL = RRD-FFI
RRDTool + RUBY DSL = RRD-FFIKamil Grabowski
 
Jak wyglada monitoring w PLIX
Jak wyglada monitoring w PLIXJak wyglada monitoring w PLIX
Jak wyglada monitoring w PLIXKamil Grabowski
 
How to create effective NOC in Poland
How to create effective NOC in PolandHow to create effective NOC in Poland
How to create effective NOC in PolandKamil Grabowski
 
Ansible - Automatyzacja zadań IT
Ansible - Automatyzacja zadań ITAnsible - Automatyzacja zadań IT
Ansible - Automatyzacja zadań ITKamil Grabowski
 

More from Kamil Grabowski (11)

Jak wygrać Igrzyska Chmury
Jak wygrać Igrzyska ChmuryJak wygrać Igrzyska Chmury
Jak wygrać Igrzyska Chmury
 
Sekrety magicznego ogrodu Docker
Sekrety magicznego ogrodu DockerSekrety magicznego ogrodu Docker
Sekrety magicznego ogrodu Docker
 
Porażka nie wchodzi w grę, czyli o niezawodności
Porażka nie wchodzi w grę, czyli o niezawodnościPorażka nie wchodzi w grę, czyli o niezawodności
Porażka nie wchodzi w grę, czyli o niezawodności
 
Infrastructure As Code
Infrastructure As CodeInfrastructure As Code
Infrastructure As Code
 
Docker
DockerDocker
Docker
 
Ansible w praktyce
Ansible w praktyceAnsible w praktyce
Ansible w praktyce
 
RRDTool + RUBY DSL = RRD-FFI
RRDTool + RUBY DSL = RRD-FFIRRDTool + RUBY DSL = RRD-FFI
RRDTool + RUBY DSL = RRD-FFI
 
Jak wyglada monitoring w PLIX
Jak wyglada monitoring w PLIXJak wyglada monitoring w PLIX
Jak wyglada monitoring w PLIX
 
Monitoring sieci
Monitoring sieciMonitoring sieci
Monitoring sieci
 
How to create effective NOC in Poland
How to create effective NOC in PolandHow to create effective NOC in Poland
How to create effective NOC in Poland
 
Ansible - Automatyzacja zadań IT
Ansible - Automatyzacja zadań ITAnsible - Automatyzacja zadań IT
Ansible - Automatyzacja zadań IT
 

Sprzetowe i programowe aspekty punktu wymiany ruchu

  • 1. Sprzętowe i programowe aspekty działania punktu wymiany ruchu Paweł Nastachowski <p.nastachowski@plix.pl> Kamil Grabowski <k.grabowski@plix.pl> 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 2. Czy wiecie kiedy powstał PLIX? 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 3. Strona internetowa 2006 - 2007 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 4. Aktualna wersja 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 5. my.plix 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 6. admin.plix 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 7. Kryzys w oprogramowaniu • nowe funkcjonalności są dodawane bardzo wolno • małe zmiany okazują się dużymi • zbyt szybko zmieniające się wymagania • biblioteki oraz języki programowania pędzą do przodu • projekt wymyka się spod kontroli! 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 8. Potrzeba zmian! 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 9. Dziel i zwyciężaj config tools 17 marca 2011, Warszawa framework.plix admin.plix display.plix webservice.plix my.plix plix.pl harvester_tools trap monitor czwartek, 17 marca 2011
  • 10. Czy użytkownicy, aby na pewno wiedzą czego chcą? 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 12. A jak jest naprawdę? • użytkownik wie czego chce • ... ale nie zawsze wie, czego potrzebuje • użytkownik myśli procesowo • programista/projektant myśli strukturalnie 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 13. Szacowanie czasu? 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 15. Dbajmy o jakość • nowa funkcjonalność - nowa gałąź • zawsze dostępna działająca wersja kodu • automatyczne testy + refaktoryzacja • środowisko produkcyjne oraz testowe • one click deploy • monitoring, statystyki, logi 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 16. Utrzymanie kosztuje! • pozbywaj się rzeczy, które nie są potrzebne, bądź nie są używane • czy nowa funkcjonalność jest na pewno potrzebna? • dokumentacja, komentarze i testy to też kod • przeterminowane produkty są tanie • ... ale zazwyczaj są trujące i śmierdzą! 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 17. Technologie 17 marca 2011, Warszawa Shoulda, RSpec collectd czwartek, 17 marca 2011
  • 18. Co przyniosły zmiany? 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 24. Nowy, szybszy TrapMonitor 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 26. MY.PLIX 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 33. ADMIN.PLIX 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 43. Czy wiecie jakiego koloru są nasze switche? 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 44. Od zakupu do uruchomienia na produkcji czyli nowe pudełka ;-) 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 45. Co w sobie kryje: • 1 RU • 2 PSU • 24x1G (12 combo) • 2x10G (XFP) + moduł 4x10G (XFP) • MPLS • BGP 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 46. Co to za cudo ??? 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 47. Extreme Networks Summit x480 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 48. • Ring 10G • MPLS (VPLS) • Multicast Co chcemy zrobić: 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 49. Co wyszło w testach • Pierwsze uruchomienie, podpięcie się konsolą przypadkowe kliknięcie tab+ctrl+b (SysRq), restart przełącznika Pierwsze uruchomienie, podpięcie się konsolą przypadkowe kliknięcie tab+ctrl+b (SysRq), restart przełącznika • pierwszy case w extreme • RSVP-TE nie działa z ISIS (brak analogicznej komendy do „enable ospf mpls-next-hop”) • Musieliśmy sieć przerobić na OSPF 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 50. Co wyszło w testach • Korzystanie ze ścieżki „primary any” powoduje czas przełączenia w granicach 30-90 sekund (nie akceptowalne) • Obeszliśmy problem tworząc dwie ścieżki secondary i w każdej wymuszamy jako pierwszy hop adres połączeniówki sąsiada (nie Loopback) • Nie działają VMAN’y po MPLS • Drugi zgłoszony case do Extreme (poprawka w 14 dni) 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 51. • Udało się je zakończyć • Wszystkie zgłoszone problemy do Extreme-a zostały rozwiązane • Drugi zgłoszony case do Extreme (poprawka w 14 dni) • Po długiej naradzie dochodzimy że sprzęt nadaje się do wdrożenia Podsumowanie testów 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 52. Pierwsza próba 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 53. Pierwsze podejście • Jedziemy • Zapinamy pierwsze 10G do Warszawy • Testujemy • Przepinamy kilku klientów • Wracamy na starą konfigurację ... 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 54. Podsumowanie • Porty 10G z przodu urządzenia nie podnoszą się jeśli urządzenia wstaną w pewnym okresie czasu od siebie. • Pomaga restart przełączników, okazuje się że potrzebujemy moduły 10G XFP specjalnie programowane pod Extreme • Jeśli port nam się nie podniósł wymiana XFP na Extreme-owego nie pomaga potrzebny restart 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 55. Podsumowanie • Port-channel + VPLS • Po restarcie portu przestaje działać, po maga tylko restart przełącznika • Trzeba w odpowiedniej kolejności stworzyć konfigurację. Najpierw portch-channel potem dodajemy VLAN VPLS-owy • Trzeci case zgłoszony do extreme’a 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 56. Drugie podejście 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 57. Pierwsza próba • Jedziemy • Zapinamy 10G do Warszawy • Testujemy • Przepinamy klientów • Zapinamy 10G w kierunku Krakowa • Świętujemy ;-)) 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 58. Podsumowanie • Moduły programowane pod extreme-a nie działają z wkładkami w DWDM-ie TKT • Postanawiamy przenieść transmisje na tylną kartę 4x10G, tam działają moduły wszystkich producentów • Po kliku godzinach okazuje się że na losowych VPWS-ach pakiety IGRP są „odbijane” • Czwarty case zgłoszony do Extreme (Poprawione oprogramowanie otrzymaliśmy w ciągu 48 godzin) 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 59. Podsumowanie • Moduły programowane pod extreme-a nie działają z wkładkami w DWDM-ie TKT • Postanawiamy przenieść transmisje na tylną kartę 4x10G, tam działają moduły wszystkich producentów • Po kliku godzinach okazuje się że na losowych VPWS-ach pakiety IGRP są „odbijane” • Czwarty case zgłoszony do Extreme (Poprawione oprogramowanie otrzymaliśmy w ciągu 48 godzin) 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 60. Wnioski • „Ciesze się że już nie dzwonicie o 1:30” - R.Lachowiecki Extreme • Kilka rzeczy wyszło dopiero na produkcji, nie wszystko da się wytestować w LAB’ie • Najważniejsze to dobry support 17 marca 2011, Warszawa czwartek, 17 marca 2011
  • 61. Pytania ? 17 marca 2011, Warszawa czwartek, 17 marca 2011