Jak sterować ogólnopolską siecią Content Pop za pomocą jednego Route Servera?

1. Nasze usługi
Twój sukces
Jak sterować ogólnopolską
siecią Content Pop za
pomocą jednego Route
Servera?
Łukasz Trąbiński i Konrad Plich
PLNOG 21
Kraków
2 X 2018

2. 1. Co to jest CDN i jak działa
2. Co to jest sieć Content PoP w Orange Polska?
3. Route Server – do czego służy i przykłady zastosowań.
4. Zastosowanie Route Server do sterowania contentem.
Agenda

3. Co to jest CDN i jak działa?

4. Pozyskiwanie contentu z wiataś
 Duże czasy liczone w
dziesiątkach ms od nadawcy
do końcowego użytkownika
 Straty pakietów wynikające z
nierzadko zapchanych łączy
międzyoperatorskich
 Tranzyt przez wielu
operatorów Tier-1, Tier-2.
 Duża liczba „hopów”
 Wysoki koszt pozyskiwania –
opłata za tranzyt
międzynarodowy

5. Zalety pozyskiwania contentu z cache serverów
 Małe czasy z cache
serwerów do odbiorcy
 Brak strat pakietów
 Bliskość cache serwerów
(IX, cPoP) – geograficzna i
„sieciowa”
 Mała liczba „hopów”
 Bardzo niski koszt
pozyskiwania contentu

6. CDN – Content Delivery Network

7. Unicast
 Ruch kierujemy na
konkretny adres IP według
„mapowania”
 Mapowanie może być
poprzez odwzorowanie
tablicy BGP według
określonych kryteriów.
 Mapowanie może być
statyczne lub dynamiczne
(reakcja w różnym czasie)

8. Anycast
 Ruch kierowany jest
zawsze na taką samą klasę
adresów IP
 Klasa IP jest rozgłaszana z
różnych miejsc. Wybór
miejsca docelowego
dokonywany jest za
pomocą tablicy routingu –
zazwyczaj BGP.

9. Mapowanie na bazie DNS
 W zależności od źródła
zapytania (adresu
źródłowego IP) w DNS
zwracana jest różna
odpowiedź dla klienta.

10. Wariant BGP
(unicast)
CSP wybiera przeważnie na
podstawie rozgłoszonych
prefixów w BGP
Kryterium wyboru to między
innymi długość ścieżki as-path,
parametry MED, community
Kryterium jest również
obciążenie węzła, jakoś łączy
oraz wewnętrzna polityka CSP
Jak content wybiera ródła nadawania?ź

11. Co to jest sieć Content PoP w
Orange Polska?

12. Content PoP – Data Center dla contentu CDN
 Content CDN rozproszony do 14 miast Polski
 Połowa Internetu dostępna w pobliskim mieście
wojewódzkim: Jakość dla IP Video, niski koszt
transportu, odporność na awarie
 Ruch z CDN o mniejszym rozproszeniu (np. tylko
6 miast) dosyłany z sąsiednich cPoP w regionie
 Dedykowany AS21395 – ruch CDN
odseparowany od innych źródeł ruchu dla ISP (od
Open Peering, tranzytu itd.)
 Akceptacja more specyfic: ISP może rozgłosić
prefixy tylko z danego miasta i okolic – brak
tranzytu ruchu w sieci ISP
 GGC, Netflix, Atende (iPla, player.pl), Orange
CDN, TVP (Mistrostwa Świata), Polsat CDN już
obecne, kolejne CDN w trakcie negocjacji
 Community do akceptacji tylko wybranych CDN –
ISP może np. odebrać GGC backupowo do
swojego własnego
 Cena porównywalna z samodzielnym hostingiem
CDN. I znaczne niższa niż hosting+transmisja
międzymiastowa
Kluczowe zalety dla ISP
18%
16%
17%
22%
13 %
15%
X% – procentowy ruch AS5617
TPIX +100-200%

13. Content PoP w Orange Polska

14.  ISP posiadający włókna do
lokalizacji cPoP mogą się
wpiąć bezpośrednio do
switcha cPoP – tylko peering
z AS21395 bez VLAN do
Open Peering TPIX
 Dla lokalizacji zdalnych ruch
z cPoP może być
dostarczony przez WDM
(OPL lub własny)
 Można podłączyć słabe
routery – rozgłoszą more
specyfic z mniejszych miast
 Agregacja ruchu eventowego
z kilku CDN – lepsze
wykorzystanie pasma niż
przy wykorzystaniu własnego
Data Center i hostingu CDN
 Wiele obecnych CDN
 Agregacja nakładów
inwestycyjnych
kontentodawców – kilku ISP
zasilanych z tej samej farmy
serwerów
Content PoP w Orange Polska

15. Route Server – do czego służy i
przykłady zastosowań.

16. IX – typowa struktura sieci
Źródło https://www.cisco.com/c/en/us/td/docs/ios-xml/ios/iproute_bgp/configuration/xe-16/irg-xe-16-book/configuring-a-bgp-route-server.html

17. IX eBGP Full Mesh
Źródło https://www.cisco.com/c/en/us/td/docs/ios-xml/ios/iproute_bgp/configuration/xe-16/irg-xe-16-book/configuring-a-bgp-route-server.html

18. IX z Route Serverem
Źródło https://www.cisco.com/c/en/us/td/docs/ios-xml/ios/iproute_bgp/configuration/xe-16/irg-xe-16-book/configuring-a-bgp-route-server.html

19. Benefity z u ytkowania Router Servera w IXż
 Uproszczona konfiguracja na routerach brzegowych
 Zmniejszone zużycie CPU i pamięci RAM na routerach
brzegowych
 Zredukowane koszty operacyjne
 Zcentralizowane zasady manipulacji informacją routingową
(community, localpref)

20. Wyzwania
Rozgłaszanie regionalnych
prefixów do lokalnego CPOP
Sieć CPOP to głównie switche
z ograniczoną pojemnością
tablicy routingu
Obsługa prefixów more –
specific z AS5617 i ISP
Potrzeba mieszania prefixów z
różnych regionów i od różnych
ISP (różnych ASów)
Dla każdego CDN osobna
tablica routingu z osobnymi
politykami BGP
Potrzeba usuwania AS CPOP
Jak sterowa ogólnopolsk sieci CPOP?ć ą ą

21. Architektura RS
•Jeden adres ipv4 i ipv6
•Redundancja VRRP – wiele
maszyn fizycznych
•Adresy RS nie są rozgłaszane w
świat za pomocą BGP (ochrona
DDoS). Z zewnątrz brak routingu
•Zarządzanie z sieci
managmentowej
•Konfiguracja przechowywana w
repozytorium GIT – możliwość
wykonania rollback
•Wizualizowanie parametrów
pracy za pomocą grafany /
telegraf
Jak sterowa ogólnopolsk sieci CPOP?ć ą ą

22. Wymogi
dotycz ce RSą
Potrzeba tworzenia wielu
tablic routingu (oddzielne
tablice dla każdego CDN, kilka
tablic dla każdego z CDN w
zależności od lokalizacji
serwera)
 Dodadkowo tablice routingu z
pełną tablicą BGP (full feed) –
dla CDN obsługujących cały
internetu
Dla każdej tablicy sesje BGP z
osobnymi politykami BGP
(import i export)
Dla każdego POPa osobna
tablica z regionalnymi prefixami
Dla każdego CSP osobna
tablica
Jak sterowa ogólnopolsk sieci CPOP?ć ą ą

23. The BIRD Internet
Routing Daemon
https://bird.network.cz/
Dlaczego BIRD jako RS?
Źródło: https://gitlab.labs.nic.cz/labs/bird/wikis/bird-rs.png

24. Konfiguracja
BIRDa
 Definiowanie tablic
 Utworzenie tablic
regionalnych
Jak sterowa ogólnopolsk sieci CPOP?ć ą ą

25. Konfiguracja
BIRDa
 Definiowanie tablic
 Utworzenie połączeń
pomiędzy tablicami (pipe)
Konfiguracja sesji BGP
 Ustawienie polityk import /
export BGP
Jak sterowa ogólnopolsk sieci CPOP?ć ą ą

26. Konfiguracja
BIRDa
 Konfiguracja polityk export
 Wypuszczamy poszczególne
regiony lub ISP
Jak sterowa ogólnopolsk sieci CPOP?ć ą ą

27. BIRD
 Stabliność
Mała ilość zajętej pamięć RAM
Jak sterowa ogólnopolsk sieci CPOP?ć ą ą

28. Nasze usługi
Twój sukces
Dziękuję