Doświadczenia przy budowie systemu CDN, skalowalny hosting video i live streaming

1. Dlaczego to nie działa?
Rewolucja multimedialna w
Internecie i stawiane przez nią
wyzwania
Piotr Karwatka (pkarwatka@divante.pl)

2. O czym opowiem...
… o problemach których doświadczyliśmy i ich rozwiązaniach
1. Multimedialna rewolucja
2. Nieprzewidywalne wymagania
3. Zróbmy to sami...
4. Śnieży i przerywa
6. Nie gra
7. ... nie odpowiadają na maile
8. Mityczny percentyl i czarne chmury
9. Co udało nam się osiągnąć
SimpleStorage to system dystrybucji treści – stworzony przez Divante i Imagin IT

3. Multimedialna rewolucja
● eMarketer szacuje, że w 2012 już prawie 90% internautów w USA będzie
oglądać video online. Daje to 200 milionów użytkowników.
● Według badania comScore Video Metrix amerykanscy internauci obejrzeli
pazdzierniku 2008 12.7 mld klipów video w sieci. Średnia ilość filmów
obejrzanych przez amerykanskiego internautę w miesiącu to 87
● Gemius SA w najnowszym raporcie "Konsumpcja mediów. Sposoby
korzystania z mediów wśród internautów" informuje, że 76% internautów
skorzystało z możliwości oglądania telewizji i kipów video w internecie – jest
to odsetek większy niż w przypadku innych mediów.
Zastosowania? ● budowanie świadomości marki
● przedstawianie informacje o produkcie i firmie
● budowanie lojalność
● SEO i monetyzacja (reklamy, kontent premium)
Więcej informacji w darmowym raporcie: http://divante.pl/pl/wiedza/strategie-video-w-internecie/

4. Nieprzewidywalne wymagania
Marketing wirusowy
Serwisy społecznościowe Sezonowość i akcje reklamowe
Bardzo duży / skokowy ruch
Trudne do przewidzenia koszty
STRACH przed klęską urodzaju!
„Gentlemen! Hold your horses! The elephants are coming!”
(stare powiedzenie cyrkowe)

5. Nieprzewidywalne wymagania
● Przykład? Embed z baska.tivi.pl na Facebooku
680Mbit/s przez kilka godzin!
„Pałer jak ch**”
(Pani Basia - klatkab.tivi.pl)

6. Zróbmy to sami!
Darmowe platformy mogą się nie sprawdzić
● dobre na początek
● brak możliwości brandingu
● brak możliwości monetyzacji (reklamy, kontent płatny i premium)
● brak wpływu na politykę moderacji kontentu
● uwaga na licencje!
nasz webmaster da radę!
● wstawimy darmowy player we flashu a pliki FLV wystawimy przez
Superhosta, Dreamhost, server4you.com …
● przekodujemy media do FLV (co ze streamingiem live?)
● jak będzie duży ruch? Nasz serwer nie ma limitów transferu! A
nawet gdyby pojawił się problem – za 99zł/mc wynajmiemy serwer
dedykowany!
Zestawienie platform wideo -
http://antyweb.pl/ktory-serwis-wybrac-youtube-czy-vimeo-krotki-test-jednego-nagrania/

7. Śnieży i przerywa
● zle dobrane parametry kodeków wideo zwłaszcza przy streamingu
live psują krew!
● słaba jakość (zwłaszcza przy dużej dynamice)
● duży transfer nie adekwatny do jakości
● brak powtarzalności
● długi czas buforowania
● nie wiadomo co zmienić w ustawieniach!
● użytkownicy tego nie cierpią

8. Śnieży i przerywa
● informatycy nie znają się na wideo – profile kodowania
powinny być stałe, ustalone ze specjalistami od produkcji
wideo
● udostępnianie wielu profili kodowania (także na komórki, o
mniejszej przepływności, HD …) i automatyczne
dopasowywanie do łącza użytkownika
● monitoring przepływności wideo, konfigurowanie czasów
buforowania playerów i automatyczne zbieranie feedbacku
od użytkowników
● czytać, testować, czytać, testować – o kodekach i ich
parametrach (h264, VP6, h263)

9. Nie gra

10. Nie gra
● okazało się, że nasz serwer ma limity! Zwłaszcza
przepustowości do Internetu
● w połowie transmisji skończył się pakiet transferu, na nowy się
czeka kilka dni
● niech szlag trafi priorytetyzację pakietów!
● już wiemy dlaczego zagraniczni dostawcy mają tak niskie ceny i
jak się do tego ma ich polityka tranzytu ruchu do Polski!
● stać nas na nowy serwer, ale nie bardzo można go dodać (zresztą
zajęłoby to dużo czasu!)
● nasz webmaster-admin akurat był na urlopie jak spalił się dysk
podczas transmisji, ciekawe czy mamy kopię danych ...

11. Nie gra
● hosting != serwer, hosting = elastyczna usługa z gwarancją
dostępu
● stosowanie replikacji plików zamiast backupów
● stosowanie wielu węzłów buforujących pliki będące w użyciu
● redundancja sprzętu (2N lub N+1, N+2)
● w miarę możliwości peering bezpośredni i udział w polskich
węzłach wymiany ruchu
● rozliczanie za faktyczne zużycie!
● zaakceptowanie faktu występowania uszkodzen i
minimalizowanie ich wpływu na cały system (zamiast
wyrafinowanego sprzętu – dużo serwerów PC zbudowanych z
w miarę standardowych komponentów)
Zobacz na czym dokładnie warto się skupić: http://beta.simplestorage.pl/jak-to-dziala.html

12. ... nie odpowiadają na maile
● im tanszy hosting, tym gorsza obsługa –
zwłaszcza w sieciach zagranicznych
● rekompensata za % niedostępności serwera
który kosztuje 300 zł...
● czas reakcji pomocy technicznej to kilka dni,
po drodze jest tłumacz zatrudniony w polskim
oddziale który nie bardzo rozumie o co chodzi
● zwłaszcza, że nasz admin to farbowany
programista
● rozbudowa sprzętu w zasadzie nie wchodzi w
grę
● streaming wydarzen live zaczyna
przypominać ruletkę

13. … nie odpowiadają na maile
● jedno data-center i jego „fochy”? Zastosujmy klaster
serwerów i kilka centrów danych w różnych rejonach
geograficznych
● dane zreplikujmy w kilku data-center – backupy są nie
potrzebne, a możliwość przerwy w usłudze – minimalna
● zatrudnijmy administratorów i utwórzmy NOC – z
gwarantowanym czasem reakcji!
● stwórzmy system automatycznego monitoringu –
wyłączający zepsute/nieaktywne węzły naszego klastra
● dbajmy o automatyczne replikowanie plików po awarii
(minimum 2 kopie w różnych DC!)

14. Mityczny percentyl i czarne chmury
● ceny łączy (pasma!) w Polsce są bardzo wysokie, 100Mbit
to koszt kilku tys. zł – co przy skoku na kilka godzin do
500-800Mbit/s?
● a rozliczanie metodą 95. percentyla bywa bardzo
ryzykowne!
● przy streamingu live pojedynczy serwer z bardzo dużym
pasmem może kosztować nas majątek!
● zagraniczne, niskie ceny ciężko niosą za sobą kruczki*
● zazwyczaj musimy deklarować się z wyprzedzeniem
czasowym ile zużyjemy
● ciężko jest zareagować na dynamiczny wzrost ruchu
* np. ograniczenia transferu, spadek pasma, współdzielenie pasma, niskie priorytety w tranzycie

15. Mityczny percentyl i czarne chmury
● lepiej użyć wielu tanich serwerów w różnych lokalizacjach i
sumować ich pasmo!
● serwery można w miarę prosto dodawać i zwiększać
przepustowość
● dla klienta najlepiej byłoby rozliczać się tylko za zużyty transfer
– nie powinny niepokoić go skoki i nie powinien przepłacać
● optymalny model to CDN jako CloudService – S3, Akamai...
● ceny wcale nie są niskie!
● w Polsce, zagraniczne sieci mają mało węzłów – nie ma
jakości za którą się płaci!
● szybkość działania (S3) może nie wystarczać dla celów
wideo!
Z tych doświadczen narodził się pomysł na SimpleStorage!

16. Co udało nam się osiągnąć
● stworzyliśmy wersję beta Sieci CDN – można ją za darmo
protestować pod http://simplestorage.pl
● pliki są replikowane na węzłach
● już teraz oferujemy przepustowość do 2.2 Gbit/s (w tym 600Mbit/s
do TPSA)
● ruch do klienta jest kierowany z najbliższego węzła
● obsługujemy standardowe protokoły (SSL, HTTP, WebDAV) i
streaming Live (Flash Media Server)
● bardzo dobre łącza do Polski
● mamy produkcyjne wdrożenia (tivi.pl, dominikanie.pl,
promoring.pl)
● udało nam się zachować niskie ceny za realne zużycie
Zapraszamy do testów na http://simplestorage.pl - wszystkie uwagi mile widziane!

17. Co udało nam się osiągnąć

18. Co udało nam się osiągnąć
● rozwijamy oprogramowanie videocms.pl
● to kompletna platforma wideo z obsługą streamingu live,
kodowaniem mediów do formatów internetowych, obsługą reklam
i modyfikowalnym playerem
● udostępniamy przetestowane profile kodowania i kodeki (h264,
vp6, h263) – jakość jest osiągalna < 1Mbit/s!
● hosting zapewnia SimpleStorage, ale klient może zdecydować się
także na swój serwer lub inny system CDN (np. S3)
Więcej informacji o VideoCMS na stronie http://videocms.pl

19. Pytania?
Zapraszam do zadawania pytan!
pkarwatka@divante.pl
(chcesz kopię prezentacji? napisz :-) )
Zapraszamy na http://simplestorage.pl oraz http://videocms.pl