Simple Storage - skalowalny hosting video i flash media

Dlaczego to nie działa? Rewolucja multimedialna w Internecie i stawiane przez nią wyzwania Piotr Karwatka (pkarwatka@divante.pl)

O czym opowiem... … o problemach których doświadczyliśmy i ich rozwiązaniach 1. Multimedialna rewolucja 2. Nieprzewidywalne wymagania 3. Zróbmy to sami... 4. Śnieży i przerywa 6. Nie gra 7. ... nie odpowiadają na maile 8. Mityczny percentyl i czarne chmury 9. Co udało nam się osiągnąć SimpleStorage to system dystrybucji treści – stworzony przez Divante i Imagin IT

Multimedialna rewolucja ● eMarketer szacuje, że w 2012 już prawie 90% internautów w USA będzie oglądać video online. Daje to 200 milionów użytkowników. ● Według badania comScore Video Metrix amerykanscy internauci obejrzeli pazdzierniku 2008 12.7 mld klipów video w sieci. Średnia ilość filmów obejrzanych przez amerykanskiego internautę w miesiącu to 87 ● Gemius SA w najnowszym raporcie "Konsumpcja mediów. Sposoby korzystania z mediów wśród internautów" informuje, że 76% internautów skorzystało z możliwości oglądania telewizji i kipów video w internecie – jest to odsetek większy niż w przypadku innych mediów. Zastosowania? ● budowanie świadomości marki ● przedstawianie informacje o produkcie i firmie ● budowanie lojalność ● SEO i monetyzacja (reklamy, kontent premium) Więcej informacji w darmowym raporcie: http://divante.pl/pl/wiedza/strategie-video-w-internecie/

Nieprzewidywalne wymagania Marketing wirusowy Serwisy społecznościowe Sezonowość i akcje reklamowe Bardzo duży / skokowy ruch Trudne do przewidzenia koszty STRACH przed klęską urodzaju! „Gentlemen! Hold your horses! The elephants are coming!” (stare powiedzenie cyrkowe)

Nieprzewidywalne wymagania ● Przykład? Embed z baska.tivi.pl na Facebooku 680Mbit/s przez kilka godzin! „Pałer jak ch**” (Pani Basia - klatkab.tivi.pl)

Zróbmy to sami! Darmowe platformy mogą się nie sprawdzić ● dobre na początek ● brak możliwości brandingu ● brak możliwości monetyzacji (reklamy, kontent płatny i premium) ● brak wpływu na politykę moderacji kontentu ● uwaga na licencje! nasz webmaster da radę! ● wstawimy darmowy player we flashu a pliki FLV wystawimy przez Superhosta, Dreamhost, server4you.com … ● przekodujemy media do FLV (co ze streamingiem live?) ● jak będzie duży ruch? Nasz serwer nie ma limitów transferu! A nawet gdyby pojawił się problem – za 99zł/mc wynajmiemy serwer dedykowany! Zestawienie platform wideo - http://antyweb.pl/ktory-serwis-wybrac-youtube-czy-vimeo-krotki-test-jednego-nagrania/

Śnieży i przerywa ● zle dobrane parametry kodeków wideo zwłaszcza przy streamingu live psują krew! ● słaba jakość (zwłaszcza przy dużej dynamice) ● duży transfer nie adekwatny do jakości ● brak powtarzalności ● długi czas buforowania ● nie wiadomo co zmienić w ustawieniach! ● użytkownicy tego nie cierpią

Śnieży i przerywa ● informatycy nie znają się na wideo – profile kodowania powinny być stałe, ustalone ze specjalistami od produkcji wideo ● udostępnianie wielu profili kodowania (także na komórki, o mniejszej przepływności, HD …) i automatyczne dopasowywanie do łącza użytkownika ● monitoring przepływności wideo, konfigurowanie czasów buforowania playerów i automatyczne zbieranie feedbacku od użytkowników ● czytać, testować, czytać, testować – o kodekach i ich parametrach (h264, VP6, h263)

Nie gra

Nie gra ● okazało się, że nasz serwer ma limity! Zwłaszcza przepustowości do Internetu ● w połowie transmisji skończył się pakiet transferu, na nowy się czeka kilka dni ● niech szlag trafi priorytetyzację pakietów! ● już wiemy dlaczego zagraniczni dostawcy mają tak niskie ceny i jak się do tego ma ich polityka tranzytu ruchu do Polski! ● stać nas na nowy serwer, ale nie bardzo można go dodać (zresztą zajęłoby to dużo czasu!) ● nasz webmaster-admin akurat był na urlopie jak spalił się dysk podczas transmisji, ciekawe czy mamy kopię danych ...

Nie gra ● hosting != serwer, hosting = elastyczna usługa z gwarancją dostępu ● stosowanie replikacji plików zamiast backupów ● stosowanie wielu węzłów buforujących pliki będące w użyciu ● redundancja sprzętu (2N lub N+1, N+2) ● w miarę możliwości peering bezpośredni i udział w polskich węzłach wymiany ruchu ● rozliczanie za faktyczne zużycie! ● zaakceptowanie faktu występowania uszkodzen i minimalizowanie ich wpływu na cały system (zamiast wyrafinowanego sprzętu – dużo serwerów PC zbudowanych z w miarę standardowych komponentów) Zobacz na czym dokładnie warto się skupić: http://beta.simplestorage.pl/jak-to-dziala.html

... nie odpowiadają na maile ● im tanszy hosting, tym gorsza obsługa – zwłaszcza w sieciach zagranicznych ● rekompensata za % niedostępności serwera który kosztuje 300 zł... ● czas reakcji pomocy technicznej to kilka dni, po drodze jest tłumacz zatrudniony w polskim oddziale który nie bardzo rozumie o co chodzi ● zwłaszcza, że nasz admin to farbowany programista ● rozbudowa sprzętu w zasadzie nie wchodzi w grę ● streaming wydarzen live zaczyna przypominać ruletkę

… nie odpowiadają na maile ● jedno data-center i jego „fochy”? Zastosujmy klaster serwerów i kilka centrów danych w różnych rejonach geograficznych ● dane zreplikujmy w kilku data-center – backupy są nie potrzebne, a możliwość przerwy w usłudze – minimalna ● zatrudnijmy administratorów i utwórzmy NOC – z gwarantowanym czasem reakcji! ● stwórzmy system automatycznego monitoringu – wyłączający zepsute/nieaktywne węzły naszego klastra ● dbajmy o automatyczne replikowanie plików po awarii (minimum 2 kopie w różnych DC!)

Mityczny percentyl i czarne chmury ● ceny łączy (pasma!) w Polsce są bardzo wysokie, 100Mbit to koszt kilku tys. zł – co przy skoku na kilka godzin do 500-800Mbit/s? ● a rozliczanie metodą 95. percentyla bywa bardzo ryzykowne! ● przy streamingu live pojedynczy serwer z bardzo dużym pasmem może kosztować nas majątek! ● zagraniczne, niskie ceny ciężko niosą za sobą kruczki* ● zazwyczaj musimy deklarować się z wyprzedzeniem czasowym ile zużyjemy ● ciężko jest zareagować na dynamiczny wzrost ruchu * np. ograniczenia transferu, spadek pasma, współdzielenie pasma, niskie priorytety w tranzycie

Mityczny percentyl i czarne chmury ● lepiej użyć wielu tanich serwerów w różnych lokalizacjach i sumować ich pasmo! ● serwery można w miarę prosto dodawać i zwiększać przepustowość ● dla klienta najlepiej byłoby rozliczać się tylko za zużyty transfer – nie powinny niepokoić go skoki i nie powinien przepłacać ● optymalny model to CDN jako CloudService – S3, Akamai... ● ceny wcale nie są niskie! ● w Polsce, zagraniczne sieci mają mało węzłów – nie ma jakości za którą się płaci! ● szybkość działania (S3) może nie wystarczać dla celów wideo! Z tych doświadczen narodził się pomysł na SimpleStorage!

Co udało nam się osiągnąć ● stworzyliśmy wersję beta Sieci CDN – można ją za darmo protestować pod http://simplestorage.pl ● pliki są replikowane na węzłach ● już teraz oferujemy przepustowość do 2.2 Gbit/s (w tym 600Mbit/s do TPSA) ● ruch do klienta jest kierowany z najbliższego węzła ● obsługujemy standardowe protokoły (SSL, HTTP, WebDAV) i streaming Live (Flash Media Server) ● bardzo dobre łącza do Polski ● mamy produkcyjne wdrożenia (tivi.pl, dominikanie.pl, promoring.pl) ● udało nam się zachować niskie ceny za realne zużycie Zapraszamy do testów na http://simplestorage.pl - wszystkie uwagi mile widziane!

Co udało nam się osiągnąć

Co udało nam się osiągnąć ● rozwijamy oprogramowanie videocms.pl ● to kompletna platforma wideo z obsługą streamingu live, kodowaniem mediów do formatów internetowych, obsługą reklam i modyfikowalnym playerem ● udostępniamy przetestowane profile kodowania i kodeki (h264, vp6, h263) – jakość jest osiągalna < 1Mbit/s! ● hosting zapewnia SimpleStorage, ale klient może zdecydować się także na swój serwer lub inny system CDN (np. S3) Więcej informacji o VideoCMS na stronie http://videocms.pl

Pytania? Zapraszam do zadawania pytan! pkarwatka@divante.pl (chcesz kopię prezentacji? napisz :-) ) Zapraszamy na http://simplestorage.pl oraz http://videocms.pl

Simple Storage - skalowalny hosting video i flash media

by Divante on Mar 19, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

1 Embed 9

Statistics

Simple Storage - skalowalny hosting video i flash media — Presentation Transcript