Документ описывает разработку дешевый видео-хостинга в условиях кризиса, его функционирование, проблемы доступности и эксрагизму системы. Основное внимание уделяется оптимизации затрат и увеличению доступности сервиса с использованием готового программного обеспечения и принципов простоты. Успешные результаты включают существенное снижение нагрузки на базу данных и улучшение экономии трафика.

1. Делаем дешевый видео-хостинг в условиях кризисаСергей НековальДенис Елданди«Грамант»

2. ВступлениеСервис позволяет пользователям бесплатно загружать и просматривать видео-контент (японский аналог YouTube);Работает более 9 лет

3. Основной источник дохода – реклама.

4. Показов в сутки – более 18 млн., 5 ТБ трафика

5. Зарегистрированных пользователей – более 150 тыс.

7. Проблемы?

8. Регулярные проблемы с доступностью (до 2 «крушений» в неделю)Расширяемость. Исходный код – месиво из Perl, PHP, Ruby и даже Scheme.Попытки решить проблему с помощью «Page generation».

9. Экономика должна быть экономной! Сократить издержки

10. Увеличить время доступности (а значит, и рекламный трафик)

11. Привести систему в состояние, позволяющее её развивать и монетизировать сервисНаши целиЭкономия на стоимости разработкиЭкономия трудозатрат на поддержкуЭкономия железа и трафика

12. Разработка

13. Принцип АК-47

14. Принцип АК-47Простота в изготовлении и обслуживанииИзбегаем изобретать велосипеды и используем готовый софт«Правило 5 минут» - грубая, но эффективная стрельба

15. Жизненно важные органыФайловое хранилищеБаза данныхВеб-серверы

16. Файловое хранилище

18. Файловое хранилищеlighttpd 1.4 + mod_flv_streamingFTP + HTTPРепликацияGarbage CollectionВидео-файлы бывают дорогие и дешёвые!

19. База данныхPostgreSQL 8.3Skytools 2.1.10memcached

20. Падаем красивоПадение encoding-процессаПадение БДПадение всего, кроме web-сервера

22. Кэширование

23. Веб-серверКонтроль памяти (Ruby)Регулировка Fast CGI-пула

24. Поддержка

25. Вкалывают роботы, а не человек!Автоматический мониторингСамолечение«Упал-отжался»

26. МониторингLogs (syslog)

27. Alerts (Tenshi + Zenoss Core)

28. Performance Data (Zenoss Core)

29. Железо и Трафик

30. Сервер железный – он выдержит!CPU – большерабочих процессов (Encoding)Память – больше кэш (memcached)Лишние диски – продать!Трафик – направляем туда, где он дешевле

31. Управление трафикомСерверы media - $$$Серверы smedia - $$CDN (FreParNet) - $

33. РезультатыРадикально снижена нагрузка на БДEncoding Server – усовершенствованная очередь, использует 100% CPUWeb Server – выровнены напильником многочисленные проблемы lighttpd

34. РезультатыБыстрая разработка и развитие сервиса в стиле AK-47Существенное удешевление поддержкиСущественное удешевление трафика

35. Вопросы?Сергей Нековаль / snekoval@gramant.ruДенис Елданди / dyeldandi@gramant.ru