Downloaded 16 times
Uploaded byOntico
Александр Тоболь, "Одноклассники"
Документ описывает платформа видеостриминга, разработанная Александром Тоболем, которая обрабатывает и хранит 10 миллионов уникальных зрителей в день с 60 миллионами просмотров. Упоминается высокая отказоустойчивость, требования к масштабируемости и поддержку различных форматов и качеств видео. Также детализированы архитектурные компоненты, такие как серверы загрузки, трансформации и раздачи контента, и ключевые технологии, используемые в процессе.
Александр Тоболь, "Одноклассники"
- 1. Платформа сроком в квартал АлександрТоболь Инженер-программист Одноклассники
- 2.
- 3.
- 4.
- 5.
- 6. Аудитория и объемы 10млн уникальных смотрителей в день 60 млн просмотров в день 20 млн классов в день 50 тысяч загрузок видео в день 28.10.13 6
- 7. Видео в цифрах 30млн роликов в базе Исходящий трафик до 100 Гб/сек Загружается 5 ТБ видео в день Входящий трафик до 2 Гб/сек Сохраняем 3 * 2 ТБ в день
- 8. Наш видео парк Хранилище– 70 серверов, 5 ПБ DB + Cache – 30 серверов Трансформация – 60 серверов Раздача и загрузка – 30 серверов
- 9. C чего всеначалось • Решили делать видео на ОК в 2011 • Запустили на платформе сервиса Видео@mail.ru • А сервис стал расти…
- 10. Новые требования –новая платформа • Надежность • Возобновляемая загрузка видео • Воспроизведение видео с любого момента времени • Поддержка мобильных устройств • Эксплуатация - любовь к Java
- 11.
- 12. Загрузка upload server temp storage Требования: •Возобновляемая загрузка видео •Отказоустройчивостьпри потере сервера или ДЦ •Гарантия обработки видео после загрузки
- 13. Загрузка. Балансировка DNS-GSLB ДЦ 1 LVS vu.mycdn.me ДЦ3 LVS ip1 ДЦ 2 ip3 LVS ip2
- 14. Загрузка. Балансировка DNS-GSLB ДЦ 1 LVS vu.mycdn.me ДЦ3 LVS ip1 ДЦ 2 ip3 LVS ip2
- 15. Загрузка. Балансировка DNS-GSLB ДЦ 1 LVS vu.mycdn.me ДЦ3 LVS ip1 ДЦ 2 ip3 LVS ip2
- 16. Распределенная загрузка ДЦ 1 ДЦ3 temp storage ДЦ 2 temp storage temp storage
- 17. Failover загрузка ДЦ 1 ДЦ3 temp storage ДЦ 2 Last-known-byte temp storage temp storage 17
- 18.
- 19. Трансформация Требования: •Преобразование видео в унифицированныйформат (воспроизведение на разных браузерах и платформах) temp storage transformation server •Поддержать 4 качества видео •Отказоустройчивость и масштабируемость persistent storage
- 20.
- 21.
- 22. Очередь на транскодирование Transform server1 upload server temp storage Transform server 2 Transformation queue Transform server N
- 23. Очередь на транскодирование Transform server1 upload server temp storage Transform server 2 Leader Transform server N candidate 1 candidate 2 Zookeeper
- 24. Очередь на транскодирование Transform server1 upload server temp storage Transform server 2 Ex-Leader Transform server N candidate 1 Leader candidate 2 24 Zookeeper
- 25. Трансформация видео ДЦ 1 ДЦ2 ДЦ 3 ДЦ 1 ДЦ 2 ДЦ 3 temp storage ДЦ N Transformation queue persistent storage Transformation server ffmpeg mp4parser MP4, H.264, ACC 426x240 640x360 853x480 1280x720 +preview
- 26. Трансформация. Коррекция длины 15%видео требуют коррекции 26
- 27. Хранение видео 70 серверовx 36 дисков * 2 Tб ~ 5 Пт Zookeeper transformation server ДЦ 1 OBS OBS storage 1 storage 2 storage N storage N+1 storage N+2 ДЦ K storage N+M
- 28.
- 29. Раздача контента Требования: •Отдача видеос любого момента времени или смещения •Высокая нагрузка ~150Gbps •Отказоустойчивость download server persistent storage
- 30. Seek. Video pseudo-streaming Header data1 data2 datam data N 6 Mb v0 a0 v1 a1 vm am vN aN
- 31. Video pseudo-streaming data1 data2 data m v0a0 v1 a1 vm am vN aN start time parameter in the request URL MOOV MOOV data N data m HTTP byterange request data N data m data N
- 32. Video pseudo-streaming MOOV data1 data2 data m dataN Fast start v0 a0 v1 a1 vm am vN aN start time parameter in the request URL MOOV data m HTTP byterange request data N data m data N 32
- 33. Раздача контента Уточнение требований: •Псевдо-стримминг •Кэшированиетолько просмотренной части видео Решение: •Кэшировать видео сегментами по 256Кб •Java (off-heap, shared memory, nio)
- 34. Архитектура раздачи persistent storage download server Segment 256Kb 1-й уровень RAM- 96GB 2-й уровень SSD - 4TB
- 35. Требование к кэшу download server persistent storage требования ~100GB 1-йуровень RAM - 96GB GC tolerance решение ??? LRU 20k/sec persistence 2-й уровень SSD - 4TB ~TB FIFO OBS
- 36. Решение для кэширования Большиеобъемы (~100Gb) + Не оказывает влияния на GC = Off-heap memory Варианты решения • Native код • Direct ByteBuffer • Memory-mapped files • Unsafe + shared memory
- 37. Раздача – результат 80% download eth 4x 10 Gbps 20% eth RAM – 96Gb 1 x 10 Gbps persistent storage SSD - 4Tb 37 Intel(R) Xeon(R) CPU E5-2690 v2 @ 3.00GHz
- 38.
- 39.
- 40. Video pseudo-streaming MOOV atom data1 data2 datam data N Fast start v0 a0 v1 a1 vm am vN aN start time parameter in the request URL MOOV data m HTTP byterange request data N mp4parser data m data N
- 41. Основный вехи октябрь 2010 январь2011 2011 - 2012 Первый комит Запуск на платформе видео@mail.ru Запуск с видео Rutube + Youtube июнь 2012 Загрузка пользовательского видео в платформу видео@mail.ru январь 2013 Первое упоминание о своей видео платформе май 2013 Платформа видео запущена 41 41
- 42.
- 43. Технологии и видеоконвейер Apache Tomcat OBS Zookeeper upload server one-nio download server temp storage OBS persistent storage ffmpeg transformation server
- 44. Результаты • Работоспособность сервисапри отказе одного ДЦ • Возобновление загрузки видео в течение 12 часов • Просмотр видео с любого момента времени во Flash и HTML5 • Высокопроизводительная раздача до 30Gbps с сервера • Поддержка видео на мобильных устройствах
- 45. Осталось доделать • HTML5плеер • «Левые» кодеки • Использование метаданных исходного видео (GPS, например)
- 46.
- 47. Видео стримминг сМарса Август 2012 • 40 Nginx сереров запущенных Amazon EC2 • Тестовая нагрузка ~25Gbps • Отключение серверов • 30 серверов - 25Gbps • 20 серверов - 12Gbps