Платформа для видео сроком в квартал. Александр Тоболь.odnoklassniki.ru
A talk from jokerconf.com conference. "Video Platform in 3 months. Delivered." by Alexander Tobol.
Доклад не затронет какую-то особенную технологию или волшебный алгоритм. Речь пойдет о том, как чуть больше чем за квартал совсем небольшая команда перезапустила работающий в режиме 24/7 совсем немаленький видео-сервис на Одноклассниках на написанной с нуля платформе, развернутой на парке из свыше 200 серверов, распределенных между несколькими центрами обмена данными.
Я бы хотел поделиться успехами и неудачами в ходе решения задачи по обеспечению бесперебойных загрузки, трансформации, хранения, раздачи видео и мониторинга, а также остановиться на особенностях, связанных с нагрузкой в 1000 просмотров в секунду, размером ежедневной аудитории в 8 миллионов географически распределенных в и за пределами РФ. Я также остановлюсь на некоторых использованных нами технологиях.
Про то, что такое цифровое видео, что внутри видеофайла, как их обрабатывать и передавать на расстояния, встраивать в вэб-сайты и почему бесполезно защищать от копирования.
Платформа для видео сроком в квартал. Александр Тоболь.odnoklassniki.ru
A talk from jokerconf.com conference. "Video Platform in 3 months. Delivered." by Alexander Tobol.
Доклад не затронет какую-то особенную технологию или волшебный алгоритм. Речь пойдет о том, как чуть больше чем за квартал совсем небольшая команда перезапустила работающий в режиме 24/7 совсем немаленький видео-сервис на Одноклассниках на написанной с нуля платформе, развернутой на парке из свыше 200 серверов, распределенных между несколькими центрами обмена данными.
Я бы хотел поделиться успехами и неудачами в ходе решения задачи по обеспечению бесперебойных загрузки, трансформации, хранения, раздачи видео и мониторинга, а также остановиться на особенностях, связанных с нагрузкой в 1000 просмотров в секунду, размером ежедневной аудитории в 8 миллионов географически распределенных в и за пределами РФ. Я также остановлюсь на некоторых использованных нами технологиях.
Про то, что такое цифровое видео, что внутри видеофайла, как их обрабатывать и передавать на расстояния, встраивать в вэб-сайты и почему бесполезно защищать от копирования.
2017-04-08 01 Евгений Оськин. Video streaming: от идеи до нагруженной системы
Архитектура аналога youtube в ПГУ
1. Архитектура myvideo
Как работает университетский
Youtube
А.И. Боровинский, Университетский Центр Интернет
2012 г.
2. Зачем университету свой
YouTube?
• Независимость от внешнего поставщика услуг
• Дублирование видео как резервное копирование
• Основа построения университетских
медиасервисов
3. Шаг 1: Загрузка видео
1. Загрузка Оригиналы
Автор
видео
Сайт Myvideo
• Автор загружает видео на сайте
http://www.campus.psu.ru/myvideo
• Сразу создается страница с видео и его превью
из одиночного кадра
4. Преобразование видео
• Не каждый файл видео можно смотреть в
браузере
• Для просмотра с помощью HTML5, видео
должно быть в mp4 и webm
• Для просмотра в Flash Player, видео должно
быть в mp4 или flv
• Высокоскоростной интернет есть не у всех,
поэтому, видео должно быть как в высоком
качестве, так и в низком
• Конвертация видео - процедура долгая, нужно
несколько серверов конвертации Сервера транскодирования
(транскодирования) видео видео
5. Шаг 2: Транскодирование видео
Оригинальное видео
посылается на группу
серверов для
транскодирования в mp4
и webm с разными
2.
тр
ан
разрешениями и
Серверы транскодирования ск
од
ир
битрейтами
видео о ва
ни
е
Сайт Myvideo
6. Хранение видео
Видео может быть много, поэтому,
хранить видео стоит не на одном
файловом сервере, а на нескольких
Файловые сервера
хранения и вещания
видео
(http, rtmp)
Раздаваться видео будет с этих же
серверов по протоколам http (сервер
nginx) и rtmp (сервер erlyvideo)
Пользователь может «перематывать»
без загрузки видео целиком
7. Шаг 3: Загрузка видео на
файловый сервер
3. Сохранение видео на файловых серверах
Сервера транскодирования Файловые сервера
видео хранения и вещания
видео
(http, rtmp)
8. Просмотр видео
Зрители, заходя на сайт Myvideo,
будут смотреть видео с файловых
серверов.
Файловые сервера
хранения и вещания
видео
(http, rtmp)
4. Просмотр
Зрители Ст
ра
ни
ца
с ай
та
Сайт Myvideo
9. Итоговая архитектура
3. Сохранение видео на файловых серверах
Сервера транскодирования Файловые сервера
видео хранения и вещания
2.
тр
ан
видео
ск
од (http, rtmp)
ир
о ва
ни
е
4. Просмотр
Зрители Ст
ра
ни
ца
с ай
та
Оригиналы
видео
Сайт Myvideo
10. Скачивание видео
Механизмов DRM-защиты видео не используется, при
соответствующих навыках, любое видео может быть скачано
Однако, автор может помочь скачиванию видео, опубликовав
кнопку «Скачать»
Скачать можно как оригинальное видео, так и
транскодированное в mp4 и webm
13. Использованное оборудование
Все работает в ЦОДе
До 24 ядер 3.3 ГГц на
виртуальную машину
Сеть 10 Гбит/c
Дисковый массив:
FiberChannel, 4 Гбит/c,
на системе хранения
данных IBM DS 5300