Алексей Акулович ВКонтакте Сквозь тернии к своей платформе live трансляций

1. Сквозь тернии
к своей платформе
live трансляций
Алексей Акулович Backend разработчик ВКонтакте
2017.03.31#11

2. Мультимедиа backend:
Чем я вообще занимаюсь?
Видео Пуши
Фотографии Истории
Аудио Голосовые сообщения
Документы Live трансляции

3. План
История и требования
Какие решения пробовали, плюсы и минусы
Архитектура сейчас

4. live трансляции
Один стримит
Много (очень много) смотрят
Маленькие задержки

5. Предыстория
Стороннее решение
Встраиваемый плеер
Единичные трансляции
Большая задержка

6. Задержка сигнала
Захват
Кодирование
Передача
Декодирование
Отображение
Пост на тему https://habrahabr.ru/post/265675/

7. Протокол передачи
Минимальные задержки
RTMP
RTSP
Ощутимые задержки
HLS
DASH

8. Варианты использования
Контроль Задержка Обработка
Наши приложения ЕСТЬ МИНИМАЛЬНАЯ НЕ НУЖНА
Сторонний софт НЕТ НЕ ИЗВЕСТНО НУЖНА

9. Протокол передачи
Без обработки
RTMP
С обработкой / fallback
HLS

10. План
История и требования
Какие решения пробовали, плюсы и минусы
Архитектура сейчас

11. Медиа-серверы
Red5
Erlyvideo/Flussonic
Wowza
nginx rtmp module *

12. Red5
Субъективно “как Wowza, только хуже”
Не лучшие отзывы от тех, кто пробовал ранее
Не стали тестить. Вот такие мы ненаучные :)

13. Erlyvideo/Flussonic
Отечественная команда
Не заинтересовались сотрудничеством
Не стали рисковать

14. Wowza
Очень популярная
Использовалась в дружественном проекте
Взяли на тесты

15. Задержка в HLS через Wowza

16. Wowza плюсы
Много всего умеет

17. Wowza минусы
“Форум-ориентированное” конфигурирование

18. Wowza минусы
“Форум-ориентированное” конфигурирование
Ехал XML через XML

19. Wowza минусы
“Форум-ориентированное” конфигурирование
Ехал XML через XML
Для callback нужно писать модуль на Java

20. Wowza совсем минусы
Уже на тестах свопила машину (16G RAM + 4G SWAP)

21. Wowza совсем минусы
Уже на тестах свопила машину (16G RAM + 4G SWAP)
Иногда битые записи при реконнектах стримеров

22. Nimble Streamer

23. Nimble Streamer
Отечественная команда
Заинтересовались сотрудничеством
Нужные нам фичи уже были в их планах
Была своя клиентская либа для iphone/android
Сервер написан на C++

24. Nimble Streamer
Бинарник самого сервера (бесплатно)
so’шка транскодера (платно)
Внешняя панель для управления и API (платно)

25. Nimble Streamer - панель управления

26. Nimble Streamer - панель управления

27. Nimble Streamer плюсы
Интерфейс панели
Потребление ресурсов cpu/mem
API для настройки и получения состояния
Панель+транскодер стоят ощутимо дешевле Wowza

28. Nimble Streamer минусы
Первоначально очень сырой
Задача
Баг
ТП
Обно-
вление

29. $ curl https://site.com/playlist.m3u8
#EXTM3U
https://site.com/chunks.m3u8
$ curl https://site.com/chunks.m3u8
#EXTM3U
chunk0.ts
chunk1.ts
<...>
$ curl https://site.com/chunk0.ts
<...>
Nimble Streamer минусы - m3u8

30. $ curl https://site.com/playlist.m3u8
#EXTM3U
http://site.com/chunks.m3u8
nginx conf:
sub_filter 'http://site.com' 'https://site.com;
sub_filter_once on;
sub_filter_types 'application/vnd.apple.mpegurl';
Nimble Streamer минусы - m3u8

31. Nimble Streamer минусы - API
Запросы к стороннему домену API

32. Nimble Streamer минусы - API
Запросы к стороннему домену API
Доступ по whitelist с отдельными IP (без подсетей)

33. Nimble Streamer минусы - API
Запросы к стороннему домену API
Доступ по whitelist с отдельными IP (без подсетей)
Nimble синхронизируется с API время от времени

34. Nimble Streamer минусы - API
Запросы к стороннему домену API
Доступ по whitelist с отдельными IP (без подсетей)
Nimble синхронизируется с API время от времени
Docker + nginx tcp proxy + hosts

35. Nimble Streamer минусы - API
Запросы к стороннему домену API
Доступ по whitelist с отдельными IP (без подсетей)
Nimble синхронизируется с API время от времени
Docker + nginx tcp proxy + hosts
Настраивается не всё

36. Nimble Streamer минусы - ABR

37. Nimble Streamer минусы - ABR

38. Nimble Streamer минусы - DVR
Хранение записанных трансляций на диске
У каждого стримера своя папка на все его стримы
Удалить можно только целой папкой
Но есть лимиты по времени и по месту

39. План
История и требования
Какие решения пробовали, плюсы и минусы
Архитектура сейчас

40. Архитектура
рабочийстример зритель
RTMP
RTMP
HLS

41. Архитектура - входящий стрим
входящийстример рабочий
RTMP RTMP
зритель
RTMP
HLS

42. Архитектура - входящий стрим
Внутренности
nginx rtmpстример рабочий
RTMP RTMP
https://github.com/arut/nginx-rtmp-module

43. Архитектура - входящий стрим
rtmp {
application myapp {
live on;
on_publish http://localhost:8080/remote_redirect;
notify_method get;
}
}
http {
location /remote_redirect {
rewrite ^.*$ rtmp://1.2.3.4/app/$arg_name? permanent;
}
}
https://github.com/arut/nginx-rtmp-module/wiki/Directives#on_play

44. Архитектура - входящий стрим
Внутренности
nginx rtmpnginx rtmpстример
RTMP
https://github.com/arut/nginx-rtmp-module

45. Архитектура - раздача
Внутренности
раздающийрабочий зритель
RTMP
HLS
RTMP
HLS

46. Архитектура - раздача
Внутренности
nginx зритель
RTMP
HLS

47. Архитектура - раздача
Внутренности
nginx зритель
RTMP
HLS

48. Архитектура - раздача
рабочий
рабочий
раздающий
раздающий
раздающий
раздающий
Внутренности
зритель
зритель
зритель
зритель

49. Архитектура - раздача
рабочий
рабочий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий зритель
Внутренности
зритель
зритель
зритель

50. Архитектура - раздача
рабочий
рабочий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий зритель
Внутренности
зритель
зритель
зритель

51. Архитектура - раздача
раздающий
демон
раздающий
демон
раздающий
демон

52. Архитектура - раздача
$ curl -v https://site.com/stream_name
< HTTP/1.1 302 Moved Temporarily
< Location: rtmp://site.com/stream_name
$ curl -v https://site1.com/stream_name
< HTTP/1.1 302 Moved Temporarily
< Location: https://site2.com/stream_name

53. Архитектура - раздача
рабочий
рабочий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий
зритель
Внутренности

54. Архитектура
входящийвходящий
рабочий
рабочий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий
раздающий
стример зритель
Внутренности

55. Что было
Dota2 The International в августе 2016 — 24к
Dota2 The Boston Major в декабре 2016 — 26к
Футбольные матчи — 34к

56. Что есть
iPhone — 3-4кк просмотров в день
iPhone + Android — 5-7кк в день (пик 11кк)
200к новых стримов в день (пик 330к)
Нагрузку вообще не замечаем :)

57. Что есть
Хранятся записи всех лайвов
Есть “бесконечные” стримы

58. Что хочется

59. Вопросы?
vk.com/ac
conf@ater.me
Алексей Акулович Backend разработчик ВКонтакте