Александр расскажет, как им удалось ускорить более чем в 10 раз старт просмотра кино и сериалов с использованием технологий адаптивного стриминга MPEG-DASH и HLS. Вы узнаете, какие технологии попали в поле зрения команды, как инфраструктурные особенности и размер аудитории, а также специфика потребления на разных пользовательских устройствах повлияли на принятие решение о выборе технологии. И, конечно, будет дан подробный отчет о результатах внедрения и полученном эффекте.

1. «Кадры решают все, или
стриминг видео в
Одноклассниках»
Александр Тоболь

2. • 10 млн уников в сутки по всему миру
• 75 млн просмотров в сутки
• 100 тысяч загрузок в день

3. Видеоплатформа изнутри
temp2
storage
persistent2
storage
upload2
server
download2
server
transformation2
server

4. MPEG1/2/4, DivX, h.264, WMV7/8/9, VC-1
COder DECoder
MP3, AAC, OGG Vorbis, DTS

5. Контейнер
MKV, QuickTime, FLV, 3GP, MP4, .TS

6. Выбор кодека и контейнера
MP4
H.264
AAC
2
2
FLV
H.263
MP3
2
2
WebM
VP8
Vorbis, MP3
2
2

7. Трансформация видео
Transformation2
server
persistent storage
ffmpeg
mp4box2
mp4parser
MP4, H.264, AAC2
144
240, 360, 480
720
1080, 1440
2160
temp storage
Any container/codec2
2
WxH

8. Видео изнутри
temp
storage
persistent
storage
upload
server
download
server
transformation
server

9. mp4 pseudo-streaming
MOOV data1 data2 data m
data N
Fast start v0 a0 v1 a1 vN aN
vm am
HTTP 2
byte-range
request
data m data N
start time
parameter in
the request
URL
MOOV data m data N

10. «Длинный хвост»

11. Архитектура раздачи
download
server
persistent
storage
RAM - 96GB
SSD - 4TB
1-й уровень
2-й уровень
Segment
256Kb
LRU
FIFO

12. sendfile vs send
download
server
LRU 1-й уровень RAM - 96GB
/dev/shm/cache.mem
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);
ssize_t send(int sockfd, const void *buf, size_t len, int flags);

13. Производительность раздачи
download
persistent
storage
RAM – 96Gb2
SSD - 4Tb
eth2
eth2 1 x 10 Gbps
4 x 10 Gbps
80%
20%

14. Появились видео от блогеров и партнеров -
сериалы, шоу, кино

15. Двухчасовой mp4 фильм в среднем стартует:
- 12 секунд в проводных сетях
- 21 секунду в мобильных сетях

16. Что происходит?
Header data1 data2… data k … data N
6 Mb

17. - перемотка фильма занимает 6 секунд
- 30% буферизаций ведут к закрытию плеера

18. Задачи
1. Ускорить старт видео в 2-3 раза
2. Ускорить перемотку в 3-6 раз
3. Уменьшить колличество беферизаций2
4. Решить проблему на мобильных устройствах

19. Автокачество в зависимости от разрешения
окна плеера и скорости Интернет

20. Технологии стриминга
Параметр
кодек любой h264,aac
контейнер MP4, MPEG2-TS MPEG2-TS
HLS HDS
автокачество mpd m3u8
flash dash.as
plugins
HTML5 Chrome, dash.js Safari -
device Android iOS, Android 4
SmartTV
h264,mp3,aac
f4m
MPEG-DASH
f4v
native
-

21. Распространение протоколов
статистика от wmspanel.com

22. Dynamic Adaptive Streaming over HTTP
Header data1 data2 … data k … data N
He data1 data2… data k … data N
MP4
MPEG-DASH
MPEG2-TS

23. MPEG-DASH manifest
He data1 data2… data k … data N
He data1 data2… data k … data N
He data1 data2… data k … data N
http://example.com/manifest.mpd
2
<MPD xmlns="urn:mpeg:DASH:schema:MPD:
2011"
mediaPresentationDuration="PT0H3M1.63
S" minBufferTime="PT1.5S"
profiles="urn:mpeg:dash:profile:isoff
-on-demand:2011"2
type="static">2
<Period duration="PT0H3M1.63S"
start="PT0S">
144p
720p
2160p
bandwidth
time

24. Http Live Streaming
MPEG2 Transport stream
http://example.com/video.m3u8
2
#EXTM3U
#EXT-X-STREAM-INF:BANDWIDTH=200000
lowest.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=311111
low.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=484444
medium.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=737777
high.m3u8
http://example.com/lowest.m3u8
…
http://example.com/low.m3u8
…
http://example.com/medium.m3u8
…
http://example.com/lowest.m3u8
2
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:11
#EXTINF:10.083333,
high000.ts
#EXTINF:9.958333,
high001.ts
#EXTINF:10.000000,
high002.ts
…
http://example.com/
high000.ts
http://example.com/
high001.ts
http://example.com/
high002.ts

25. Простое решение
dash
FFMPEG
Upload FFMPEG
mp4
MP4BOX
hls
10Пб x 3

26. Экономное решение
h264
Upload dash
persistent
storage
mp4
hls
aac
download
server
Delta
transformation
server

27. Проблемы HLS
HLS 1.ts 2.ts … k.ts … N.ts
MPEG2-TS …
40Гбит/сек по 188байт пакет = 26 млн пакетов в сек

28. Решение
persistent2
storage
mp4, h264, aac
Delta
HLS
DASH

29. MPEG-DASH поток на лету

30. Кодирование MPEG-DASH
Header data1 data2 … data k … data N
He data1 data2… data k … data N
He
He Offsets
MP4
DASH
DELTA
transformation
server

31. Раздача MPEG-DASH
He
He
Header data1 data2… data k … data N
He data1 data2… data k… data N
DELTA
MP4
DASH
download
server

32. Проблемы DASH
Header data
Header data
He data1 data2… data k … data N
He data1 data2… data k … data N
720p
2160p
MP4
fragmented MP4
720p
2160p
Header data
MP4
Header data
720p
2160p

33. FLASH плеер и MPEG-DASH формат
ФИЧИ:2
1. Интерлив видео/аудио2
2. Замена UrlLoader на UrlStream 2
3. Доработка алгоритма Автокачества2
4. Умный ретрай, кеширование sidx2
5. Умный фронтбуффер2
6. Работа с частично битым видео 2
7. Идеальный интерлив меседжей и
борьба с хрюканием
Базовая as3 реализация dash https://github.com/
castlabs/dashas

34. HLS поток на лету

35. Кодирование HLS
Upload FFMPEG mp4 FFMPEG
mpeg2
fragments
m3u8
playlist
delta index
delta
persistent
storage

36. Panda diff
MPEG2 …
MP4 …
DELTA
INDEX

37. Производительность раздачи
download
persistent
storage
RAM – 96Gb2
SSD - 4Tb
eth2
eth2 1 x 10 Gbps
4 x 10 Gbps
80%
20%
MP4 ~ 40 Гбит/сек
DASH ~ 40 Гбит/сек
HLS ~ 10 Гбит/сек

38. Результаты

39. Параметр
старый формат (MP4)
2
средняя длина/2 часа
adaptive bitrate streaming
MPEG-Dash/HLS
средняя длина/2 часа
старт 4 сек/12 сек 1.5 сек
перемотка 4 сек/12 сек 1.3 сек
стоимость хранения - +10%
стоимость раздачи - +20% CPU
Первый кадр в 6 раз быстрее!

40. Мобильные экраны – смартфоны, планшеты, SmartTV

41. ИТОГО
1. DASH-видео на FLASH2
2. DASH-видео на HTML-5 плеерах на
стандартной библиотеке dash.js
3. Автоматически выбор качества в зависимости
от разрешения и скорости Интернет2
4. HLS видео в iOS- плеерах и SmartTV
5. Экономное хранение форматов и сохранение
скорости раздачи

42. Быстрее нас только этот
мужчина в болиде!
Быстрее нас только этот чувак в красном!

43. Спасибо