Презентация к лекции https://vk.com/event90111558

1. Android: низкоуровневые
мультимедиа API
И их применение в реальной жизни
Григорий Клюшников
Android-разработчик ВКонтакте
vk.com/grishka
Telegram: @grishka

2. Как это работает: медиаплеер
(простой случай: локальный аудиофайл)
Файл Парсер Кодек

3. Как это работает: медиаплеер
(случай сложнее: локальное видео)
Файл Парсер
Кодек
Кодек

4. Как это работает: медиаплеер
(потоковое видео)
Буфер Парсер
Кодек
Кодек

6. android.media.MediaPlayer

7. MediaPlayer player = new MediaPlayer();
player.setDataSource("http://example.com/song.mp3");
player.prepare(); // blocking
player.start();
// Не забудьте освободить ресурсы!

8. Суровая реальность: кэш
Буфер Парсер Кодек

9. Суровая реальность: кэш
Буфер Парсер Кодек

10. Суровая реальность: кэш
Буфер Парсер Кодек

12. Суровая реальность: кэш
Буфер Парсер Кодек

13. Суровая реальность: кэш
Буфер Парсер Кодек
HTTP-
прокси

14. Суровая реальность: кэш
Буфер Парсер Кодек
HTTP-
прокси
Файл

15. Суровая реальность: кэш
https://psv4.vk.me/c422431/u67616085/audios/37c79c8bdcd…
http://127.0.0.1:5483/?https%3A%2F%2Fpsv4.vk.me%2Fc4224…

16. Суровая реальность: сеть
LTE

17. Суровая реальность: сеть
LTE

18. Суровая реальность: сеть
LTE

19. Суровая реальность: сеть
3G

20. Суровая реальность: сеть
E

21. Суровая реальность: сеть
E

22. Суровая реальность: сеть
E

23. Суровая реальность: сеть

24. Суровая реальность: сеть
При воспроизведении
произошла ошибка

25. Суровая реальность: сеть
LTE

26. ExoPlayer

27. ExoPlayer

28. ExoPlayer
MediaPlayer
Логика плеера
Сеть Буферизация Разделение Распаковка Вывод

29. ExoPlayer
MediaExtractor
Сеть Буферизация Разделение Распаковка Вывод
Логика плеера
MediaCodec AudioTrack
Плеер уровня приложения

30. ExoPlayer

31. ExoPlayer
E

32. ExoPlayer
E

33. DIY
Своя реализация
Сеть Буферизация Разделение
Распаковка Вывод
Логика плеера
MediaCodec AudioTrack
Плеер уровня приложения

34. Буферизация и кэширование
одновременно: почему бы и нет?
1708231_352255247.part

35. Буферизация и кэширование
одновременно: почему бы и нет?
1708231_352255247.part
ID3

36. Буферизация и кэширование
одновременно: почему бы и нет?
1708231_352255247.part
ID3

37. Буферизация и кэширование
одновременно: почему бы и нет?
1708231_352255247.part
ID3 Сжатые данные (в виде фреймов)

38. Буферизация и кэширование
одновременно: почему бы и нет?

39. Буферизация и кэширование
одновременно: почему бы и нет?
• OkHttp

40. Буферизация и кэширование
одновременно: почему бы и нет?
• OkHttp
• Докачка

41. Буферизация и кэширование
одновременно: почему бы и нет?
• OkHttp
• Докачка
• Предсказуемая буферизация

42. Буферизация и кэширование
одновременно: почему бы и нет?
• OkHttp
• Докачка
• Предсказуемая буферизация
• Переполучение ссылок при смене IP

43. Буферизация и кэширование
одновременно: почему бы и нет?
• OkHttp
• Докачка
• Предсказуемая буферизация
• Переполучение ссылок при смене IP
• Отлично работает в метро (я проверял)

44. MediaCodec codec = MediaCodec.createDecoderByType("audio/
mpeg");
MediaFormat format = MediaFormat.createAudioFormat("audio/
mpeg", sampleRate, isMono ? 1 : 2);
MediaCodec.BufferInfo info=new MediaCodec.BufferInfo();
codec.configure(format, null, null, 0);
codec.start();
ByteBuffer[] in=codec.getInputBuffers();
ByteBuffer[] out=codec.getOutputBuffers();
!
AudioTrack track=new AudioTrack(AudioManager.STREAM_MUSIC,
sampleRate, isMono ? AudioFormat.CHANNEL_OUT_MONO :
AudioFormat.CHANNEL_OUT_STEREO,
AudioFormat.ENCODING_PCM_16BIT, 10240*4,
AudioTrack.MODE_STREAM);
track.play();

45. while (!endOfStream) {
int inIndex = codec.dequeueInputBuffer(-1);
if (inIndex >= 0) {
in[inIndex].clear();
in[inIndex].position(0);
in[inIndex].put(frameData, 0, frameSize);
codec.queueInputBuffer(inIndex, 0, frameSize, sampleTime,
0);
}
int outIndex = codec.dequeueOutputBuffer(info, 1000);
if (outIndex >= 0) {
out[outIndex].position(info.offset);
out[outIndex].get(codecBuffer, 0, info.size);
track.write(codecBuffer, 0, info.size);
codec.releaseOutputBuffer(outIndex, false);
}
}

46. Видео

47. Видео
(всё очень плохо)

48. Видео
(всё очень плохо)
(раньше было ещё хуже)

49. Приложение AskVideoAnswer

50. Приложение AskVideoAnswer
• Использует
недокументированное API
Ask.fm

51. Приложение AskVideoAnswer
• Использует
недокументированное API
Ask.fm
• Сжимает видео перед
отправкой

52. Приложение AskVideoAnswer
• Использует
недокументированное API
Ask.fm
• Сжимает видео перед
отправкой
• Сделано в стиле Material
Design

53. Приложение AskVideoAnswer
• Использует
недокументированное API
Ask.fm
• Сжимает видео перед
отправкой
• Сделано в стиле Material
Design
• Позволяет доминировать
над пользователями iOS

55. Что такое видеофайл?
Заголовок

56. AVI = Audio/Video Interleaved
(но мы будем говорить про mp4)

57. MediaExtractor
MediaMuxer

58. 4.3+
API level 18

59. Файл MediaExtractor
MediaCodec
decoder
MediaCodec
decoder
Уменьшение
размера кадра
MediaCodec
encoder
MediaCodec
encoder
ФайлMediaMuxer

60. Цветовое пространство YUV

61. Цветовое пространство YUV

62. Цветовое пространство YUV
Y U V

63. Уменьшаем кадры правильно

64. private static void resizeYuvFrame(byte[] from, byte[] to, int w,
int h, int sample){
int tw = w / sample;
int th = h / sample;
// Y
for(int y = 0; y < th; y++) {
for(int x = 0; x < tw; x++) {
to[y*tw+x] = from[y * sample * w + x * sample];
}
}
// UV
int offset = tw * th;
for(int y = 0; y < th / 2; y++) {
for(int x = 0; x < tw / 2; x++) {
int uIndex = y * sample * w + x * sample * 2;
to[offset] = from[w * h + uIndex]; // u
to[offset + 1] = from[w * h + uIndex + 1]; // v
offset += 2;
}
}
}

65. Фрагментация
Кадр здорового человека
Кадр курильщика
Qualcomm

66. /* get frame tile coordinate. XXX: nothing to be understood
here, don't try. */
— исходный код VLC

67. Приложение-пример

68. Q & A
Ссылка на приложение-пример
на GitHub
Григорий Клюшников
vk.com/grishka
Telegram: @grishka