Опыт работы с Android Media Framework

1. Опыт работы с Android
Media Framework
на примере приложения Cinepic

2. CINEPIC
● Собрать на Android
● API 18+
● Совместимо с 80%+ устройств
2

3. Фон клипа
● Подготовка фото
● Применение жестов Scale Up/Down, Translate
● Сохранение матрицы трансформации
3

4. ● Очень не надежно
● Ресурсоемко
● Медленно
Превью в ячейке. Шаг первый
4
SurfaceView MediaPlayer
VideoView
+
=

5. ● Надежно но не быстро
Превью в ячейке. Шаг второй
5
TextureView MediaPlayer
TextureVideoView
+
=

6. UI Thread
Превью в ячейке. Шаг третий
6
TextureView MediaCodec+ <=PlaybackController
AsyncThread
Кадры

7. То что нужно
● Максимально быстро
● Минимум памяти
● Минимум поддержки
● … но трудоемко
7

8. Трансформация видео во View
8
TranslateListener
ScaleListener
(-x,-y)
(0, 0)
Rect ImageBounds
ViewBounds

9. Эффекты
9
TextureView=>VideoStream <=
OpenGL ES ObjectAnimator
Fade In/Out
Scale Up

10. Ffmpeg
10
● Тяжелая
● Сложно поддерживать
ffmpeg module
Input params + Video Resized video

11. Транскодирование из коробки
11
MediaDecoder MediaEncoder=> => MediaMuxer

12. Intel Inde
● Компактная
● Может заменять кадры
● Есть сэмплы
● На основе MediaCodec
● Рендерит с помощью OpenGL ES
12

13. Извлечение кадров
13
MediaDecoder Surface DataExtractor FrameSaver
OpenGL ES

14. OpenGL ES
Заготовка Preview
14
Scene Drawer Surface MediaEncoder MediaMuxer

15. Рендеринг клипа
15
Frame Drawer
Tile Frame
Composer
Intel Inde frame
Composer
0 ms 15000 ms….
время
Frame
Provider
N times

16. Результаты работы c Video
16
Плюсы
● Совместимость с большинством устройств
● Скорость рендеринга и отрисовки
● Минимальное использование памяти
● Поддержка популярных видео форматов
Минусы
● Время подготовки preview

17. 17
Аудио в Cinepic
Пользователь хочет:
● Загружать в проект существующий аудиофайл
● Записывать звуковой фрагмент используя микрофон смартфона
● Выбирать пятнадцати-секундный фрагмент и добавлять его к видео в
качестве звуковой дорожки
● Видеть waveform при записи и редактировании

18. 18
Аудио в Android

19. 19
Формат

20. 20
Конвертация
● MediaCodec?
● ffmpeg?
● aac-encoder?
MP3 m4a

21. 21
Конвертация
MP3 wav m4a
JLayer decoder
MediaCodec + MediaMuxer

22. 22
Конвертация
Создание кодека по имени кодера/декодера:
● OMX.google.aac.encoder
Создание кодека по MIME- типу
● audio/mp4a-latm

23. ● Формирование очереди входных данных:
codec.queueInputBuffer(inputBufIndex, 0, bytesRead, presentationTimeUs, 0);
● Теоретический рассчёт времени смещения:
presentationTimeUs = 1000000 * (totalBytesRead / SAMPLING_RATE);
● Фактический рассчёт времени смещения:
presentationTimeUs = 1000000 * ((totalBytesRead / (SAMPLING_RATE/10000)) / SAMPLING_RATE);
Конвертация
23

24. MP4Parser
● Вырезаем
Movie srcAudio = MovieCreator.build(srcAudioPath);
Track track = srcAudio.getTracks().get(0);
Movie cropped = new Movie();
cropped.addTrack(new AppendTrack(new CroppedTrack(track, startSample, endSample)));
● Добавляем
Movie src = MovieCreator.build(srcVideo);
Movie audio = MovieCreator.build(croppedAudio);
src.addTrack(audio.getTracks().get(0));
24

25. Визуализация
MediaRecorder
● getMaxAmplitude()
● ~60ms
● 32767
25

26. RingDroid
● < 2.7.2 - CheapMP3, CheapAAC!
● 2.7.+ SoundFile :(
26
Визуализация

27. Итоги
27

28. 28

29. Вопросы?
29