Ruby で ffmpeg の filter_complex と戯れる話

1. Ruby で ffmpeg の filter_complex と戯れる話
OPEN8 Inc.
スタートアップテック vol.1： Ruby LT大会 2018.11.29

2. 自己紹介
名前 : 川島 嘉一
会社 : OPEN8 Inc.
部署 : テクノロジー開発本部 インフラ・データ基盤部
経歴 : Web系のインストラクター -> ECパッケージの受託開発 -> 現在
インフラとか管理してそうな部に所属はしてるけど、
コードも書くし、CTOの雑用も手伝うし、なんでもやる

6. 弊社に必須のツール

7. 弊社に必須のツール
ffmpeg

8. ffmpeg の実際に使うコマンド
/usr/bin/ffmpeg -y -r 15 -i /opt/shared/revisions/revision1/sources/out_param/w_%d.bmp -
i ./assets/input/overlay.png -i ./assets/input/soundless.mp3 -i ./assets/input/soundless.mp3 -
i ./assets/input/soundless.mp3 -filter_complex "[0:v]fps=fps=15[img];
[img][1:v]overlay=x=0:y=0[img]; [2:a]atrim=duration=4.2,asetpts=PTS-STARTPTS[2a];
[3:a]atrim=duration=5,asetpts=PTS-STARTPTS[3a]; [4:a]atrim=duration=5.5,asetpts=PTS-
STARTPTS[4a]; [2a][3a][4a]concat=n=3:v=0:a=1[CONCAT_AUDIO]" -map [img] -map
[CONCAT_AUDIO] -s 1920x1080 -crf 22 -movflags faststart -vcodec libx264 -pix_fmt
yuv420p -strict -2 -c:a aac -ac 2 -progress -
/opt/shared/revisions/revision1/outputs/output.mp4

9. ffmpeg の実際に使うコマンド
/usr/bin/ffmpeg -y -r 15 -i /opt/shared/revisions/revision1/sources/out_param/w_%d.bmp -
i ./assets/input/overlay.png -i ./assets/input/soundless.mp3 -i ./assets/input/soundless.mp3 -
i ./assets/input/soundless.mp3 -filter_complex "[0:v]fps=fps=15[img];
[img][1:v]overlay=x=0:y=0[img]; [2:a]atrim=duration=4.2,asetpts=PTS-STARTPTS[2a];
[3:a]atrim=duration=5,asetpts=PTS-STARTPTS[3a]; [4:a]atrim=duration=5.5,asetpts=PTS-
STARTPTS[4a]; [2a][3a][4a]concat=n=3:v=0:a=1[CONCAT_AUDIO]" -map [img] -map
[CONCAT_AUDIO] -s 1920x1080 -crf 22 -movflags faststart -vcodec libx264 -pix_fmt
yuv420p -strict -2 -c:a aac -ac 2 -progress -
/opt/shared/revisions/revision1/outputs/output.mp4

10. 話の流れ
1. filter_complex
2. どのように実装したか
3. 今後やっていきたいこと

11. 話の流れ
1. filter_complex
2. どのように実装したか
3. 今後やっていきたいこと

12. filter_complex
● 複雑な処理を一度に行うためのオプション
● filter, filter_chain, filter_graph の3つの要素で構成されている

13. filter
1. "[0:v]fps=fps=15[img];[1:a]atrim=duration=20,afade=type=out:start_time=20:duration=0.0[OA1]"
2. "[0:v]fps=fps=15[img];[1:a]atrim=duration=20,afade=type=out:start_time=20:duration=0.0[OA1]"
3. "[0:v]fps=fps=15[img];[1:a]atrim=duration=20,afade=type=out:start_time=20:duration=0.0[OA1]"
filter

14. filter_chain
1. "[0:v]fps=fps=15[img];[1:a]atrim=duration=20,afade=type=out:start_time=20:duration=0.0[OA1]"
2. "[0:v]fps=fps=15[img];[1:a]atrim=duration=20,afade=type=out:start_time=20:duration=0.0[OA1]"
3. "[0:v]fps=fps=15[img];[1:a]atrim=duration=20,afade=type=out:start_time=20:duration=0.0[OA1]"
filter_chain

15. filter_graph
1. "[0:v]fps=fps=15[img];[1:a]atrim=duration=20,afade=type=out:start_time=20:duration=0.0[OA1]"
2. "[0:v]fps=fps=15[img];[1:a]atrim=duration=20,afade=type=out:start_time=20:duration=0.0[OA1]"
3. "[0:v]fps=fps=15[img];[1:a]atrim=duration=20,afade=type=out:start_time=20:duration=0.0[OA1]"
filter_graph

16. filter_complex
filter
filter_chain
filter_graph
filter
filter
filter_chain
filter

17. 本日のアジェンダ
1. filter_complex
2. どのように実装したか
3. 今後やっていきたいこと

18. どのように実装したか
● filter class
● filter chain class ( N filters )
● filter_graph class ( N filter_chains ( N filters ))

19. どのように実装したか
● filter class
● filter chain class ( N filters )
● filter_graph class ( N filter_chains ( N filters ))
- filter_complex
|-filter
|- xx_filter.rb
|-filter_chain
|- xx_chain.rb
|-filter_graph
|- xx_graph.rb

20. どのように実装したか
● filter class
● filter chain class ( N filters )
● filter_graph class ( N filter_chains ( N filters ))
- filter_complex
|-filter
|- xx_filter.rb
|-filter_chain
|- xx_chain.rb
|-filter_graph
|- xx_graph.rb
それぞれの責務を明確に切り分ける!

21. filter class

22. filter_chain class

23. filter_graph class

24. どのように実装したか
filter_graph_list [.....]
filter_chain_list [......]
filter_list [.....]
xx.join

25. ffmpeg の実際に使うコマンド
/usr/bin/ffmpeg -y -r 15 -i /opt/shared/revisions/revision1/sources/out_param/w_%d.bmp -
i ./assets/input/overlay.png -i ./assets/input/soundless.mp3 -i ./assets/input/soundless.mp3 -
i ./assets/input/soundless.mp3 -filter_complex "[0:v]fps=fps=15[img];
[img][1:v]overlay=x=0:y=0[img]; [2:a]atrim=duration=4.2,asetpts=PTS-STARTPTS[2a];
[3:a]atrim=duration=5,asetpts=PTS-STARTPTS[3a]; [4:a]atrim=duration=5.5,asetpts=PTS-
STARTPTS[4a]; [2a][3a][4a]concat=n=3:v=0:a=1[CONCAT_AUDIO]" -map [img] -map
[CONCAT_AUDIO] -s 1920x1080 -crf 22 -movflags faststart -vcodec libx264 -pix_fmt
yuv420p -strict -2 -c:a aac -ac 2 -progress -
/opt/shared/revisions/revision1/outputs/output.mp4

26. 話の流れ
1. filter_complex
2. どのように実装したか
3. 今後やっていきたいこと

27. 今後やっていきたいこと
プロダクト開発初期は、開発スピードに重点を置いていたので、
Rubyを選択した. しかし、型のvalidation を設定したいので、
強い型付けの言語にしたい.

28. ffmpeg 用の gem の紹介
● ある
● streamio-ffmpeg ( https://github.com/streamio/streamio-ffmpeg)
● ffmpeg の ラッパー
● 本格的にffmpeg 使いたい時には物足りない
● 基本的に 1 つの素材を想定して作っている

29. イケてない箇所

30. エンジニア募集中です！
Rubyだけじゃなく、iOS, Androidエンジニアも募集！
詳しくは懇談会ででも！