横浜Androidプラットフォーム部第13回勉強会で発表した資料です。

1. Stagefright 入門 ~ Android Multimedia~ 横浜 Android プラットフォーム部 第13回勉強会 2011/9/19 @ l_b__

3. ソース自体は Eclair から入っていたが、正式採用は Gingerbread

4. 意味は「舞台負け」「気後れ」「舞台あがり」(研究社新英和中辞典より)

6. Uri myUri = ....; // initialize Uri here

7. MediaPlayer mediaPlayer = new MediaPlayer();

8. mediaPlayer.setAudioStreamType(AudioManager.STREAM_MUSIC);

9. mediaPlayer.setDataSource(getApplicationContext(), myUri);

10. mediaPlayer.prepare();

11. mediaPlayer.start();

13. コアである MediaPlayer.java の実行ステップ数450行!

15. で、 JNI を通した呼び先が Stagefright。

17. しかし ffmpeg はライセンスに GPL を採用。

18. しかも...

19. Hall of Shame

21. で、 ffmpeg はあきらめ、他のエンジンを探したらしい。

22. そして採用されたのが PacketVideo 社の CORE をオープンソース化した OpenCore。

23. 以後、 Froyo まで/ external/opencore の下に存在。

25. 開発向けガイドなどのドキュメント類が/external/opencore/doc配下にある。

26. OpenCoreには一つ面白い特徴が。

30. OpenGL,OpenCL,OpenVG,OpenSL,OpenKODE,WebGL,EGL,WebCL,OpenWF etc etc.

31. OpenAL が Khronos 策定で無いのをさっき知ったのはここだけの話です。

33. OpenMAXにはDL(Development Layer)、IL、AL(Application Layer)があり、ILはコーデックを叩きやすくするAPIが定義されている。

34. OpenMAX IL http://pc.watch.impress.co.jp/docs/2004/0729/kaigai104.htm から

36. Stagefrightが公開されたのはEclairから。

38. 動画再生はファイル/ストリームからコンテナ形式に従ってフレームを取り出し、デコードして取り出した画像を画面表示すること。

40. 前の I フレーム/ P フレームを参照して復号する P フレーム

43. サンプリング周波数単位で、音圧を変換した量子化ビットを記録したもの。

44. サンプリング周波数は音声をどの頻度でデータ化するかをHzで表したもの。

45. 量子化ビット(ビット深度)はどの程度の精度で音圧を記録するか。

47. データサイズは1秒辺り44100x2byte(=16bit)x2(ch)=176400byte

48. このデータをコーデックでエンコード・デコードする。

50. ファイル/ストリームがどのコンテナ形式かをチェックし、対応するDataSource/MediaSourceに格納

52. デコードしたフレームをSurface/AudioTrackに設定してSurfaceFlinger/AudioFlingerに渡して再生する(Rendrer)

53. StageFrightを簡単な図で http://events.linuxfoundation.org/events/embedded-linux-conference/garcia の資料http://elinux.org/images/5/52/Elc2011_garcia.pdfから

58. OpenMAX IL の使い方は Bellagio( http://omxil.sourceforge.net/)が詳しく 、サンプルソースがある。

59. / external/opencore/doc にある開発ガイドにも説明あり。

60. 以下 openmax_call_sequences.pdf から抜粋

62. コンポーネント名から機能(何のCodecか)を取得。

64. コンポーネントのパラメータ取得

66. この後、コンポーネントの状態をLoaded->Idle->Executingにする。

70. 画像データは必要ならスケーリング、画像フォーマット(YUV->RGB)変換を行い、Surfaceを使ってSurfaceFlingerで描画。

71. 音声データはAudioTrackを使ってAudioFlingerで再生。

72. http://freepine.blogspot.com/2010/01/overview-of-stagefrighter-player.html Stagefrightの構成図

74. オレンジがOpenMAX ILの実装部分。

75. 水色がレンダリング処理部分。

76. 赤が全体を制御する機能部分。

78. StagefrightにはOpenMAX DLというオープンスタンダードが使われています。

80. なので、Android標準で対応していないフォーマットの動画・音声も頑張ればHWデコードをサポートした形で自作アプリから再生できます。 以上です。