ma92010id461

695 views
628 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
695
On SlideShare
0
From Embeds
0
Number of Embeds
103
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

ma92010id461

  1. 1. * 須子 統太 堀井 俊佑 松嶋 敏泰 平澤 茂一 早稲田大学
  2. 2. <ul><li>無歪み情報源符号化 </li></ul><ul><li>可変長符号化 </li></ul><ul><li>パラメトリックな情報源モデル に対する ユニバーサル符号化 </li></ul><ul><li>⇒ 符号化確率を計算して算術符号化 </li></ul><ul><li>ベイズ符号 </li></ul><ul><ul><li>i.i.d. 情報源 [Clarke 90] </li></ul></ul><ul><ul><li>文脈木情報源 [Matsushima 95][Gotoh 98] </li></ul></ul><ul><ul><li>補助情報付き情報源 [Matsushima 05] etc. </li></ul></ul>
  3. 3. <ul><li>複数の相関のある情報源( M ultiple C orrelated 情報源) </li></ul><ul><li>本研究の目的 </li></ul>Sources encoder decoder channel … <ul><li>相関構造を考慮したベイズ符号化法 </li></ul><ul><li>符号長の漸近評価 </li></ul>
  4. 4. <ul><li>i.i.d. 情報源 </li></ul><ul><ul><li>:未知パラメータベクトル </li></ul></ul><ul><ul><li>事前分布     は既知と仮定 </li></ul></ul><ul><li>ベイズ符号化確率 [Matsushima 91] </li></ul><ul><ul><li>ブロック符号化 </li></ul></ul><ul><ul><li>逐次符号化 </li></ul></ul><ul><ul><li>※ 符号化確率は一致することが知られている </li></ul></ul>
  5. 5. <ul><li>符号化確率の計算 </li></ul><ul><ul><li>自然共役事前分布を仮定することで解析的に解ける </li></ul></ul><ul><li>平均符号長 </li></ul><ul><li>定理 [Clarke 90] </li></ul>: パラメータサイズ 平均冗長度 :   中の記号  の頻度 :ハイパーパラメータ(既知)
  6. 6. <ul><li>文脈木情報源 </li></ul><ul><ul><li>過去に出現した系列に依存して次のシンボルの出現確率が変わる </li></ul></ul><ul><ul><li>マルコフ情報源の一般化 </li></ul></ul><ul><ul><li>確率モデル </li></ul></ul><ul><ul><li>⇒ 考え得る最大の木の深さ d に対して,モデルの数が指数的に増える </li></ul></ul>図.文脈木情報源モデル m の例 未知
  7. 7. <ul><li>ベイズ符号化確率(逐次符号化確率) </li></ul><ul><li>計算アルゴリズム </li></ul><ul><ul><li>[Matsushima95] で効率的な計算アルゴリズムが提案 </li></ul></ul><ul><ul><li>計算量  O ( nd ) </li></ul></ul><ul><li>平均符号長 </li></ul><ul><li>定理 [Gotoh 98] </li></ul>: 真のモデルのパラメータサイズ
  8. 8. <ul><li>補助情報のある情報源 </li></ul><ul><ul><li>確率モデル </li></ul></ul>Sources encoder decoder channel 補助情報源系列
  9. 9. <ul><li>ベイズ符号化確率(逐次符号化確率) </li></ul><ul><li>平均符号長 </li></ul><ul><li>定理 [Matsushima 05] </li></ul>: パラメータサイズ
  10. 10. Sources encoder decoder channel …
  11. 11. <ul><li>拡大情報源の i.i.d. 系列 と見なした場合のベイズ符号 </li></ul><ul><li>その場合の平均符号長( [Clarke90] の結果より) </li></ul>平均冗長度 相関構造を利用して冗長度を削減する方法を提案
  12. 12. <ul><li>例 </li></ul><ul><ul><li>K=3 で以下の相関構造が 既知 だとする </li></ul></ul><ul><li>⇒   の出現確率は    にしか依存しない </li></ul>パラメータ数 2
  13. 13. <ul><li>符号化の例 </li></ul><ul><ul><li>Step-1:    を符号化 . </li></ul></ul><ul><ul><li>Step-2:     を補助情報と見なし    を符号化. </li></ul></ul><ul><ul><li>Step-3:     を補助情報と見なし    を符号化. </li></ul></ul>
  14. 14. <ul><li>平均符号長⇒ [Clarke90] の結果を適用可能 </li></ul><ul><ul><li>Step-1:    を符号化 . </li></ul></ul><ul><ul><li>Step-2:     を補助情報と見なし    を符号化. </li></ul></ul><ul><ul><li>Step-3:     を補助情報と見なし    を符号化. </li></ul></ul>
  15. 15. <ul><li>提案符号化の総平均符号長 </li></ul><ul><li>拡大情報源の i.i.d. 系列と見なした場合の平均符号長 </li></ul><ul><li>⇒ 相関構造を利用することで冗長度を削減できる </li></ul>
  16. 16. <ul><li>任意の         に対し,              の相関構造が既知の場合(   は未知) </li></ul><ul><li>[Scheme A] </li></ul><ul><li>           を順番に符号化  </li></ul><ul><li>   を符号化する場合,            を補助情 </li></ul><ul><li>報として用い以下の符号化確率で符号化する </li></ul>
  17. 17. <ul><li>任意の         に対し,              の相関構造が既知の場合(   は未知) </li></ul><ul><li>   の平均符号長 </li></ul>総平均符号長 パラメータサイズ
  18. 18. <ul><li>              の相関構造の取り得るクラス   </li></ul><ul><li>    の例 </li></ul>
  19. 19. k に対して指数的にモデルの数が増えてしまう
  20. 20. <ul><li>完全木の完全部分木で表わされるモデルのクラス </li></ul>・・・ ・・・ ・・・ ・・・ ・・・ 文脈木情報源と本質的に等価なモデルクラスを仮定
  21. 21. <ul><li>任意の         に対し,              の相関構造が 未知 の場合(   も未知) </li></ul><ul><li>[Scheme B] </li></ul><ul><li>           を順番に符号化  </li></ul><ul><li>   を符号化する場合,            を補助情 </li></ul><ul><li>報として用い以下の符号化確率で符号化する. </li></ul><ul><li>(計算は [Matsushima 95] と等価なアルゴリズム※予稿参照) </li></ul>
  22. 22. <ul><li>任意の         に対し,              の相関構造が 未知 の場合(   も未知) </li></ul><ul><li>   の平均符号長 </li></ul>総平均符号長 真の相関構造のパラメータサイズ
  23. 23. <ul><li>複数の相関のある情報源に対するベイズ符号化法について示した </li></ul><ul><ul><li>[Scheme A] :相関構造が既知 </li></ul></ul><ul><ul><li>[Scheme B] :相関構造が未知 </li></ul></ul><ul><li>漸近的な平均符号長を示した </li></ul><ul><ul><li>[Scheme A] と [Scheme B] が一致 </li></ul></ul>
  24. 24. <ul><li>[Clarke 90]B.S. Clarke and A.R. Brron, “Information-theoretic asymptotics of Bayes methods,” IEEE Trans. Inf. Theory, vol.IT-36, no.3, pp.453–471, May 1990. </li></ul><ul><li>[Matsushima 91] T. Matsushima, H. Inazumi and S. Hirasawa, “A Class of Distortionless Codes Designed by Bayes Decision Theory,” IEEE Trans. Inf. Theory, vol.37, No.5, pp. 1288–1293, 1991. </li></ul><ul><li>[Matsushima 95] T. Matsushima and S. Hirasawa, “A Bayes coding algorithm for FSMX sources,” In Proc. Int. Symp. of Inf. Theory, pp.388, 1995. </li></ul><ul><li>[Gotoh 98] M. Gotoh, T. Matsushima, S.Hirasawa, “A generalization of B.S.Clarke and A. R. Barron’s asymptotics of Bayes codes for FSMX sources,” IEICE Trans. fundamentals, vol.E81-A, no.10, pp.2123–2132, 1998. </li></ul><ul><li>[Matsushima 05] T. Matsushima and S. Hirasawa, “Bayes Universal Coding Algorithm for Side Information Context Tree,&quot; In Proc. Int. Symp. of Inf. Theory, pp.2345-2348, 2005. </li></ul>

×