Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
坪坂 正志<br />Twitter @tsubosaka<br />Mail: m{dot}tsubosaka@gmail.com<br />PRML勉強会(第11回)<br />LDPC符号について<br />2010/02/06<br /...
概要<br />8.4.7でループあり確率伝搬の有用な例として紹介されている誤り訂正符号であるLDPC符号の概要について説明します<br />詳しく知りたい方はMackayの教科書とかを読んでください<br />David Mackay : I...
通信路符号化<br />雑音のある通信路において、情報を送信する<br />ことを考える<br />情報に冗長性を持たせることによって、通信中に誤りがあっても訂正するような符号を構成する<br />2010/02/06<br />PRML勉強会...
イメージ<br />元々の情報がkビット、通信路符号がmビットであるとする(k &lt; m)<br />2010/02/06<br />PRML勉強会第9回<br />4<br />符号空間<br />情報源<br /><ul><li>情報源...
通信路符号化定理<br />シャノンの第二基本定理とも呼ぶ<br />Claude Shannon, &quot;A Mathematical Theory of Communication&quot;, Bell System Technic...
LDPC符号<br />LDPC符号は各種符号化の中でも理論限界に最も近い性能を持つ符号である<br />衛星通信や10GBase-Tなどで用いられている<br />2010/02/06<br />PRML勉強会第9回<br />9<br />...
線形符号<br />メッセージ<br />生成行列       :     行列<br />符号<br />符号語<br />は      で計算される<br />を満たすHをパリティ検査行列という: <br />2010/02/06<br /...
LDPC符号<br />パリティ検査行列が疎行列である線形符号のことをLow Density Parity Check符号という<br />疎行列を用いることによって次で出てくるグラフィカルモデルによる表現の際にループがあまりないという性質を持...
Factor Graphによる表現<br />パリティ検査行列<br />入力 x<br />観測値 y<br />2010/02/06<br />PRML勉強会第9回<br />12<br />接続しているxのパリティ和が0のとき1,そうでな...
Sum-Product<br />ループがあるため本当はsum-productは適応できないのだけど、ループがないと考えてsum-productアルゴリズムを実行する<br />行列を疎かつランダムに作るとグラフにほとんどループができないためこ...
最近の話<br />Loopy BPの代わりに線形計画法を使うことによって、より復号誤り率を低くできる<br />Jon Feldman, Martin J. Wainwright and David R. Karger: “Using lin...
Prml Reading Group 11 LDPC
Prml Reading Group 11 LDPC
Prml Reading Group 11 LDPC
Upcoming SlideShare
Loading in …5
×

Prml Reading Group 11 LDPC

2,565 views

Published on

  • Be the first to comment

  • Be the first to like this

Prml Reading Group 11 LDPC

  1. 1. 坪坂 正志<br />Twitter @tsubosaka<br />Mail: m{dot}tsubosaka@gmail.com<br />PRML勉強会(第11回)<br />LDPC符号について<br />2010/02/06<br />1<br />PRML勉強会第9回<br />
  2. 2. 概要<br />8.4.7でループあり確率伝搬の有用な例として紹介されている誤り訂正符号であるLDPC符号の概要について説明します<br />詳しく知りたい方はMackayの教科書とかを読んでください<br />David Mackay : Information Theory, Inference, and Learning Algorithms (http://www.inference.phy.cam.ac.uk/mackay/itila/book.html, Webからpdfが無料でダウンロードできます)<br />Frank R. Kschischang, Brendan J. Frey, Hans-Andrea Loeliger : Factor Graphs and the Sum-Product Algorithm, IEEE Trans. Inform Theory, Vol 47, No 2 , 2001<br />2010/02/06<br />PRML勉強会第9回<br />2<br />
  3. 3. 通信路符号化<br />雑音のある通信路において、情報を送信する<br />ことを考える<br />情報に冗長性を持たせることによって、通信中に誤りがあっても訂正するような符号を構成する<br />2010/02/06<br />PRML勉強会第9回<br />3<br />
  4. 4. イメージ<br />元々の情報がkビット、通信路符号がmビットであるとする(k &lt; m)<br />2010/02/06<br />PRML勉強会第9回<br />4<br />符号空間<br />情報源<br /><ul><li>情報源から符号語への変換は単射</li></li></ul><li>イメージ<br />元々の情報がkビット、通信路符号がmビットであるとする(k &lt; m)<br />2010/02/06<br />PRML勉強会第9回<br />5<br />符号空間<br />情報源<br />受信語<br /><ul><li>情報源から符号語への変換は単射</li></li></ul><li>イメージ<br />元々の情報がkビット、通信路符号がmビットであるとする(k &lt; m)<br />2010/02/06<br />PRML勉強会第9回<br />6<br />符号空間<br />情報源<br />受信語<br />誤り訂正<br /><ul><li>最も近い符号に復号する</li></li></ul><li>通信路雑音モデル<br />2010/02/06<br />PRML勉強会第9回<br />7<br />符号器<br />通信路<br />復号器<br />W<br />入力<br />X<br />符号<br />Y<br />受信語<br />受信語に対応する符号を求めるのには最尤推定を用いる<br />
  5. 5. 通信路符号化定理<br />シャノンの第二基本定理とも呼ぶ<br />Claude Shannon, &quot;A Mathematical Theory of Communication&quot;, Bell System Technical Journal, vol. 27, pp. 379–423 and 623–656, 1948<br />通信レート R = n / k がXとYの相互情報量 I(X,Y)以下ならばn->∞のとき誤りのない通信が可能となる<br />通信路符号化定理は上を満たす符号化が存在することを保障するが構成法については述べていない<br />2010/02/06<br />PRML勉強会第9回<br />8<br />
  6. 6. LDPC符号<br />LDPC符号は各種符号化の中でも理論限界に最も近い性能を持つ符号である<br />衛星通信や10GBase-Tなどで用いられている<br />2010/02/06<br />PRML勉強会第9回<br />9<br />日経エレクトロニクスより引用 http://techon.nikkeibp.co.jp/article/WORD/20060306/114138/<br />
  7. 7. 線形符号<br />メッセージ<br />生成行列 :     行列<br />符号<br />符号語<br />は      で計算される<br />を満たすHをパリティ検査行列という: <br />2010/02/06<br />PRML勉強会第9回<br />10<br />
  8. 8. LDPC符号<br />パリティ検査行列が疎行列である線形符号のことをLow Density Parity Check符号という<br />疎行列を用いることによって次で出てくるグラフィカルモデルによる表現の際にループがあまりないという性質を持たせることができる<br />2010/02/06<br />PRML勉強会第9回<br />11<br />
  9. 9. Factor Graphによる表現<br />パリティ検査行列<br />入力 x<br />観測値 y<br />2010/02/06<br />PRML勉強会第9回<br />12<br />接続しているxのパリティ和が0のとき1,そうでないとき0をとる<br />(Kschischang et al. 2001)<br />
  10. 10. Sum-Product<br />ループがあるため本当はsum-productは適応できないのだけど、ループがないと考えてsum-productアルゴリズムを実行する<br />行列を疎かつランダムに作るとグラフにほとんどループができないためこれでも上手くいく<br />実験的に短いループが多い場合は性能が悪くなることが分かっている<br />P(x_i | y)を計算してMAP推定する<br />2010/02/06<br />PRML勉強会第9回<br />13<br />
  11. 11. 最近の話<br />Loopy BPの代わりに線形計画法を使うことによって、より復号誤り率を低くできる<br />Jon Feldman, Martin J. Wainwright and David R. Karger: “Using linear programming to decode binary linear codes”, IEEE TRANSACTIONS ON INFORMATION THEORY, VOL. 51, NO. 3, MARCH 2005<br />有歪みあり圧縮への応用<br />Y.Matsunaga and H.Yamamoto, &quot;A coding theorem for lossy data compression by LDPC codes&quot;, IEEE-ISIT2002, June 30-July 5, 2002<br />本多, 三宅, 山本, 丸山,&quot;LDPC符号と線形計画法を用いた情報源符号化&quot;, 信学技法, IT2008-13, pp.27-32, 2008 <br />J.Honda, H.Yamamoto, &quot;Variable Length Lossy Coding using an LDPC Code&quot;, IEEE-ISIT2009, pp.1973-1977, June 28- July 3, 2009<br />2010/02/06<br />PRML勉強会第9回<br />14<br />

×