前回の練習問題 <ul><li>2元ハフマン符号を構成せよ </li></ul><ul><li>平均符号長を求めよ </li></ul>1.000 0.637 0.359 0.278 0.185 0.135 0.066 0.363 A 0.17...
前回の練習問題 <ul><li>4元ハフマン符号を構成せよ </li></ul>確率の小さな4つの木を併合すれば良い? ⇒  4個未満の子を持つ節点が存在するかも ⇒  確率  0  のダミー通報を入れて考える ? 次数  a   の完全木 ....
本日の講義 <ul><li>ハフマン符号の性能と限界 </li></ul><ul><li>ハフマン符号化の拡張 </li></ul><ul><ul><li>ブロック符号化と平均符号長 </li></ul></ul><ul><li>情報源符号化定...
平均符号長について <ul><li>情報源符号化に求められる性質: </li></ul><ul><ul><li>瞬時復号可能であること(自動的に一意復号可能となる) </li></ul></ul><ul><ul><li>平均符号長ができるだけ小...
平均符号長の限界定理 <ul><li>定常情報源  S   から発生する 通報を一個ずつ , </li></ul><ul><li>瞬時復号可能な符号 C により 符号化 することを考える </li></ul><ul><li>通報は  M   通...
シャノンの補助定理 <ul><li>定理の証明にあたり,補助定理(補題)をひとつ導入 </li></ul><ul><li>( シャノンの補助定理 , Shannon’s lemma ) </li></ul><ul><li>[ 補題 ]  q 1...
シャノンの補助定理の証明 <ul><li>証明:不等式の左辺– 右辺を考えると, </li></ul>(証明終了) y  =  x  – 1 1 O y  = log e x
符号長限界定理の証明(前半) <ul><li>C の符号語長を l 1 , ...,  l M   とし, q i  = 2 – li とおく.クラフトの不等式より </li></ul>l i  = – log 2 q i  なので,平均符号長...
符号長限界定理の証明(後半) <ul><li>以下の不等式を満たすよう,整数  l i   を定める. </li></ul>これより  2 – li     2 log  pi  =p i   であり, したがって  l 1 , ...,  ...
符号長限界定理とハフマン符号 <ul><li>[定理](再掲) </li></ul><ul><li>任意の符号について, 平均符号長は必ず  L      H 1 ( S )  となる </li></ul><ul><li>平均符号長が  L ...
ハフマン符号とブロック化 <ul><li>ハフマン符号... 一個の通報を,一個の符号語に 変換する </li></ul><ul><ul><li>平均符号長は,かならず1以上となる </li></ul></ul><ul><ul><li>2元情報...
ブロック符号化の例(1) <ul><li>左表のとおりハフマン符号化をすると, </li></ul><ul><li>平均符号長は </li></ul><ul><li>0.6 ×1 + 0.3×2 + 0.1×2 =  1.4 </li></ul...
ブロック符号化の例(2-1) <ul><li>平均符号長は </li></ul><ul><li>0.8×1 + 0. 2×1 = 1.0 </li></ul><ul><li>長さ2のブロックを考える </li></ul><ul><li>AA の...
ブロック符号化の例(2-2) <ul><li>長さ3のブロックを考える </li></ul><ul><li>AAA の発生確率  = 0.8 3 =0.512 .... </li></ul><ul><li>平均符号長は </li></ul><u...
ブロック符号の平均符号長 <ul><li>ブロック長を大きくすると,一通報あたり平均符号長は小さくなる </li></ul><ul><li>⇒  どこまで小さくなるのか? </li></ul><ul><li>n 個単位でブロック化された通報= ...
シャノンの情報源符号化定理 <ul><li>H 1 ( S n ) /  n  は,情報源  S  の  n  次拡大エントロピー </li></ul><ul><li>n  -> ∞のとき, </li></ul><ul><ul><li>H 1 ...
情報源符号化定理の意味するところ <ul><li>情報源 S から発生する通報は,一通報あたりの平均符号長が </li></ul><ul><li>H ( S )     L  <  H ( S ) +    である瞬時復号可能な符号に符号...
ブロック符号化法の実用性 <ul><li>効率面からは,ハフマンブロック符号化法が最良な方法 </li></ul><ul><li>ブロック長を大きくすれば,いくらでも理論限界値に近づける </li></ul><ul><li>実用面から考えると,...
非等長ブロック符号化 <ul><li>ここまでのブロック符号化:符号化対象のパターンは同じ長さ </li></ul><ul><li>⇒ 発生確率の非常に小さなパターンにも符号語定義が必要 </li></ul><ul><li>⇒ 対応表の巨大化 ...
パターンの定義方法について <ul><li>パターン定義の戦略1:頻出パターンの細分化 </li></ul><ul><li>長さ1のパターンを用意する </li></ul><ul><li>発生頻度の高いパターンを細分化し,分割する </li><...
非等長ブロック化時の平均符号長 <ul><li>前スライドのパターンに対し, </li></ul><ul><li>ハフマン符号を定義(右表) </li></ul><ul><li>n 個のブロックがあったとすると ... </li></ul><u...
パターンの定義方法について:ラン長の利用 <ul><li>パターン定義の戦略2:記号の ラン によりパターン定義 </li></ul><ul><li>(主として,2元の情報源を想定) </li></ul><ul><li>記号の ラン ( run...
ラン長の上限 <ul><li>非常に長いランが発生することも ... </li></ul><ul><li>⇒ ランの長さに上限を設け,上限以上のランは短く分割して表現 </li></ul><ul><li>ABBAAAAABAAAB  を表現する...
ランレングスハフマン符号 <ul><li>ランレングスハフマン符号  ( run-length Huffman code ) </li></ul><ul><li>通報系列中の特定記号のラン長を符号化したハフマン符号 </li></ul><ul>...
符号化例 <ul><li>S :  記憶のない2元定常情報源, p(A) = 0.9, p(B) = 0.1 </li></ul><ul><li>エントロピーは  H ( S ) = –0.9log 2 0.9 – 0.1log 2 0.1 =...
符号化例(続) <ul><li>ランレングスハフマン符号化(符号語数を8に設定) </li></ul><ul><li>n ブロックでは ... </li></ul><ul><ul><li>符号語系列  0.1 n ×3+...+0.478 n ...
本日のまとめ <ul><li>平均符号長の限界定理 </li></ul><ul><li>シャノンの情報源符号化定理 </li></ul><ul><li>ハフマン符号の拡張的利用法 </li></ul><ul><ul><li>ブロック符号化 </...
練習問題 <ul><li>通報とその発生確率を入力すれば,ハフマン符号を構成するプログラムを作成せよ </li></ul><ul><li>ブロック符号が構成できるよう,上記プログラムを改造せよ </li></ul><ul><li>適当な通報と発...
Upcoming SlideShare
Loading in …5
×

4 Info Theory

2,749 views

Published on

Published in: Technology, Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
2,749
On SlideShare
0
From Embeds
0
Number of Embeds
22
Actions
Shares
0
Downloads
6
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

4 Info Theory

  1. 1. 前回の練習問題 <ul><li>2元ハフマン符号を構成せよ </li></ul><ul><li>平均符号長を求めよ </li></ul>1.000 0.637 0.359 0.278 0.185 0.135 0.066 0.363 A 0.174 B 0.143 C 0.098 D 0.087 E 0.069 F 0.045 G 0.021 H 0 100 110 1010 1011 1110 11110 11111 0.363 ×1+0.174 ×3+...+0.021×5= 2.660 A B C D E F G H 確率 0.363 0.174 0.143 0.098 0.087 0.069 0.045 0.021 0 1
  2. 2. 前回の練習問題 <ul><li>4元ハフマン符号を構成せよ </li></ul>確率の小さな4つの木を併合すれば良い? ⇒ 4個未満の子を持つ節点が存在するかも ⇒ 確率 0 のダミー通報を入れて考える ? 次数 a の完全木 ... 葉の数は ( a – 1) k + 1 ⇒ 2 個のダミーを加え,通報数を 10 = (4 – 1)3 +1 に 0.363 A 0.174 B 0.143 C 0.098 D 0.087 E 0.069 F 0.045 G 0.021 H a b c da db dc dda ddb 0 * 0 * 0.066 0.320 1.000 a b c d A B C D E F G H 確率 0.363 0.174 0.143 0.098 0.087 0.069 0.045 0.021
  3. 3. 本日の講義 <ul><li>ハフマン符号の性能と限界 </li></ul><ul><li>ハフマン符号化の拡張 </li></ul><ul><ul><li>ブロック符号化と平均符号長 </li></ul></ul><ul><li>情報源符号化定理 </li></ul><ul><ul><li>情報源符号化の限界 </li></ul></ul><ul><li>非等長ブロックハフマン符号化 </li></ul><ul><ul><li>ランレングス符号化 </li></ul></ul>
  4. 4. 平均符号長について <ul><li>情報源符号化に求められる性質: </li></ul><ul><ul><li>瞬時復号可能であること(自動的に一意復号可能となる) </li></ul></ul><ul><ul><li>平均符号長ができるだけ小さいこと </li></ul></ul><ul><li>⇒ ハフマン符号が有力候補 </li></ul>ハフマン符号は,どれくらい 「良い」符号なのか? ⇒ 平均符号長の限界定理 瞬時復号可能な 符号のクラス 一意復号可能な 符号のクラス ハフマン符号
  5. 5. 平均符号長の限界定理 <ul><li>定常情報源 S から発生する 通報を一個ずつ , </li></ul><ul><li>瞬時復号可能な符号 C により 符号化 することを考える </li></ul><ul><li>通報は M 通り,各通報の発生確率は p 1 , ..., p M </li></ul><ul><li>[ 定理 ] </li></ul><ul><li>任意の符号について, 平均符号長は必ず L  H 1 ( S ) となる </li></ul><ul><li>... どんなに効率的でも,平均符号長は1次エントロピー以下 </li></ul><ul><li>平均符号長が L < H 1 ( S ) + 1 となる符号を構成できる </li></ul><ul><li>... 平均符号長が1次エントロピーに迫る符号を作ることが可能 </li></ul>
  6. 6. シャノンの補助定理 <ul><li>定理の証明にあたり,補助定理(補題)をひとつ導入 </li></ul><ul><li>( シャノンの補助定理 , Shannon’s lemma ) </li></ul><ul><li>[ 補題 ] q 1 + ... + q M  1 を満たす任意の正数 q 1 , ..., q M に対し, </li></ul>等号成立は, p 1 = q 1 , ..., p M = q M のとき,かつそのときのみ.
  7. 7. シャノンの補助定理の証明 <ul><li>証明:不等式の左辺– 右辺を考えると, </li></ul>(証明終了) y = x – 1 1 O y = log e x
  8. 8. 符号長限界定理の証明(前半) <ul><li>C の符号語長を l 1 , ..., l M とし, q i = 2 – li とおく.クラフトの不等式より </li></ul>l i = – log 2 q i なので,平均符号長は シャノンの補助定理を用いて, 等号成立は, p 1 = q 1 , ..., p M = q M のとき,かつそのときのみ (前半証明終了)
  9. 9. 符号長限界定理の証明(後半) <ul><li>以下の不等式を満たすよう,整数 l i を定める. </li></ul>これより 2 – li  2 log pi =p i であり, したがって l 1 , ..., l M はクラフトの不等式を満足し, この符号長を持つ(瞬時に復号可能な)符号を構成可能. この符号の平均符号長は (後半証明終了)
  10. 10. 符号長限界定理とハフマン符号 <ul><li>[定理](再掲) </li></ul><ul><li>任意の符号について, 平均符号長は必ず L  H 1 ( S ) となる </li></ul><ul><li>平均符号長が L < H 1 ( S ) + 1 となる符号を構成できる </li></ul><ul><li>ハフマン符号では, 平均符号長が,必ず L < H 1 ( S ) + 1 となる </li></ul><ul><li>... 実際には,もっと強い証明が可能 </li></ul><ul><li>ハフマン符号よりも平均符号長の小さな瞬時符号は存在しない </li></ul><ul><li>(ハフマン符号は コンパクト符号 ( compact code ) である) </li></ul><ul><li>証明は,符号木の大きさに関する帰納法による(以下略). </li></ul>
  11. 11. ハフマン符号とブロック化 <ul><li>ハフマン符号... 一個の通報を,一個の符号語に 変換する </li></ul><ul><ul><li>平均符号長は,かならず1以上となる </li></ul></ul><ul><ul><li>2元情報源の符号化には向かない </li></ul></ul><ul><li>複数の通報をまとめて符号化 ( ブロック符号化 )すると ... </li></ul><ul><ul><li>通報あたりの平均符号長を1以下にできるかも </li></ul></ul><ul><ul><li>2元情報源の符号化にも利用可能 </li></ul></ul>A B 10 A C C 1101 A 01 A 0 B 10 A 0 C 11 C 11 A 0 通報 A B 平均符号長 確率 0.8 0.2 C 1 0 1 1.0 C 2 1 0 1.0
  12. 12. ブロック符号化の例(1) <ul><li>左表のとおりハフマン符号化をすると, </li></ul><ul><li>平均符号長は </li></ul><ul><li>0.6 ×1 + 0.3×2 + 0.1×2 = 1.4 </li></ul><ul><li>長さ2のブロックを考える </li></ul><ul><li>AA の発生確率 = 0.6 ×0.6=0.36 .... </li></ul><ul><li>左表のとおりハフマン符号化をすると, </li></ul><ul><li>平均符号長は </li></ul><ul><li>0.36 ×1 + 0.18×3 + ... + 0.01×6 = 2.67 </li></ul><ul><li>通報一個当たりでは, 2.67 / 2 = 1.335 </li></ul><ul><li>⇒ 少し効率が良くなった </li></ul>A B C 確率 0.6 0.3 0.1 符号語 0 10 11 AA AB AC BA BB BC CA CB CC 確率 0.36 0.18 0.06 0.18 0.09 0.03 0.06 0.03 0.01 符号語 0 100 1100 101 1110 11110 1101 111110 111111
  13. 13. ブロック符号化の例(2-1) <ul><li>平均符号長は </li></ul><ul><li>0.8×1 + 0. 2×1 = 1.0 </li></ul><ul><li>長さ2のブロックを考える </li></ul><ul><li>AA の発生確率 = 0.8 ×0.8=0.64 .... </li></ul><ul><li>平均符号長は </li></ul><ul><li>0.64 ×1 + 0.16×2 + ... + 0.04×3 = 1.56 </li></ul><ul><li>通報一個当たりでは, 1.56 / 2 = 0.78 </li></ul><ul><li>⇒ 2元情報源でも,効率改善 </li></ul>A B 確率 0.8 0.2 符号語 0 1 AA AB BA BB 確率 0.64 0.16 0.16 0.04 符号語 0 10 110 111
  14. 14. ブロック符号化の例(2-2) <ul><li>長さ3のブロックを考える </li></ul><ul><li>AAA の発生確率 = 0.8 3 =0.512 .... </li></ul><ul><li>平均符号長は </li></ul><ul><li>0.512 ×1 +... + 0.008×5 = 2.184 </li></ul><ul><li>通報一個当たりでは, 2.184 / 3 = 0.728 </li></ul>ブロック長を大きくすると, 一通報あたり平均符号長は 小さくなる(効率が良くなる) AAA AAB ABA ABB BAA BAB BBA BBB 確率 0.512 0.128 0.128 0.032 0.128 0.032 0.032 0.008 符号語 0 100 101 11100 110 11101 11110 11111 ブロック長 1 2 3 : 一通報あたり平均符号長 1.0 0.78 0.728 :
  15. 15. ブロック符号の平均符号長 <ul><li>ブロック長を大きくすると,一通報あたり平均符号長は小さくなる </li></ul><ul><li>⇒ どこまで小さくなるのか? </li></ul><ul><li>n 個単位でブロック化された通報= n 次拡大情報源 S n の通報1個 </li></ul><ul><li>⇒ 平均符号長の限界定理が適用できる! </li></ul><ul><li>ブロック符号の平均符号長を L n とすると, H 1 ( S n )  L n < H 1 ( S n )+1 . </li></ul><ul><li>一通報当たりの平均符号長に換算すると ... </li></ul>
  16. 16. シャノンの情報源符号化定理 <ul><li>H 1 ( S n ) / n は,情報源 S の n 次拡大エントロピー </li></ul><ul><li>n -> ∞のとき, </li></ul><ul><ul><li>H 1 ( S n ) / n -> H ( S )...情報源 S の極限エントロピー </li></ul></ul><ul><ul><li>1 / n -> 0 </li></ul></ul><ul><li>[ シャノンの情報源符号化定理 ] </li></ul><ul><li>情報源 S から発生する通報は,一通報あたりの平均符号長が </li></ul><ul><li>H ( S )  L < H ( S ) +   である瞬時復号可能な符号に符号化可能 </li></ul>
  17. 17. 情報源符号化定理の意味するところ <ul><li>情報源 S から発生する通報は,一通報あたりの平均符号長が </li></ul><ul><li>H ( S )  L < H ( S ) +   である瞬時復号可能な符号に符号化可能 </li></ul><ul><li>ブロック長を長くしてハフマン符号を使えば,効率的にはベスト </li></ul><ul><li>どれだけ頑張っても,極限エントロピーの壁は越えられない </li></ul>ブロック長 1 2 3 : : 一通報あたり平均符号長 1.0 0.78 0.728 : : 0.723 +  H ( S ) = 0.723 A B 確率 0.8 0.2 符号語 0 1
  18. 18. ブロック符号化法の実用性 <ul><li>効率面からは,ハフマンブロック符号化法が最良な方法 </li></ul><ul><li>ブロック長を大きくすれば,いくらでも理論限界値に近づける </li></ul><ul><li>実用面から考えると,ハフマンブロック符号化法にも問題あり </li></ul><ul><li>通報の 発生確率を,あらかじめ知っておく必要がある </li></ul><ul><li>(⇒ 次回講義で触れる予定) </li></ul><ul><li>符号の 定義(通報と符号語の対応表)が巨大 になる </li></ul><ul><ul><li>対応表1行を記憶するのに1バイト必要だとすると ... </li></ul></ul><ul><ul><ul><li>ブロック長 8...256 バイト </li></ul></ul></ul><ul><ul><ul><li>ブロック長 16...64 キロバイト </li></ul></ul></ul><ul><ul><ul><li>ブロック長 32...4 ギガバイト </li></ul></ul></ul>
  19. 19. 非等長ブロック符号化 <ul><li>ここまでのブロック符号化:符号化対象のパターンは同じ長さ </li></ul><ul><li>⇒ 発生確率の非常に小さなパターンにも符号語定義が必要 </li></ul><ul><li>⇒ 対応表の巨大化 </li></ul><ul><li>符号化対象のパターンが,異なる長さを持つことを許す </li></ul><ul><li>⇒ 非等長 ( unequal-length ) ブロック化.ただし </li></ul><ul><ul><li>各パターンの 発生確率が,ある程度均衡 すること </li></ul></ul><ul><ul><li>任意の通報系列が,パターンにブロック化できる こと </li></ul></ul><ul><li>...どのようにパターンを定義するかが鍵となる </li></ul>A B A A B A B A A B A A B A B A
  20. 20. パターンの定義方法について <ul><li>パターン定義の戦略1:頻出パターンの細分化 </li></ul><ul><li>長さ1のパターンを用意する </li></ul><ul><li>発生頻度の高いパターンを細分化し,分割する </li></ul><ul><li>所望のパターン数になるまで 2 を繰り返す </li></ul><ul><li>例:P(A) = 0.8, P(B) = 0.2,所望パターン数4のとき </li></ul>任意の系列を, {AAA, AAB, AB, B} にブロック化可能 A B 0.8 0.2 AA AB B 0.64 0.16 0.2 AAA AAB AB B 0.512 0.128 0.16 0.2
  21. 21. 非等長ブロック化時の平均符号長 <ul><li>前スライドのパターンに対し, </li></ul><ul><li>ハフマン符号を定義(右表) </li></ul><ul><li>n 個のブロックがあったとすると ... </li></ul><ul><ul><li>符号語系列の長さ は </li></ul></ul><ul><ul><li>0.512 n ×1 + 0.128 n ×3 + 0.16 n ×3 + 0.2 n ×1 = 1.776 n </li></ul></ul><ul><ul><li>通報系列の長さ は </li></ul></ul><ul><ul><li>0.512 n ×3 + 0.128 n ×3 + 0.16 n ×2 + 0.2 n ×1 = 2.44 n </li></ul></ul><ul><li>一通報あたりの符号長は, 1.776 n / 2.44 n = 0.728 </li></ul><ul><li>... ブロック長3(対応表8行)のときと同程度の効率 (cf. p.14) </li></ul>パターン AAA AAB AB B 確率 0.512 0.128 0.16 0.2 符号語 0 100 101 11
  22. 22. パターンの定義方法について:ラン長の利用 <ul><li>パターン定義の戦略2:記号の ラン によりパターン定義 </li></ul><ul><li>(主として,2元の情報源を想定) </li></ul><ul><li>記号の ラン ( run ):系列中の,同一記号からなる部分系列 </li></ul>特定記号のランの長さだけ与えられれば,元の系列を復元可能 ⇒ ランの長さを符号化しよう! A B B A A A A A B A A A B 長さ 1 の A のラン 長さ 5 の A のラン 長さ 3 の A のラン 長さ 0 の A のラン
  23. 23. ラン長の上限 <ul><li>非常に長いランが発生することも ... </li></ul><ul><li>⇒ ランの長さに上限を設け,上限以上のランは短く分割して表現 </li></ul><ul><li>ABBAAAAABAAAB を表現する: </li></ul><ul><li>A が 1個 発生し,Bが発生 </li></ul><ul><li>A が 0個 発生し,Bが発生 </li></ul><ul><li>A が 3個以上 発生 </li></ul><ul><li>A が 2個 発生し,Bが発生 </li></ul><ul><li>A が 3個以上 発生 </li></ul><ul><li>A が 0個 発生し,Bが発生 </li></ul>上限を3とした場合 ラン長 0 1 2 3 4 5 6 7 : 表現方法 0 1 2 3+0 3+1 3+1 3+3+0 3+3+1 :
  24. 24. ランレングスハフマン符号 <ul><li>ランレングスハフマン符号 ( run-length Huffman code ) </li></ul><ul><li>通報系列中の特定記号のラン長を符号化したハフマン符号 </li></ul><ul><li>⇒ 通報の発生頻度に偏りがある場合,非常に有効 </li></ul>p(A) = 0.9, p(B) = 0.1 のとき <ul><li>ABBAAAAABAAAB: 1, 0, 3+, 2, 3+, 0 ⇒ 110 10 0 111 0 10 </li></ul><ul><li>AAAABAAAAABAAB: 3+, 1, 3+, 2, 2 ⇒ 0 110 0 111 111 </li></ul><ul><li>AAABAAAAAAAAB: 3+, 0, 3+, 3+, 2 ⇒ 0 10 0 0 111 </li></ul>ラン長 0 1 2 3 以上 符号化されるパターン B AB AAB AAA 発生確率 0.1 0.09 0.081 0.729 符号語 10 110 111 0
  25. 25. 符号化例 <ul><li>S : 記憶のない2元定常情報源, p(A) = 0.9, p(B) = 0.1 </li></ul><ul><li>エントロピーは H ( S ) = –0.9log 2 0.9 – 0.1log 2 0.1 = 0.469 </li></ul><ul><li>単純なハフマン符号化: </li></ul><ul><li>平均符号長は 1 </li></ul><ul><li>等長ハフマンブロック符号化 ( n = 3) </li></ul>平均符号長 1.661, 一通報あたりの平均符号長 1.661 / 3 = 0.55 通報 A B 確率 0.9 0.1 符号語 0 1 通報 AAA AAB ABA ABB 確率 0.729 0.081 0.081 0.009 符号語 0 100 110 1010 通報 BAA BAB BBA BBB 確率 0.081 0.009 0.009 0.009 符号語 1110 1011 11110 11111
  26. 26. 符号化例(続) <ul><li>ランレングスハフマン符号化(符号語数を8に設定) </li></ul><ul><li>n ブロックでは ... </li></ul><ul><ul><li>符号語系列 0.1 n ×3+...+0.478 n ×1= 2.466 n </li></ul></ul><ul><ul><li>通報系列 0.1 n ×1+...+0.053×7+0.478×7= 5.216 n </li></ul></ul><ul><ul><li>(ラン長 k ⇒ k 個の A と一個の B なので通報数では k +1 ) </li></ul></ul><ul><li>一通報あたりの平均符号長は 2.466 n / 5.216 n = 0.47 </li></ul>ラン長 0 1 2 3 確率 0.1 0.09 0.081 0.073 符号語 110 1000 1001 1010 ラン長 4 5 6 7+ 確率 0.066 0.059 0.053 0.478 符号語 1011 1110 1111 0
  27. 27. 本日のまとめ <ul><li>平均符号長の限界定理 </li></ul><ul><li>シャノンの情報源符号化定理 </li></ul><ul><li>ハフマン符号の拡張的利用法 </li></ul><ul><ul><li>ブロック符号化 </li></ul></ul><ul><ul><li>非等長ブロック符号化 </li></ul></ul><ul><ul><li>ランレングス符号化 </li></ul></ul>
  28. 28. 練習問題 <ul><li>通報とその発生確率を入力すれば,ハフマン符号を構成するプログラムを作成せよ </li></ul><ul><li>ブロック符号が構成できるよう,上記プログラムを改造せよ </li></ul><ul><li>適当な通報と発生確率を定め,一通報あたりの平均符号長がブロック長によりどう変化するか,プログラム実験を行え </li></ul>

×