3 Info Theory

前回の練習問題 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],0 1 2 A/0.4 A/0.5 B/0.6 A/0.8 B/0.5 B/0.2

エントロピーの計算について ,[object Object],[object Object],↑ 埋め込みオブジェクトになっています講義ページから PPT ファイルをダウンロードすれば使えるはず

第二部：情報をコンパクトに表現する ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

情報源符号化 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],本日の講義

情報源符号化と用語の定義 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],一個ずつが，それぞれ符号語符号 ≠ 符合通報晴曇雨符号語 00 10 11

符号化と復号 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],（空白文字など）

符号に求められる性質 ,[object Object],[object Object],[object Object],C 4 は明らかにダメ他はＯＫ？ ,[object Object],[object Object],[object Object],晴曇雨雪 C 1 00 10 01 11 C 2 0 01 011 111 C 3 0 10 11 01 C 4 0 10 11 0

一意復号可能性 ,[object Object],[object Object],C 1 , C 2 は一意復号可能 C 3 , C 4 は一意復号可能でない（特異符号， singular code ） C 1 , C 2 はどちらも一意復号可能だが ... C 2 はちょっと使いにくい晴曇雨雪 C 1 00 10 01 11 C 2 0 01 011 111 C 3 0 10 11 01 C 4 0 10 11 0

符号 C 2 の問題点 ,[object Object],[object Object],[object Object],[object Object],[object Object],８文字目以降を受け取るまで，最初の復号結果すら確定できない ⇒ 復号器内に大きなバッファが必要，大きな復号遅延の発生晴曇雨雪 C 2 0 01 011 111 0111111 0 11 0 111 111 0 晴雪雪晴 01 111 1 11 雨雪雪

瞬時復号可能性 ,[object Object],[object Object],[object Object],A B C D 01 010 011 100 左例：瞬時復号可能でない 0110 0 ⇒ 01 100 (AD) 1 ⇒ 011 01 (CA) A B C D 01 10 11 011 右例：瞬時復号可能でない 0111101 0 ⇒ 01 11 10 0? (ACB?) 1 ⇒ 011 11 01 (DCA)

瞬時復号可能性と語頭条件 ,[object Object],[object Object],[object Object],[object Object],語頭となる符号 C が瞬時復号可能となる ⇔ C のどの符号語も，他の符号語の語頭とならないこと（語頭条件， prefix condition ) A B C D 01 01 0 011 100 A B C D 01 10 11 01 1

余談：語頭条件といえば... ,[object Object],[object Object],[object Object],英字モード数字・記号モード ,[object Object],[object Object],[object Object]

語頭条件を満たす符号の作り方 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

符号木 ,[object Object],[object Object],[object Object],[object Object],根葉

符号木を利用した符号の構成法 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

符号の構成例 ,[object Object],Step 1 Step 2 Step 3 構成された符号は {00, 01, 10, 11} 0 1 0 1 1 0 00 01 10 11 0 1 0 1 1 0

符号の構成例 ,[object Object],[object Object],C 1 ={0, 10, 110, 111} C 2 ={0, 11, 101, 100} C 3 ={01, 000, 1011, 1010} どのようにしても語頭条件を満たす ⇒ 瞬時復号可能な符号 0 1 0 1 0 1 0 1 1 0 1 0 0 1 1 0 1 0 0 1 0

符号語の長さと符号の効率 ,[object Object],[object Object],[object Object],[object Object],C 1 ={0, 10, 110, 111} C 3 ={01, 000, 1011, 1010} 0 1 0 1 0 1 0 1 1 0 1 0 0 1 0

クラフトの不等式 ,[object Object],[object Object],：クラフトの不等式 ( Kraft’s inequality ) 定理の逆は必ずしも成立しないが ... クラフトの不等式を満たす符号語長 l 1 , ..., l M が与えられたとき，語頭条件を満たし，この符号長をもつ符号を構成可能

符号語長からの符号構成 ,[object Object],[object Object],C 1 ={0, 10, 110, 111} ,[object Object],[object Object],[object Object],0 1 0 1 0 1

符号の効率について ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],８記号１４記号 ,[object Object],[object Object],[object Object],[object Object],晴曇雨雪確率 0.4 0.3 0.2 0.1 C 1 0 10 110 111 C 2 111 110 10 0

情報源符号化の指標 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

ハフマン符号 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

ハフマン符号の構成例資本金による合併劇，と考えるとわかりやすいかも ... 0.05 D 0.1 C 0.25 B 0.6 A 0.05 D 0.1 C 0.15 0.25 B 0.6 A 0.05 D 0.1 C 0.15 0.25 B 0.4 0.6 A 1.0 0.05 D 0.1 C 0.15 0.25 B 0.4 0.6 A 0 0 0 1 1 1

練習問題 ,[object Object],A B C D E 確率 0.2 0.1 0.3 0.3 0.1 符号語 A B C D E F 確率 0.3 0.2 0.2 0.1 0.1 0.1 符号語

ハフマン符号構成上の自由度 ,[object Object],[object Object],[object Object],[object Object],[object Object],A B C D E F 確率 0.3 0.2 0.2 0.1 0.1 0.1 符号語

本日のまとめ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

練習問題 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],A B C D E F G H 確率 0.363 0.174 0.143 0.098 0.087 0.069 0.045 0.021

3 Info Theory

Recommended

Recommended

More Related Content

What's hot

What's hot (7)

Similar to 3 Info Theory

Similar to 3 Info Theory (6)

More from melvincabatuan

More from melvincabatuan (16)

Recently uploaded

Recently uploaded (8)

3 Info Theory