ハフマン符号について、１時間ほど話しています。 ❏ 符号化と復号 ❏ 符号の効率 ❏ 生起確率 ❏ ハフマン符号とエントロピー ❏ 情報源とエントロピー ❏ エントロピーを計算する ❏ 平均符号語長 ❏ 平均符号長Lを計算する ❏ ハフマン符号の構成方法 https://www.youtube.com/watch?v=qTOuQXcBt5c&t=254s

1. 解説 #７３
ハフマン符号
https://www.youtube.com/watch?v=qTOuQXcBt5c&t=254s
https://www.youtube.com/user/blinknetmonitoring
安藤類央

2. ハフマン符号 (1)
❐ハフマン符号（ハフマンふごう、英: Huffman coding）とは、
1952年にデビッド・ハフマンによって開発された符号。
❐文字列をはじめとするデータの可逆圧縮などに使用される。
❐コンパクト符号やエントロピー符号の一つ。JPEGやZIP
(Deflate) などの圧縮フォーマットで使用されている。
❐ハフマン符号は、効率のよい符号である。
❐ハフマン符号は、符号木を使って作成する。

3. 符号化と復号 (1)
情報源 符号器 通信路 復号器 到達先
A
B 00 10 00 10 A
B
❐ 大阪は「晴れ のち 曇り」であったことを東京に伝えたい。
❐ 上の情報源、符号器、通信路、復号器、到達先からなる図を
通信モデルと呼ぶ。
❐ 3種類のアルファベット記号x｛a,b,c}を発生する情報源Sに対
し、それぞれの記号ｘを０と１からなる文字列で表す方法を
符号化という。
❐すべての天気に対する符号化の対応を表す{00,10,01}の組み
合わせ（写像）を符号と呼び、00, 10, 01を符号語と呼ぶ。
記号x 符号C(x)
a（晴れ） 00
b（曇り） 10
c (雨） 01
❐ 3種類のアルファベット記号x
｛a,b,c}の集合を情報源シンボルS
と呼び、下記で表す。
S =｛a,b,c}
大阪 東京

4. 符号化と復号 (2)
情報源 符号器 通信路 復号器 到達先
A
B 00 10 00 10 A
B
❐ 大阪は「晴れ のち 曇り」であったことを東京に伝えたい。
❐ 符号化とは逆に、符号C{00, 10, 01}の系列から起きた事柄
{a, b, c}を求めることを復号と呼ぶ。
❐符号後から一意に起きた事柄を復元できる場合、一意に復
号可能という。
❐左の表では、符号C{00, 10, 01}と記号{a, b, c}が1対1対応
している（符号が複数の記号に紐づけられていない）。
記号x 符号C(x)
a（晴れ） 00
b（曇り） 10
c (雨） 01
大阪 東京
❐ 3種類のアルファベット記号x
｛a,b,c}の集合を情報源シンボルS
と呼び、下記で表す。
S =｛a,b,c}

5. 符号の効率
❐ ハフマン符号とは、一意に復号が可能な、効率の良い符号である。
❐ 効率の良さとは、短いビット数で、情報源シンボルS =｛a,b,c}を符号化できること。
❐ 符号の効率を計算する場合、符号長に加えて、情報源シンボルS =｛a,b,c}の生起確率P
が必要になる。
❐ 符号の効率（短さ）とは、エントロピーと平均符号長をつかって計算する。
厳密には以下の式になる。
e =
𝐻(𝑆)
𝐿(𝐶)
(0 ≤ e ≤ 1)
H(s):情報源シンボルSのエントロピー
L: 符号Cの平均符号長

6. 生起確率
❐ある事象（ことがら）aが起きる確率を生起確率とよび，Ｐ(a)であらわす。起こり得る全て
の事象を全事象と言い、ここではΩで表す。
Ω={a(晴), b(曇), c(雨)} ( 天気は晴、曇、雨の３通りしかない）と
すると、
Ｐ(a) + Ｐ(b) + Ｐ(c) = 1
ここで、a,b,cは排反事象（同時には起こらない）。P a ∩ P(b) ∩ P(c) = 0
❐ある情報集合の中で、あるデータが発生すると予測される確率。
情報集合Ω ={ADBC BABC BBCE} (12文字）とすると、
P(A)=2/12, P(B)=5/12, P(C)=3/12, P(D)=1/12, P(E)=1/12

7. ハフマン符号とエントロピー
❐ ある事物（サイコロや天気）の予測の難しさを、エントロピーという。
❐ どの目も出る確率が等しいサイコロＡと、1が90%の確率で出るサイコロ
Ｂでは、サイコロＡの方が出る目の予測は難しい。
❐ サイコロＡのエントロピーは、サイコロＢのエントロピーより大きいという。
❐ エントロピーは生起確率の偏りとも考えることができる。
❐ ある英語の文章を扱うとき、アルファベットＡからＺまでが同じ確率で
出現することは、まずない。
❐ ハフマン符号は、この各文字が現れる確率の偏りを使って、文章を符号で効率
的に表現する。

8. 情報源とエントロピー
情報源 符号器 通信路 復号器 到達先
A
B 00 10 00 10 A
B
❐ 符号の効率は、符号化の対象となる情報源Sのエント
ロピーの大きさによって決まる。
❐エントロピーの計算には、情報源と呼ばれる情報を発
生する源が存在して、そこからは単位時間ごとにある
確率にしたがって、１つの記号が出力されると考える。
❐エントロピーは、情報源から各記号が生起する確率に
よって定まる。エントロピーは、生起確率の偏りが小
さくなれば、大きくなる。
❐（エントロピーが大きくなる→天気の予測が難しくなる。）
記号x 生起確率P(x) 符号C
a （晴れ） 0.1 00
b（曇り） 0.2 01
c (雨） 0.7 10
大阪 東京
H = -σ𝑖 𝑃𝑖 ∗ log2 𝑃𝑖
❐ エントロピー(H)は下記の式で計算される。
S

9. エントロピー(H)を計算する
情報源 符号器 通信路 復号器 到達先
A
B 00 10 00 10 A
B
記号x 生起確率P(x) 符号C
a （晴れ） 0.1 00
b（曇り） 0.2 01
c (雨） 0.7 10
𝐻 = −0.1 ∗ log2 0.1 − 0.2 ∗ log2 0.2 − 0.7 ∗ log2 0.7 = 𝟏. 𝟏𝟓
記号x 生起確率P(x) 符号C
a （晴れ） 0.25 00
b（曇り） 0.25 01
c (雨） 0.5 10
𝐻 = −0.25 ∗ log2 0.25 − 0.25 ∗ log2 0.25 − 0.5 ∗ log2 0.5 = 𝟏. 𝟓
❐ 生起確率の値が偏っているほど、エントロピーHの値は小さくなる。
❐ 情報源Sのエントロピーの値が小さいほど、ハフマン符号の効率は上がる。
S
S

10. 平均符号語長
❐記号xの１つの文字を表す文字列の長さの平均値を平均符号語長という。
❐つまり、平均符号語長は情報源シンボル１個あたりの通信に必要になる
ビット数の期待値になる。
L(C) = σ𝑥∈S 𝑃 𝑥 𝑙(𝑥)
左の表の平均符号語長は、
L(C) = P(a)l(a) + P(b)l(b) + P(C)l(C)
= 0.5*1 + 0.3*2 + 0.2*3
= 0.5 + 0.6 + 0.6 = 1.7
記号x 生起確率P(x) 符号C
a （晴れ） 0.5 1
b（曇り） 0.3 01
c (雨） 0.2 001
❐厳密には、情報源S上の確率分布Pによって定まる確率変数Xに対する
符号Cの平均符号語長は以下の式で表される。

11. 平均符号長L(C)を計算する
情報源 符号器 通信路 復号器 到達先
A
B 00 10 00 10 A
B
記号x 生起確率P(x) 符号C
a （晴れ） 0.1 1
b（曇り） 0.2 01
c (雨） 0.7 001
記号x 生起確率P(x) 符号C
a （晴れ） 0.1 001
b（曇り） 0.2 01
c (雨） 0.7 1
L(C) = P(a)l(a) + P(b)l(b) + P(C)l(C)
= 0.1*3+ 0.2*2 + 0.7*1
= 0.3 + 0.4 + 0.7 = 1.4
L(C) = P(a)lC(a) + P(b)l(b) + P(C)l(C)
= 0.1*1 + 0.2*2 + 0.7*3
= 0.1 + 0.4 + 2.1 = 2.5
❐ ①は生起確率の低いaに短い符号(1)を、高いcに長い符号(001)を割り当てている。②は逆。
❐ 平均符号語長は①が2.5、②が1.4で、生起確率の高い記号に短い符号を割り当てると、平均符
号語長は小さくなる。
① ②

12. ハフマン符号 (2)
❐ ハフマン符号は、コンパクト符号である。
❐ コンパクト符号とは、その平均符号語長を最小とする効率の
よい符号のこと。最適な平均符号語長を達成できる。
❐ 平均符号語長が最小とは、その符号を生成した情報源Sのエン
トロピーの値に最も近いという意味。

13. ハフマン符号の作り方
❐ ハフマン符号は、よく現れるデータには、短い符号を割り当てることにより、全体としての
記述の長さを節約(効率化）する方法。
❐ ハフマン符号は、ハフマン符号木を構成しながら符号化を行う。
❐ ハフマン符号木は、 ２分木であり、２つの符号語の縮約を繰り返して構築する。
❏ 二分木とは、木構造のうち、どの親ノードも二つか、それ以下の子ノードを持つもの。
❏ 縮約とは、２つのノードの生起確率の和を計算し、新しいノードの生起確率の値とすること。
❐ ハフマン符号木を使うことにより、最適な（最小の）平均符号語長を達成できる。

14. ハフマン符号木の構成方法(1)
情報源記号ｘ 生起確率 P(x)
A 0.55
D 0.15
B 0.14
E 0.1
C 0.06
情報源記号ｘ 生起確率 P(x)
A 0.55
B 0.14
C 0.06
D 0.15
E 0.1
STEP1: 情報源Sのシンボル｛A,B,C,D,E} を、生起確率の順にソートする。
(確率が大きい順にならべると線が入り組みにくくなる）

15. ハフマン符号木の構成方法(2)(3)
情報源記号ｘ 生起確率 P(x)
A 0.55
D 0.15
B 0.14
E 0.1
C 0.06
0.06
0.14
0.1
0.15
0.55
STEP2: 最も確率が小さい葉を二つ選び，それを集約するためのノード
を新たに作って枝で結ぶ。
STEP3: そのノードを新しい葉として扱い，元の二つの葉の確率を足し
合わせたものを添える。この処理を縮約(reduction)という。
0.16

16. ハフマン符号木の構成方法(4)
情報源記号ｘ 確率 P(x)
A 0.55
D 0.15
B 0.14
E 0.1
C 0.06
0.06
0.14
0.1
0.15
0.55
0.16
0.29
0.45
1.0
（STEP4）STEP 2,3を，繰り返して符号木を作る。
縮約する(和を取る）ノードのペアがなくなった時、
符号木が完成。一番左側のノードを根(root)ノード、
一番右側のノードを葉(leaf)ノードという。
根(root)ノード 葉(leaf)ノード

17. ハフマン符号木の構成方法(5)
情報源記号ｘ 確率 P(x)
A 0.55
D 0.15
B 0.14
E 0.1
C 0.06
0.06
0.14
0.1
0.15
0.55
0.16
0.29
0.45
1.0
0
1
0
0
1
1
1
（STEP５）完成した各ノードから葉へ向かう方向の２本の枝に，
0と1のラベルを割り当てる。
ここでは、右上に伸びる枝に０、右下に伸びる枝に１を割り
当てている。
0

18. ハフマン符号木の構成方法(6)
情報源記号ｘ 確率 P(x)
A 0.55
D 0.15
B 0.14
E 0.1
C 0.06
0.06
0.14
0.1
0.15
0.55
0.16
0.29
0.45
1.0
0
1
0
0
1
1
1
0
100
101
110
111
（STEP6）根のノードから各葉のノードをたどって、各記号に
符号を割り当てる。
A = 0, B = 101, C = 111, D = 100, E = 110

19. ハフマン符号(3)
記号ｘ 固定長符号 可変長符号(ハフマン符号）
A 000 0
D 011 001
B 001 101
E 111 110
C 010 111
❐記号ｘを、完全に復元できる（元に戻せる）ように、サイズを小さくして符号化することを可逆圧縮という。
ハフマン符号は、可逆圧縮の代表的な方法（アルゴリズム）である。
上の記号｛A,B,C,D,E}で文字列ADBCBABCBBCEを表現する場合、
固定長符号と使うと、36ビット必要
000 001 001 010 001 000 001 010 001 001 010 111 (36bit)
可変長符号（ハフマン符号）だと32ビット必要 – この場合、圧縮率は、約12%
0 001 101 111 101 0 101 111 101 101 111 110 (32bit)
固定長符号を使っても、ハフマン符号でも、元の情報(ADBCBABCBBCE)を完全に復元することができる。

20. その他のトピック
❐ハフマン符号は、一意復号可能かつ語頭復号である。
語頭復号とは、どの符号も他の符号の語頭(prefix)になって
いない符号で、瞬時に復号可能である。
❐ハフマン符号化の結果がコンパクト符号であることの証明
（内部接点に情報源シンボルが割り当てられない符号木）