1. 1
正規分布の背景
Kobe.R #5
2014.06.14
@florets1

2. 2
正規分布






−−= 2
22/12
2
)(
2
1
exp
)2(
1
),( µ
σπσ
σµ xN

3. 3
正規分布はあちこちに現れる
測定値の分布
熱の拡散

4. 4
今回お話すること
日常のいろいろなところに現れる正規分布
他の分布に比べて何かが特別な感じがしませんか？
実は正規分布とは
情報量の平均（エントロピー）が最大になる分布なんです。

5. 5
驚きの度合い（情報量）を測ろう
A 起こりそうもないことが起きた。
B いつでも起きそうなことが起きた。
A の情報量 > B の情報量

6. 6
情報量を起きやすさの関数として表す
起きやすさ p(x)
情報量 h(x)
x: できごと
A
B

7. 7
情報量は足し算できてほしい
h(x, y) = h(x) + h(y)
x, y: できごと
例えばトランプを引くとき
h(x): ハートが出た場合の情報量
h(y): エースが出た場合の情報量
h(x,y): ハートのエースが出た場合の情報量

8. 8
２つの無関係なできごとは統計的に独立
p(x, y) = p(x) p(y)
x, y: できごと

9. 9
以上より情報量 h(x) をこのように定義する
p(x)
h(x)
h(x, y) = h(x) + h(y)
p(x, y) = p(x) p(y)
)(log)( xpxh −=

10. 10
底は何でもよい
)(log)( 2 xpxh −=
)(ln)( xpxh −=
底が 2 の場合、 h(x) の単位は bit

11. 11
エントロピー 情報量の平均
)(log)(][ xpxpxH
x
∑−=
dxxpxpxH )(log)(][ ∫−=
離散確率変数 x の場合
連続確率変数 x の場合

12. 12
エントロピーの性質
bitxH 2
64
1
log
64
4
16
1
log
16
1
8
1
log
8
1
4
1
log
4
1
2
1
log
2
1
][ 22222 =−−−−−=
x の 8 個の状態それぞれの確率が
{1/2,1/4,1/8,1/16,1/64,1/64,1/64,1/64} の場合のエントロピー
bitxH 3
8
1
log
8
1
8][ 2 =×−=
x が 8 個の状態を等確率で取る場合のエントロピー

13. 13
エントロピーの性質
データ分析者の観点だと
エントロピーが大きい→面白みのない退屈なデータだな。
エントロピーが小さい→面白い。何かが起こっていそうだ。

14. 14
エントロピーが最大となる確率分布（離散）
離散確率変数 x の場合は一様分布
)(log)(][ xpxpxH
x
∑−=
1)( =∑x
xp制約条件
求め方
のもとで
を最大化する。

15. 15
連続確率変数 x の場合は正規分布
∫ =1)( dxxp制約条件
求め方
のもとで
を最大化する。
∫ = µdxxxp )(
∫ =− 22
)()( σµ dxxpx
dxxpxpxH )(log)(][ ∫−=
エントロピーが最大となる確率分布（連続）

16. 16
まとめ
正規分布の正体は
エントロピーが最大となる連続分布だった。
やっぱり特別だった。
データ分析者にとってはエントロピーは小さいほうが面白い。
例えば正規分布に従う値動きの株があるとする。
その株を買いたいですか？
正規分布に従っていないデータに注目すべし。

17. 17
参考文献
C.M. ビショップ パターン認識と機械学習 上
平岡和幸・堀玄 プログラミングのための確率統計