輪講で作成した資料です

1. パターン認識と機械学習 上

2. 目次
・2.3 ガウス分布（P76～82）

3. アブストラクト
・中心極限定理の利用例を紹介する. 中心極限定理とは,標本の大きさ
を大きくすると, 標本平均の分布はガウス分布に近似するという定理で
ある.
・多変数ガウス分布の確率密度関数に座標変換を行うことで, この関数
を単変数ガウス分布の確率密度関数の積で表す. その後, 変換した座標
系を用いて, 多変数ガウス分布が正規化されていること, 与えられたパラ
メータがそれぞれ平均, 共分散となっていることを確認する.
・ガウス分布の欠点を述べ, その欠点への対処法を述べる. また, ガウス
分布の利用例である, マルコフ確率場(8.3節), 線形動的システム(13.3
節)を, 紹介する.

4. 単変量ガウス分布
：平均
：分散
1変数の場合, エントロピーを最大化
する分布（1.6節）

5. 多変量ガウス分布
：Ｄ次元ベクトル
：平均ベクトル（Ｄ次元）
：共分散行列（Ｄ×Ｄ）
エントロピーを最大化する分布
（演習2.14）

6. 統計量に関する重要定理Ⅱ
に対し，確率変数
は，n → ∞ のとき，平均µ，分散σ2/n の正規分布に収束する
中心極限定理
母集団がどのような分布に従うとしても,そこから得られる標
本の平均X の分布は，標本の大きさを十分大きくとれば正
規分布で近似できる．
母集団
n
正確には，確率変数の列{X }, n 1,2,…,
n
X  1
X … Xn
n
E[Xn] , V[Xn] 2
・・・
Xn
(b)
Xn
(m)
n
X( a)
n n
X( b)
X( m)
X1
(a)
Xn
Xn

7. 確率変数の和（１）
区間[0,1]上の一様分布に従う確率変数: 1, , Nx xK
1( )Nx x N L はNが大きくなるとガウス分布に近づく
ガウス分布への収束は非常に速くなり得る！

8. 確率変数の和（２）
でガウス分布に従う！
表の出る確率が のコインを 回投げたとする
表の出た回数:
N
m
二項分布に従う

9. ガウス分布の 依存部分
多変数ガウス分布の 依存部分は
：マハラノビス距離
なら ：ユークリッド距離

10. ガウス分布の座標変換（１）
対称行列の異なる固有ベクトルは直交するので,

11. ガウス分布の座標変換（２）
演習（2.19）より,
(2.49)を(2.44)に代入して,

12. ガウス分布の座標変換（３）
を用いて にまとめると,直交行列

13. ガウス分布の座標変換（４）
取る値が変わると, 等高線はこの楕
円が拡大・縮小したものとなる
２変数ガウス分布の等高線

14. ガウス分布の座標変換（５）
ヤコビ行列 は,

15. ガウス分布の座標変換（６）
これと(2.50)を(2.43)に代入して,
これより, 正規化されている

16. ・固有値が負のとき
⇒ となり, 正規化できない
・一つ以上の固有値が0のとき
⇒より低次元の部分空間に制限されて分布する
ガウス分布の性質
共分散行列のすべての固有値が正でなければならない.
正定値行列：すべての固有値が
正である行列
半正定値行列：すべての固有値
が非負である行列

17. 多変量ガウス分布の一次モーメント
に置き換えると,
が奇関数かつ, 多変数ガウス分布が正規化されているので,

18. 多変量ガウス分布の二次モーメント（１）
に置き換えると,
の項は奇関数かつ, 多変数ガウス分布が正規化されているので,

19. 多変量ガウス分布の二次モーメント（２）
を含む項は,
((2.50), (2.60)を代入)

20. 多変量ガウス分布の二次モーメント（３）
1変数ガウス分布の平均
1変数ガウス分布の分散

21. 多変量ガウス分布の二次モーメント（４）
(2.61)より,
あらかじめ平均を引いた, 共分散を考えると,
((2.62)より)

22. 値が制限された共分散行列
Σ の制限
・
2
( )idiag Σ
・ 2
Σ I
対角行列
等方共分散行列
分布の自由パラメータ
2D
1D 
・ Σ 一般 ( 3)
2
D D 
に比例し,
計算困難
パラメータの制限により, 相関の情報がなくなる

23. ガウス分布の等値面
の時,
一般行列共分散行列の形 対角行列 等方共分散行列
軸変換した楕円 軸が同じ楕円 軸が同じ楕円
各データに相関なし
（ガウス分布においては, 独立と等価）

24. ガウス分布の欠点
・パラメータが多い
・単峰形（極大値が一つ）で多峰形の分布をうまく表せない
⇒潜在変数で対処 潜在変数は, 隠れ変数,
非観測変数とも呼ばれる
ガウス混合分布
・離散潜在変数を用いた多峰形分布
・パラメータ数を次元数Dと独立に設定可能で, 相関を捉えることもできる
利用例：マルコフ確率場(8.3節), 線形動的システム(13.3節)
確率的グラフィカルモデル(8章)：複雑な分布の形状や特性を表現できる