研究室で行なった"パターン認識と機械学習"の輪読会での発表資料です

1. 1
2019/08/26 PRML 勉強会2019/08/26 PRML 勉強会
Sec. 2.3 ガウス分布Sec. 2.3 ガウス分布18860615 ⾼⾒玲18860615 ⾼⾒玲

2. 2
ガウス分布(Gaussian distribution)ガウス分布(Gaussian distribution)
a.k.a. 正規分布(normal distribution)
連続変数の分布モデル, 極⼤値が⼀つの単峰形
 (x|μ, ) = exp
{
− (x − μ
}
σ
2
1
(2πσ 2
)
1
2
1
2σ
2
)
2
: 平均, : 分散μ σ
2

3. 3
多変量ガウス分布(Gaussian distlibuion)多変量ガウス分布(Gaussian distlibuion)
次元ベクトル に対する多変量ガウス分布D x ∈ ℝ
D
 (x|μ, Σ) = exp
{
− (x − μ (x − μ)
}
1
(2π)
D/2
1
|Σ|
1/2
1
2
)
T
Σ
−1
: 平均ベクトル
: 共分散⾏列
: の⾏列式
μ ∈ ℝ
D
Σ ∈ ℝ
D×D
|Σ| Σ

4. 4
ガウス分布の利⽤事例ガウス分布の利⽤事例
ガウス分布: エントロピーを最⼤化する分布(Sec 1.6)
 多変量ガウス分布への適⽤(演習2.14)
確率変数の和: 確率変数
 中⼼極限定理(central limit heorem): 緩やかな条件下での変数の数の増加
 確率変数は徐々にガウス分布に従う
区間 上での⼀様分布に従う 個の確率変数 の平均 (図2.6)
Nの増加: 収束は⾼速化 ⼆項分布は でガウス分布に従う(図2.1)
[0, 1] N , . . . ,x1 xN ( +. . . + )/Nx1 xN
N → ∞

5. 5
ガウス分布の幾何学的形状ガウス分布の幾何学的形状
 (x|μ, Σ) = exp
{
− (x − μ (x − μ)
}
1
(2π)
D/2
1
|Σ|
1/2
1
2
)
T
Σ
−1

指数部分の⼆次形式を通して に依存
: から までのマハラノビス距離(Mahalanobis distance)
が単位⾏列 ユークリッド距離
⼆次形式の値が 空間中で定数となる⾯: ガウス分布の密度は⼀定
x
= (x − μ (x − μ)Δ
2
)
T
Σ
−1
Δ x μ
Σ
x

6. 6
ガウス分布の幾何学的形状ガウス分布の幾何学的形状
⾏列 が対称であることを⽰す(演習2.17)Σ
⼀般の正⽅⾏列: 対称⾏列と⾮対称⾏列の和Λ = +Λ
S
Λ
A
( = , = − )Λ
S
ij
Λ
S
ji
Λ
A
ij
Λ
A
ji
(演習1.14) より, 以下の書き換えを⽤いる
Λ
S
ij
Λ
A
ij
=
=
( + )
1
2
Λij Λji
( − )
1
2
Λij Λji

7. 7
ガウス分布の幾何学的形状ガウス分布の幾何学的形状
ガウス分布の指数部分を変形して, 対称成分のみが残ることを⽰す(演習2.17)
(x − μ Σ(x − μ))
T
=
=
=
=
=
=
=
( − ) ( − )
∑
i=1
D
∑
j=1
D
xi μi Σij xj μj
( − )( + )( − )
∑
i=1
D
∑
j=1
D
xi μi Σ
S
ij
Σ
A
ij
xj μj
+
∑
i=1
D
∑
j=1
D
yi yj Σ
S
ij
∑
i=1
D
∑
j=1
D
yi yj Σ
A
ij
+ ( − )
∑
i=1
D
∑
j=1
D
yi yj Σ
S
ij
∑
i=1
D
∑
j=1
D
yi yj
1
2
Σij Σji
+
(
−
)∑
i=1
D
∑
j=1
D
yi yj Σ
S
ij
1
2 ∑
i=1
D
∑
j=1
D
yi yj Σij
∑
i=1
D
∑
j=1
D
yi yj Σji
∑
i=1
D
∑
j=1
D
yi yj Σ
S
ij
(x − μ (x − μ))
T
Σ
S

8. 8
ガウス分布の幾何学的形状ガウス分布の幾何学的形状
についての, 共分散⾏列に対する固有ベクトルの⽅程式i = 1, . . . , D
Σ =ui λi ui
は実対象⾏列 固有値も実数 固有ベクトルも互いに正規直交Σ
=u
T
i
uj Iij
上述の定義を⽤いて, 共分散⾏列, 逆⾏列を算出(演習2.19)
Σ
Σ
−1
=
=
∑
i=1
D
λi ui u
T
i
∑
i=1
D
1
λi
ui u
T
i

9. 9
ガウス分布の幾何学的形状ガウス分布の幾何学的形状
を算出(演習2.19) 以下の仮定をおいて, (2.45), (2.48)を変形
固有ベクトルの⽅程式(2.45)を変形すると, 上述の(2.48)の関係が成⽴する
を導出可能
Σ ⇒
U = ( , , . . . , , Λ =u1 u2 uD )
T
⎛
⎝
⎜
⎜
⎜
λ1
⋱
λD
⎞
⎠
⎟
⎟
⎟
Σ = (2.48) ⇒ Σ = UΛ = M ⇒ MU = UΛ U = UΛ U = Λ
∑
i=1
D
λi ui u
T
i
U
T
U
T
U
T
U
T
U
−1
U
−1
Σ = ⇒ ΣU = ΛUui λi ui
ΣU
ΣUU
T
=
=
ΛU
ΛU = Λ U = ΛU
T
U
−1
Σ = UΛ = MU
T
⇒ Σ = ∑
D
i=1
λi ui u
T
i

10. 10
ガウス分布の幾何学的形状ガウス分布の幾何学的形状
の逆⾏列を算出(演習2.19)
は以下のように対⾓⾏列の逆⾏列であるため, (2.49) が成⽴
Σ
Σ
−1
=
=
(UΛU
T
)
−1
( = UU
T
)
−1
Λ
−1
U
−1
Λ
−1
U
T
Λ
−1
=Σ
−1
∑
D
i=1
1
λi
ui u
T
i
=Λ
−1
⎛
⎝
⎜
⎜
⎜
1
λ1
⋱
1
λD
⎞
⎠
⎟
⎟
⎟

11. ガウス分布の幾何学的形状ガウス分布の幾何学的形状
とすると, 多変量ガウス分布(2.43)の⼆次形式は次のように表せる
: の座標系を平⾏移動( ), 回転した正規直⾏ベクトル( ) で定義される新しい座標系
 を⽤いて書き換え
: 直⾏⾏列
が定数 ⼆次形式が定数 ガウス分布の密度が⼀定, 定数の⾯で楕円体を形成(図2.7)
= (x − μ)yi u
T
i
= = =Σ
−1
∑
i=1
D
1
λi
ui u
T
i
∑
i=1
D
( (x − μ)u
T
i
)
2
λi
∑
i=1
D
y
2
i
λi
{ }yi xi x − μ U ui
y = ( , . . . ,yi yD )
T
y = U(x − μ)
U = [ ]u
T
i
Σ
2

12. 1112
ガウス分布の幾何学的形状ガウス分布の幾何学的形状
ガウス分布の定義: 共分散⾏列の全ての固有値 が正
 分布を適切に正規化可能
固有値が厳密に正: 正定値(positive definite)
固有値が全て⾮負: 半正定値(positive semidefinite)
 より低次元の部分空間に制限され分布(Sec. 12)
λi

13. 13
座標系変更後のガウス分布の幾何学的形状座標系変更後のガウス分布の幾何学的形状
ガウス分布の座標変換後の座標系 での形状について考察y = U(x − μ)
から に座標系を移すために, ヤコビ⾏列 (Jacobian matrix)を使⽤
⾏列 の正規直交性より, ヤコビ⾏列の⾏列式の⼆乗 単位⾏列
共分散⾏列の⾏列式も固有値の積として表記可能
x y J
= =Jij
∂xi
∂yj
Uji
U
|J = | = | ||U| = | U| = |I| = 1|
2
U
T
|
2
U
T
U
T
|Σ =|
1/2
∏
j=1
D
λ
1/2
j

14. 14
座標系変更後のガウス分布の幾何学的形状座標系変更後のガウス分布の幾何学的形状
⾏列 は直交⾏列 変更後の座標系での多変量ガウス分布: D個の独⽴な1次元ガウス分布の積
座標系での分布の積分: 1変数での正規化結果(1.48)と同様
U
p(y) = p(x)|J| = exp
{
−
}∏
j=1
D
1
(2πλj )
1/2
y
2
j
2λj
y
∫
p(y) = exp
{
−
}
d = 1
∏
j=1
D
∫
∞
−∞
1
(2πλj )
1/2
y
2
j
2λj
yj

15. 15
ガウス分布の⼀次モーメント(分散)ガウス分布の⼀次モーメント(分散)
⼀次モーメント: xの期待値を計算, の書き換えを⾏う(2.58)z = x − μ
𝔼 [x] =
=
∫
exp
{
− (x − μ (x − μ)
}
xdx
1
(2π)D/2
1
|Σ|
1/2
1
2
)
T
Σ
−1
∫
exp
{
− z
}
(z + μ)dz
1
(2π)
D/2
1
|Σ|
1/2
1
2
z
T
Σ
−1
指数部分は の要素に関する偶関数, 積分区間はz (−∞, ∞)

に関する項⽬は対称性のため消去 期待値はガウス分布の平均z
𝔼 [x] = μ

16. 16
ガウス分布の⼆次モーメント(分散)ガウス分布の⼆次モーメント(分散)
多変量ガウス分布の⼆次モーメント: で与えられる𝔼 [ ]xi xj
 ⾏列 , の書き換えを⾏う𝔼 [ ]xx
T
z = x − μ
𝔼 [ ]xx
T
=
=
∫
exp
{
− (x − μ (x − μ)
}
dx
1
(2π)D/2
1
|Σ|
1/2
1
2
)
T
Σ
−1
xx
T
∫
exp
{
− z
}
(z + μ)(z + μ dz
1
(2π)
D/2
1
|Σ|
1/2
1
2
z
T
Σ
−1
)
T
指数部分の対称性: と の交差項は消える
: 積分の外側へ移動 ガウス分布は正規化: 値は1となる
μz
T
zμ
T
μμ
T

17. 17
ガウス分布の⼆次モーメント(分散)ガウス分布の⼆次モーメント(分散)
について計算 : = (x + μ) = z ⇒ z = の関係が成立(2.60)zz
T
yj u
T
j
u
T
j
∑
j=1
D
yj uj
これを⽤いて, の に関する項を計算
( でない要素は対称性により消去されることを利⽤)
𝔼 [ ]xx
T
zz
T
i = j
∫
exp
{
− z
}
dz
1
(2π)D/2
1
|Σ|
1/2
1
2
z
T
Σ
−1
zz
T
=
=
=
=
=
∫
exp
{
−
}
dy (using 2.45)
1
(2π)D/2
1
|Σ|
1/2 ∑
i=1
D
∑
j=1
D
ui u
T
j
∑
k=1
D
y
2
k
2λk
yi yj
(∫
exp
{
−
}
d
)
1
(2π)D/2
1
|Σ|
1/2 ∑
i=1
D
∑
j=1
D
ui u
T
j
∏
k=1
D
y
2
k
2λk
yk yi yj
∫ ∫
exp
{
−
}
d d (using 2.55)
∑
i=1
D
∑
j=1
D
ui u
T
j
1
(2πλi λj )
1/2
(yi yj )
2
2λi λj
yi yj yi yj
∫
exp
{
−
}
d
∑
i=1
D
ui u
T
i
1
(2πλi )1/2
y
2
i
2λi
y
2
i
yi
= Σ (using 2.48, 2.57)
∑
i=1
D
ui u
T
i
λi

18. 18
ガウス分布の⼆次モーメント(分散)ガウス分布の⼆次モーメント(分散)
最終的に得られる⼆次モーメント(多変量ガウス分布の分散)は次のようになる
𝔼 [ ]xx
T
=
=
=
∫
exp
{
− z
}
(z + μ)(z + μ dz
1
(2π)D/2
1
|Σ|
1/2
1
2
z
T
Σ
−1
)
T
∫
exp
{
− z
}
( + )dz
1
(2π)D/2
1
|Σ|
1/2
1
2
z
T
Σ
−1
zz
T
μμ
T
+ Σμμ
T

19. 19
多変量ガウス分布の共分散多変量ガウス分布の共分散
以下の1次, 2次モーメントを⽤いて共分散を算出
𝔼 [x] = μ
𝔼 [ ] = + Σxx
T
μμ
T
共分散の定義に⼀次, ⼆次モーメントを代⼊, パラメータ が共分散⾏列であることを確認Σ
cov[x] =
=
=
𝔼 [(x − 𝔼 [x])(x − 𝔼 [x] ])
T
𝔼 [ ] − 𝔼 [x] − 𝔼 [x μ +xx
T
μ
T
]
T
μμ
T
𝔼 [ ] − = Σxx
T
μμ
T

パラメータの⾏列 は共分散⾏列Σ

20. 20
ガウス分布のパラメータ削減ガウス分布のパラメータ削減
分布の⾃由パラメータの数:
⼀般対称共分散⾏列 の⾃由パラメータは 個
パラメータ数は三⾓⾏列の要素数: 数列の公式を⽤いて算出可能
の⾃由パラメータは 個
Σ D(D + 1)/2
{D − (i − 1)} = − + D =
∑
i=1
D
D
2
D(D + 1)
2
D(D + 1)
2
μ D
の⼆乗の割合で増加するため, ⼤規模⾏列の計算の際に問題となるD

解決⽅法: 共分散⾏列の形式に制限を加える

21. 21
ガウス分布のパラメータ削減ガウス分布のパラメータ削減
共分散⾏列が対⾓( )  パラメータの総数:
等⽅共分散⾏列( )  パラメータの総数:
Σ = diag( )σ
2
i
2D
Σ = Iσ
2
D + 1
パラメータが減ると相関を表現できなくなる

22. 22
ガウス分布の拡張ガウス分布の拡張
ガウス分布の⽋点
本質的に単峰形(極⼤値が⼀つ)な分布しか表現できない
パラメータ数による過度な柔軟性, 適切に表現できる分布の範囲が制限

潜在変数の導⼊
離散潜在変数を⽤いたガウス混合分布(Sec. 2.3.9)
連続潜在変数の導⼊(Sec. 12)
2つのアプローチの統合: マルコフ確率場(Markov random field, Sec. 8.3)