More Related Content
Similar to Prml1.2.4 (20)
More from Tomoyuki Hioki (18)
Prml1.2.4
- 2. 第1章 序論
1.1 多項式フィッティング
1.2 確率論
1.2.1 確率密度
1.2.2 期待値と分散
1.2.3 ベイズ確率
1.2.4 ガウス分布
1.2.5 曲線フィッティング再訪
1.2.6 ベイズ曲線フィッティング
1.3 モデル選択
1.4 次元の呪い
1.5 決定理論
1.5.1 識別率の最⼩化
1.5.2 期待値損失と最⼩化
1.5.3 棄却オプション
1.5.4 推論と決定
1.5.5 回帰のための損失関数
1.6 情報理論
1.6.1 相対エントロピーと相互情報量
⽬次
- 13. 𝑀8 =
𝑎4 + 𝑎" + 𝑎; + 𝑎< + 𝑎= + 𝑎>
6
𝑎4
𝑎"
𝑎;
𝑎<
𝑎=
𝑎>
𝑎@
𝑀8
問題になるのは分散のところ
𝜎" =
(𝑎4 − 𝑀8)"+(𝑎" − 𝑀8)"+(𝑎; − 𝑀8)"+(𝑎< − 𝑀8)"+(𝑎= − 𝑀8)"+(𝑎> − 𝑀8)"
6
⇨ ⾃由度の冗⻑性が⽣じる
たとえば,𝑎>は実は𝑀8とほかの５個の要素を使って表現することができる
𝑎>=6𝑀8 − (𝑎4 + 𝑎" + 𝑎; + 𝑎< + 𝑎=)
平均を計算する際に,サンプルの数で平均を取るのは問題ない
𝑀8を使⽤してサンプルの分散を計算している
𝜎"
=
(𝑎4 − 𝑀8)"
+(𝑎" − 𝑀8)"
+(𝑎; − 𝑀8)"
+(𝑎< − 𝑀8)"
+(𝑎= − 𝑀8)"
+(6𝑀8 − (𝑎4 + 𝑎" + 𝑎; + 𝑎< + 𝑎=) − 𝑀8)"
6
これを分散の式に代⼊すると…
𝜎"
=
(𝑎4 − 𝑀8)"
+(𝑎" − 𝑀8)"
+(𝑎; − 𝑀8)"
+(𝑎< − 𝑀8)"
+(𝑎= − 𝑀8)"
+ [ (𝑎4 + 𝑎" + 𝑎; + 𝑎< + 𝑎=) − 5𝑀]"
6
サンプルを５個しか使っていないのに,６で割っている！！問題だ！
５個を使うなら,５で割らないといけない！ ので ６１＝５になる
1.2.4 ガウス分布
N-1法則の由来
- 14. 𝑀8 =
𝑎1 + 𝑎2 + ⋯ + 𝑎 𝑛−1 + 𝑎 𝑛
𝑛
𝑎1
𝑎2
𝑎3
𝑎4
𝑎5
𝑎6
𝑎7
𝑀8
𝜎2 =
(𝑎1 − 𝑀8)2+(𝑎2 − 𝑀8)2 + ⋯ + (𝑎 𝑛−1 − 𝑀8)2+(𝑎 𝑛 − 𝑀8)2
𝑛
⾃由度の冗⻑性が⽣じる
たとえば,𝑎 𝑛は実は𝑀8とほかのn-1個の要素を使って表現することができる
𝑎 𝑛=n𝑀8 − (𝑎1 + 𝑎2 + ⋯ + 𝑎 𝑛−1)
平均を計算する際に、サンプルの数で平均を取るのは問題ない
これを分散の式に代⼊すると
𝜎2
=
(𝑎1 − 𝑀8)2
+(𝑎2 − 𝑀8)2
+ ⋯ + (𝑎 𝑛−1 − 𝑀8)2
+ [ (𝑎1 + ⋯ + 𝑎 𝑛−1) − (𝑛 − 1)𝑀8]2
𝑛
𝜎𝑡𝑟𝑢𝑒
2
≡
(𝑎1 − 𝑀8)2+ ⋯ + (𝑎 𝑛−1 − 𝑀8)2+ [ (𝑎1 + ⋯ + 𝑎 𝑛−1) − (𝑛 − 1)𝑀8]2
𝑛 − 1
1.2.4 ガウス分布
N-1法則の由来
- 17. 𝐸 𝑠"
= 𝐸
1
𝑛 − 1
R 𝑥S − 𝑋U "
V
SW4
𝐸 𝑠"
=
1
𝑛 − 1
R 𝐸 𝑥S
"
−
𝑛
𝑛 − 1
𝑋U"
V
SW4
𝐸 𝑠"
=
𝑛
𝑛 − 1
(𝜎"
+𝜇"
) −
𝑛
𝑛 − 1
(
1
𝑛
𝜎"
+ 𝜇"
)
𝐸 𝑠"
=
𝑛
𝑛 − 1
(𝜎"
+𝜇"
) −
1
𝑛 − 1
𝜎"
−
𝑛
𝑛 − 1
𝜇"
)
𝑛 − 1 の⾃由度を持つ分散式を使ってサンプル分散の期待値を計算する
1.2.4 ガウス分布
- 18. 𝐸 𝑠"
=
𝑛
𝑛 − 1
(𝜎"
+𝜇"
) −
1
𝑛 − 1
𝜎"
−
𝑛
𝑛 − 1
𝜇"
)
𝐸 𝑠"
=
𝑛
𝑛 − 1
𝜎"
+
𝑛
𝑛 − 1
𝜇"
−
1
𝑛 − 1
𝜎"
−
𝑛
𝑛 − 1
𝜇"
𝐸 𝑠"
=
𝑛 − 1
𝑛 − 1
𝜎"
𝐸 𝑠"
= 𝜎"
𝑛 − 1 の⾃由度を持つ分散式を使ってサンプル分散の期待値を計算する
1.2.4 ガウス分布
- 22. = 𝑩 − 𝑴8 𝟐 •(𝑪 − 𝑴8 𝟑)
共分散：𝐶𝑂𝑉(B, C)
𝐵 𝐶
𝑏4
𝑏"
𝑏;
𝑏<
𝑏=
𝑏>
𝑏@
𝑏
𝑀8" 𝑀8;
𝑪𝑶𝑽
𝑐4
𝑐"
𝑐;
𝑐<
𝑐=
𝑐>
𝑐@
𝑐
1.2.4 ガウス分布
- 24. 共分散⾏列: Σ
𝚺 =
𝑪𝑶𝑽(𝑨, 𝐀) 𝐶𝑂𝑉(A, B) 𝐶𝑂𝑉(A, C)
𝐶𝑂𝑉(B, A) 𝑪𝑶𝑽(𝐁, 𝐁) 𝐶𝑂𝑉(B, C)
𝐶𝑂𝑉(C, A) 𝐶𝑂𝑉(C, B) 𝑪𝑶𝑽(𝐂, 𝑪)
𝚺 =
𝝈 𝑨
" 𝝈 𝑨𝑩 𝝈 𝑨𝑪
𝝈 𝑩𝑨 𝝈 𝑩
" 𝝈 𝑩𝑪
𝝈 𝑪𝑨 𝝈 𝑪𝑩 𝝈 𝑪
"
1.2.4 ガウス分布
- 26. 共分散⾏列のすべて
多次元正規分布のパラメータの微分計算
𝑃(𝜙 𝑥 ; 𝜇, Σ) ≡
1
2𝜋
𝐷
2 Σ
1
2
exp{−
1
2
𝜙 𝑥 − 𝜇 𝑇Σ−1 𝜙 𝑥 − 𝜇 }
𝜇∗, Σ∗ ≡
argma𝑥
𝜇, Σ
{
1
𝑁
R 𝑙𝑜𝑔
𝑁
𝑖=1
𝑃 𝜙 𝑥 𝑖 ; 𝜇, Σ }
𝜇∗, Σ∗ ≡
argma𝑥
𝜇, Σ
−
1
2
𝑙𝑜𝑔 Σ −
1
2𝑁
R 𝜙 𝑥(𝑖) − 𝜇
𝑇
Σ−1 𝜙 𝑥(𝑖) − 𝜇 }
𝑁
𝑖=1
1.2.4 ガウス分布
- 27. 𝐽 𝜇, Σ ≡ −
1
2
𝑙𝑜𝑔 Σ −
1
2𝑁
R 𝜙 𝑥(𝑖) − 𝜇
𝑇
Σ−1 𝜙 𝑥(𝑖) − 𝜇 }
𝑁
𝑖=1
⽬的関数
を平均パラメータ 𝜇 についてこれを偏微分すると
𝜕𝐽 𝜇, Σ
𝜕𝜇
=
1
𝑁
R Σ−1 𝜙 𝑥(𝑖) − 𝜇
𝑁
𝑖=1
最適な𝜇 = 𝜇∗でこれが0のはずなので,これを0とおいて整理すると：
1
𝑁
R Σ−1 𝜙 𝑥(𝑖) = Σ−1 𝜇
𝑁
𝑖=1
𝜇 =
1
𝑁
R 𝜙 𝑥(𝑖)
𝑁
𝑖=1
1.2.4 ガウス分布
- 28. 次に分散共分散⾏列の最尤推定量𝛴∗を求めるため, 𝛴∗について⽬的関数を最⼤化：
𝐽 𝜇, Σ ≡ −
1
2
𝑙𝑜𝑔 Σ −
1
2𝑁
R{ 𝜙 𝑥 𝑖 − 𝜇
𝑇
Σ−1 𝜙 𝑥 𝑖 − 𝜇 }
𝑁
𝑖=1
まず,以下の式が成⽴することを確かめる
𝜙 𝑥(𝑖) − 𝜇
𝑇
Σ−1 𝜙 𝑥(𝑖) − 𝜇 = 𝑇𝑟{ 𝜙 𝑥 𝑖 − 𝜇
𝑇
Σ−1 𝜙 𝑥 𝑖 − 𝜇 }
= 𝑇𝑟{ Σ−1 𝜙 𝑥 𝑖 − 𝜇 𝜙 𝑥 𝑖 − 𝜇
𝑇
}
= 𝑇𝑟{ ⋀ 𝜙 𝑥 𝑖 − 𝜇 𝜙 𝑥 𝑖 − 𝜇
𝑇
}
ー最初の等式が成り⽴つことはスカラー値のトレースもまた
スカラー値であることから
ー2つ⽬の等式は⾏列ABに対し Tr(AB)=Tr(BA)であることから
ー最後の式は、共分散⾏列と精度⾏列の間にΣ−1＝⋀
1.2.4 ガウス分布
- 29. 𝐽 𝜇, ⋀ ≡
1
2
𝑙𝑜𝑔 ⋀ −
1
2𝑁
R 𝑇𝑟{ ⋀ 𝜙 𝑥 S
− 𝜇 𝜙 𝑥 S
− 𝜇
‘6
SW4
𝐽 𝜇, Σ ≡ −
1
2
𝑙𝑜𝑔 Σ −
1
2𝑁
R{ 𝜙 𝑥 S
− 𝜇
‘
Σ+4 𝜙 𝑥 S
− 𝜇 }
6
SW4
𝜕𝐽 𝜇, ⋀
𝜕⋀
=
1
2⋀
−
1
2𝑁
R 𝜙 𝑥 S
− 𝜇 𝜙 𝑥 S
− 𝜇
‘
6
SW4
𝜕𝐽 𝜇, ⋀
𝜕⋀
= 0
Σ =
1
⋀
=
1
𝑁
R 𝜙 𝑥 S − 𝜇 𝜙 𝑥 S − 𝜇
‘
6
SW4
1.2.4 ガウス分布
- 33. 𝑃(𝜙 𝑥 ; 𝜇, Σ) ≡
1
2𝜋
𝐷
2 Σ
1
2
exp{−
1
2
𝜙 𝑥 − 𝜇 𝑇Σ−1 𝜙 𝑥 − 𝜇 }
多次元まで拡張する：
Σ = 𝑑𝑖𝑎𝑔 (𝜎 1 )2, (𝜎 2 )2, … . . (𝜎 𝑑 )2 ,
𝑃(𝜙 𝑥 ; 𝜇, Σ) ≡
1
2𝜋
𝐷
2 ∏ 𝜎 𝑗𝑑
𝑗=1
exp{− R
(𝑥 𝑗 − 𝜇 𝑗 )2
2(𝜎 𝑗 )2
𝑑
𝑗=1
}
1.2.4 ガウス分布
- 34. 𝑃 𝑥1; 𝜇, Σ = { 𝑥1
1
− 𝑢_
1 , 𝑥1
(2)
− 𝑢_
(2),.. 𝑥1
(𝑑)
− 𝑢_
(𝑑)}
𝑥1
1
− 𝑢_
1
𝑥1
2
− 𝑢_
(2)
.
.
.
𝑥1
𝑑
− 𝑢_
(𝑑)
𝑃 𝑥1; 𝜇, Σ =
1
𝜎2 {(𝑥1
1
− 𝑢 1 )2+(𝑥1
2
− 𝑢 2 )2+..(𝑥1
𝑑
− 𝑢 𝑑 )2}
1
𝜎2
⋯ 0
⋮ ⋱ ⋮
0 ⋯
1
𝜎2
𝑃 𝑥2; 𝜇, Σ =
1
𝝈2 {(𝑥2
1
− 𝑢 1 )2+(𝑥2
2
− 𝑢 2 )2+..(𝑥2
𝑑
− 𝑢 𝑑 )2}
𝑥(1)
𝑥(2)
𝑥(𝑑)
𝒙 𝟏
𝟐
𝒙 𝟏
𝟏
𝒙 𝟏
𝟑
𝒙 𝟏
𝒅
𝒙 𝟐
𝟏 𝒙 𝟐
𝟐
𝒙 𝟐
𝟑
𝒙 𝟐
𝒅
𝑢 1
𝝈
𝑢 2
𝑢 3
𝑥(3)
𝑢 𝑑
軸（次元）ごとに,平均しか分散を持たない場合（分散は⼀つである）
⾼次元空間の点の取り⽅を図⽰
1.2.4 ガウス分布
- 35. 𝑥4
4
− 𝑢_
4
𝑥4
"
− 𝑢_
(")
.
.
.
𝑥4
œ
− 𝑢_
(œ)
1
(𝜎 4 )"
⋯ 0
⋮ ⋱ ⋮
0 ⋯
1
(𝜎 œ )"
𝑥(4)
𝑥(")
𝑥(œ)
𝒙 𝟏
𝟐
𝒙 𝟏
𝟏
𝒙 𝟏
𝟑
𝒙 𝟏
𝒅
𝒙 𝟐
𝟏 𝒙 𝟐
𝟐
𝒙 𝟐
𝟑
𝒙 𝟐
𝒅
𝑢 4
𝜎 4
𝑢 "
𝜎 "
𝑢 ;
𝜎 œ
𝑥(;)
𝑢 œ
𝜎 ;
軸（次元）ごとに、平均と分散を持つ場合：
𝑃 𝑥4; 𝜇, Σ = { 𝑥4
4
− 𝑢_
4 , 𝑥4
(")
− 𝑢_
("),.. 𝑥4
(œ)
− 𝑢_
(œ)}
𝑃 𝑋4; 𝜇, Σ =
(•ž
ž
+Ÿ ž )
(¡ ž )
+
(•ž +Ÿ )
(¡ )
+..
(•ž
¢
+Ÿ ¢ )
(¡ ¢ )
}
𝑃 𝑋"; 𝜇, Σ =
(•
ž
+Ÿ ž )
(¡ ž )
+
(• +Ÿ )
(¡ )
+..
(•
¢
+Ÿ ¢ )
(¡ ¢ )
}
⾼次元空間の点の取り⽅を図⽰
1.2.4 ガウス分布
- 36. 𝑃 𝑥1; 𝜇, Σ = { 𝑥1
1
− 𝑢_
1 , 𝑥1
(2)
− 𝑢_
(2),.. 𝑥1
(𝑑)
− 𝑢_
(𝑑)}
𝑥1
1
− 𝑢_
1
𝑥1
2
− 𝑢_
(2)
.
.
.
𝑥1
𝑑
− 𝑢_
(𝑑)
𝑃 𝑿 𝟏; 𝜇, Σ = {
(𝑥1
1
−𝑢 1 )
(𝜎 11 )2 +
(𝑥1
2
−𝑢 2 )
(𝜎 21 )2 + ⋯ +
(𝑥1
𝑑
−𝑢 𝑑 )
(𝜎 𝑑1 )2 ,
(𝑥1
1
−𝑢 1 )
(𝜎 12 )2 +
(𝑥1
2
−𝑢 2 )
(𝜎 22 )2 + ⋯ +
(𝑥1
𝑑
−𝑢 𝑑 )
(𝜎 𝑑2 )2 , …
(𝑥1
1
−𝑢 1 )
(𝜎 1𝑑 )2 +
(𝑥1
2
−𝑢 2 )
(𝜎 2𝑑 )2 + ⋯ +
(𝑥1
𝑑
−𝑢 𝑑 )
(𝜎 𝑑𝑑 )2 }
1
(𝜎 11 )2
1
(𝜎 12 )2
1
(𝜎 1𝑑 )2
1
(𝜎 21 )2
… .
⋱ ⋮
1
(𝜎 𝑑1 )2
⋯
1
(𝜎 𝑑𝑑 )2
𝑥(4)
𝑥(")
𝑥(œ)
𝒙 𝟏
𝟐
𝒙 𝟏
𝟏
𝒙 𝟏
𝟑
𝒙 𝟏
𝒅
𝒙 𝟐
𝟏 𝒙 𝟐
𝟐
𝒙 𝟐
𝟑
𝒙 𝟐
𝒅
𝑢 4
Σ
𝑢 "
Σ
𝑢 ;
Σ 𝑥(;)
𝑢 œ
Σ
軸（次元）ごとに,平均と分散共分散を持つ場合：
Σ
.
𝑥4
4
− 𝑢_
4
𝑥4
"
− 𝑢_
(")
.
.
.
𝑥4
œ
− 𝑢_
(œ)
1.2.4 ガウス分布
- 37. 𝑃 𝑥4; 𝜇, Σ = {
(•ž
ž
+Ÿ ž )
(¡ žž )
+
(•ž +Ÿ )
(¡ ž )
+..
(•ž
¢
+Ÿ ¢ )
(¡ ¢ž )
,
(•ž
ž
+Ÿ ž )
(¡ ž )
+
(•ž +Ÿ )
(¡ )
+..
(•ž
¢
+Ÿ ¢ )
(¡ ¢ )
,
….
(•ž
ž
+Ÿ ž )
(¡ ž¢ )
+
(•ž +Ÿ )
(¡ ¢ )
+..
(•ž
¢
+Ÿ ¢ )
(¡ ¢¢ )
} 𝑥4
4
− 𝑢 4
𝑥4
"
− 𝑢 "
.
.
.
𝑥4
œ
− 𝑢 œ
𝑃 𝑋4; 𝜇, Σ = {
(•ž
ž
+Ÿ ž )
(¡ žž )
+
(•ž +Ÿ )(•ž
ž
+Ÿ ž )
(¡ ž )
+ ⋯ +
•ž
¢
+Ÿ ¢ •ž
ž
+Ÿ ž
(¡ ¢ž )
+
•ž
ž
+Ÿ ž •ž +Ÿ
(¡ ž )
+
•ž +Ÿ
(¡ )
+ ⋯ +
•ž
¢
+Ÿ ¢ •ž +Ÿ
(¡ ¢ )
+ ⋯ +
(•ž
ž
+Ÿ ž )(•ž
¢
+Ÿ ¢ )
(¡ ž¢ )
+
(•ž +Ÿ )(•ž
¢
+Ÿ ¢ )
(¡ ¢ )
+..
(•ž
¢
+Ÿ ¢ )
(¡ ¢¢ )
}
𝑃 𝑋"; 𝜇, Σ = {
(•
ž
+Ÿ ž )
(¡ žž )
+
(• +Ÿ )(•
ž
+Ÿ ž )
(¡ ž )
+ ⋯ +
•
¢
+Ÿ ¢ •
ž
+Ÿ ž
(¡ ¢ž )
+
•
ž
+Ÿ ž • +Ÿ
(¡ ž )
+
• +Ÿ
(¡ )
+ ⋯ +
•
¢
+Ÿ ¢ • +Ÿ
(¡ ¢ )
+ ⋯ +
(•
ž
+Ÿ ž )(•
¢
+Ÿ ¢ )
(¡ ž¢ )
+
(• +Ÿ )(•
¢
+Ÿ ¢ )
(¡ ¢ )
+..
(•
¢
+Ÿ ¢ )
(¡ ¢¢ )
}
1.2.4 ガウス分布
- 38. 多変量正規分布の導出
特に⾏列式： 𝛴 がどうやって導出されているか：
𝑃(𝜙 𝑥 ; 𝜇, Σ) ≡
1
2𝜋
𝐷
2 Σ
1
2
exp{−
1
2
𝜙 𝑥 − 𝜇 𝑇Σ−1 𝜙 𝑥 − 𝜇 }
𝑠𝑖 ~𝑁 𝑚𝑖, 1 : 独⽴確率変数, 𝑖 = 1,2,3,4,5 … 𝑛; 平均は𝑚𝑖, 分散：１の同時密度関数は
ℎ(𝑠1, 𝑠2,⋯, 𝑠 𝑛)である
同時確率は ℎ(𝑠1, 𝑠2,⋯, 𝑠 𝑛)𝑑𝑠1 𝑑𝑠2…. 𝑑𝑠 𝑛 = ∏
1
2𝜋
𝑒{−
1
2
𝑠𝑖−𝑚𝑖
2}
𝑑𝑠𝑖
𝑛
𝑖=1
ベクトル表⽰を使⽤すると
ℎ(S)𝑑S = (
1
2𝜋
) 𝑛 𝑒{−
1
2(S−𝑀©) 𝑇 S−𝑀© }
𝑑S
𝑺 = (𝒔 𝟏, 𝒔 𝟐,⋯, 𝒔 𝒏) 𝑻 : 縦⾏列 𝑀© = (𝒎 𝟏, 𝒎 𝟐,⋯, 𝒎 𝒏) 𝑻 : 縦⾏列
1.2.4 ガウス分布
- 39. ここで正則⾏列𝐴 を⽤いてS を独⽴でない要素に関する分布に拡張することを考える
1 0 0
0 1 0
0 0 1
1 1 0
0 1 1
0 0 1
A = or A =
独⽴ 独⽴ではない
ℎ(S)𝑑S = (
1
2𝜋
)V 𝑒{+
4
"(¯+1)° ¯+1 }
𝑑S
ℎ(S)𝑑S = (
1
2𝜋
)V
𝑒{+
4
"
¯+1©
°
𝑨 𝑻[𝑨 𝑻]±𝟏 𝑨±𝟏 𝑨 ¯+1© }
𝑑S
1
ℎ(S)𝑑S = (
1
2 𝜋
)V
𝑒{+
4
"
𝑨¯+𝑨1©
°
[𝑨 𝑻]±𝟏 𝑨±𝟏 𝑨¯+𝑨1© }
𝑑S
ℎ(S)𝑑S = (
1
2 𝜋
)V
𝑒{+
4
"
𝑨¯+𝑨1©
°
[𝑨𝑨 𝑻]±𝟏 𝑨¯+𝑨1© }
𝑑S
1.2.4 ガウス分布
- 40. 𝑥 = 𝐴S , S = 𝐴+4 𝑥 という変換を施す 𝑑S = 𝐴 +4 𝑑𝑥
ℎ(S)𝑑S = (
1
2𝜋
)V 𝑒{+
4
" 𝑨¯+𝑨1©
°
[𝑨𝑨 𝑻]±𝟏 𝑨¯+𝑨1© }
𝑑S
𝑓(𝑥)𝑑𝑥 = (
1
2𝜋
)V 𝐴 +4 𝑒{+
4
" 𝒙+𝑨1© °[𝑨𝑨 𝑻]±𝟏 𝒙+𝑨1© }
𝑑𝑥
𝑬 𝒙 = 𝑬 𝐴S = 𝑨𝑀 ≡ 𝝁©
𝑬{ 𝒙 − 𝑨𝑀© 𝒙 − 𝑨𝑀© ‘
} = 𝑬{𝑨 𝑨+𝟏 𝒙 − 𝑀© 𝑨+𝟏 𝒙 − 𝑀© ‘
𝐴‘}
𝑬{ 𝒙 − 𝑨𝑀© 𝒙 − 𝑨𝑀© ‘
} = 𝑬{𝑨 S − 𝑀© S − 𝑀©
‘
𝐴‘}
𝑥 = 𝐴S , S = 𝐴+4 𝑥 という変換を施す 𝑑S = 𝐴 +4 𝑑𝑥
𝑬 S − 𝑀© S − 𝑀©
‘
= 1
同時密度関数𝑓(𝑥)を定義すると：
1.2.4 ガウス分布
- 41. 𝑬{ 𝒙 − 𝑨𝑀© 𝒙 − 𝑨𝑀© 𝑇
} = 𝑨𝐴 𝑇 ≡ 𝜮
𝑓(𝑥)𝑑𝑥 =
1
2𝜋
𝑛
𝜮−
1
2 𝑒
−
1
2
𝒙−𝝁 𝑇 𝜮 −𝟏 𝒙−𝝁
𝑑𝑥
𝑨𝐴 𝑇 = 𝑨 𝐴 𝑇 = ( 𝑨 ) 𝟐
𝑨 = 𝑨𝐴 𝑇 = 𝜮
𝐴 −1 =
1
𝜮
= 𝜮−
1
2
同時密度関数𝑓 𝑥 は：
𝑓(𝑥) =
1
2𝜋
𝑛
𝜮−
1
2 𝑒
−
1
2
𝒙−𝝁 𝑇 𝜮 −𝟏 𝒙−𝝁
1.2.4 ガウス分布
- 42. n 次元の確率ベクトルをp 次元ベクトル𝑥(1)とq 次元のベクトル𝑥(2)に分け,
確率密度関数を ⾏列式が1 の正則⾏列E で変換する
𝐾 =
𝐼𝑝 𝑂
−𝜮21 𝜮11
−1
𝐼𝑞
𝜮 =
𝜮11 𝜮12
𝜮21 𝜮22
𝐾−1 =
𝐼𝑝 𝑂
𝜮21 𝜮11
−1
𝐼𝑞
𝑓(𝑥) =
1
2𝜋
V
𝜮+
4
" 𝑒
+
4
"
𝒙+𝝁 ° 𝜮 ±𝟏 𝒙+𝝁
=
1
2𝜋
V
𝜮+
4
" 𝑒
+
4
"
𝒙+𝝁 ° 𝑲 𝑻[𝑲 𝑻]±𝟏 𝜮 ±𝟏 𝑲±𝟏» 𝒙+𝝁
=
1
2𝜋
V
𝜮+
4
" 𝑒
+
4
"
𝒙+𝝁 ° 𝑲 𝑻{[𝑲 𝑻]±𝟏 𝜮 ±𝟏 𝑲±𝟏} » 𝒙+𝝁
=
1
2𝜋
V
𝜮+
4
" 𝑒
+
4
"
𝒙+𝝁 ° 𝑲 𝑻{𝑲𝜮𝑲 𝑻}±𝟏 » 𝒙+𝝁
𝜮21 𝜮11
−1
＝
𝜮21
𝜮11
(相関係数)
1.2.4 ガウス分布
- 43. =
1
2𝜋
V
𝜮+
4
" 𝑒
+
4
"
𝒙+𝝁 ° 𝑲 𝑻{𝑲𝜮𝑲 𝑻}±𝟏 » 𝒙+𝝁
𝐾 =
𝐼¼ 𝑂
−𝜮"4 𝜮44
+4
𝐼½
𝜮 =
𝜮44 𝜮4"
𝜮"4 𝜮""
𝐾 =
𝐼¼ 𝑂
𝜮"4 𝜮44
+4
𝐼½
=
1
2𝜋
V
𝜮+
4
" 𝑒
+
4
"
𝒙+𝝁 ° 𝑲 𝑻{
¾¿ À
+𝜮 ž 𝜮žž
±ž ¾Á
𝜮žž 𝜮ž
𝜮 ž 𝜮
¾¿ À
𝜮 ž 𝜮žž
±ž ¾Á
𝑻
}±𝟏 » 𝒙+𝝁
=
1
2𝜋
V
𝜮+
4
" 𝑒
+
4
"
𝒙+𝝁 ° 𝑲 𝑻{
𝜮žž 𝜮ž
À +𝜮 ž 𝜮žž
±ž 𝜮ž Â𝜮
¾¿ +𝜮žž
±ž 𝜮 ž
À ¾Á
}±𝟏 » 𝒙+𝝁
=
1
2𝜋
V
𝜮+
4
" 𝑒
+
4
"
𝒙+𝝁 ° 𝑲 𝑻{
𝜮žž À
À +𝜮 ž 𝜮žž
±ž 𝜮ž Â𝜮
}±𝟏 » 𝒙+𝝁
=
1
2𝜋
V
𝜮+
4
" 𝑒
+
4
"
𝑲𝒙+𝑲𝝁 °{
𝜮žž À
À 𝜮 +𝜮 ž 𝜮žž
±ž 𝜮ž
}±𝟏 »𝒙+»𝝁
1.2.4 ガウス分布
- 44. =
1
2𝜋
¼
𝜮44
+
4
" 𝑒
+
4
"
•(ž)+𝝁ž
°
{𝜮žž}±𝟏 » 𝒙+𝝁ž
×
1
2𝜋
½
(𝜮"" − 𝜮"4 𝜮44
+4
𝜮4")+
4
" 𝑒
+
4
"
𝒙( )+𝑸
°
𝑲 𝑻{𝜮 +𝜮 ž 𝜮žž
±ž 𝜮ž }±𝟏 𝒙( )+𝑸
𝑲𝒙 =
𝑥(4)
𝑥(")
− 𝜮"4 𝜮44
+4
𝑥(4)𝐾 =
𝐼¼ 𝑂
−𝜮"4 𝜮44
+4
𝐼½
𝑲𝒖 =
𝑢4
𝑢" − 𝜮"4 𝜮44
+4
𝑢4
𝑸" = 𝑢" − 𝜮"4 𝜮44
+4
𝑢4 + 𝜮"4 𝜮44
+4
𝑥 4
= 𝑢" + 𝜮"4 𝜮44
+4
(𝑥 4
− 𝑢4)
平均
S＝𝜮"" − 𝜮"4 𝜮44
+4
𝜮4"分散
1.2.4 ガウス分布
- 45. 𝑓 𝑥, 𝝁, 𝜮 = 𝑓 𝑥 1 , 𝝁1, 𝜮11 ∗ 𝑓 𝑥 2 , 𝑸2, 𝜮22 − 𝜮21 𝜮11
−1
𝜮12
𝑥 1 の周辺分布は
= Æ 𝑓 𝑥 1 , 𝝁1, 𝜮11 ∗ 𝑓 𝑥 2 , 𝑸2, 𝜮22 − 𝜮21 𝜮11
−1
𝜮12 𝑑𝑥 2
Æ 𝑓 𝑥, 𝝁, 𝜮 𝑑𝑥 2
= 𝑓 𝑥 1 , 𝝁1, 𝜮11 ∗ Æ 𝑓 𝑥 2 , 𝑸2, 𝜮22 − 𝜮21 𝜮11
−1
𝜮12 𝑑𝑥 2
= 𝑓 𝑥 1 , 𝝁1, 𝜮11
平均：𝝁1
分散：𝜮11
1.2.4 ガウス分布
- 46. 𝑥 2 の周辺分布は
= Æ 𝑓 𝑥 1 , 𝝁1, 𝜮11 ∗ 𝑓 𝑥 2 , 𝑸2, 𝜮22 − 𝜮21 𝜮11
−1
𝜮12 𝑑𝑥 1
Æ 𝑓 𝑥, 𝝁, 𝜮 𝑑𝑥 1
= 𝑓 𝑥 2 , 𝑸2, 𝜮22 − 𝜮21 𝜮11
−1
𝜮12 ∗ Æ 𝑓 𝑥 1 , 𝝁1, 𝜮11 𝑑𝑥 1
= 𝑓 𝑥 2 , 𝑸2, 𝜮22 − 𝜮21 𝜮11
−1
𝜮12
平均：𝑸2 = 𝑢2 + 𝜮21 𝜮11
−1
(𝑥 1 − 𝑢1)
分散：𝜮22 − 𝜮21 𝜮11
−1
𝜮12
1.2.4 ガウス分布
- 47. 𝑥 1 = 𝑥0
(1)
を与えたときの𝑥 2 の条件付き分布:
𝑓( 𝑥 2 𝑥0
1
=
𝑓(𝑥0
1
, 𝑥 2 )
𝑓(𝑥0
1
)
𝑓( 𝑥 2 𝑥0
1
=
𝑓(𝑥0
1
, 𝑥 2 )
𝑓(𝑥0
1
)
𝑓 𝑥 2 𝑥0
1
=
𝑓 𝑥0
1
∗ 𝑓 𝑥 2 , 𝑸2, 𝜮22 − 𝜮21 𝜮11
−1
𝜮12
𝑓(𝑥0
1
)
𝑓 𝑥 2 𝑥0
1
= 𝑓 𝑥 2 , 𝑸2, 𝜮22 − 𝜮21 𝜮11
−1
𝜮12
平均：𝑸2 = 𝑢2 + 𝜮21 𝜮11
−1
(𝑥0
1
− 𝑢1)
分散：𝜮22 − 𝜮21 𝜮11
−1
𝜮12
𝜮21 𝜮11
−1
=
𝜮21
𝜮11
(相関係数）
1.2.4 ガウス分布
