2012-07-16 PRML復々習レーン#3 前回までのあらすじ の資料

1. PRML復々習レーン#3
前回までのあらすじ
2012-07-16
Yoshihiko Suhara
@sleepy_yoshi
v.1.1

2. 前回のおさらい
• 復々習レーンの復習を15分程度でやります
– 得られた結論にポイントを絞る ポイントだよ
– 「よーするに」な内容
• 目的
– 前回の復習
– 不参加の方に流れを伝えるため
– 自分自身の勉強のため
2

3. 前回の範囲
• 2.3 ガウス分布
– 2.3.1 条件付きガウス分布
– 2.3.2 周辺ガウス分布
– 2.3.3 ガウス変数に対するベイズの定理
– 2.3.4 ガウス分布の最尤推定
– 2.3.5 逐次推定
– 2.3.6 ガウス分布に対するベイズ推論
– 2.3.7 スチューデントのt分布
– 2.3.8 周期変数
– 2.3.9 混合ガウス分布
• 2.4 指数型分布族
– 2.4.1 最尤推定と十分推定量
– 2.4.2 共役事前分布 ここまで
– 2.4.3 無情報事前分布
3

4. 2.3 ガウス分布
4

5. ポイントだよ
2.3 ガウス分布
ガウス分布は全ての基本
平均パラメータ𝝁，共分散パラメータ𝚺 (精度𝚲 = 𝚺 −1 )の
ガウス分布の確率密度関数は以下のとおり
1 1 1 𝑇 𝚺 −1
• 𝒩 𝑥 𝜇, Σ = 𝐷 1 exp − 𝒙− 𝝁 𝒙− 𝝁
2
2𝜋 2 𝚺2
• 注意点
– 単峰性であること
𝐷+1 𝐷
– パラメータ数は + 𝐷個であるため，計算が困難
2
• 共分散行列に制限を設ける (a: 一般，b: 対角, c: 等分散)
5

6. ポイントだよ
2.3.1 条件付きガウス分布
𝑝 𝒙 𝑎 , 𝒙 𝑏 がガウス分布のとき，
条件付き分布𝑝 𝒙 𝒂 |𝒙 𝑏 もガウス分布
コレ
6

7. ポイントだよ
2.3.2 周辺ガウス分布
𝑝 𝒙 𝑎 , 𝒙 𝑏 がガウス分布のとき，
周辺分布𝑝 𝒙 𝒂 = 𝑝 𝒙 𝑎 , 𝒙 𝑏 d𝒙 𝑏 もガウス分布
コレ
7

8. 2.3.3 ガウス分布に対するベイズ推定
ポイントだよ
𝒙の周辺ガウス分布𝑝(𝒙)と条件付きガウス分布𝑝(𝒚|𝒙)が
以下で与えられたとき
𝒚の周辺分布と𝒙の条件付き分布は以下で表現できる
• 𝒙の周辺ガウス分布𝑝(𝒙)と条件付きガウス分布𝑝(𝒚|𝒙)
– 𝑝 𝒙 = 𝒩 𝒙 𝝁, 𝚲−1
– 𝑝 𝒚|𝒙 = 𝒩 𝒚 𝑨𝒙 + 𝒃, 𝑳−1
• 𝒚の周辺分布と𝒙の条件付き分布
– 𝑝 𝒚 = 𝒩 𝒚 𝑨𝝁 + 𝒃, 𝑳−1 + 𝑨𝚲−1 𝑨 𝑇
– 𝑝 𝒙 𝒚 = 𝒩 𝒙 𝚺 𝑨 𝑇 𝑳 𝒚 − 𝒃 + 𝑨𝝁 , 𝚺
– ただし 𝚺 = 𝚲 + 𝑨 𝑇 𝑳𝑨 −1
• 同時確率 𝑝 𝒛 = 𝑝 𝒙 𝑝 𝒚 𝒙 = 𝑝 𝒚 𝑝 𝒙 𝒚
8

9. 2.3.4 ガウス分布の最尤推定
ポイントだよ
平均と分散の最尤推定量は以下のとおり
なお分散の最尤推定量 ≠ 不偏推定量
• 十分統計量
𝑁 𝑁
– 𝑛=1 𝒙𝑛と 𝑛=1 𝒙𝑛 𝒙𝑇
𝑛
• 最尤推定量
1 𝑁
– 平均: 𝝁ML = 𝑛=1 𝒙𝑛
𝑁
1 𝑁 𝑇
– 分散: 𝚺 𝑀𝐿 = 𝑛=1 𝒙 𝑛 − 𝝁ML 𝒙 𝑛 − 𝝁ML
𝑁
9

10. ポイントだよ
2.3.5 逐次推定
データを逐次的に用いて分布のパラメータを推定する
場合にはRobbins-Monroアルゴリズムを利用できる
• Robbins-Monroアルゴリズム
– 𝑓 𝜃 ∗ = 0の根𝜃 ∗ を求めるアルゴリズム
𝜃 𝑁 = 𝜃 𝑁−1 − 𝑎 𝑁−1 𝑧 𝜃 𝑁−1
• 最尤推定解は対数尤度関数の停留点
– 最尤推定解を求めることは，回帰関数の根を求めることに相当
– 他にも3.1.3の確率的勾配法でも利用
10

11. 2.3.6 ガウス分布に対するベイズ推論
ポイントだよ
ガウス分布における各パラメータの事後分布と
共役事前分布は以下の通り
事後分布 1変量 多変量
平均パラメータ（分散既知） ガウス分布 ガウス分布
精度パラメータ（平均既知） ガンマ分布 ウィシャート分布
分散パラメータ（平均既知） 逆ガンマ分布 逆ウィシャート分布
平均，精度パラメータ ガウス―ガンマ分布 ガウス―ウィシャート分布
• パラメータの事後分布∝尤度×事前分布
• ベイズ推定で求めるのはパラメータの分布
11

12. 2.3.7 スチューデントのt分布
ポイントだよ
t分布は，平均は同じで精度が異なるような
ガウス分布を無限個足し合わせたもの
• t分布の頑健性
t分布 t分布 vs. ガウス分布
• 最尤推定解は解析的には求まらない (⇒ EM法) 12

13. ポイントだよ
2.3.8 周期変数
周期性を持つ確率変数を扱う場合には
極座標とフォン・ミーゼス分布を用いる
• フォン・ミーゼス分布
1
𝑝 𝜃 𝜃0 , 𝑚 = exp 𝑚 cos 𝜃 − 𝜃0
2𝜋𝐼0 (𝑚)
Richard von Mises
(1883-1953)
赤の単位円で条件づけられた
2次元ガウス分布という解釈 Fritz Von13
Erich
極座標 直交座標 (1929-1997)

14. ポイントだよ
2.3.9 混合ガウス分布
単一のガウス分布では表現が難しい場合には
混合ガウス分布を用いる
𝐾
• 混合ガウス分布: 𝑝 𝒙 = 𝑘=1 𝜋 𝑘 𝒩 𝒙 𝝁 𝑘, 𝚺 𝑘
• 対数尤度関数
– 解析的には最尤解を求められることができないため，EMアル
ゴリズムを用いる
14

15. 2.4 指数型分布族
15

16. ポイントだよ
2.4 指数型分布族
これまでの話題を一般化するため，
指数型分布族という単位で考える
• 指数型分布族の例
– ベルヌーイ分布，多項分布，正規分布，ポアソン
分布など
• 指数型分布族の一般形
𝑝 𝒙 𝜼 = ℎ 𝒙 𝑔 𝜼 exp 𝜼 𝑇 𝒖 𝒙
16

17. 2.4.1 最尤推定量と十分統計量
ポイントだよ
指数型分布族の関数形から
最尤推定量と十分統計量を求めることができる
• 以下の式を解けば最尤推定量を得ることができる
𝑁
1
−𝛻 ln 𝑔 𝜼 𝑀𝐿 = 𝒖 𝒙𝑛
𝑁
𝑛=1 十分統計量
17

18. さぁ今日も一日
つづく がんばるぞ
18