Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

PRML復々習レーン#3 前回までのあらすじ

3,957 views

Published on

2012-07-16 PRML復々習レーン#3 前回までのあらすじ の資料

Published in: Technology
  • Be the first to comment

PRML復々習レーン#3 前回までのあらすじ

  1. 1. PRML復々習レーン#3 前回までのあらすじ 2012-07-16 Yoshihiko Suhara @sleepy_yoshi v.1.1
  2. 2. 前回のおさらい• 復々習レーンの復習を15分程度でやります – 得られた結論にポイントを絞る ポイントだよ – 「よーするに」な内容• 目的 – 前回の復習 – 不参加の方に流れを伝えるため – 自分自身の勉強のため 2
  3. 3. 前回の範囲• 2.3 ガウス分布 – 2.3.1 条件付きガウス分布 – 2.3.2 周辺ガウス分布 – 2.3.3 ガウス変数に対するベイズの定理 – 2.3.4 ガウス分布の最尤推定 – 2.3.5 逐次推定 – 2.3.6 ガウス分布に対するベイズ推論 – 2.3.7 スチューデントのt分布 – 2.3.8 周期変数 – 2.3.9 混合ガウス分布• 2.4 指数型分布族 – 2.4.1 最尤推定と十分推定量 – 2.4.2 共役事前分布 ここまで – 2.4.3 無情報事前分布 3
  4. 4. 2.3 ガウス分布 4
  5. 5. ポイントだよ 2.3 ガウス分布 ガウス分布は全ての基本平均パラメータ𝝁,共分散パラメータ𝚺 (精度𝚲 = 𝚺 −1 )の ガウス分布の確率密度関数は以下のとおり 1 1 1 𝑇 𝚺 −1• 𝒩 𝑥 𝜇, Σ = 𝐷 1 exp − 𝒙− 𝝁 𝒙− 𝝁 2 2𝜋 2 𝚺2• 注意点 – 単峰性であること 𝐷+1 𝐷 – パラメータ数は + 𝐷個であるため,計算が困難 2 • 共分散行列に制限を設ける (a: 一般,b: 対角, c: 等分散) 5
  6. 6. ポイントだよ 2.3.1 条件付きガウス分布 𝑝 𝒙 𝑎 , 𝒙 𝑏 がガウス分布のとき, 条件付き分布𝑝 𝒙 𝒂 |𝒙 𝑏 もガウス分布 コレ 6
  7. 7. ポイントだよ 2.3.2 周辺ガウス分布 𝑝 𝒙 𝑎 , 𝒙 𝑏 がガウス分布のとき, 周辺分布𝑝 𝒙 𝒂 = 𝑝 𝒙 𝑎 , 𝒙 𝑏 d𝒙 𝑏 もガウス分布 コレ 7
  8. 8. 2.3.3 ガウス分布に対するベイズ推定 ポイントだよ 𝒙の周辺ガウス分布𝑝(𝒙)と条件付きガウス分布𝑝(𝒚|𝒙)が 以下で与えられたとき 𝒚の周辺分布と𝒙の条件付き分布は以下で表現できる• 𝒙の周辺ガウス分布𝑝(𝒙)と条件付きガウス分布𝑝(𝒚|𝒙) – 𝑝 𝒙 = 𝒩 𝒙 𝝁, 𝚲−1 – 𝑝 𝒚|𝒙 = 𝒩 𝒚 𝑨𝒙 + 𝒃, 𝑳−1• 𝒚の周辺分布と𝒙の条件付き分布 – 𝑝 𝒚 = 𝒩 𝒚 𝑨𝝁 + 𝒃, 𝑳−1 + 𝑨𝚲−1 𝑨 𝑇 – 𝑝 𝒙 𝒚 = 𝒩 𝒙 𝚺 𝑨 𝑇 𝑳 𝒚 − 𝒃 + 𝑨𝝁 , 𝚺 – ただし 𝚺 = 𝚲 + 𝑨 𝑇 𝑳𝑨 −1• 同時確率 𝑝 𝒛 = 𝑝 𝒙 𝑝 𝒚 𝒙 = 𝑝 𝒚 𝑝 𝒙 𝒚 8
  9. 9. 2.3.4 ガウス分布の最尤推定ポイントだよ 平均と分散の最尤推定量は以下のとおり なお分散の最尤推定量 ≠ 不偏推定量• 十分統計量 𝑁 𝑁 – 𝑛=1 𝒙𝑛と 𝑛=1 𝒙𝑛 𝒙𝑇 𝑛• 最尤推定量 1 𝑁 – 平均: 𝝁ML = 𝑛=1 𝒙𝑛 𝑁 1 𝑁 𝑇 – 分散: 𝚺 𝑀𝐿 = 𝑛=1 𝒙 𝑛 − 𝝁ML 𝒙 𝑛 − 𝝁ML 𝑁 9
  10. 10. ポイントだよ 2.3.5 逐次推定データを逐次的に用いて分布のパラメータを推定する 場合にはRobbins-Monroアルゴリズムを利用できる• Robbins-Monroアルゴリズム – 𝑓 𝜃 ∗ = 0の根𝜃 ∗ を求めるアルゴリズム 𝜃 𝑁 = 𝜃 𝑁−1 − 𝑎 𝑁−1 𝑧 𝜃 𝑁−1• 最尤推定解は対数尤度関数の停留点 – 最尤推定解を求めることは,回帰関数の根を求めることに相当 – 他にも3.1.3の確率的勾配法でも利用 10
  11. 11. 2.3.6 ガウス分布に対するベイズ推論 ポイントだよ ガウス分布における各パラメータの事後分布と 共役事前分布は以下の通り 事後分布 1変量 多変量平均パラメータ(分散既知) ガウス分布 ガウス分布精度パラメータ(平均既知) ガンマ分布 ウィシャート分布分散パラメータ(平均既知) 逆ガンマ分布 逆ウィシャート分布平均,精度パラメータ ガウス―ガンマ分布 ガウス―ウィシャート分布• パラメータの事後分布∝尤度×事前分布• ベイズ推定で求めるのはパラメータの分布 11
  12. 12. 2.3.7 スチューデントのt分布 ポイントだよ t分布は,平均は同じで精度が異なるような ガウス分布を無限個足し合わせたもの• t分布の頑健性 t分布 t分布 vs. ガウス分布• 最尤推定解は解析的には求まらない (⇒ EM法) 12
  13. 13. ポイントだよ 2.3.8 周期変数 周期性を持つ確率変数を扱う場合には 極座標とフォン・ミーゼス分布を用いる • フォン・ミーゼス分布 1 𝑝 𝜃 𝜃0 , 𝑚 = exp 𝑚 cos 𝜃 − 𝜃0 2𝜋𝐼0 (𝑚) Richard von Mises (1883-1953)赤の単位円で条件づけられた2次元ガウス分布という解釈 Fritz Von13 Erich 極座標 直交座標 (1929-1997)
  14. 14. ポイントだよ 2.3.9 混合ガウス分布 単一のガウス分布では表現が難しい場合には 混合ガウス分布を用いる 𝐾• 混合ガウス分布: 𝑝 𝒙 = 𝑘=1 𝜋 𝑘 𝒩 𝒙 𝝁 𝑘, 𝚺 𝑘• 対数尤度関数 – 解析的には最尤解を求められることができないため,EMアル ゴリズムを用いる 14
  15. 15. 2.4 指数型分布族 15
  16. 16. ポイントだよ 2.4 指数型分布族 これまでの話題を一般化するため, 指数型分布族という単位で考える• 指数型分布族の例 – ベルヌーイ分布,多項分布,正規分布,ポアソン 分布など• 指数型分布族の一般形 𝑝 𝒙 𝜼 = ℎ 𝒙 𝑔 𝜼 exp 𝜼 𝑇 𝒖 𝒙 16
  17. 17. 2.4.1 最尤推定量と十分統計量ポイントだよ 指数型分布族の関数形から 最尤推定量と十分統計量を求めることができる• 以下の式を解けば最尤推定量を得ることができる 𝑁 1 −𝛻 ln 𝑔 𝜼 𝑀𝐿 = 𝒖 𝒙𝑛 𝑁 𝑛=1 十分統計量 17
  18. 18. さぁ今日も一日つづく がんばるぞ 18

×