PRML 2.3.9-2.4.1

1,239 views

Published on

PRML復々習レーン #2
2012/06/17
アフィン云々の部分で誤りがありました。お詫びして訂正致します。

Published in: Education
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,239
On SlideShare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
30
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

PRML 2.3.9-2.4.1

  1. 1. .. 指数型分布族とかの周辺 marugari PRML 復々習レーン 2012/06/17marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 1 / 16
  2. 2. .参考文献.Monte Carlo Statistical MethodsRobert, C. and Casella, G. (2010) 最尤推定 is 最適化 ベイズ推定 is 積分ベイジアンに宗旨替えしたくなる良書..marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 2 / 16
  3. 3. 混合ガウス分布間欠泉のデータ 噴出の持続時間が長いと次回までの間隔も長く なる. 噴出の時間が短いと次回までの間隔も短くなる..2 つのガウス分布を使えば精度よくフィ. ットできる.marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 3 / 16
  4. 4. .混合ガウス分布.{πi }1≤i≤K が確率の公理を満たすとする. このとき, ∑ K f (x) = πi ϕ(x|µi , Σi ), i=1を混合ガウス分布という. {πi }1≤i≤K は混合係数,ϕ(x|µi , Σi ) は混合要素と呼ばれる..marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 4 / 16
  5. 5. p(k) を k 番目の混合要素に対する事前確率とすれば, ∑ K f (x) = ϕ(x|µi , Σi )p(i). i=1事後分布 p(k|x) は負担率と呼ばれ p(k|x) ∝ ϕ(x|µk , Σk )p(k),となる.marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 5 / 16
  6. 6. .パラメータ推定.対数尤度関数は ∑ N ∑ K log πi ϕ(x|µi , Σi ). j=1 i=1関数が複雑なので, 繰り返し的な最適化手法または. アルゴリズムを用いる.EMだいたい至る所で 0 を取る分布を外れ値に割り当てることで尤度関数をいくらでも大きくできる. 目的関数にも工夫が必要.marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 6 / 16
  7. 7. marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 7 / 16
  8. 8. 指数型分布族.指数型分布族.確率分布 p で { } p(x|η) = h(x)g(η) exp η ⊤ u(x) ,という関数形を持つものを指数型分布族と呼ぶ..marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 8 / 16
  9. 9. .指数型分布族の例. ポアソン分布 正規分布テキストで分布関数が書き下されるようなものは殆どこのクラスに属している...指数型分布族でない例. 混合ガウス分布 切断正規分布まともには解けないので何らかの工夫が必要..marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 9 / 16
  10. 10. marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 10 / 16
  11. 11. 最尤推定と十分統計量指数分布族の確率分布について最尤推定を考える. 適当にサンプリングされた標本が得られているとき, 最適化の 1 階条件は ∫ { } ∇g(η) h(x) exp η ⊤ u(x) dx ∫ { } + g(η) h(x) exp η ⊤ u(x) u(x)dx = 0.これを変形すれば ∇g(η) − = E [u(X)] . g(η)marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 11 / 16
  12. 12. .尤度関数.独立同分布のデータ {xi }1≤i≤N が得られたとき, 尤度関数は p ({xi }1≤i≤N ) {N } {⟨ N ⟩} ∏ ∑ = h(xi ) g(η)N exp u(xi ), η . i=1 i=1対数をとると ⟨ ⟩ ∑ N ∑ N N log g(η) + u(xi ), η + log h(xi ).. i=1 i=1marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 12 / 16
  13. 13. .訂正:尤度関数自体はアフィンじゃなかったです.対数尤度関数は 基準化の係数 g(η) η についてアフィンな関数の和になっている.しかも計算量はサンプル数に対して線形にしか増加しない..marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 13 / 16
  14. 14. .尤度最大化.対数尤度最大化の 1 階条件は 1 ∑ N −∇ log g(η) = u(xi ). N i=1 ∑Nつまり最尤パラメータを求めるには i=1 u(xi ) だけ ∑Nで良い. この i=1 u(xi ) を十分統計量と呼ぶ.アフィン関数の微分には η が現れないので表現が非常に簡単になっている..marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 14 / 16
  15. 15. .ベルヌーイ分布の場合.確率変数は独立という設定なので, 成功の順番を記録する必要はない. 成功回数だけでパラメータを推定できる...正規分布の場合.正規分布は平均と分散で特徴付けられるので, 1 次と 2次のモーメントを保持しておけば良い..marugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 15 / 16
  16. 16. おわりmarugari (PRML 復々習レーン) 指数型分布族とかの周辺 2012/06/17 16 / 16

×