Recommended
More Related Content
What's hot
What's hot (20)
Similar to Prml 最尤推定からベイズ曲線フィッティング
Similar to Prml 最尤推定からベイズ曲線フィッティング (20)
More from takutori
Prml 最尤推定からベイズ曲線フィッティング
- 2. ガウス分布の最尤指定 • ガウス分布のおさらい 𝑃 𝑥 𝜇, 𝜎 = 1 2𝜋 𝜎 exp{− 𝑥 − 𝜇 2 2𝜎2 }
- 3. ガウス分布の最尤指定 ………… 𝑥1 𝑥2 𝑥3 𝑥 𝑛−2 𝑥 𝑛−1 𝑥_𝑛 n個のサンプルが得られたとする。
- 4. ガウス分布の最尤指定 対数尤度関数 L 𝜇, 𝜎2 = ln Π 𝑖=1 𝑖=𝑛 𝑝 𝑥𝑖 𝜇, 𝜎2 = ln(Π 𝑖=1 𝑖=𝑛 𝟏 𝟐𝝅 𝝈 𝒆𝒙𝒑 − 𝒙𝒊 − 𝝁 𝟐 𝟐𝝈 𝟐 ) 𝑃 𝑥 𝜇, 𝜎 = 1 2𝜋 𝜎 exp{− 𝑥 − 𝜇 2 2𝜎2 } = − 𝑛 2 ln 2𝜋 − 𝑛 2 𝑙𝑛 𝜎2 − 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝟐 𝟐𝝈 𝟐 = ln( 𝟏 𝟐𝝅 𝒏 𝝈 𝒏 𝒆𝒙𝒑 − 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝟐 𝟐𝝈 𝟐 ) こいつを最大化するのであった。
- 5. ガウス分布の最尤指定 対数尤度関数 𝑎𝑟𝑔𝑚𝑎𝑥 𝜇,𝜎 L(𝜇, 𝜎) 𝝁について偏微分 𝝈について偏微分
- 6. ガウス分布の最尤指定 対数尤度関数 𝝁について偏微分 𝝏 𝝏𝝁 𝑳 𝝁, 𝝈 𝟐 = 𝝏 𝝏𝝁 − 𝒏 𝟐 𝒍𝒏 𝟐𝝅 − 𝒏 𝟐 𝒍𝒏 𝝈 𝟐 − 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝟐 𝟐𝝈 𝟐 𝟐 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝟐𝝈 𝟐 = 𝟎 → 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝒏𝝁 = 𝟎 → 𝝁 = 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 𝒏 = 𝟐 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝟐𝝈 𝟐 サンプル平均
- 7. ガウス分布の最尤指定 対数尤度関数 𝝈について偏微分 𝝏 𝝏𝝈 𝑳 𝝁, 𝝈 = 𝝏 𝝏𝝁 − 𝒏 𝟐 𝒍𝒏 𝟐𝝅 − 𝒏 𝟐 𝒍𝒏 𝝈 𝟐 − 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝟐 𝟐𝝈 𝟐 − 𝒏 𝝈 + 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝟐 𝝈 𝟑 = 𝟎 → −𝒏𝝈 𝟐 + 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝟐 = 𝟎 → 𝝈 𝟐 = 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝟐 𝒏 = − 𝒏 𝟐 𝟐𝝈 𝝈 𝟐 + 𝟐 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝟐 𝟐𝝈 𝟑 = − 𝒏 𝝈 + 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝟐 𝝈 𝟑 サンプル分散
- 8. ガウス分布の最尤指定 𝝈 𝑴𝑳 𝟐 = 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝟐 𝒏 𝝁が混じってる
- 9. ガウス分布の最尤指定 𝝈 𝑴𝑳 𝟐 = 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝟐 𝒏 𝝁 = 𝝁 𝑴𝑳とすればOK でも大丈夫！ 𝝁 𝑴𝑳 = 𝒊=𝟏 𝒊=𝒏 𝒙 𝒊 𝒏 は𝝈に依存しない！
- 10. ガウス分布の最尤指定 𝝈 𝑴𝑳 𝟐 = 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝑴𝑳 𝟐 𝒏 𝝁 𝑴𝑳 = 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 𝒏 ガウス分布の最尤推定解
- 11. ガウス分布の最尤指定 𝝁 𝑴𝑳~N 𝜇, 𝜎 としよう。 𝑬[𝝁 𝑴𝑳] = 𝑬 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 𝒏 = 𝟏 𝒏 𝑬 𝒙𝒊 = 𝟏 𝒏 𝒏 𝝁 = 𝝁 しっかり分布の平均に収束してる
- 12. ガウス分布の最尤指定 𝝈 𝑴𝑳~N 𝜇, 𝜎 としよう。 𝑬[𝝈 𝑴𝑳] = 𝑬 𝒊=𝟏 𝒊=𝒏 𝒙𝒊 − 𝝁 𝑴𝑳 𝟐 𝒏 = 𝟏 𝒏 { 𝑬 { 𝒙𝒊 − 𝝁 − (𝝁 𝑴𝑳−𝝁)}^𝟐 } = 𝟏 𝒏 {𝑬 𝒙𝒊 − 𝝁 𝟐 − 𝟐 𝒙𝒊 − 𝝁 𝝁 𝑴𝑳 − 𝝁 + 𝝁 𝑴𝑳 − 𝝁 𝟐 } = 𝟏 𝒏 𝑬 𝒙𝒊 − 𝝁 𝟐 − 𝟐 𝒏 𝑬[ 𝝁 𝑴𝑳 − 𝝁 𝒙𝒊 − 𝝁 ] + 𝟏 𝒏 𝑬[ 𝝁 𝑴𝑳 − 𝝁 𝟐] = 𝟏 𝒏 𝒏𝝈 𝟐 − 𝟐 𝒏 𝑬 (𝝁 𝑴𝑳−𝝁 𝒏(𝝁 𝑴𝑳 − 𝝁)] + 𝟏 𝒏 𝝈 𝟐 = 𝝈 𝟐 − 𝟐 𝒏 𝝈 𝟐 − 𝟏 𝒏 𝝈 𝟐 = 𝝈 𝟐 − 𝟏 𝒏 𝝈 𝟐 = 𝒏 − 𝟏 𝒏 𝝈^𝟐 𝝈 𝟐 になってな い(´;ω;｀)
- 13. ガウス分布の最尤指定 𝑬 𝝈 𝑴𝑳 𝟐 = 𝒏 − 𝟏 𝒏 𝝈^𝟐 𝝈 𝑴𝑳 𝟐 = (𝒙𝒊−𝝁)^𝟐 𝒏 − 𝟏 とすれば𝑬 𝝈 𝑴𝑳 𝟐 = 𝝈 𝟐となる 不変推定量といいます。
- 14. 曲線フィッティング
- 15. 曲線フィッティング • N個のサンプル𝑥 = 𝑥1, 𝑥2, … , 𝑥 𝑁 𝑇 、それに対応する𝑡 = 𝑡1, 𝑡2, … , 𝑡 𝑁 𝑇が得られた時、新たな実現値xに対して、対応す るtを予測したい。 x t
- 16. 曲線フィッティング 準備 線形モデル 𝒚 = 𝒘 𝟎 + 𝒘 𝟏 𝝓 𝒙 + 𝒘 𝟐 𝝓 𝒙 𝟐 + … + 𝒘 𝒏 𝝓 𝒙 𝒏 = 𝒊=𝟎 𝒊=𝒏 𝒘𝒊 𝝓(𝒙)𝒊 今回は𝝓𝒊 𝒙 = 𝒙𝒊 を使う
- 17. 曲線フィッティング 準備 線形モデル 𝒚 = 𝒘 𝟎 + 𝒘 𝟏 𝒙 + 𝒘 𝟐 𝒙 𝟐 + … + 𝒘 𝒏 𝒙 𝒏 = 𝒊=𝟎 𝒊=𝒏 𝒘𝒊 𝒙𝒊 パラメータ𝑾が与えられた時の𝒙の値を𝒚(𝐱|𝐰)と書 くことにする
- 18. 曲線フィッティング • N個のサンプルt = 𝑡1, 𝑡2, … , 𝑡 𝑁 𝑇が𝑦(𝑥|𝑤) + 𝑁(𝑡|0, 𝛽−1)に従う とする。つまり •∀𝒊 ∈ 𝟏, 𝟐, … , 𝑵 , 𝒕𝒊 ~ 𝑵(𝒕|𝒚 𝒙 𝒘 , 𝜷−𝟏 )である。 𝛽を精度パラメータということにする（分散の逆数）
- 19. 曲線フィッティング • 𝑷 𝒕 𝒙, 𝒘, 𝜷 = 𝑵 𝒕 𝒚 𝒙 𝒘 , 𝜷−𝟏 とおく。
- 20. 曲線フィッティング • 𝑷 𝒕 𝒙, 𝒘, 𝜷 = 𝑵 𝒕 𝒚 𝒙 𝒘 , 𝜷−𝟏 データが𝑃(𝑡|𝑥, 𝑤, 𝛽)から独立に得られたとする 対数尤度関数 𝑳 𝒘, 𝜷 = 𝒍𝒏𝒑 𝒕 𝒙, 𝒘, 𝜷 = − 𝜷 𝟐 𝒚 𝒙 𝒏, 𝒘 − 𝒕 𝒏 𝟐 + 𝑵 𝟐 𝒍𝒏𝜷 − 𝑵 𝟐 𝐥𝐧(𝟐𝝅)
- 21. 曲線フィッティング • 𝑷 𝒕 𝒙, 𝒘, 𝜷 = 𝑵 𝒕 𝒚 𝒙 𝒘 , 𝜷−𝟏 対数尤度関数 𝑳 𝒘, 𝜷 = 𝒍𝒏𝒑 𝒕 𝒙, 𝒘, 𝜷 = − 𝜷 𝟐 𝒚 𝒙 𝒏, 𝒘 − 𝒕 𝒏 𝟐 + 𝑵 𝟐 𝒍𝒏𝜷 − 𝑵 𝟐 𝐥𝐧(𝟐𝝅) → 𝝏 𝝏𝒘 − 𝜷 𝟐 𝒚 𝒙 𝒏, 𝒘 − 𝒕 𝒏 𝟐 = 𝟎 → 𝝏 𝝏𝒘 = 0 𝝏 𝝏𝒘 𝑳 𝒘, 𝜷 = 𝟎 → = 𝝏 𝝏𝒘 − 𝜷 𝟐 𝒚 𝒙 𝒏, 𝒘 − 𝒕 𝒏 𝟐 + 𝑵 𝟐 𝒍𝒏𝜷 − 𝑵 𝟐 𝐥 𝐧 𝟐𝝅 = 𝟎 𝟏 𝟐 𝒚 𝒙 𝒏, 𝒘 − 𝒕 𝒏 𝟐 二乗和誤差
- 22. 曲線フィッティング • 𝑷 𝒕 𝒙, 𝒘, 𝜷 = 𝑵 𝒕 𝒚 𝒙 𝒘 , 𝜷−𝟏 対数尤度関数 𝑳 𝒘, 𝜷 = 𝒍𝒏𝒑 𝒕 𝒙, 𝒘, 𝜷 = − 𝜷 𝟐 𝒚 𝒙 𝒏, 𝒘 − 𝒕 𝒏 𝟐 + 𝑵 𝟐 𝒍𝒏𝜷 − 𝑵 𝟐 𝐥𝐧(𝟐𝝅) 𝝏 𝝏𝜷 𝑳 𝒘, 𝜷 = 𝟎 → 𝟏 𝜷 = 𝟏 𝑵 𝒚 𝒙 𝒏, 𝒘 − 𝒕 𝒏 𝟐
- 23. 曲線フィッティング • 𝑷 𝒕 𝒙, 𝒘, 𝜷 = 𝑵 𝒕 𝒚 𝒙 𝒘 , 𝜷−𝟏 ベイズ的アプローチ1 wに関する事前分布を 𝑷 𝒘 𝜶 = 𝑵 𝒘 𝟎, 𝜶−𝟏 𝑰 = 𝜶 𝟐𝝅 𝑴+𝟏 𝟐 𝒆𝒙𝒑 − 𝜶 𝟐 𝒘 𝑻 𝒘 というガウス分布(共役分布)に従うとする。 Wの数がMとして、M+1次元ガウス分布！ 事前分布のパラメータをハイ パーパラメータという
- 24. 曲線フィッティング • 𝑷 𝒕 𝒙, 𝒘, 𝜷 = 𝑵 𝒕 𝒚 𝒙 𝒘 , 𝜷−𝟏 ベイズ的アプローチ1 𝒑 𝒘 𝒙, 𝒕, 𝜶, 𝜷 ∝ 𝒑 𝒕 𝒙, 𝒘, 𝜷 𝒑(𝒘|𝜶) パラメータの事前分布尤度事後分布
- 25. 曲線フィッティング • 𝑷 𝒕 𝒙, 𝒘, 𝜷 = 𝑵 𝒕 𝒚 𝒙 𝒘 , 𝜷−𝟏 ベイズ的アプローチ1 𝒑 𝒘 𝒙, 𝒕, 𝜶, 𝜷 ∝ 𝒑 𝒕 𝒙, 𝒘, 𝜷 𝒑(𝒘|𝜶) 𝑷 𝒘 𝜶 = 𝑵 𝒘 𝟎, 𝜶−𝟏 𝑰 = 𝜶 𝟐𝝅 𝑴+𝟏 𝟐 𝒆𝒙𝒑 − 𝜶 𝟐 𝒘 𝑻 𝒘 = 𝒍𝒏 𝜷 𝟐𝝅 𝒆𝒙𝒑(− 𝜷 𝒕 − 𝒚 𝒙 𝒘 𝟐 𝟐 ) 𝜶 𝟐𝝅 𝑴+𝟏 𝟐 𝒆𝒙𝒑 − 𝜶 𝟐 𝒘 𝑻 𝒘 𝑳 𝒘, 𝜷 = 𝒍𝒏 𝒑 𝒕 𝒙, 𝒘, 𝜷 𝒑 𝒘 𝜶 対数尤度関数
- 26. 曲線フィッティング • 𝑷 𝒕 𝒙, 𝒘, 𝜷 = 𝑵 𝒕 𝒚 𝒙 𝒘 , 𝜷−𝟏 ベイズ的アプローチ1 𝒑 𝒘 𝒙, 𝒕, 𝜶, 𝜷 ∝ 𝒑 𝒕 𝒙, 𝒘, 𝜷 𝒑(𝒘|𝜶) 𝑷 𝒘 𝜶 = 𝑵 𝒘 𝟎, 𝜶−𝟏 𝑰 = 𝜶 𝟐𝝅 𝑴+𝟏 𝟐 𝒆𝒙𝒑 − 𝜶 𝟐 𝒘 𝑻 𝒘 = 𝑎𝑟𝑔 𝑚𝑎𝑥 𝑙𝑛 𝛽 2𝜋 𝑒𝑥𝑝(− 𝛽 𝑡 − 𝑦 𝑥 𝑤 2 2 ) 𝛼 2𝜋 𝑀+1 2 𝑒𝑥𝑝 − 𝛼 2 𝑤 𝑇 𝑤 𝑎𝑟𝑔 𝑚𝑎𝑥 𝐿 𝑤, 𝛽 = 𝑎𝑟𝑔 𝑚𝑎𝑥 𝑙𝑛 𝑝 𝑡 𝑥, 𝑤, 𝛽 𝑝 𝑤 𝛼 対数尤度関数の最大化 = 𝒂𝒓𝒈 𝒎𝒂𝒙 𝒍𝒏 𝜷 𝟐𝝅 + 𝒍𝒏 𝜶 𝟐𝝅 𝑴+𝟏 𝟐 − 𝜷 𝒕 − 𝒚 𝒙 𝒘 𝟐 𝟐 + − 𝜶 𝟐 𝒘 𝑻 𝒘 = argmax − 𝜷 𝟐 𝒕 − 𝒚 𝒙 𝒘 𝟐 + − 𝜶 𝟐 𝒘 𝑻 𝒘
- 27. 曲線フィッティング • 𝑷 𝒕 𝒙, 𝒘, 𝜷 = 𝑵 𝒕 𝒚 𝒙 𝒘 , 𝜷−𝟏 ベイズ的アプローチ1 𝒑 𝒘 𝒙, 𝒕, 𝜶, 𝜷 ∝ 𝒑 𝒕 𝒙, 𝒘, 𝜷 𝒑(𝒘|𝜶) 𝑷 𝒘 𝜶 = 𝑵 𝒘 𝟎, 𝜶−𝟏 𝑰 = 𝜶 𝟐𝝅 𝑴+𝟏 𝟐 𝒆𝒙𝒑 − 𝜶 𝟐 𝒘 𝑻 𝒘 − 𝜷 𝟐 𝒕 − 𝒚 𝒙 𝒘 𝟐 + − 𝜶 𝟐 𝒘 𝑻 𝒘 元の尤度関数にパラメータの指数部分が足されているだけ。 このように事後分布で最尤推定することをMAP推定といいます。
- 29. 曲線フィッティング ベイズ的アプローチ2 𝒑 𝒕 𝑥, 𝒙, 𝒕 = ∫ 𝒑 𝐭 𝑥, 𝐰 𝐝𝐰𝐩 𝐰 𝐱, 𝐭 事後分布 • 𝑷 𝒕 𝑥, 𝒘, 𝜷 = 𝑵 𝒕 𝒚 𝑥 𝒘 , 𝜷−𝟏 𝛽はちょっと省くね。。。 Wについて積分することでWの平均を使う 𝑬 𝒑(𝒘|𝒙,𝒕) [𝒑(𝒕|𝒙, 𝒘)]
- 30. 曲線フィッティング ベイズ的アプローチ2 𝒑 𝒕 𝑥, 𝒙, 𝒕 = 𝑵(𝒕|𝒎 𝑥 , 𝒔 𝟐 𝑥 ) 𝒎 𝒙 = 𝜷𝝓 𝒙 𝑻 𝑺 𝝓 𝒙 𝒏 𝒕 𝒏 𝑺 𝟐 𝒙 = 𝜷−𝟏 + 𝝓 𝒙 𝑻 𝑺 𝝓 𝒙 S−𝟏 = 𝜶𝑰 + 𝜷 𝝓 𝒙 𝒏 𝑻 𝝓 𝒙 𝒏 𝝓𝒊 𝒙 = 𝒙𝒊 積分結果はガウス分布になる
- 31. 曲線フィッティング ベイズ的アプローチ2 実装編 1.平均𝒎(𝒙)の計算 2.分散𝒔 𝟐 (𝒙)の計算 3. 𝑵(𝒕|𝒎 𝒙 , 𝒔 𝟐 𝒙 )の計算
- 42. おまけ 次元の呪い lim 𝑑→∞ 𝐸 𝑑𝑖𝑠𝑡 𝑚𝑎𝑥 𝑑 − 𝑑𝑖𝑠𝑡 𝑚𝑖𝑛(𝑑) 𝑑𝑖𝑠𝑡 𝑚𝑖𝑛(𝑑) = 0
- 43. Reference • パターン認識と機械学習 C.M. ビショップ • https://qiita.com/tn1031/items/96e7131cd41df1aebe85
Editor's Notes
- 曲線y(x|w)からN(t|0,\beta)に従う\epsilonだけ足されていると思えばよい