Successfully reported this slideshow.
Your SlideShare is downloading. ×

高速なガンマ分布の最尤推定法について

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad

Check these out next

1 of 30 Ad
Advertisement

More Related Content

More from hoxo_m (15)

Recently uploaded (20)

Advertisement

高速なガンマ分布の最尤推定法について

  1. 1. 【論文紹介】 ガンマ分布の最尤推定 2017/04/22 @hoxo_m 1
  2. 2. About Me HOXO-M Inc. President & CEO 2
  3. 3. 本日紹介する論文 • “Estimating a Gamma distribution” ガンマ分布の推定 • Thomas P. Minka – Microsoft Researcher • Work – Expectation Propagation – TrueSkill™️ 3
  4. 4. 論文概要 • 【内容】 ガンマ分布のパラメータの最尤推定方法 について、既存手法より高速なアルゴリ ズムを提案する • 【結論】 提案手法は既存手法より 20倍以上速い 4
  5. 5. 目次 1. ガンマ分布について 2. ガンマ分布の最尤推定 3. まとめ 5
  6. 6. ガンマ分布 6
  7. 7. ガンマ分布 • 形状パラメータ a (a > 0) • 尺度パラメータ b (b > 0) • 期待値 ab • 分散 ab2 7
  8. 8. ガンマ分布 8 a を変更 b を変更
  9. 9. 問題 • データが与えられたとき、尤度が最大と なるようなパラメータ a, b を求めよ 9
  10. 10. 目次 1. ガンマ分布について 2. ガンマ分布の最尤推定 3. まとめ 10
  11. 11. ガンマ分布の最尤推定 • 確率密度関数 • 対数尤度関数 11
  12. 12. ガンマ分布の最尤推定 • パラメータ b の最尤推定値 12
  13. 13. ガンマ分布の最尤推定 • 対数尤度関数 (b の最尤推定値を代入) • これを最大化する a を求める • b = mean(x) / a 13
  14. 14. ガンマ分布の最尤推定 <アルゴリズム> 1. a と b の初期値を決める 2. 対数尤度関数の変化が十分小さくなるま で以下を繰り返す • a ← argmax_a log(D | a, b) • b ← mean(x) / a 14
  15. 15. ガンマ分布の最尤推定 • 対数尤度関数が最大となる a を求める問 題に帰着される a ← argmax_a log(D | a, b) • 既存手法と提案手法の違い ① 既存手法: 一次近似で下限を作成 → 最大化 ② 提案手法: 独自の局所近似式を最大化 15
  16. 16. 補足: ニュートン法がダメな理由 Minka (2000) Beyond Newton’s method 対数尤度
  17. 17. 補足: ニュートン法がダメな理由 17 a 対数尤度
  18. 18. ① 既存手法 • f(a) = a log a は下に凸な関数 ⇨ 一次近似(接線)が下限になる 18
  19. 19. ① 既存手法 • 微分して 0 と置くと 19
  20. 20. ① 既存手法 • Ψ: ディガンマ関数 (ガンマ関数の対数微分) • a の推定値は、ディガンマ関数の逆関数に より計算できる • a0 を現在の値として a を更新していく 20
  21. 21. ① 既存手法まとめ • パラメータを次で更新していき、対数尤 度関数の変化が十分小さくなったら終了 21
  22. 22. • 対数尤度関数 • 局所近似 • ただし ② 提案手法 22
  23. 23. ② 提案手法 • 近似が良いため改善が速い Minka (2000) Beyond Newton’s method
  24. 24. ② 提案手法 • 上に凸より p”(a) ≦ 0 したがって c2 ≧ 0 • もし c1 < 0 ならば g が最大となる a は 24
  25. 25. ② 提案手法 • したがって、更新式は 25
  26. 26. ② 提案手法まとめ • パラメータを次で更新していき、対数尤 度関数の変化が十分小さくなったら終了 26
  27. 27. 実装 27
  28. 28. 結果 28
  29. 29. 速度比較 • 提案手法は 20倍以上速い! 29
  30. 30. 論文 まとめ • ガンマ分布のパラメータを最尤推定する 高速なアルゴリズムを提案した • 提案手法は既存手法より 20倍以上速い 30

×