第60回R勉強会＠東京（#TokyoR）の発表資料です。 https://atnd.org/events/87238

1. 【論文紹介】
ガンマ分布の最尤推定
2017/04/22
@hoxo_m
1

2. About Me
HOXO-M Inc.
President & CEO
2

3. 本日紹介する論文
• “Estimating a Gamma distribution”
ガンマ分布の推定
• Thomas P. Minka
– Microsoft Researcher
• Work
– Expectation Propagation
– TrueSkill™️
3

4. 論文概要
• 【内容】
ガンマ分布のパラメータの最尤推定方法
について、既存手法より高速なアルゴリ
ズムを提案する
• 【結論】
提案手法は既存手法より 20倍以上速い
4

5. 目次
1. ガンマ分布について
2. ガンマ分布の最尤推定
3. まとめ
5

6. ガンマ分布
6

7. ガンマ分布
• 形状パラメータ a (a > 0)
• 尺度パラメータ b (b > 0)
• 期待値 ab
• 分散 ab2
7

8. ガンマ分布
8
a を変更
b を変更

9. 問題
• データが与えられたとき、尤度が最大と
なるようなパラメータ a, b を求めよ
9

10. 目次
1. ガンマ分布について
2. ガンマ分布の最尤推定
3. まとめ
10

11. ガンマ分布の最尤推定
• 確率密度関数
• 対数尤度関数
11

12. ガンマ分布の最尤推定
• パラメータ b の最尤推定値
12

13. ガンマ分布の最尤推定
• 対数尤度関数 (b の最尤推定値を代入)
• これを最大化する a を求める
• b = mean(x) / a
13

14. ガンマ分布の最尤推定
＜アルゴリズム＞
1. a と b の初期値を決める
2. 対数尤度関数の変化が十分小さくなるま
で以下を繰り返す
• a ← argmax_a log(D | a, b)
• b ← mean(x) / a
14

15. ガンマ分布の最尤推定
• 対数尤度関数が最大となる a を求める問
題に帰着される
a ← argmax_a log(D | a, b)
• 既存手法と提案手法の違い
① 既存手法： 一次近似で下限を作成 → 最大化
② 提案手法： 独自の局所近似式を最大化
15

16. 補足: ニュートン法がダメな理由
Minka (2000) Beyond Newton’s method
対数尤度

17. 補足: ニュートン法がダメな理由
17
a
対数尤度

18. ① 既存手法
• f(a) = a log a は下に凸な関数
⇨ 一次近似(接線)が下限になる
18

19. ① 既存手法
• 微分して 0 と置くと
19

20. ① 既存手法
• Ψ: ディガンマ関数 (ガンマ関数の対数微分)
• a の推定値は、ディガンマ関数の逆関数に
より計算できる
• a0 を現在の値として a を更新していく
20

21. ① 既存手法まとめ
• パラメータを次で更新していき、対数尤
度関数の変化が十分小さくなったら終了
21

22. • 対数尤度関数
• 局所近似
• ただし
② 提案手法
22

23. ② 提案手法
• 近似が良いため改善が速い
Minka (2000) Beyond Newton’s method

24. ② 提案手法
• 上に凸より p”(a) ≦ 0 したがって c2 ≧ 0
• もし c1 < 0 ならば g が最大となる a は
24

25. ② 提案手法
• したがって、更新式は
25

26. ② 提案手法まとめ
• パラメータを次で更新していき、対数尤
度関数の変化が十分小さくなったら終了
26

27. 実装
27

28. 結果
28

29. 速度比較
• 提案手法は 20倍以上速い！
29

30. 論文 まとめ
• ガンマ分布のパラメータを最尤推定する
高速なアルゴリズムを提案した
• 提案手法は既存手法より 20倍以上速い
30