統計数理研究所 2016/03/15 発表

1. ベルヌーイ分布における
超パラメータ推定のための
経験ベイズ法の実装
VOYAGE GROUP 中野智文

2. 自己紹介
 2001 名古屋工業大学 （教育への統計・機械学習の応用）
 2008 NTTレゾナント （検索ランキングアルゴリズム、
質問応答システムの開発）
 2014 VOYAGE GROUP （Web広告のデータ分析）

3. ベルヌーイ分布（二項分布）
二値（の個数）の確率変数
コインの表・裏（表が出た数）
単語の出現の有無（出現数）
CTR;クリックされるかされないか

4. 確率の掛け算
確率1×確率2×確率3×・・・確率n
もし一箇所でも確率に0があると、
0となってしまう。

5. なぜ０になってしまうのか
確率を次のように見積もる
全体でM回のうち、n回現れたとき、確率rは
しかし、もし一回も現れなかったら、0となる。

6. スムージング
小さな数をαとβを分子と分母に加えてやる
例えば、
Mが大きな数のときは、αやβは無視される

7. はラプラススムージングとよばれる。
ところでMが0のとき、
例えば 最も多いtheでも出現率は20%程度

8. 本研究の目的
• このパラメータを求めたい

9. 超パラメータを推定
ベイズ統計では、このα、βは超パラメータとよばれる。
共役（きょうやく）事前分布を仮定することにより、
データより推定することが出来る。

10. ベイズの定理
ベイズの定理
事後確率
事前確
率
尤度

11. 尤度
尤度
最尤推定
ゼロ頻度問題が解決
できない
最大化

12. 共役事前分布と超パラメータ
事前確
率
尤度
最大化
共役事前分布
この超パラメータはど
のように求めるのか？

13. 経験ベイズ法
訓練データの分布から共役事前分布の（超）パラメータを求めることを
経験ベイズ法という。
一般的には次の式の最大となる超パラメータを求めること

14. 二項分布（ベルヌーイ分布）の経験ベイズ法
二項分布の経験ベイズ法の計算手法は既に提案
Click-through rate estimation for rare events in online
advertising
X Wang, W Li, Y Cui, R Zhang… - Online Multimedia …, 2010
http://www.cs.cmu.edu/%7Exuerui/papers/ctr.pdf
[PS] Estimating a Dirichlet distribution
T Minka - 2000 - vismod.media.mit.edu
http://www.msr-waypoint.com/en-us/um/people/minka/papers/dirichlet/minka-
dirichlet.pdf
※ψはディガンマ関数、I:インプ数、C:クリック数、α、βは、CTRである r の超パ
ラメータ

15. 実装
※ digamma関数があるjuliaにて実装

16. 問題点
論文では収束条件に1000とあるが、1,000回くらいでは全く
収束できなさそう。
それどころか、収束した様に見えても、初期パラメータを別
のところに設定すると、別の点に収束する気配。

17. 丸め誤差に対応
更新式は
であり、次のような形
であるが、XとYが非常に近いとき、X/Yが1.0に丸められて
しまう。

18. そこで次のように式変形する。
ループの中でXとYの差を計算することで、丸められず更新
をすすめることが出来た。

19. 修正版

20. 考察
• 尤度や共役事前分布を決めるにあたって二項分布（ベルヌ
ーイ分布）を仮定したが、本来語彙は多項分布。
• 語彙の異なり語数が予め分かっていれば、多項分布の方が
望ましいかもしれない。
• トピックモデル推定などがこの推定に詳しい。

21. まとめ
• ベルヌーイ分布のベイズによるスムージングは分母と分子
に超パラメータを足すだけ
• 超パラメータは簡単な繰り返しプログラムで求めることが
出来るという話
• ただし実際には収束しないので、改造する必要があった

22. その他

23. ベータ分布の平均と分散に合わせる方法
β分布の平均μと分散σ^2は次の式で表される。
αとβを平均と分散で表すと、
maximaにて次を実行 solve([m=a/(a+b), s=a*b/(a+b)/(a+b)/(a+b+1)], [a,b]);

24. モーメント法による平均と分散
1次、2次モーメント作成
重み付きCTRにより作成
一次モーメント
二次モーメント
枠のidの集合
枠iのクリック数
枠iのインプ数

25. コメント・QA
• 前田先生コメント：beta-binomial などのこれまでの研究
を絡めて欲しい
• 前田先生コメント：具体的なデータはあったほうが良い
• 宮崎先生コメント：X-Yで誤差がおおきくなるのでは？