Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
ベルヌーイ分布における
超パラメータ推定のための
経験ベイズ法の実装
VOYAGE GROUP 中野智文
自己紹介
 2001 名古屋工業大学 (教育への統計・機械学習の応用)
 2008 NTTレゾナント (検索ランキングアルゴリズム、
質問応答システムの開発)
 2014 VOYAGE GROUP (Web広告のデータ分析)
ベルヌーイ分布(二項分布)
二値(の個数)の確率変数
コインの表・裏(表が出た数)
単語の出現の有無(出現数)
CTR;クリックされるかされないか
確率の掛け算
確率1×確率2×確率3×・・・確率n
もし一箇所でも確率に0があると、
0となってしまう。
なぜ0になってしまうのか
確率を次のように見積もる
全体でM回のうち、n回現れたとき、確率rは
しかし、もし一回も現れなかったら、0となる。
スムージング
小さな数をαとβを分子と分母に加えてやる
例えば、
Mが大きな数のときは、αやβは無視される
はラプラススムージングとよばれる。
ところでMが0のとき、
例えば 最も多いtheでも出現率は20%程度
本研究の目的
• このパラメータを求めたい
超パラメータを推定
ベイズ統計では、このα、βは超パラメータとよばれる。
共役(きょうやく)事前分布を仮定することにより、
データより推定することが出来る。
ベイズの定理
ベイズの定理
事後確率
事前確
率
尤度
尤度
尤度
最尤推定
ゼロ頻度問題が解決
できない
最大化
共役事前分布と超パラメータ
事前確
率
尤度
最大化
共役事前分布
この超パラメータはど
のように求めるのか?
経験ベイズ法
訓練データの分布から共役事前分布の(超)パラメータを求めることを
経験ベイズ法という。
一般的には次の式の最大となる超パラメータを求めること
二項分布(ベルヌーイ分布)の経験ベイズ法
二項分布の経験ベイズ法の計算手法は既に提案
Click-through rate estimation for rare events in online
advertising
X Wang, W L...
実装
※ digamma関数があるjuliaにて実装
問題点
論文では収束条件に1000とあるが、1,000回くらいでは全く
収束できなさそう。
それどころか、収束した様に見えても、初期パラメータを別
のところに設定すると、別の点に収束する気配。
丸め誤差に対応
更新式は
であり、次のような形
であるが、XとYが非常に近いとき、X/Yが1.0に丸められて
しまう。
そこで次のように式変形する。
ループの中でXとYの差を計算することで、丸められず更新
をすすめることが出来た。
修正版
考察
• 尤度や共役事前分布を決めるにあたって二項分布(ベルヌ
ーイ分布)を仮定したが、本来語彙は多項分布。
• 語彙の異なり語数が予め分かっていれば、多項分布の方が
望ましいかもしれない。
• トピックモデル推定などがこの推定に詳しい。
まとめ
• ベルヌーイ分布のベイズによるスムージングは分母と分子
に超パラメータを足すだけ
• 超パラメータは簡単な繰り返しプログラムで求めることが
出来るという話
• ただし実際には収束しないので、改造する必要があった
その他
ベータ分布の平均と分散に合わせる方法
β分布の平均μと分散σ^2は次の式で表される。
αとβを平均と分散で表すと、
maximaにて次を実行 solve([m=a/(a+b), s=a*b/(a+b)/(a+b)/(a+b+1)], [a,b]...
モーメント法による平均と分散
1次、2次モーメント作成
重み付きCTRにより作成
一次モーメント
二次モーメント
枠のidの集合
枠iのクリック数
枠iのインプ数
コメント・QA
• 前田先生コメント:beta-binomial などのこれまでの研究
を絡めて欲しい
• 前田先生コメント:具体的なデータはあったほうが良い
• 宮崎先生コメント:X-Yで誤差がおおきくなるのでは?
Upcoming SlideShare
Loading in …5
×

ベルヌーイ分布における超パラメータ推定のための経験ベイズ法

10,901 views

Published on

統計数理研究所 2016/03/15 発表

Published in: Data & Analytics
  • Be the first to comment

ベルヌーイ分布における超パラメータ推定のための経験ベイズ法

  1. 1. ベルヌーイ分布における 超パラメータ推定のための 経験ベイズ法の実装 VOYAGE GROUP 中野智文
  2. 2. 自己紹介  2001 名古屋工業大学 (教育への統計・機械学習の応用)  2008 NTTレゾナント (検索ランキングアルゴリズム、 質問応答システムの開発)  2014 VOYAGE GROUP (Web広告のデータ分析)
  3. 3. ベルヌーイ分布(二項分布) 二値(の個数)の確率変数 コインの表・裏(表が出た数) 単語の出現の有無(出現数) CTR;クリックされるかされないか
  4. 4. 確率の掛け算 確率1×確率2×確率3×・・・確率n もし一箇所でも確率に0があると、 0となってしまう。
  5. 5. なぜ0になってしまうのか 確率を次のように見積もる 全体でM回のうち、n回現れたとき、確率rは しかし、もし一回も現れなかったら、0となる。
  6. 6. スムージング 小さな数をαとβを分子と分母に加えてやる 例えば、 Mが大きな数のときは、αやβは無視される
  7. 7. はラプラススムージングとよばれる。 ところでMが0のとき、 例えば 最も多いtheでも出現率は20%程度
  8. 8. 本研究の目的 • このパラメータを求めたい
  9. 9. 超パラメータを推定 ベイズ統計では、このα、βは超パラメータとよばれる。 共役(きょうやく)事前分布を仮定することにより、 データより推定することが出来る。
  10. 10. ベイズの定理 ベイズの定理 事後確率 事前確 率 尤度
  11. 11. 尤度 尤度 最尤推定 ゼロ頻度問題が解決 できない 最大化
  12. 12. 共役事前分布と超パラメータ 事前確 率 尤度 最大化 共役事前分布 この超パラメータはど のように求めるのか?
  13. 13. 経験ベイズ法 訓練データの分布から共役事前分布の(超)パラメータを求めることを 経験ベイズ法という。 一般的には次の式の最大となる超パラメータを求めること
  14. 14. 二項分布(ベルヌーイ分布)の経験ベイズ法 二項分布の経験ベイズ法の計算手法は既に提案 Click-through rate estimation for rare events in online advertising X Wang, W Li, Y Cui, R Zhang… - Online Multimedia …, 2010 http://www.cs.cmu.edu/%7Exuerui/papers/ctr.pdf [PS] Estimating a Dirichlet distribution T Minka - 2000 - vismod.media.mit.edu http://www.msr-waypoint.com/en-us/um/people/minka/papers/dirichlet/minka- dirichlet.pdf ※ψはディガンマ関数、I:インプ数、C:クリック数、α、βは、CTRである r の超パ ラメータ
  15. 15. 実装 ※ digamma関数があるjuliaにて実装
  16. 16. 問題点 論文では収束条件に1000とあるが、1,000回くらいでは全く 収束できなさそう。 それどころか、収束した様に見えても、初期パラメータを別 のところに設定すると、別の点に収束する気配。
  17. 17. 丸め誤差に対応 更新式は であり、次のような形 であるが、XとYが非常に近いとき、X/Yが1.0に丸められて しまう。
  18. 18. そこで次のように式変形する。 ループの中でXとYの差を計算することで、丸められず更新 をすすめることが出来た。
  19. 19. 修正版
  20. 20. 考察 • 尤度や共役事前分布を決めるにあたって二項分布(ベルヌ ーイ分布)を仮定したが、本来語彙は多項分布。 • 語彙の異なり語数が予め分かっていれば、多項分布の方が 望ましいかもしれない。 • トピックモデル推定などがこの推定に詳しい。
  21. 21. まとめ • ベルヌーイ分布のベイズによるスムージングは分母と分子 に超パラメータを足すだけ • 超パラメータは簡単な繰り返しプログラムで求めることが 出来るという話 • ただし実際には収束しないので、改造する必要があった
  22. 22. その他
  23. 23. ベータ分布の平均と分散に合わせる方法 β分布の平均μと分散σ^2は次の式で表される。 αとβを平均と分散で表すと、 maximaにて次を実行 solve([m=a/(a+b), s=a*b/(a+b)/(a+b)/(a+b+1)], [a,b]);
  24. 24. モーメント法による平均と分散 1次、2次モーメント作成 重み付きCTRにより作成 一次モーメント 二次モーメント 枠のidの集合 枠iのクリック数 枠iのインプ数
  25. 25. コメント・QA • 前田先生コメント:beta-binomial などのこれまでの研究 を絡めて欲しい • 前田先生コメント:具体的なデータはあったほうが良い • 宮崎先生コメント:X-Yで誤差がおおきくなるのでは?

×