ベルヌーイ試行（二項分布）の超パラメータ推定を繰り返しアルゴリズムを使わずにモーメント法のみにより行う。 ・中野智文「モーメント法に基づくロバストなベータ分布の超パラメータ推定」『統計数理研究所共同研究リポート397』pp. 37-44. (2018)

1. モーメント法に基づく
超パラメータの
ロバスト推定
クロスロケーションズ株式会社
中野智文

2. ベルヌーイ分布（二項分布）の事前分布
ｎ回のうち、x回成功なら最尤推定
だが、その共役事前分布（ベータ分布）が分かっているなら
そのベータ分布を表す超パラメータ（α、β）を用いて、
と計算できて、単なる最尤推定よりもっといい。

3. 超パラメータの求め方
● 経験ベイズ、エビデンス近似、第2種の最尤推定とよばれ
る方法で、超パラメータを含んだ形で尤度を最大化させ
る方法→繰り返しアルゴリズム
● （俗に）モーメント法とよばれる方法で、（事前分布
の）母平均・母分散と各次モーメントの関係式から、
（超）パラメータを推定する方法
→モーメント（集計）さえ求まっていれば一発で求まる

4. 研究の目的
● 事前分布のモーメント法の方が手続き的には良さそうだ
が、あまり実用を聞かない、あっても経験ベイズの初期
値として使われるなど、低い扱い。
● だが、ビッグデータ＋リアルタイムの処理において経験
ベイズのような繰り返しアルゴリズムは厳しい
● 本当にモーメント法は使えないのかどうなのか

5. 事前分布（ベータ分布）のモーメント法
ベータ分布のパラメータα, βと母平均μ, 母分散σ2との関係
ベータ分布の標本パラメータa, bをモーメント（m1, m2）と
標本平均m, 標本分散sを上記の関係式から求める

6. 人工データの作成
● 1. 真の事前分布（ベータ分布、α, β）を決める
● 2. ベータ分布から複数のベルヌーイ分布のパラメータ
γ1...γNを生成する
● 3. γ1...γNをその値に基づいてc個のバケットに分割する
○ 具体的には int(γc)番目のバケットに入れる
○ 理由：ベータ分布の密度が高いところが実際観測され
る量も多いから（後述の図のステップを参照）
● 4. γ1...γNに対しそれぞれ1回のベルヌーイ試行（成功か失
敗）を行い、γ1...γNが属するそれぞれのバケットで集計
する

7. 人工データを使った検証
● c個のバケットの集計結果をもとにα, βの推定であるa, bを
モーメント法で求め、検証する

8. 個の
のバケットへ
実線はベータ分布。ステップはバケットに分割された の個数

9. バケット内の にてベルヌーイ試行を行い、バケットの標本平均 を求める。
そのバケットの標本平均のヒストグラム
実際に観測するデータに酷似している
実線：真のベータ分布
棒線：観測されたヒストグラム
（人工データ）

10. 単純モーメント法

11. 単純モーメント法（点線）
成功回数が0となるバケットが多く、そこに偏る
実線：真のベータ分布
棒線：観測されたヒストグラム
（人工データ）
点線：モーメント法による推定

12. 重み付きモーメント法

13. 重み付きモーメント法（破線）
まだなお成功回数0のバケットに偏ってしまう。
実線：真のベータ分布
棒線：観測されたヒストグラム
（人工データ）
点線：モーメント法による推定
破線：重み付きモーメント法

14. ロバスト推定
異常値を取り除くことで安定した結果を得る
我々にとって異常値とは何か？
異常値かどうかは分からないが、施行数が少ないバケットほ
ど異常値になりやすいといえる。

15. トレードオフ
試行数が少ないバケットを除き過ぎると、標本となるバケッ
ト数が少なくなり、超パラメータの推定が不安定となる。
データがあればあるほどいいはずだが、ゴミデータはいらな
いというわがまま
次の条件により解決：
試行数のランキング順位＞バケットの試行数

16. ロバストモーメント法

17. トレードオフを考慮したロバスト推定（◆線）
もとの事前分布に非常に近い結果に
実線：真のベータ分布
棒線：観測されたヒストグラム
（人工データ）
点線：モーメント法による推定
破線：重み付きモーメント法
◆線：ロバストモーメント法

18. 複数の実験

19. まとめ
● モーメント法でもトレードオフを考慮したロバスト推定
することにより超パラメータ推定を実現することができ
た。
○ 単純モーメント法と重み付きモーメント法と比較
今後
● 語彙頻度（出現率）推定でロバストの手法が使えるかど
うか
● 信頼区間で超パラメータ