我々の先行研究では、共役事前分布を繰り返しアルゴリズムを使うことなく集計と計算のみで求める手法を提案した。 本研究では、その手法を語彙の出現率の推定に応用する。また Good-Turing 推定のアイデアをもとに拡張を行う。 ・中野智文, Kartikeya Bhatt「ロバストモーメント法による超母数推定の語彙出現率への応用」『統計数理研究所共同研究リポート421』pp. 39-50. (2019)

1. ロバストモーメント法による
超母数推定の
語彙出現率への応用
クロスロケーションズ株式会社
中野智文

2. 語彙の出現率の推定
総語数ｎの文書にてある語彙がx回出現するするなら、最尤
推定を使った出現率ｍMLは

3. 各文書毎の総語数ｎとtheの出現数xの関係

4. theの出現率ｍMLのヒストグラム（文書数）
出現率
文書数

5. ベータ分布（α=9.29, β=122.10）を重ねた
出現率
文書数

6. 共役事前分布を使った最大事後確率推定
二項分におけるベータ分布は共役事前分布とよばれ、ベータ
分布の超母数（α, β）を用いると、最大事後確率ｍMAP
が求まる。
各文書の総語数が小さくても、頻度が著しく小さくても推定
のばらつきが抑えられる。（例えばxが現れないほどｎも小
さいときでも）
この方法に必要なのは超母数（ハイパーパラメータ）

7. 超母数をどう求める
● データから超母数を求める方法を経験ベイズとか第二種
の最尤推定とよばれる
● 多くは繰り返しアルゴリズムを使っていてちょっと複雑
昨年の研究
● 超母数を推定する複数の簡易手法の比較
● 人工データを使った検証
○ 正解となるα, βから復元できるか
● 提案したロバストモーメント法が良かった

8. 昨年の研究の紹介
もとの事前分布に非常に近い結果に
実線：真のベータ分布
棒線：観測されたヒストグラム
（人工データ）
点線：モーメント法による推定
破線：重み付きモーメント法
◆線：ロバストモーメント法

9. ロバストモーメント法の概要

10. 本研究の目的
● 先に提案したロバストモーメント法による超母数（共役
事前分布の母数）推定を語彙出現率に応用する。

11. 1位theの推定結果

12. 100位exampleの推定結果

13. 1000位sensitivityの推定結果

14. 10000位counteractingの推定結果

15. 課題と解決策
課題
● 低頻度の語彙になるとデータの出現がまばらとなり、推
定誤差が大きい（ヒストグラムと一致しない）
解決策
● Good-Turing推定では語彙単体ではなく、語彙の頻度でグ
ループ化を行った
→全文書の語彙の頻度でグループ化する

16. 頻度1

17. 頻度2

18. 頻度3

19. 頻度4

20. 頻度5

21. まとめ
● ロバストモーメント法による超母数（共役事前分布の母
数）推定を語彙出現率に応用した。
● 低頻度の語彙に対応するため、語彙毎の推定ではなく全
文書の頻度によるグループ化を行い推定を行った。
○ ただしtypeで割り戻す必要がある

22. QA
● Q：Typeの反映はどのようにするのか（前田先生）
○ A：検討中（中野）
● Q：超母数の推定の精度の検証方法は？（前田先生）
○ A: CVにて cross entoropy （語彙数によるお重み付
き）を計算する。今回の語彙に関してはしていない。
● Q: Excelでの計算は？（石川有香先生）
○ A: 後日作ります（中野）