# 修正 P.18 式: x+z*z/2±z√(x+z*z/4) # 概要 大きな標本の少頻度の信頼区間を示すことは良いはずだが、信頼区間の計算が複雑なことと、標本のサイズが不明な場合があり、信頼区間が示されることは稀である。本稿では、Wilson score interval による信頼区間の簡易な計算を無限極限にすることでこの問題を解決する。またWilson score intervalをポアソン分布に適用し、その一致を確認する。また経験ベイズによる頻度の予測などを検討する。 # abstruct It should be good to show low frequency confidence intervals for large samples, but confidence intervals are rarely shown due to the complexity of the confidence interval calculations and the unknown sample size. In this paper, we solve this problem by limiting the simple calculation of confidence intervals by Wilson score interval to the infinite limit. Also, we apply the Wilson score interval to the Poisson distribution and confirm the match. Also, we consider prediction of frequency by empirical Bayes. 統計数理研究所言語系共同研究グループ2020年度第2回合同研究発表会

1. ポアソン分布を仮定した
少頻度の信頼区間と経験ベイズ
〜大標本中の少頻度の信頼区間〜
中野智文
クロスロケーションズ株式会社

3. この一年よく見るグラフ
出典: https://oku.edu.mie-u.ac.jp/~okumura/python/COVID-19.html
信頼区間がみたい

4. データのばらつきを見たい
数が少ないほうがばらつき
が大きい
数が少ないほうがばらつき
が小さい

5. 信頼区間がわかると何がうれしいか(1)
たまたまの度合いがわかる
○ たまたま3人来ました
○ たまたま30人来ました。
信頼区間で表すと
○ 3人来ました。95%信頼区間は1.0人から8.8人です。
○ 30人来ました。95%信頼区間は21人から43人です。

6. 信頼区間がわかると何がうれしいか(2)
検定をしなくても暗算で（なんとなく）分かる
増えたでしょうか？
○ 新規感染者数が2人から4人になりました。
○ 新規感染者数が200人から400人になりました。
○ 2人（0.05, 7.3）から4人（1.6, 10）は信頼区間内
○ 200（170, 230）人から400人（360, 440）は信頼区間
の範囲外、→増えた

7. 頻度の信頼区間
信頼区間というのは、仮定する分布の母数（パラメータ）の
可能性のある範囲を計算したものである。
● 頻度は母数？

8. 二項分布の信頼区間
● 二項分布の母数
○ 試行回数: n
○ 成功確率: p
成功を出現とすれば成功回数npは頻度
成功回数 np の信頼区間は、頻度の信頼区間
● 例えば、
○ 10％の信頼区間が5%と18%。
○ 100回の試行をすると、10回は期待値で、信頼区間
は5回～18回。

9. 二項分布の頻度の信頼区間の無限極限
二項分布の頻度の信頼区間（Wilson score interval）
の極限（n→∞）
大変シンプルに。

10. 検証
ｎが大きい数と無限極限を比べる。
● x = 5, n = 10000
● x = 5, n = ∞
4桁まで一致。nが大きければ、無限極限の式でOK。
n LCB UCB
10000 2.1358527533545977 11.70043189953315
∞ 2.1356696318699946 11.705930368130005

11. ポアソン分布の信頼区間
Wilson score interval を導出
二項分布の無限極限
と一致。ポアソンの極限定理から自然。

12. ここまでのまとめ
● 頻度の信頼区間はポアソン分布の信頼区間でよい
● 式は単純（ただし Wilson score intervalの場合）
Excelの計算式の例

13. 東京都の新規感染者数の信頼区間

14. コーパスの頻度
頻度と、95％信頼区間の関係
● 3回以上の出現で、1以上の可能性。
→コーパス中に3語以上の語は安
定して出現する
コーパスのサイズに関わらず、3語以
上を対象にすれば良い。
「二度あることは三度ある」のような
頻度のみを使ったルールを統計的に作
成の可能性
Lower Confidence Bound： 信頼下限

15. 経験ベイズ法
● 単独の頻度（その日の頻度）以外も使って計算。
● ベイズで言うところの事前分布に相当する部分を他のデ
ータを使って経験的に求めるのでそうよばれる。
● 移動平均みたいに他の日のデータも使えたら良くなりそ
う。

16. ポアソンガンマモデル
ポアソンガンマモデル
ポアソンガンマモデルの平均は

17. 赤破線がポアソンガンマモデルの平均
ゼロ頻度問題へはある程度貢献があるものの、それ
ほど大きな違いは見られなかった。
信頼区間は将来への課題。

18. まとめ
● 頻度の信頼区間に注目
○ 頻度の例：新規感染者数、コーパス中の語彙の頻度
● 大標本であればポアソン分布の信頼区間でよい
○ 式：x+z*z±z√(x+z*z/4)
○ 総人口や、総語数は不要
■ 例：頻度3以上の語彙は出現する
● ポアソンガンマモデル（経験ベイズ）
○ 特に面白いものではなかった
○ 信頼区間に関しては将来の課題