2018/1/8に行った自主セミナーの資料(made by LyricalMaestro)

1. ベイズ統計セミナー
第4回
Powered by Think Bayes
2018/01/08

2. (復習)ベイズの定理の考え方に基づいた問題解決手順
1. 問題を解くのに適した仮説集合 𝐻𝑖 とデータ𝐷を設定する
2. 文献や経験値などから各仮説に対する事前確率𝑃(𝐻𝑖)を計算する。
3. 各仮説に対する尤度𝑃(𝐷|𝐻𝑖)を計算する。
4. 𝑃 𝐷|𝐻𝑖 𝑃 𝐻𝑖 を計算する。
5. 4.で計算した値をベースに正規化定数を求め、事後確率を計算する。
(6. 求めた事後確率をベースにどういう風に判断するかを決める)

3. 3.1. サイコロ問題
箱の中には4面のサイコロ、6面のサイコロ、8面のサイコロ、
12面のサイコロ、20面のサイコロが1つずつ入っている。
Bobは目隠しして箱の中からサイコロを一つとってサイコロを
振る。目隠しを外して出た目を確認したところ、6の目が出て
いた。
Bobが振ったサイコロが4面、6面、8面、12面、20面であった
確率はそれぞれいくつか。

4. 1. 問題を解くのに適した仮説集合 𝐻𝑖 とデータ𝐷を設定する。
𝐻 = 4: 振ったサイコロが4面サイコロだった
𝐻 = 6: 振ったサイコロが6面サイコロだった
𝐻 = 8: 振ったサイコロが8面サイコロだった
𝐻 = 12: 振ったサイコロが12面サイコロだった
𝐻 = 20: 振ったサイコロが20面サイコロだった
数値に依存する仮説を立てるとき、𝐻𝑖という
形式でなく等式チックな形で設定することが多い。
そうすることで確率変数としての意識しやすくなり
正規分布やポワソン分布も導入しやすくなる。
𝐷: 振って出るサイコロの目が6。

5. 2. 文献や経験値などから各仮説に対する事前確率𝑃(𝐻𝑖)を計
算する。
事前確率𝑷(𝑯) 尤度 𝑷(𝑫|𝑯) 𝑷 𝑫 𝑯 𝑷(𝑯) 事後確率𝑷(𝑯|𝑫)
𝐻 = 4 1/5
𝐻 = 6 1/5
𝐻 = 8 1/5
𝐻 = 12 1/5
𝐻 = 20 1/5
特に情報がないので
等確率に設定

6. 3. 尤度計算
事前確率𝑷(𝑯) 尤度 𝑷(𝑫|𝑯) 𝑷 𝑫 𝑯 𝑷(𝑯) 事後確率𝑷(𝑯|𝑫)
𝐻 = 4 1/5 0
𝐻 = 6 1/5 1/6
𝐻 = 8 1/5 1/8
𝐻 = 12 1/5 1/12
𝐻 = 20 1/5 1/20

7. 4.5. 事後確率計算
事前確率𝑷(𝑯) 尤度 𝑷(𝑫|𝑯) 𝑷 𝑫 𝑯 𝑷(𝑯) 事後確率𝑷(𝑯|𝑫)
𝐻 = 4 1/5 0 0 0
𝐻 = 6 1/5 1/6 1/30 20/51
𝐻 = 8 1/5 1/8 1/40 5/17
𝐻 = 12 1/5 1/12 1/60 10/51
𝐻 = 20 1/5 1/20 1/100 2/17

8. 箱の中には4面のサイコロ、6面のサイコロ、8面のサイコロ、
12面のサイコロ、20面のサイコロが1つずつ入っている。
Bobは目隠しして箱の中からサイコロを一つとってサイコロ
を6回振る。Aliceは振った時に出た目を記録をしていく。目
隠しを外してAliceの記録を確認したところ6, 8, 7, 7, 5, 4
だった。
Bobが振ったサイコロが4面、6面、8面、12面、20面であっ
た確率はそれぞれいくつか。プログラムを用いて計算せよ。
Note: サイコロ1回振った時の事後確率を6回計算する方法、とサイコロ6回
一気に振って時の事後確率を1回計算する方法があるがどちらも答えは一緒
(計算誤差を除いては…)
ただ、後者の方がやり様によっては計算時間を劇的に短くすることができる。

9. 3.2. 機関車問題
ある鉄道会社は𝑁台の機関車を所有しており、機関車に1 … 𝑁とい
う番号をつけている。
ある日、60番という機関車を目撃した。
このとき、鉄道会社が所有している機関車の台数𝑁を推測せよ。

10. この問題にベイズ確率の理論を使って解く。
つまり、事後確率を計算してそれを元に値を推定して
いく！という方針で解く。

11. (復習)ベイズの定理の考え方に基づいた問題解決手順
1. 問題を解くのに適した仮説集合 𝐻𝑖 とデータ𝐷を設定する
2. 文献や経験値などから各仮説に対する事前確率𝑃(𝐻𝑖)を計算する。
3. 各仮説に対する尤度𝑃(𝐷|𝐻𝑖)を計算する。
6. 求めた事後確率をベースに𝑁を推定する。

12. 1. 問題を解くのに適した仮説集合 𝐻𝑖 とデータ𝐷を設定する。
𝐻 = 𝑛: 所有台数𝑁が𝑛。
𝑛は1以上の自然数！(つまり仮説は無限個!)
𝐷: 60番の機関車を見た。

13. 2. 文献や経験値などから各仮説に対する事前確率𝑃(𝐻𝑖)を計
算する。
事前確率𝑷(𝑯) 尤度 𝑷(𝑫|𝑯) 𝑷 𝑫 𝑯 𝑷(𝑯) 事後確率𝑷(𝑯|𝑫)
𝐻 = 1 1/[𝐻の数]
𝐻 = 2 1/[𝐻の数]
…
𝐻 = 60 1/[𝐻の数]
𝐻 = 61 1/[𝐻の数]
… 𝐻が無限個なので「無情報事前確率」
的な手法は使えない！

14. ここで事前分布の与え方を少し工夫する。
(1) 𝐻には上限がある、と仮定する。たとえば1000台以上の
車両を保持することはない、と(無理やり)仮定する
(2) すでに知られている統計情報を元に事前分布を与える。

15. (1)の方法で定めた事前確率を用いて計算。上限を 𝑁0 と
して計算。(ここでは 𝑁0は60より大きい数とする)
事前確率𝑷(𝑯) 尤度 𝑷(𝑫|𝑯) 𝑷 𝑫 𝑯 𝑷(𝑯) 事後確率𝑷(𝑯|𝑫)
𝐻 = 1 1/𝑁0 0
𝐻 = 2 1/𝑁0 0
…
𝐻 = 𝑁0 1/𝑁0 1/𝑁0
𝐻 = 𝑁0 + 1 0 0
…
ここから先は全て0.
電車を見かける確率は
等確率。

16. 事後確率のグラフ
𝑁0の定め方によって事後確率の
分布がかなり異なる

17. 6.求めた事後確率をベースに𝑁を推定する。
これまでは「最頻値(もっとも確率が高かった仮説)」を採択してきたが…
この選択がベストとは限らない。
今回は「事後確率ベースの平均値」を計算し、それを𝑁と推定する。
上限𝑁0 推定値𝑵
𝑁0 = 500 207
𝑁0 = 1000 333
𝑁0 = 2000 551

18. (2)の方法で定めた事前確率を用いて計算。
「車両保持数はべき乗則に従う」という情報を使う。
◦PMF 𝑥 = 𝑀
1
𝑥
𝛼
◦ 𝑀: 定数, 𝛼: パラメータ(𝛼 < 1, 𝛼は1に近い値が設定される)
情報源はこちら。
http://science.sciencemag.org/content/sci/293/5536/1818.full.pdf

19. 事前確率𝑷(𝑯) 尤度 𝑷(𝑫|𝑯) 𝑷 𝑫 𝑯 𝑷(𝑯) 事後確率𝑷(𝑯|𝑫)
𝐻 = 1 𝑀 1
1
𝛼
0
𝐻 = 2 𝑀 1
2
𝛼
0
…
𝐻 = 𝑁0 𝑀 1
𝑁0
𝛼
1/𝑁0
𝐻 = 𝑁0 + 1 𝑀 1
(𝑁0 + 1)
𝛼
1/(𝑁0+1)
…

20. 事後確率のグラフ
𝛼を0.999として計算。
プログラムの都合上
𝐻 = 500, 1000, 2000までで
打ち切った形で計算する。

21. 6.求めた事後確率をベースに𝑁を推定する。
打ち切り𝐻 推定値𝑵
𝐻 = 500 144
𝐻 = 1000 178
𝐻 = 2000 216

22. 3.2. でわかること
事前確率分布の定め方によって推定値はかなり異なってくること
がある(と言うより事実とは乖離しているのでは？と面輪得る値
も…)。特に無情報事前確率だとそれが顕著に出る。
データが多ければ異なり具合は少なくなるが、少ないデータでも
ある程度しっかりした結果が欲しければ、事前確率をもう少しそ
れらしいものに定めてあげる必要がある。

23. 3.3. 信用区間
事後確率の確率質量関数𝑝 𝑥 の𝜶%の信頼区間とは、実区間[𝑎, 𝑏]
のことである。ただし、
𝑎: 𝐹 𝑎 =
1−𝛼
2
を満たす最小の数値
𝑏: 𝐹 𝑏 =
1+𝛼
2
を満たす最大の数値
を指す。
(𝑝 𝑥 の累積分布関数𝐹(𝑥))
ここについてはThinkBayes3.5信用区間を参照…

24. 3.4. 練習問題
Think Bayes3.9練習問題について考察…

25. 参考文献
http://allendowney.blogspot.jp/2011/10/all-your-bayes-are-
belong-to-us.html
http://allendowney.blogspot.jp/2011/10/my-favorite-bayess-
theorem-problems.html
http://allendowney.blogspot.jp/2011/11/somebody-bet-on-
bayes.html
https://github.com/AllenDowney/ThinkBayes