Bayesian estimation and Markov Chain Monte Carlo

1. ベイズ推定法と MCMC
1
授業振替
(休講⽇)７⽉１９⽇(⽕) ２限 (11:10-12:40)
(振替⽇)７⽉１２⽇(⽕)５限 (16:40-18:10)
http://www.slideshare.net/ShinjiNakaoka
授業レクチャーノート
授業１つ前に事前公開予定、授業後、追加スライド挿⼊、誤植など
訂正分を再アップロード

2. ベイズ推定とは
2
最尤推定法によってデータを説明する尤もらしいパラメーターの値を求めると
いう考えを切り替える。代わりに、データが与えられた下でのパラメーターの
(確率)分布を決める。
『パラメーターの分布はどういったものになるのが尤もらしいか？』
疑問点
⇒ 尤度と関連した、事前情報に依らない分布。
『パラメーターの分布とはどのように定式化されるのか？』
⇒ ベイズの定理より求まる事後分布: 事後分布∝尤度×事前分布
『そもそも、そのような分布をどうやって求めるのか？』
⇒ 解析的に求まるのはごく⼀部。計算機で求めるのが⼀般。
EM アルゴリズムや様々なサンプリング⼿法 (MCMC のみならずパーティクル
フィルターなど) が存在する。後で述べるが、パラメーター空間をモレなく探索
できるか、収束速度は良いかが課題。
参考：ベイズ統計に関する書籍 (多数)

3. ベイズの定理
3
Y をデータとし、q をパラメーターとする。ベイズの定理とは、パラメー
ター q が従う確率分布 p(q) とし, パラメーターの値が q であるときにデー
タ Y が得られる確率 p(Y|q) とすると、データの値が Y であるときにパラ
メーター q が得られる確率 p(q|Y) は
事後分布
尤度
事前分布
注) 同時確率分布 p(q,Y) を想定している。
データが得られる確率 p(Y) は周辺分布であり、q の取り得るすべての値に
ついて和 (積分) を取ることで求まる (条件付き確率の定義より)。p(Y) は q
に関して定数である。
参考：ベイズ統計に関する書籍 (多数)

4. ベイズ推定とは
4
(続き) 書き直すと
『パラメーターの分布はどういったものになるのが尤もらしいか？』
⇒ 尤度と関連した、事前情報に依らない分布 ←後ほど更に詳しく
『パラメーターの分布とはどのように定式化されるのか？』
⇒ ベイズの定理より求まる事後分布: 事後分布∝尤度×事前分布
事前分布は⾃分で与える必要がある。事後分布の値は事前分布に影響される。
事後分布∝尤度×事前分布
３⽉に降⽔量が
q である確率
⾬量が q であるとき
実際の観測値 x の起
こりやすさ
実際の観測値 x であ
るとき降⽔量が q で
ある確率
参考：ベイズ統計に関する書籍 (多数)

5. MCMC (Malkov
Chain Monte Calro)
5
『そもそも、事後分布をどうやって求めるのか？』
⇒ 解析的に求まるのはごく⼀部。計算機で求めるのが⼀般。
事後分布∝尤度×事前分布
『パラメーターの分布はどういったものになるのが尤もらしいか？』
⇒ 尤度と関連した、事前情報に依らない分布とは？
⇒ アルゴリズムの紹介と、不変分布への収束を保証する性質の紹介
定常分布: パラメーター空間の中で、よく出るパラメーター
(最尤推定量で求めたパラメーターは確率が⾼い) の値と出
にくいパラメーターの値を確率分布として表現。この確率
分布が、確率過程 (Malkov 過程) によって⽣成される⼒学
系に対して変化しないような確率分布を指す。
『21世紀の統計科学』第III巻 数理・計算の統計科学 10 章

6. マルコフ過程 (復習)
6
以下の条件 (無記憶性) を満⾜する確率過程
⼀つ前の時刻における状態にのみ依存。状態遷移に過去の履歴を考える必要が
ない。状態 i から j へ遷移する確率を p(i,j) とする。遷移⾏列 T
初期値は以下の通りである：
の作⽤によって⼒学系 が⽣成される。
『21世紀の統計科学』第III巻 数理・計算の統計科学 10 章

7. マルコフ過程の定常分布
7
以下の条件を満⾜する分布を定常分布と呼ぶ：
注) マルコフ過程が⾮周期かつ既約という条件も必要
マルコフ過程の定常分布は、以下の詳細釣り合いの条件を満⾜する:
マルコフ過程の定常分布が詳細釣り合いの条件を満⾜することは和を取れば
確認可能
MCMC のアルゴリズムと呼ばれるもの(の全て？)は、いずれ
も詳細釣り合いを満⾜するように構築されている。
『21世紀の統計科学』第III巻 数理・計算の統計科学 10 章

8. 尤度との関係
8
尤度との関係 (連続分布で議論)
厳密な数学理論と記述は省略するが、連続確率分布に対する詳細釣り合い
(導⼊省略)
注) 離散分布に対するの詳細釣り合いの条件は右式:
が成⽴するようなマルコフ連鎖を構築する。
マルコフ過程における遷移は、尤度が⾼い点には⽐較的多く留まるが尤度
が低い点にはあまりとどまらないようにする。したがって、遷移⾏列 (作
⽤素) は尤度を計算して、尤度が⾼いパラメーター値には遷移し、尤度が
低いパラメーター値にはあまり訪問しないような移動が望ましい。
注) 尤度が低い⽅向へ全く移動しないと、訪問しないパラメーター値が
出てきてしまって、モレなく移動でカバーする事ができずに推定した
分布が偏ってしまう可能性がある。
参考：データ解析のための統計モデリング⼊⾨ 久保拓弥著 P. 182-188

9. 尤度との関係
9
(続き) 尤度との関係 (連続分布で議論)
遷移確率を
詳細釣り合いの条件は
に置き換えてみる。
であるから、尤度⽐
を基準にして、尤度⽐が 1 を超えるようであれば無条件 (確率 1) で遷移
し、⾏き先の尤度が現在値よりも⼩さい場合、尤度⽐の割合で遷移するよ
うにする。そうすると、詳細釣り合いが成⽴するようなマルコフ連鎖を構
築することが証明できる。
たとえば次のように定める:
参考：データ解析のための統計モデリング⼊⾨ 久保拓弥著 P. 182-188

10. 尤度との関係
10
(続き)尤度との関係
詳細釣り合い条件を満たす場合、事後分布は尤度に⽐例した以下の形になる：
離散確率分布を⽤いて説明を⾏う。詳細釣り合いの条件の両辺の和を取ると
が成⽴する。実際、ベイズの定理と合わせてチェックすると
のとき詳細釣り合いの条件が満たされる。
『21世紀の統計科学』第III巻 数理・計算の統計科学 10 章

11. 様々なサンプリング⼿法
11
n 次元のパラメーター空間を探索する上で、様々な⽅法が考えられる。偏りな
く探索することと詳細釣り合いを満⾜することは必須。加えて定常分布への収
束が速ければよい。
Metropolis-Hasting 法
先ほどまでの説明は、Metropolis-Hasting 法に基づく。尤度⽐に基いてパラメーター空
間の次のステップを採択するかどうか決定する。ランダムウォークの相関が問題になり、
適切にパラメーター空間を探索できないケースも存在する。また、移動するかどうかは採
択確率に依存して決めるので移動しない場合もあり、計算効率が下がる要因になり得る。
Gibbs サンプリング法
n 次元パラメーターの１つ以外を固定 (1 次元の周辺分布をもとめる) し、サンプリン
グを⾏う作業を全ての次元に対して繰り返す。Gibbs ブロックサンプリングの場合、
Metropolis-Hasting 法のように採択確率に基いて採択・棄却するが Gibbs サンプリン
グでは採択の判断は⾏わない。Gibbs サンプリングにおける収束条件に関して数学的な
結果が存在する。BUGS ⾔語でかかれた Gibbs サンプラー (JAGS) など複数存在。
固定
『21世紀の統計科学』第III巻 数理・計算の統計科学 10 章

12. 様々なサンプリング⼿法
12
Hamiltonian (Hybrid) Monte Calro 法
Hamiltonian とは、momentum energy と kinetic energy の和が定数と
なる保存量である。Hamiltonian によって規定されるダイナミクスが閉軌
道上を移動する性質を利⽤して、詳細釣り合いの条件が成⽴するようにし
て定常分布を求める⽅法。
momentum energy と kinetic energy は具体的に以下で与えられる：
詳細釣り合いの条件を満たすようにするための採択条件
MH 法のようにランダムウォークではないので、探索の問題が克服されている。保存量を数値的
に誤差を少なくして計算する⼿法を組み合わせて対処する必要あり。また、収束判定も難しく計
算時間がかかるという問題があったが、その点を克服するよう⼯夫したのが NUTS 法であり、
Stan と呼ばれるパッケージで MCMC 計算ができる (後で詳述)。
基礎からのベイズ統計学 豊⽥秀樹 朝倉書店 ５章

13. Metropolis-Hasting 法
13
⼆項分布モデル
対数尤度関数
対数尤度関数の形状 (q=0.46 で最⼤) Metropolis-Hasting 法の適⽤に
よって得られた確率分布
参考：データ解析のための統計モデリング⼊⾨ 久保拓弥著 P. 176-188

14. Metropolis-Hasting 法
14
Metropolis-Hasting 法の適⽤
R によるコード
http://yagays.github.io/blog/2012/11/20/glm-mcmc-chp8/
デモ×2
参考：データ解析のための統計モデリング⼊⾨ 久保拓弥著 P. 176-188

15. Gibbs サンプリング
15
⼀般化線形モデルにおける尤度関数 (ベイズの公式を⽤いる)
尤度関数 (Poisson 分布)
事後分布
無情報事前分布 (平均が 0 で分散がとても⼤きく平べったい正規分布 N(0,100) を採⽤
プログラミング
BUGS (Bayesian inference Using Gibbs Sampling) ⾔語
統計モデルの記述や事前分布の設定を⾏うことで、Gibbs sampling によって MCMC を
実⾏してくれるソフトウェア WinBUGS や OpenBUGS や JAGS (Just Another Gibbs
Sampler) が存在。今回使う Stan も BUGS ⾔語的な記述を利⽤
参考：データ解析のための統計モデリング⼊⾨ 久保拓弥著 P. 194-216

16. Gibbs サンプリング
16
Stan Code
C++ なので変数の型を指定
パラメーター宣⾔
線形予測⼦
モデリングと事前分布設定
http://ito-hi.blog.so-net.ne.jp/tag/STAn
参考：データ解析のための統計モデリング⼊⾨ 久保拓弥著 P. 194-216

17. Gibbs サンプリング
17
推定結果
参考：データ解析のための統計モデリング⼊⾨ 久保拓弥著 P. 194-216

18. 階層ベイズモデル
18
⼀般化線形混合モデル (GLMM) の階層モデル化
尤度関数 (⼆項分布)
事後分布
(無情報) 事前分布
p(s) = runif(0,10000)
参考：データ解析のための統計モデリング⼊⾨ 久保拓弥著 P. 194-216

19. Gibbs サンプリング
19
Stan Code
http://ito-hi.blog.so-net.ne.jp/tag/STAn
参考：データ解析のための統計モデリング⼊⾨ 久保拓弥著 P. 194-216

20. 階層ベイズモデル
20
推定結果
参考：データ解析のための統計モデリング⼊⾨ 久保拓弥著 P. 194-216

21. Memo
21