1. 11.1.4 重点サンプリング11.1.5 SIR11.1.6 サンプリングとEMアルゴリズム 2010/5/8 江原 遥 PRML読書会 1

2. 11.1.4 重点サンプリング 一様サンプリング： この方法の問題点： Lを次元に対して指数関数的に大きくする必要 多くの場合，z空間の比較的小さい領域に大きな確率が集中している （特に高次元ではそう．c.f.球面集中現象） 理想的には：p(z)f(z)が大きな領域を重視したい ⇒重点サンプリング 2 11.18

3. 11.1.4 重点サンプリング 3 11.18 重要度重み (importance weight) 11.19 やりたかったこと：p(z)f(z)が大きな領域を重視したい やったこと：提案分布q(z)を持ってきて，q(z)が大きいところを重点的にサンプリングする． 棄却サンプリングとの違い：棄却しない．サンプルは常に使うｚ

4. 正規化定数の計算が難しい場合 4 どうやるか： 11.20 11.21 11.22 11.23

5. 重点サンプリングの欠点 いくらでも大きな誤差のある結果を生成する可能性があるが，それを診断するための指標が得られない． ->おそらく，MCMCでは，このように 山を忘れたりすると不変分布（定常分布） に収束していないことになるので， 不変分布にどれだけ近づいているか がこの指標になっている？ 5 もしq(z)が紫だったら… ↑この山を忘れていることが分からない

6. 一様サンプリング (uniform sampling) グラフィカルモデルで定義された分布には重点サンプリングの技術を適用できる．先程の一様サンプリングとの違い：観測された変数については観測値を用いている． 6

7. 尤度重み付きサンプリング 先程の一様サンプリングは，観測されていない変数については一様分布からサンプリング 尤度重み付きサンプリングは，これを，p(zi|pai)からサンプル．paiにも観測されていない変数が含まれていたら，とりあえず今のサンプリングの値を設定しておく． この場合の重要度重みは： 7

8. 重点サンプリングまとめ 必要なもの：提案分布q，重要度重みr 利点：一様サンプリングよりはマシ 欠点：提案分布qはpに近くないと使えない （特に高次元） いくらでも大きな誤差のある結果を生成する可能性があるが，それを診断するための指標が得られない． ->たぶんMCMCだと不変分布に収束させることで，この問題が（部分的に）解決されているのでは． 8

9. 11.1.5 SIR 11.1.2の棄却サンプリングの問題点： 本当に上から抑えるようなkを設定しようと思うと，受理率が非常に小さくなる． SIR: kを設定しなくてもすむ方法 9 Sampling Importance Resampling

10. 11.1.5 SIR q(z)からサンプルしているのに重点度重みを挟んでリサンプルしたらいつの間にかp(z)からサンプルできていた．特にL->∞では本当にp(z)からのサンプリングになっている． 理由：一次元の時，サンプル値の累積分布が一致することを示す 10 11.25 p(z)の累積分布関数の定義そのまま 11.26

11. 11.1.5 SIR 11.27は単なる注意書き． 直接サンプル出来ないp(z)から近似的にサンプルする方法としてSIRを説明したけど，もし，p(z)のモーメント（平均，分散）だけが欲しいのなら，直接求められる． 11 11.27

12. 11.1.6 サンプリングとEMアルゴリズム EMアルゴリズムのE-stepをサンプリングで解いてやる：モンテカルロEM 確率的EM： pが混合モデルでZがクラス，L=1の場合 12 11.28 11.29

13. 11.1.6 IPアルゴリズム 13 11.30 11.31 11.32

14. 14 ご清聴ありがとうございました