Downloaded 91 times
![データ
set.seed(20150513) #wed seminar date
library(dummies)
library(truncnorm)
library(MASS)
#simulation
a = 400
b = 400
c = 400
x = data.frame(
x1 = c(runif(a,-2,2), runif(b,-1.8,2.2),runif(c,-3,2.4)),
x2 = c(rep(1,a), rep(0,b), rep(0,c))
)
x = as.matrix(x)
z_fac = c(rep("A",a),rep("B",b),rep("C",c))
z_fac1 = dummy(as.factor(z_fac))
z = z_fac1[,-1]
beta = c(0.8,-0.5)
u = c(rnorm(a,0,0.2),rnorm(b,0,0.3),rnorm(c,0,0.3))
lambda = exp(x%*%beta + u) #z%*%u は正規分布からの乱数と考えればよい。
y = rpois(a+b+c,lambda)
!
#はずれ値の処理
#rm_num = which(y>10)
#x = x[-rm_num,]
#y = y[-rm_num]
#z = z[-rm_num,]
!
par(mfcol=c(1,2))
plot(x[,1],y,xlab="",ylab="",col=as.factor(z_fac))
plot(x[,2],y,xlab="",ylab="",col=as.factor(z_fac))
サンプリングモデル
共変量の作成方法
サンプルサイズ
全地域から400個ずつ
パラメータの設定](https://image.slidesharecdn.com/wedseminarslideshare-150512162445-lva1-app6892/75/slide-68-2048.jpg)
Uploaded byTomoshige Nakamura
ベイズ推論とシミュレーション法の基礎
Bayesian Inference and Simulation method. （追記）スライドに間違いがありました。 ・ロジスティック回帰のところに、ポアソン分布と書いていますが間違いです．ただしくはベルヌーイ分布です．
More Related Content
![[PRML] パターン認識と機械学習（第1章：序論）](https://cdn.slidesharecdn.com/ss_thumbnails/prmlchapter1-170903070406-thumbnail.jpg?width=640&height=640&fit=bounds)
ベイズ推論とシミュレーション法の基礎
- 1.
- 2.
- 3.
- 4.
- 5. ベイズによる推論とは？ ・ベイズルールは 「仮説が情報によって更新される」 ということの関係性を記述している → 仮説p(θ）が情報 y が与えられると、p(θ¦y )に更新される． ベイズの定理は、 ベイズがつくったが、 一般に拡張したのは、 ラプラスである。
- 6.
- 7.
- 8. non - bayesian: MLEによる推定 母集団 θ0 あるサイコロで 1が出る（真の）確率 真のパラメータに従う確率変数から、 実現値として以下が得られたとする． = (1,2,3,4,3,…,6,3,5) 今、わかっているデータのみで、 最もあり得そうなモデルは何か？ 例) Yにベルヌーイ分布を仮定して、最尤法を用いる。 推定量θは確率変数Yの関数であり、 その実現値の１つが、Yに実現値を入れたもの。
- 9. non - bayesian: MLEによる推定 ・Point Estimation ・MLE MLE 尤度を最大化するようなパラメータを求める。 対数尤度の最大化に対応する。 【考え方】 真のパラメータが存在して、それを得られた標本から推定する。 つまり、推定されたパラメータは「確率変数」の関数であり、その枠組みのもとで議論を行う。 特に、推定されたパラメータがM推定量の枠組みで議論できる場合には、漸近正規性、一致性など 推定量として良い性質を期待できる。
- 10. bayesian : 事後分布の考え方 母集団 あるサイコロで 「1が出る」確率 1/6 仮説： さいころで1が出るのは およそ1/6である θ p(θ)beta分布 実際にさいころを振ってみると、、、 = (1,2,3,4,3,…,6,3,5) とデータが得られた。 ! このデータが、仮説θのもとで得られる確率は？ ベイズルールを用いて、 サイコロの1が出る確率を更新する
- 11. bayesian : 事後分布の考え方 ・PosteriorInference ・Bayes Rule 【考え方】 事後分布は、ベイズのルールから導出される。 事後分布は、パラメータの関数であり、標本の関数ではないことに注意が必要である。 データが得られれば、得られるほど、より正確なパラメータの情報がわかる。 ただし、パラメータの事前分布の決定など、テクニカルな部分もある。 パラメータは確率変数であり、得られたデータから、 パラメータの分布を更新するという考え方。 この場合、パラメータについての推論は、 事後分布に基づいて行う。 事後分布 事前分布
- 12.
- 13.
- 14. 区間推定（ベイズ） ・Posterior Inference 観測データに基づく区間が、以下を満たすとき95% θに対するBayesian coverageという 面積= 0.95 u(y)l(y) p(Ư̆|y)：事後分布
- 15.
- 16.
- 17.
- 18.
- 19.
- 20. 線形回帰モデルの拡張 - 一般化線形モデル ・Yが従う分布を指数型分布族とする。 ・説明変数の線形結合を次のように記述。 ・ と をつなぐ関数（リンク関数）を設定する． g : 単調関数 定義：指数型分布族（Exponential Family） Y が指数型分布族に従う確率変数であるとは、
- 21.
- 22.
- 23.
- 24.
- 25. 線形混合モデル - 例 ・線形混合モデル（LinearMixed Model） 固定効果 観測誤差 ・変量効果（random effect） 地域毎のばらつきをモデルに組み込み、考慮することができるようにす る。地域が異なれば、データのばらつきも異なるという考え方。
- 26.
- 27.
- 28.
- 29. ベイズ的な記述 - その1 ・NormalModel ・Poisson Model 注）事前分布は一例です 注）事前分布は一例です
- 30. ベイズ的な記述その2 ・Normal Model withRandom Effect Random Effectは平均が0の正規分布を仮定しただけで Fixed Effectに対応するβも分布を持つので、 Random Effect / Fixed Effectという概念の違いはない 注）事前分布は一例です 注）事前分布は一例です
- 31.
- 32.
- 33. Bayesian / Non-Bayesian? ・Bayesianとして考えるべき？ ・Non-Bayesianとして考えるべき？ 本によっても、人によっても、 分野によっても違うと思います． ケースバイケースで良いような気がしています． 両方の手法を勉強して、適切な方を使えるように． ただ、Bayesianにすると、事前情報を組み込んだり、 複雑なモデルでもシミュレーションができるなどの利点もある．
- 34.
- 35. ここまでの参考文献 Generalized Linear Models,Second Edition P. McCullagh, John A. Nelder 1989 by Chapman and Hall/CRC Generalized Linear Models with Random Effects Youngjo Lee, John A. Nelder, Yudi Pawitan 2006 by Chapman and Hall/CRC
- 36. ここまでの参考文献 Bayesian Inference inStatistical Analysis George E.P. Box, George C. Tiao George E.P. Box 1973 A First Course in Bayesian Statistical Methods Hoff, Peter D. Springer Texts in Statistics 2009
- 37. ここまでの参考文献 Bayesian Essentials withR Marin, Jean-Michel, Robert, Christian Springer Texts in Statistics 2014 データ解析のための統計モデリング入門 久保拓弥 岩波書店・シリーズ「確率と情報の科学」
- 38. Simulation Method（シミュレーション法） 21．モチベーション 22．モンテカルロ近似 23．Markov ChainMonte Carlo 2-4．簡単なシミュレーションとまとめ
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45. （寄り道）Conjugate Prior =共役事前分布 事後分布が、容易に計算できる場合がある。 → 「共役（conjugate）」な事前分布の場合。 「共役」＝ 事後分布が、事前分布と同じ分布（パラメータは異なる）になる場合 ・Normal ・Gamma ・Beta ・Dirichlet ・Gamma ・Normal - Normal (mean) ・Poisson - Gamma (mean) ・Bernoulli - Beta (mean) ・Multinomial - Dirichlet ・Normal - Gamma : (dispersion) 【sampling model - Prior】 【Posterior】
- 46.
- 47.
- 48. 2-3．Markov Chain MonteCarlo Method 事後分布の正規化定数を求めずに、サンプリングを行う。
- 49. Markov Chain MonteCarlo Method（MCMC） ここからは、事後分布の正規化を行うことなく、 事後分布からサンプリングを行うための枠組みを説明する。 ! サンプリングを行う手法は、様々な手法がある。 ・Accept - Reject Method ・逆関数法 ・Adaptive Rejection Sampling ! 今回、扱うのはマルコフ連鎖を用いる枠組みで、 MCMCと呼ばれる手法である。
- 50.
- 51.
- 52.
- 53.
- 54.
- 55. MCMCの根本的な定理（一般状態空間） Th. Tierney 1994 Pを π-irreducible（既約的） で、 πP = π (定常分布) を満たすマルコフ連鎖の推移カーネルとする。 このとき、 P は positive recurrent （正再帰的） であり、 π はカーネル P の唯一の invariant distribution （不変分布） である。 さらに、P が非周期的であるならば、 π-almost all x に対して、次式が成立する. ! ! ここで、P が Harris recurrent であれば、 任意の x に対して上記の収束が保証される. ※
- 56. 本当であれば、詳しい話もしたいのですが．．． Tierney 1994の定理を満たす推移カーネルとして 「メトロポリス」カーネルという推移カーネルが存在します。 これが一般的なMCMCを実装する際に用いられるの 枠組みを提供するカーネルです。 ! ・そのアルゴリズムが「Metropolis -Hastings アルゴリズム」です。 ! しかしながら、時間内にその話をするのは、 なかなか難しいので、今回は、割愛します。 ! →証明等に興味がある場合はゼミでやります（声をかけてください）。
- 57. Metropolis Hastings Algorithm（MHアルゴリズム） Given 1．Generate 2．Take where 目標分布の比 正規化定数は相殺する
- 58.
- 59. Given 1．Generate 2．Take where t分布（自由度10；非心度：1）からの サンプリング - アルゴリズムの作成 where qは平均の正規分布です 分散は適切な値を選ぶ必要があります． この部分は相殺して = 1 このケースを 「random walk metropolis」 と呼びます． f は自由度10非心度1のt分布
- 60.
- 61.
- 62.
- 63.
- 64.
- 65. Poisson - NormalModelを設計して MHアルゴリズムでサンプルを取る さぁ、シミュレーションのお時間です！
- 66.
- 67.
- 68. データ set.seed(20150513) #wed seminardate library(dummies) library(truncnorm) library(MASS) #simulation a = 400 b = 400 c = 400 x = data.frame( x1 = c(runif(a,-2,2), runif(b,-1.8,2.2),runif(c,-3,2.4)), x2 = c(rep(1,a), rep(0,b), rep(0,c)) ) x = as.matrix(x) z_fac = c(rep("A",a),rep("B",b),rep("C",c)) z_fac1 = dummy(as.factor(z_fac)) z = z_fac1[,-1] beta = c(0.8,-0.5) u = c(rnorm(a,0,0.2),rnorm(b,0,0.3),rnorm(c,0,0.3)) lambda = exp(x%*%beta + u) #z%*%u は正規分布からの乱数と考えればよい。 y = rpois(a+b+c,lambda) ! #はずれ値の処理 #rm_num = which(y>10) #x = x[-rm_num,] #y = y[-rm_num] #z = z[-rm_num,] ! par(mfcol=c(1,2)) plot(x[,1],y,xlab="",ylab="",col=as.factor(z_fac)) plot(x[,2],y,xlab="",ylab="",col=as.factor(z_fac)) サンプリングモデル 共変量の作成方法 サンプルサイズ 全地域から400個ずつ パラメータの設定
- 69.
- 70. Metropolis Hastings Algorithm（MHアルゴリズム） Given 1．Generate 2．Take where 正規化定数を除いた 事後分布 提案分布は、1期前を平均とする ・Normal（β） ・Truncated Normal（σ）
- 71.
- 72. 事後分布（平均/標準偏差/分位点） 真値 平均 標準偏差2.5% 50% 97.5% 0.8 0.85 0.02 0.81 0.85 0.90 -0.5 -0.49 0.06 -0.60 -0.48 -0.38 0.3 0.50 0.66 0.09 0.27 2.68 0.3 0.51 0.60 0.12 0.29 2.37 政策による影響は有意なことがわかる．
- 73.
- 74.
- 75.
- 76. 参考文献（抜粋/後半） • P.J.Diggle, J.A.Town,and R.A.Moyeed(1998), Model-based geostatistics, Appl. Statist. 47, Part3, pp299-350 • Banerjee, S., Carlin, B., Gelfand, A. (2004). Hierarchical modeling and analysis for spatial data. Boca Raton, Fla.: Chapman Hall/CRC. • Nummelin, E. (1984). General irreducible Markov chains and non-negative operators. Cambridge University Press. • Rudin, W. (1966). Real and complex analysis. McGraw-Hill. • Robert, C., Casella, G. (2004). Monte Carlo statistical methods (2nd ed.). New York: Springer. • Tierney, L. (1994). Markov Chains for Exploring Posterior Distributions. The Annals of Statistics, 1701-1728. • Ski, M., Kopp, P. (2004). Measure, integral and probability (2nd ed.) p66. London: Springer. • Robert C, Casella G (2004). Monte Carlo statistical methods. Springer Texts in Statistics,second edition. Springer-Verlag. • Roberts GO, Rosenthal JS (2009). “Examples of adaptive MCMC.” Journal of Computational and Graphical Statistics, 18(2), 349367. • Gareth O. Roberts and Jeffrey S. Rosenthal(2007), Coupling and Ergodicity of Adaptive Markov Chain Monte Carlo Algorithms ,Journal of Applied Probability, Vol. 44, No. 2, pp. 458-475
- 77.