Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

NagoyaStat #5 データ解析のための
統計モデリング入門 第10章

886 views

Published on

NagoyaStat #5 発表資料 
データ解析のための
統計モデリング入門 第10章
階層ベイズモデル
 -GLMMのベイズモデル化

日時 :2017/04/07 (金) 18:30 ~ 21:00
会場 :名古屋プライムセントラルビル4F ヤフー株式会社 名古屋オフィス 会議室

勉強会の発表内容のままのバージョンとして一旦アップいたします。
stanでの予測の方法が分からないまま資料を作っていますので未完成です。

Published in: Technology
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

NagoyaStat #5 データ解析のための
統計モデリング入門 第10章

  1. 1. データ解析のための 統計モデリング入門 第10章 階層ベイズモデル -GLMMのベイズモデル化 NagoyaStat #5 @nishiokya
  2. 2. 自己紹介 @nishiokya atndではnishioka0902 カーナビのログとか航空写真とかのデータを扱っています
  3. 3. 第10章 階層ベイズモデル -GLMMの階層ベイズモデル化 # 目次 概要 予定 (分) 10 はじめに 5 10.1 例題:個体差と生存種子数(個体差あり) 前提 3 10.2 GLMMの階層ベイズモデル化 GLMMをベイズ化すると階層ベ イズモデルになる 5 10.3 階層ベイズモデルの推定・予測 5 10.3.1 階層ベイズモデルのMCMCサンプリング stanを使います 10 10.3.2 階層ベイズモデルの事後分布推定と予測 stanの結果と予測方法 5 10.4 ベイズモデルで使うさまざまな事前分布 まぜ階層ベイズモデルがよいの 5 10.5 個体差+場所差の階層ベイズモデル 複雑な階層ベイズモデルの作成 10 10.6 この章のまとめと参考文献 終わり 5
  4. 4. 10章の概要と前提 階層ベイズモデルとMCMCサンプリ ングによってより複雑な統計モデル のパラメータ推定ができる # 各章で学ぶこと 7章 個体差・場所差を組み込んだ 統計モデリング GLMMを学ぶ 9章 無情報事前分布を使ったベイズ統計モデルを設 計を学ぶ 10章 階層事前分布を使ってGLMMを階層ベイズモデ ルとして扱う方法を学ぶ まえがき vii
  5. 5. 10.1 例題:個体差と生存種子数(個体差あり) 属性 値 補足 調査した個体数 (𝒴) 100 0 2 7 8 1 7 8 8 1 1 4 0 1 4 7 8 7 0 2 2 1 1 5 7 8 3 8 4 6 0 8 7 8 0 2 6 7 8 2 1 1 0 0 7 8 5 7 2 8 1 5 7 3 8 0 8 6 3 2 0 0 1 2 8 7 7 7 8 0 0 0 5 1 0 0 0 8 1 8 4 7 2 1 4 7 0 8 1 8 7 6 2 8 6 6 1 0 4 7 0 調査種子数(𝑁𝑖) 8 求めるもの(𝑦𝑖) 生存種子数 0以上8以下の整数 属性 値 補足 最尤推定値 (𝑞) 0.504 𝑦/100 = 504/(8*100) 分散(𝑣𝑎𝑟) 9.93 N=8の二項分布の分散の期待値は2.00 上限のあるカウントデータ(離散値)なので確率分布は「二項分布」 例題のデータについて 二項分布(𝑁 = 8)にあてはめた結果の統計量 例題のデータは過分散(5倍近く)である 観測できない個体差??
  6. 6. 10.2 GLMMの階層ベイズモデル化 二項分布では観測データを説明できない(図10.1b) • 7章で扱ったGLMMをつかえば、個体差が存在する過分散な観測デー タに二項分布をあてはめることが可能 • 10章では、GLMMのベイズモデル化に取り組む 属性 値 補足 確率分布 二項分布 𝑃 𝑋 − 𝑘 = 𝑛 𝑘 𝑝 𝑘 1 − 𝑝 𝑛−𝑘 𝑓𝑜𝑟 𝑘 = 0,1,2,3, . . , 𝑛 リンク関数 𝑙𝑜𝑔𝑖𝑡 ロジスティック関数の逆関数 . 選定基準はP114表6.1参照 線形予測子 𝛽 + 𝑟𝑖 7章と同じ 固定効果 𝛽 全固体で共通のパラメータ ランダム効果 𝑟𝑖 個体差、平均0,10^4 の一様分布とする 統計モデル設計
  7. 7. 10.2 GLMMの階層ベイズモデル化 事後分布 ∝ 尤度 × 事前分布 事後分布 ∝ 𝑝 𝑌 𝛽, 𝑟𝑖 × 事前分布 尤度はデータが得られる確率(全個体の二項分布の積) p 𝑌 𝛽, 𝑟𝑖 = 8 𝑦𝑖 𝑞𝑖 𝑦 𝑖 1 − 𝑞𝑖 8−𝑦𝑖 事後分布 ∝ 尤度 × 事前分布 事後分布 ∝ p 𝑌 𝛽, 𝑟𝑖 × p 𝛽 p 𝑟𝑖 𝛽の事前分布は無情報事前分布とする (s = 100; 𝜇 = 0) 𝑝 𝛽 = 1 2𝜋 × 1002 𝑒𝑥𝑝 −𝛽2 2 × 1002 𝑟𝑖の事前分布は7章とおなじと仮定 p 𝑟𝑖 𝑠 = 1 2𝜋×𝑠2 𝑒𝑥𝑝 −𝑟 𝑖 2 2×𝑠2 ⋯ 𝑝 𝑠 = 0から104 までの連続一様分布
  8. 8. 10.2 GLMMの階層ベイズモデル化 個体差𝑟𝑖の事前分布の𝑝 𝑟𝑖 𝑠 に従う未知のパラメータs(0から 階層事前分布という 「階層事前分布」を使っているベイズ統計モデルを階層ベイズモデル 「階層」とは、事前分布のパラメータにさらに事前分布が設定されていること • 𝑠を「超パラメータ」 • 𝑝 𝑠 を「超事前分布」
  9. 9. 10.3階層ベイズモデルの推定・予測 例題の階層ベイズモデルの式 𝑝 𝛽, 𝑠, 𝑟𝑖 𝑌 ∝ 𝑝 𝑌 𝛽, 𝑟𝑖 𝜌 𝛽 𝑝 𝑠 𝑖 𝑝 𝑟𝑖 𝑠 モデルの設計 図10.2 生存種子数の階層ベイズモデルの概要 データY 全N件 種子8個中のY[i]個が生存 二項分布 生存確率q i リンク関数logit 階層事前分布 s 個体差のばらつき (下限0) 無情報事前分布 無情報事前分布 (超事前分布) 個体差 r[i] 固定効果 beta
  10. 10. 10.3.1 階層ベイズモデルのMCMCサンプ リング • WinBUGSがインストールが面倒なのでStanでやりました 評価項目 Stan WinBUGS OS マルチ Windows(Macでもインス トール可能) 長所 収束が速い 空間統計学で適用 短所 1stepの計算は遅い メンテナンスされていない サンプリング NUTSのみ HMC(ハミルトニアンモンテカルロ 法)の実装方法の一つ ギブズサンプラー他 StanとWinBUGSの比較
  11. 11. 10.3.1 階層ベイズモデルのMCMCサンプ リング data {//データ宣言 int<lower=0> N; //調査した個体数 int<lower=0> y[N]; // 生存種子数(上限8) } parameters {#パラメータ real beta; // 固定効果 real r[N]; // 個体差 r[i] real<lower=0> s; // 個体差のばらつき } transformed parameters { real q[N]; for (i in 1:N) q[i] <- inv_logit(beta+r[i]); // 生存確率 } model {#モデル for (i in 1:N) y[i] ~ binomial(8,q[i]); // 二項分布 beta~normal(0,1.0e+2); // 無情報事前分布 for (i in 1:N) r[i]~normal(0,s); // 個体差の階層事前分布 s~uniform(0,1.0e+4) ; //無情報事前分布(超事 前分布) } Stanのモデルファイル(model_10a.stan) http://tjo.hatenablog.com/entry/2014/05/01/190346
  12. 12. 10.3.1 階層ベイズモデルのMCMCサンプ リング #ファイルの読み込み d <- read.csv(url("data7a.csv")) # dat<-list(N=nrow(d),y=d$y) #MCMCサンプリングの実行 d.fit<-stan(file='model_10a.stan',data=dat,iter=1000,chains=4) #MCMCサンプリング結果を保存 write.table(data.frame(summary(d.fit)$summary), file='fit-summary2.txt', sep='t', quote=FALSE, col.names=NA) Rの実行 http://tjo.hatenablog.com/entry/2014/05/01/190346
  13. 13. #pdf #MCMCサンプリングの評価 ggmcmc(ggs(d.fit, inc_warmup=TRUE, stan_include_auxiliar=TRUE), file='fit-traceplot2.pdf', plot='traceplot') #summary summary(d.fit) #plot d.fit.coda<- mcmc.list(lapply(1:ncol(d.fit),fun ction(x) mcmc(as.array(d.fit)[,x,]))) plot(d.fit.coda) 10.3.1 階層ベイズモデルのMCMCサンプ リング
  14. 14. 10.3.2 階層ベイズモデルの事後分布推定 と予測 パラメータ 2.5% 50% 97.5 sd 𝑅 beta -0.63 0.04 0.28 0.34 1.0150238 s 2.43 3.01 3.88 0.38 - 生存種子数𝑦の確率分布は二項分布𝑝(𝑦|𝛽,𝑟) と正規分布𝑝(𝑟|𝑠) の 無限混合分 布として表せる p 𝑦 𝛽, 𝑠 = −∞ ∞ 𝑝 𝑦 𝛽, 𝑟 𝑝 𝑟 𝑠 𝑑𝑟 𝑅がすべて1.05以下なので収束していると判断できる
  15. 15. 10.3.2 階層ベイズモデルの事後分布推定 と予測 推定方法はいろいろある ・パラメータβとsにはMCMCサンプルを使用 ・stanの推定方法がわかりませんでした
  16. 16. 10.4 ベイズモデルで使うさまざまな事前 分布 パラメータの種類 説明する範囲 おなじようなパラメータの個数 事前分布 全体に共通する平均・ばらつき 大域的 少数 無情報事前分布 個体・グループごとのズレ 局所的 多数 階層事前分布 事前分布の例 事前分布を {r[i]}にの統計モデリングへの組み込み 主観的な事前分布 知っている △(緑本ではつかわない) 無情報事前分布 わからない × 階層事前分布 sによって変わる ◯ ベイズ統計モデルではひとつのモデルの中で複数種類の事前分布を混ぜて使用する 事前分布の選択方法
  17. 17. 10.4 ベイズモデルで使うさまざまな事前 分布 • 個体差{𝑟𝑖}はデータのごく一部を説明しているだけ • 個体差{𝑟𝑖}は 似たようなパラメータの集まりとかんがえられる 個体差{𝑟𝑖}のような多数(𝑟1 … 𝑟100)の局所的なパラメータを大域的な パラメータ(s)で支配する 言い換えると新しい個体(x)が来たときにその個体差{𝑟𝑥}がわからない 場合でも、大域的なパラメータ(s)から予測できるようになる。 属性 値 範囲 利用する分布 切片 𝛽 大局的 無情報事前分布をつかう 個体差 𝑟𝑖 局所的 階層事前分布を使う
  18. 18. 10.5 GLMMの階層ベイズモデル化 標本平均は8程度、ポアソン分布を仮定した場合の分散は 8 = 2.83 • (A)を見るとそれ以上 → 過分散 • (B)からは植木鉢毎の差が見て取れる 個体差(A) と 場所差(B)を考慮 する必要がある 属性 値 調査した個体数 (𝒴) 100 植木鉢の数 10 植木鉢あたりの個体数 10 施肥料処理をした鉢(個体数) 5(50) 無処理の鉢(個体数) 5(50) 求めるもの(𝑦𝑖) 種子数 例題:個体差+場所差から種子数を予測
  19. 19. 10.5 GLMMの階層ベイズモデル化 例題:個体差+場所差から種子数を予測 • 個体差に施肥処理+場所差を組み込む 属性 値 補足 確率分布 ポアソン分布 植物の種子すべてをカウントするため、上限なしの離散値 リンク関数 𝑙𝑜𝑔 選定基準はP114表6.1参照 線形予測子 𝛽1 + 𝛽2 𝑓𝑖 + 𝑟𝑖 + 𝑟𝑗 𝑖 切片+施肥効果+個体差+場所差 固定効果1 𝛽1 切片 固定効果2 𝛽2 𝑓𝑖 施肥効果の有無を表す因子𝑓𝑖の係数𝛽2 ランダム効果1 𝑟𝑖 個体iの効果 sとする ランダム効果2 𝑟𝑗 𝑖 植木鉢jの効果 統計モデル設計
  20. 20. 10.5 個体差+場所差の階層ベイズモデル 図10.8 個体差+植木鉢差の階層ベイズモデルの概要 データ 各個体の種子数𝑌 𝑖 個 ポアソン分布 平均lambda 𝑖 階層事前分布 s個体差のばら つき 無情報事前分布 無情報事前分布 (超事前分布) 個体差r[i] 切片beta1 データ(説明変数) 施肥処理F 𝑖 植木鉢差 rp[Pot[i]] beta2 例題の階層ベイズモデルの式 𝑝 𝛽1, 𝛽2, 𝑠, 𝑠 𝑝, 𝑟𝑖 , 𝑟𝑗 𝑖 𝑌 ∝ 𝑝 𝑌 𝛽1, 𝛽2, 𝑠, 𝑠 𝑝, 𝑟𝑖 , 𝑟𝑗 𝑖 𝑝 𝛽1 𝑝 𝛽2 𝑝 𝑠 𝑝 𝑠 𝑝 𝑖 𝑝 𝑟𝑖 𝑠 𝑖 𝑝 𝑟𝑖 𝑠 𝑝 モデルの設計 階層事前分布 sp植木鉢差のば らつき
  21. 21. 10.5 個体差+場所差の階層ベイズモデル data {//データ宣言 int<lower=0> N_sample; // number of observations int<lower=0> N_pot; // number of pots int<lower=0> N_sigma; // number of sigmas int<lower=0> Y[N_sample]; // number of seeds int<lower=0> F[N_sample]; // fertilizer int<lower=0> Pot[N_sample]; // pot} } parameters {#パラメータ real beta1; real beta2; real r[N_sample]; real rp[N_pot]; real<lower=0> s; real<lower=0> sp; } transformed parameters { real<lower=0> lambda[N_sample]; for (i in 1:N_sample) { lambda[i] <- exp(beta1 + beta2 * F[i] + r[i] + rp[Pot[i]]); } } model {#モデル for (i in 1:N_sample) { Y[i] ~ poisson(lambda[i]); } beta1 ~ normal(0, 100); beta2 ~ normal(0, 100); r ~ normal(0, s); rp ~ normal(0, sp); s~ uniform(0, 1.0e+4); sp~ uniform(0, 1.0e+4); } Stanのモデルファイル(model_10b.stan) http://ito-hi.blog.so-net.ne.jp/2012-09-04
  22. 22. 10.5 個体差+場所差の階層ベイズモデル d2 <- read.csv(url("http://hosho.ees.hokudai.ac.jp/~kubo/stat/iwanamibo ok/fig/hbm/nested/d1.csv")) dat2<- list(N=nrow(d),y=d2$y,N_sample=nrow(d2),N_pot=length(levels(d2$p ot)),N_sigma=2 ,Y=d2$y,F=as.numeric(d2$f == "T"),Pot=as.numeric(d2$pot)) d2.fit<-stan(file='model_10_2.stan',data=dat2,iter=1000,chains=4)
  23. 23. 10.5 個体差+場所差の階層ベイズモデル パラ メータ 2.5% 50% 97.5 sd 𝑅 beta1 0.03 1.35 2.35 0.48 1.01 beta2 -2.27 -0.88 0.68 0.69 1.01 s1 0.81 1.00 1.26 0,12 - s2 0.54 0.94 1.72 0.32 -
  24. 24. 10.6 まとめ 今時のデータ解析なら 階層ベイズモデルが標準 • GLMMをベイズモデル化すると階層ベイズモデルになる • 階層ベイズモデルとは事前分布となる確率分布のパラメータにも事前分布が指定 されている統計モデル • 無情報事前分布と階層事前分布を使うことでベイズ統計モデルから主観的な事前 分布を排除できる • 個体差+場所差といった複雑な構造のデータの統計モデリングは階層ベイズモデ ルとMCMCサンプリングがよい
  25. 25. appendix
  26. 26. 二項分布の最尤法 二項分布の確率分布の確率質量関数 𝑃 𝑋 − 𝑘 = 𝑛 𝑘 𝑝 𝑘 1 − 𝑝 𝑛−𝑘 𝑓𝑜𝑟 𝑘 = 0,1,2,3, . . , 𝑛 n 個中k個種が生存している確率p データYの最も当てはまりの良い確率pの求め方 𝑙𝑜𝑔 𝑃 𝑋 − 𝑘 = 𝑙𝑜𝑔 𝑛 𝑘 𝑝 𝑘 1 − 𝑝 𝑛−𝑘 =𝑙𝑜𝑔 𝑛 𝑘 + 𝑙𝑜𝑔 𝑝 𝑘 1 − 𝑝 𝑛−𝑘 https://stat.biopapyrus.net/statistic/mle-binomial.html
  27. 27. 参考資料 • 行動計量学のための ベイズ推定における モデル選択・ 評価 • http://www3.psy.senshu-u.ac.jp/~ken/BSJ2015spring_okada.pdf • 六本木で働くデータサイエンティストのブログ • http://tjo.hatenablog.com/entry/2014/05/01/190346 • 10章の個体差+場所差モデル • http://ito-hi.blog.so-net.ne.jp/2012-09-04

×