Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ベイズ主義による研究の報告方法

4,931 views

Published on

6月8日に広島大学で行われた「ベイズ推定による多変量解析入門」の「MCMCで研究報告」の続編にあたるものです。
推定としてMCMCを用いるのでは満足できず、ベイズ主義をより全面に出した論理構成を行う場合の報告方法です。まだ未完成なので後日変更する点があると思います。ここ間違っているなどあればご指摘ください。

Published in: Education, Technology
  • Be the first to comment

ベイズ主義による研究の報告方法

  1. 1. ベイズ主義による研究の報告方法 徳岡 大 広島大学大学院教育学研究科 1
  2. 2. 論文化にあたり報告すべきこと •  Kruschke, J. K. (2011). Doing bayesian data analysis: A tutorial with R and BUGS. Burlington, MA: Academic Press/Elsevier •  ベイズ推定を用いた場合の 標準的な報告方法はまだ確立 されていない・・・ 2
  3. 3. 必須事項 3
  4. 4. なんのためにベイズを使用するか述べよ •  論文の査読者や読者は,ベイズ的な手法について 知らないことが多い •  どんな応用性に期待してベイズ推定を用いるのか, ということについて説明する方がよい – データの分布に対する柔軟性 – Null Hypothsis Significance Testing (NHST)より も情報量が豊富 – p値に頼らない分析が可能 4
  5. 5. なんのためにベイズを使用するか述べよ 事例1a:NJSTと違ってヌルな値を受けれられる,正 規分布の代わりにデータに合わせた分布が使用可能   From this explicit distribution of credible parameter values, inferences about null values can be made without ever referring to p values as in null hypothesis significance testing (NHST). Unlike NHST, the Bayesian method can accept the null value, not only reject it, when certainty in the estimate is high. The new method handles outliers by describing the data as heavy tailed distributions instead of normal distributions, to the extent implied by the data. 5 Kruschke, J. K. (2013). Bayesian estimation supersedes the t test. Journal of Experimental Psychology: General, 142, 573-603.
  6. 6. なんのためにベイズを使用するか述べよ 事例2a:事前分布の利用により,小さいサンプルサ イズでも安定した分析が可能になる   Given a small sample containing relatively scant information about the population parameters, however, Bayesian estimates are more heavily weighted toward the prior. It is the influence of the prior distribution that helps stabilize and anchor Bayesian parameter estimates in the presence of small samples (Song & Lee, 2012, p. 36). 6 Ozechowski, T. J. (2014). Empirical bayes MCMC estimation for modeling treatment processes, mechanisms of change, and clinical outcome in small sample. Journal of Consulting and Clinical Psychology, Doi: 10.1037/a0035889
  7. 7. モデルとそのパラメタを明確にせよ •  事後分布は特定のパラメタを越えた一つの分布で あるため,事後分布のパラメタははっきりと定義 する必要がある。 •  データの構造について説明する必要があり,その 上で事後分布のモデルについて定義する 7
  8. 8. モデルとそのパラメタを明確にせよ 事例2b:事後分布と分析モデルの提示    8
  9. 9. モデルとそのパラメタを明確にせよ 事例2b:事後分布と分析モデルの提示    9 Ozechowski, T. J. (2014). Empirical bayes MCMC estimation for modeling treatment processes, mechanisms of change, and clinical outcome in small sample. Journal of Consulting and Clinical Psychology, Doi: 10.1037/a0035889 83:  model  PROP_REL_MNG_CHG  ~  normal(mean  =  REL_MC,  var  =  PS_8_8);          /*PROPORTION  RELATIONALLY  FOCUSED  MEANING  CHANGE  INTERVENTIONS*/ 84:  model  PROP_IND_SK_INFO  ~  normal(mean  =  IND_GEN,  var  =  TE_10_10);          /*PROPORTION  INDIVIDUALLY  FOCUSED  SEEK-­‐INFORMATION  INTERVENTIONS*/ 85:  model  PROP_REL_SK_INFO  ~  normal(mean  =  REL_GEN,  var  =  TE_11_11);          /*PROPORTION  RELATIONALLY  FOCUSED  SEEK-­‐INFORMATION  INTERVENTIONS*/ 86:  model  PROP_IND_ACK  ~  normal(mean  =  LY_12_9*IND_GEN,  var  =  TE_12_12);          /*PROPORTION  OF  INDIVIDUALLY  FOCUSED  ACKNOWLEDGE  INTERVENTIONS*/ 87:  model  PROP_REL_ACK  ~  normal(mean  =  LY_13_10*REL_GEN,  var  =  TE_13_13);          /*PROPORTION  OF  RELATIONALLY  FOCUSED  ACKNOWLEDGE  INTERVENTIONS*/ 88:  model  PROP_REL_BEH_CH  ~  normal(mean  =  REL_BC,  var  =  PS_11_11);          /*PROPORTION  OF  RELATIONALLY  FOCUSED  BEHAVIOR  CHANGE  INTERVENTIONS*/
  10. 10. モデルとそのパラメタを明確にせよ 事例2b:事後分布と分析モデルの提示    10 Ozechowski, T. J. (2014). Empirical bayes MCMC estimation for modeling treatment processes, mechanisms of change, and clinical outcome in small sample. Journal of Consulting and Clinical Psychology, doi: 10.1037/a0035889 Est. SE Median P 2.5 P 97.5 AL(8) 0.13 0.13 0.1 0.16 AL(9) 0.14 0.14 0.11 0.17 AL(10) 0.1 0.1 0.08 0.12 AL(11) 0.09 0.09 0.05 0.12 PS(8,8) 0.01 0.01 0.01 0.02 PS(10,10) 0 0 0 0 PS(11,11) 0.01 0.01 0.01 0.02 PS(9,8) –0.00 –0.00 –0.01 –0.00 PS(11,9) –0.00 –0.00 –0.01 –0.00 LY(12,9) 0.94 0.93 0.77 1.11 LY(13,10) 1.13 1.13 0.87 1.4 TE(10,10) 0 0.01 0 0.01 TE(11,11) 0 0 0 0.01 TE(12,12) 0 0.01 0 0.01 TE(13,13) 0 0.01 0 0.01 0 0 0 0.01 0 0 0.1 0.93 0.19 1.12 0 0.01 0 0.01 0 –0.00 0 –0.00 0.02 0.09 0 0.01 0 0 0.02 0.13 0.02 0.14 0.01 0.1 Measurement model for therapist behavior Model and parameter ML estimates EB posterior mean and percentiles Mean
  11. 11. 事前分布の適切性を明確にせよ •  研究で設定する事前分布が適切であることを他の 人に納得させることが極めて重要である – 特定の分布や一様(uniformed)分布でも同様 – 懐疑的な人にも受け入れられるように – 少なくともモデル化されたデータスケールに適 合するように控えめに情報を持たせるべき – 先行研究が多い場合,それらのデータを無視す べきでない – 異なる事前分布でも検討しておくと,事後分布 の頑健性を報告するのに役立つかもしれない 11
  12. 12. 事前分布の適切性を明確にせよ 事例2c:Empirical Bayesによる分析手続きと事前分布の指定   The SEM shown in Figures 1–4 was fit to the data for the 23 adolescents and parents in the pilot sample using the EB statistical approach outlined previously. First, an initial fitting of the SEM employing robust ML estimation was implemented in the LISREL 8 software (Jöreskog & Sörbom, 1996–2001; Jöreskog, Sörbom, du Toit, & du Toit, 1999). Next, the resulting ML parameter estimates and robust standard errors were utilized as prior parameters in a subsequent fitting of the SEM using Bayesian statistical methods in the PROC MCMC package of the SAS/STAT 12.1 software. 12 Ozechowski, T. J. (2014). Empirical bayes MCMC estimation for modeling treatment processes, mechanisms of change, and clinical outcome in small sample. Journal of Consulting and Clinical Psychology, Doi: 10.1037/a0035889
  13. 13. 事前分布の適切性を明確にせよ 事例2c:事前分布の適切性   In the current analysis, however, rather than using inverse-gamma priors for the variance parameters, independent gamma (α, λ) priors were specified based on the recommendations of Chung et al. (2011), where α is the shape parameter and λ is the scale parameter of the gamma distribution. Chung et al. (2011) preferred the gamma over the inverse-gamma prior because the latter density function is flat at the lower bound of zero, ・・・. 13 Ozechowski, T. J. (2014). Empirical bayes MCMC estimation for modeling treatment processes, mechanisms of change, and clinical outcome in small sample. Journal of Consulting and Clinical Psychology, Doi: 10.1037/a0035889
  14. 14. MCMCの詳細について言及せよ •  MCMCの収束(バーンイン期間や独立したMCMC の数)やデータが塊でない(十分に間隔をあけた 低い自己相関)というエビデンスを示すべき – rL50:事後分布を50回ごとに取り出しだときの自 己相関。0に近いほどそれぞれのパラメタは独立 – MCSE/PSD:モンテカルロ標準偏差/事後分布標 準偏差。この割合は事後分布から取り出された サンプリングの不安定性を示す。0.10以下なら 許容範囲。 – R^(あーるはっと):鎖内分散と鎖間分散の割合。 1.0に近づいていく。1.1を超えた場合,MCMC の反復により収束が改善する可能性あり 14
  15. 15. MCMCの詳細について言及せよ 事例2d:MCMCの実施における設定   One hundred thousand simulated draws from the posterior were obtained for each parameter. The simulated draws were preceded by 2,000 “burn in” draws, which were discarded from the analysis. To reduce temporal autocorrelation among the draws, the MCMC chain was thinned by including only every 20th draw, yielding 5,000 simulated posterior observations. 15 Ozechowski, T. J. (2014). Empirical bayes MCMC estimation for modeling treatment processes, mechanisms of change, and clinical outcome in small sample. Journal of Consulting and Clinical Psychology, Doi: 10.1037/a0035889
  16. 16. MCMCの詳細について言及せよ 事例2d:MCMC収束のエビデンス   Table S2 in the online supplemental materials presents rL50, the MCSE/PSD ratio, W, B, and ˆR for each parameter in the SEM. To summarize, across all 46 parameters rL50 ranged in absolute value from 0.00 to 0.05, indicating minimal autocorrelation between posterior draws and good mixing of the chains and traversing of the parameter space for all parameters. Likewise, values of MCSE/ PSD ranged from .01 to .09, indicating satisfactory levels of stability in the MCMC chain for all parameters. 16 Ozechowski, T. J. (2014). Empirical bayes MCMC estimation for modeling treatment processes, mechanisms of change, and clinical outcome in small sample. Journal of Consulting and Clinical Psychology, Doi: 10.1037/a0035889
  17. 17. MCMCの詳細について言及せよ 事例2d:MCMC収束のエビデンス   Finally, values of Rˆ equaled 1.0 for all parameters, indicating convergence across the seven chains initiated from disparate starting values (i.e., the separate chains arrived at the same destination from different starting points). By all indications, it appeared that the MCMC algorithm achieved convergence for all SEM parameters, meaning that the simulated posterior values were drawn from the true posterior for each parameter. 17 Ozechowski, T. J. (2014). Empirical bayes MCMC estimation for modeling treatment processes, mechanisms of change, and clinical outcome in small sample. Journal of Consulting and Clinical Psychology, Doi: 10.1037/a0035889
  18. 18. 事後分布を解釈せよ •  モデルは多くのパラメタを含むので,すべてを要約 することは不可能 •  どのパラメタを報告すべきか –  選択される報告すべきパラメタやコントラストは 領域固有の理論や結果自体から導かれる –  予測された結果でなくとも,データにより示された, もしくは理論的に重要なパラメタやコントラストは 報告すべき –  散布図が正規分布でないなら,重要なパラメタとの 相関の散布図は含めるべき –  モデルが交互作用を含むなら弱い効果の解釈は 慎重に 18
  19. 19. 事後分布を解釈せよ •  具体的にはどんな指標で事後分布を解釈したらよ いか – 95%HDI:Highest Destiny Interval. 事後分布そ のものを報告するよりもスペースの省略にもつ ながるので望ましい,図も可能なら可 – ROPE:Region Of Practical Equivalence. 研究 者が任意にセットする実践的に効果がないと判 断される範囲。95%HDIがROPEの外側にあるな らパラメタが信頼できない(or 無効でない)と いえる。 95%HDIがROPEの内側にあるならパ ラメタが実践的には無効であることが受け入れ られるといえる。 19
  20. 20. MCMCの詳細について言及せよ 事例2e:   Regarding the clinical process–mechanism–outcome linkages examined in the SEM, EB results for the regression parameters in the structural portion of the SEM (see Figure 4) suggest a positive effect of the following sets of therapist interventions on change in family functioning: (a) proportion of individually focused general interventions (BE (7,9) 17.49, 95% credible interval [6.41, 28.29]) 20 Ozechowski, T. J. (2014). Empirical bayes MCMC estimation for modeling treatment processes, mechanisms of change, and clinical outcome in small sample. Journal of Consulting and Clinical Psychology, Doi: 10.1037/a0035889
  21. 21. 必須ではないが考慮すべき事項 21
  22. 22. 異なる事前分布に対する事後分布の頑健性 •  どのような事前分布を用いるべきかといった事前 分布に関する論争が生じた場合,簡単に論争を 終結させる方法は,異なる事前分布を用いた分析 でも事後分布が変化しないことを証明することに なる •  論文の査読時に査読者や編集者を納得させる方法 となる 22
  23. 23. 事後分布の予測性チェック •  シミュレートされたデータが実際のデータと類似 しているか •  類似なら – モデルの信頼できるパラメタの値からシミュ レートされたデータを生成することより,また, シミュレートされたデータの質を検討すること より,モデルの正確性がさらに強化される •  not 類似なら – 事後分布の予測性チェックは新しい研究やモデ ルを与える 23
  24. 24. 検定力分析 •  小さい効果しか得られないようであれば, 事後の検定力分析にかけてみたほうがよい •  ベイズによるt検定での検定力分析 – RではBESTパッケージで実装 24
  25. 25. LET’S REPORT BAYES! 25

×