Downloaded 17 times
![観察された逸脱度差
4.5
⼀定モデルとxモデルの逸脱度の差⊿D1,2
> sum(dd12 >= 4.5)
[1] 38 1000個中38個 → P = 0.038
逸脱度の差が4.5より⼤きくなる確率
有意⽔準を0.05に決める
P=0.05となる逸脱度の差
> quantile(dd12,0.95)
95%
3.953957(⊿D1,2)
棄却点
棄却点より⼤きな値のため
帰無仮説は棄却される
有意⽔準との⽐較
17](https://image.slidesharecdn.com/chapter5-161127211853/85/slide-17-320.jpg)
![18
> sum(dd12 >= 4.5)
[1] 354
N=10000
⼀定モデルとxモデルの逸脱度の差⊿D1,2
逸脱度の差が4.5より⼤きくなる確率
10000個中354個 → P = 0.0354
P=0.05となる逸脱度の差
> quan5le(dd12,0.95)
95%
3.804167
棄却点
N=10000だと](https://image.slidesharecdn.com/chapter5-161127211853/85/slide-18-320.jpg)
![[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling](https://cdn.slidesharecdn.com/ss_thumbnails/decisiontransformer20210709zhangxin-210709021501-thumbnail.jpg?width=640&height=640&fit=bounds)
![[PRML] パターン認識と機械学習（第1章：序論）](https://cdn.slidesharecdn.com/ss_thumbnails/prmlchapter1-170903070406-thumbnail.jpg?width=640&height=640&fit=bounds)
データ解析のための統計モデリング入門第５章
- 1.
- 2. ⾃⼰紹介 n 名前 n twitterID: @restofwaterimp google account : tmkz.it n 統計 ： 初学者（NagoyaStatから学習中) n 普段の仕事 業務アプリケーション開発が主業務 要件ヒアリング〜保守運⽤まで メインフレーム開発が⻑かったので、新しい技術等、 時間軸を気にせず取り戻し中です・・・ ■学習の悩み・・・算術記号がすぐに何かわからない mc = x1x2 !xn =n xi i=1 n ∏ " # $ % & ' 1 n ≈ 2
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10. モデル k logLDeviance -2logL Residual deviance AIC ⼀定 1 -237.6 475.3 89.5 477.3 X 2 -235.4 470.8 85.0 474.8 フル 100 -192.9 385.8 0.0 585.8 尤度⽐検定の結果 帰無仮説 対立仮説 L1 L2 xモデルの最⼤尤度：exp(-235.4) ⼀定モデルの最⼤尤度：exp(-237.6) = =⊿D1,2 -2×(logL1 – logL2) = 4.51 ≈ 4.5 尤度⽐の対数をとり-2をかける 統計検定量 4.5で改善されたと⾔っていいの か？ 10
- 11. 「滅多にない差」 (帰無仮説を棄却) 「よくある差」 (棄却できない) 真のモデルである 第⼀種の過誤 (問題なし) 真のモデルでない(問題なし) 第⼆種の過誤 観察された逸脱度差⊿D1,2 帰 無 仮 説 の 真 実 仮説による決定 第⼀種の過誤のみ検討をする 第⼀種の過誤・・・正しいのに間違っていると判断する誤り ⽣産者のリスク 第⼆種の過誤・・・不合格なのに合格とする判断の誤り 消費者のリスク 品質管理で⾔うと ⾚本 P236 これを重視：検定の⾮対称性 11
- 12.
- 13. パラメトリックブートストラップ法 ⽤語 定義 パラメトリック 事前に⺟集団分布がｘｘ分布という形で与えられており、幾つ かの定数さえわかれば、⺟集団分布についてすべて知ることが できる場合、それをパラメトリックの場合と呼ぶ ノンパラメトリック幾つかのパラメータで⺟集団分布を決定することが出来ない場 合、ノン・パラメトリックの場合と呼ぶ ブートストラップ・・・ 無作為にn個を抽出し、x1,x2,x3,・・・・xnの標本を作成する これをたくさん繰り返す 参照：統計学⼊⾨P179 13
- 14. パラメトリックブートストラップ法 > d <-read.csv("data3a.csv") > d$y.rnd <- rpois(100, lambda = mean(d$y)) ポアソン乱数⽣成関数(100個分、パラメータはyの標本平均) > fit1 <- glm(y.rnd ~ 1, data = d , family = poisson) > fit2 <- glm(y.rnd ~ x, data = d , family = poisson) １．平均mean(d$y)のポアソン乱数をd$y.rndに格納する ２．d$y.rndに対する⼀定モデル、xモデルのglm()の推定結果を求める > fit1$deviance - fit2$deviance ３．逸脱度の差を計算する 1から３をとにかく繰り返す 14
- 15. pb <- function(d,n.bootstrap) { n.sample <- nrow(d) y.mean <- mean(d$y) cat("# ") v.d.dev12 <- sapply( 1:n.bootstrap, function(i) { cat(".") if (i %% 50 == 0) cat("n# ") d$y.rnd <- rpois(n.sample, lambda = y.mean) fit1 <- glm(y.rnd ~ 1, data = d, family = poisson) fit2 <- glm(y.rnd ~ x, data = d, family = poisson) fit1$deviance - fit2$deviance } ) cat("n") v.d.dev12 } > dd12 <- pb(d, n.bootstrap = 1000) Rで実施する(関数化する) 15
- 16. ⼀定モデルとxモデルの逸脱度の差⊿D1,2 > summary(dd12) Min. 1stQu. Median Mean 3rd Qu. Max. 0.000003 0.087490 0.401500 0.949400 1.169000 8.512000 観察された逸脱度差 4.5 逸脱度の差⊿D1,2の確率分布 16 N=1000
- 17. 観察された逸脱度差 4.5 ⼀定モデルとxモデルの逸脱度の差⊿D1,2 > sum(dd12 >= 4.5) [1] 38 1000個中38個 → P =0.038 逸脱度の差が4.5より⼤きくなる確率 有意⽔準を0.05に決める P=0.05となる逸脱度の差 > quantile(dd12,0.95) 95% 3.953957(⊿D1,2) 棄却点 棄却点より⼤きな値のため 帰無仮説は棄却される 有意⽔準との⽐較 17
- 18. 18 > sum(dd12 >=4.5) [1] 354 N=10000 ⼀定モデルとxモデルの逸脱度の差⊿D1,2 逸脱度の差が4.5より⼤きくなる確率 10000個中354個 → P = 0.0354 P=0.05となる逸脱度の差 > quan5le(dd12,0.95) 95% 3.804167 棄却点 N=10000だと
- 19. X2分布を使った近似計算法 ブートストラップ法より楽に尤度比検定できる場合がある > fit11 <-glm(y ~ 1, data = d , family = poisson) > fit22 <- glm(y ~ x, data = d , family = poisson) > anova(fit11,fit22, test = "Chisq") Analysis of Deviance Table Model 1: y ~ 1 Model 2: y ~ x Resid. Df Resid. Dev Df Deviance Pr(>Chi) 1 99 89.507 2 98 84.993 1 4.5139 0.03362 * 分散分析表を作成 X2検定を指している(Chi-squared test) 逸脱度の差⊿1,2が4.5になるP値が0.034となり、帰無仮説は棄却される ※自由度 「自由に動ける変数の数」という意味 この場合、一定モデルとxモデルでパラメータ1のため、自由度1 19
- 20. もし、P > 0.05だったら 「滅多にない差」 (帰無仮説を棄却) 「よくある差」 (棄却できない) 真のモデルである第⼀種の過誤 (問題なし) 真のモデルでない (問題なし) 第⼆種の過誤 観察された逸脱度差⊿D1,2 帰 無 仮 説 の 真 実 仮説による決定 これを重視：検定の⾮対称性 棄却できない ≠ 帰無仮説が正しい 正しいとも正しくないともいえない、判断保留 優位性検定は、帰無仮説の元で期待する結果が⽣じなかったを根拠として、仮説を棄却、否定 することが主な内容。論理学では、背理法と⾔われているもので、あくまで棄却されることが 中⼼であり、仮説が棄却されなかったからと⾔って、積極的に⽀持されたわけではない。単に、 結果が帰無仮説と「⽭盾はしない」ことがいわれただけで、仮説が真であることを積極的に 「証明」したわけではない。 ⾚本 P237より 20
- 21.
- 22. まとめ ü NeyMan-Personの統計学検定のわくぐみでは、パラメーター数の少ないモデル を帰無仮説と位置づけ、帰無仮説が棄却できるかどうかの確率評価に専念 ü 尤度比検定の検定統計量は２つの統計モデルの逸脱度差 ü 検定の過誤には２種類あるが、Neyman-Person検定のわくぐみでは帰無仮説の 誤棄却を重視 ü 帰無仮説を棄却する有意水準αの大きさは解析者が任意に決めるもの。 ü よくα=0.05が使われるが、これに特別な根拠はない ü Neyman-Personの検定のわくぐみでは、第一種の過誤の大きさを正確に評価で きるが、一方で帰無仮説が棄却できない場合の結論は何も言えない。 ü 検定やモデル選択の結果だけに注目するのではなく、推定された統計モデル が対象となる現象の挙動を、どのように予測しているのかも確認すべき 22
- 23.
- 24.