![[PRML] パターン認識と機械学習（第1章：序論）](https://cdn.slidesharecdn.com/ss_thumbnails/prmlchapter1-170903070406-thumbnail.jpg?width=640&height=640&fit=bounds)
2 4.devianceと尤度比検定
- 1.
- 2.
- 3.
- 4. 4 今回やること １．正規線形モデルの復習 • GLMにおける正規線形モデル • 最小二乗法と最尤法 •分散分析の復習 ２．GLMで分散分析 • GLMにおける残差→deviance • t検定とWald検定 • F比と尤度比 ３．AICの導出
- 5.
- 6. 6 GLMの構成要素 １．線形予測子 ２．リンク関数 ３．誤差構造 𝑌 = 𝑎𝑋+ 𝑏のような方程式 log 𝑌 = 𝑎𝑋 + 𝑏のような変換 正規・ポアソン分布のような確率分布
- 7.
- 8. 8 正規線形モデルとは 「期待値Yの正規分布」に従う結果の変動のモデル化 線形予測子 𝑌 = 𝑎𝑋+ 𝑏 例） ビールの売り上げ＝a×気温＋b ビールの売り上げ＝a×晴れ＋b →晴れなら1、雨なら0
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18. 18 ① 絶対に予測誤差がナイーブ予測と有意に 異ならないとわかっているデータをたくさん集める F比が12.79を超えた回数が、100回中5回以内だった →偶然でt値が12.79を超える確率は小さい →有意差あり ② そのデータのF比を計算する ③０とは有意に異ならないデータにおける F比を例えば100回計算する。 ④ 100回中、F比が12.79を超えた回数を記録 F比の大小の判別方法（F比が12.79の時）
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26. 26 ポアソン回帰 データが4セットあります（サンプルサイズ4） Y ： 5,7, 10, 15 X ： 1, 2, 3, 4 カンペキな「予測された期待値 λ」 ＝ 5, 7, 10, 15
- 27. 27 ポアソン回帰 𝑒−𝜆 𝜆 𝑦 𝑦! カンペキパラメタλは5だ！ データ 「5」が出る確率は？ 𝑒−5 55 5! ≒ 0.18 λ＝5 y＝5 Y ： 5, 7, 10, 15
- 28. 28 ポアソン回帰 𝑒−𝜆 𝜆 𝑦 𝑦! カンペキパラメタλは7だ！ データ 「7」が出る確率は？ 𝑒−7 77 7! ≒ 0.15 λ＝7 y＝7 Y ： 5, 7, 10, 15
- 29. 29 ポアソン回帰 𝑒−𝜆 𝜆 𝑦 𝑦! 対数尤度 ≒ log(0.18× 0.15 × 0.12 × 0.10) ≒ －8.006734 線形モデルの最大化対数尤度 カンペキ予測のカンペキ対数尤度 対数尤度 ≒ log(0.18 × 0.15 × 0.13 × 0.10) ≒ －8.001173 完璧予測の方が大きい この差分が大事 Y ： 5, 7, 10, 15
- 30.
- 31.
- 32. 32 deviance残差 ≒ log 0.18+ log 0.15 + log 0.12 + log(0.10) 線形モデルの最大化対数尤度 カンペキ予測のカンペキ対数尤度 ≒ log 0.18 + log 0.15 + log 0.13 + log(0.10) つねに「カンペキ対数尤度」の方が大きい →このままだと、残差は常に正になってしまう 差
- 33. 33 ≒ log 0.18+ log 0.15 + log 0.12 + log(0.10) 線形モデルの最大化対数尤度 カンペキ予測のカンペキ対数尤度 ≒ log 0.18 + log 0.15 + log 0.13 + log(0.10) 予測より 小さかった 予測より 大きかった 予測された期待値 λ 過少予測なら ＋の残差 過大に予測していれば ーの残差
- 34. 34 deviance残差 ＝各々差をとって、２倍して、平方根をとったもの 正負は予測された期待値と実データとの差を見て判断 →deviance残差を２乗して合計するとdevianceになる →devianceを「残差平方和」とみなした時の残差 →GLMにおける残差といれば普通これ ≒ log 0.18+ log 0.15 + log 0.12 + log(0.10) 線形モデルの最大化対数尤度 カンペキ予測のカンペキ対数尤度 ≒ log 0.18 + log 0.15 + log 0.13 + log(0.10) 予測より 小さかった 予測より 大きかった 質問どうぞ！
- 35.
- 36. Wald検定 Coefficients: Estimate Std. Errorz value Pr(>|z|) (Intercept) 1.2144 0.4870 2.493 0.0127 * x 0.3704 0.1556 2.380 0.0173 * --- summary(glm.model)の結果 コレのこと 今までt検定で「パラメタが0かどうか」検定してきた GLMではWald検定を使う →パラメタが正規分布していることを利用 →検定の意味付けはt検定とほとんど同じなので省略
- 37.
- 38.
- 39.
- 40. 40 モデル｜Ｙ ～ Ｘ１＋ Ｘ２ ＋ Ｏｐｔｉｏｎ１ ＋ Ｏｐｔｉｏｎ２ 予測残差は“有意に”増えたか？ を検定 Type II ANOVA モデル｜Ｙ ～ ＋ Ｘ２ ＋ Ｏｐｔｉｏｎ１ ＋ Ｏｐｔｉｏｎ２ Ｘ１を抜くことによって「有意に」予測残差が増えた →Ｘ１はYを予測するモデルに必要不可欠な存在である →ほかの変数（Option1等）があったとしても、 それでもＸ１という変数が必要なのかどうか検定
- 41. 41 モデル｜Ｙ ～ Ｘ１＋ Ｘ２ ＋ Ｏｐｔｉｏｎ１ ＋ Ｏｐｔｉｏｎ２ 予測残差は“有意に”増えたか？ を検定 Type II ANOVA モデル｜Ｙ ～ Ｘ１ ＋ ＋ Ｏｐｔｉｏｎ１ ＋ Ｏｐｔｉｏｎ２ モデル｜Ｙ ～ Ｘ１ ＋ Ｘ２ ＋ ＋ Ｏｐｔｉｏｎ２ モデル｜Ｙ ～ Ｘ１ ＋ Ｘ２ ＋ Ｏｐｔｉｏｎ１ ＋ モデル｜Ｙ ～ ＋ Ｘ２ ＋ Ｏｐｔｉｏｎ１ ＋ Ｏｐｔｉｏｎ２
- 42. 42 普通のANOVA、Type II ANOVA モデル｜Ｙ～ Ｘ１ ナイーブ予測（Null.Model） 普通のANOVA Type II ANOVA モデル｜Ｙ ～ Ｘ１ ＋ Ｘ２ ＋ Ｏｐｔｉｏｎ１ ＋ Ｏｐｔｉｏｎ２ モデル｜Ｙ ～ ＋ Ｘ２ ＋ Ｏｐｔｉｏｎ１ ＋ Ｏｐｔｉｏｎ２ 変数を増やすと予測残差は“有意に”減ったか？ 変数を減らすと予測残差は“有意に”増えたか？
- 43. 43 GLMなType II ANOVA TypeII ANOVA モデル｜Ｙ ～ Ｘ１ ＋ Ｘ２ ＋ Ｏｐｔｉｏｎ１ ＋ Ｏｐｔｉｏｎ２ モデル｜Ｙ ～ ＋ Ｘ２ ＋ Ｏｐｔｉｏｎ１ ＋ Ｏｐｔｉｏｎ２ 変数を減らすと予測残差は“有意に”増えたか？ 残差をdevianceに置き換える
- 44. 44 モデル｜Ｙ ～ Ｘ１＋ Ｘ２ ＋ Ｏｐｔｉｏｎ１ ＋ Ｏｐｔｉｏｎ２ devianceは“有意に”増えたか？ を検定 Type II ANOVA モデル｜Ｙ ～ ＋ Ｘ２ ＋ Ｏｐｔｉｏｎ１ ＋ Ｏｐｔｉｏｎ２ Ｘ１を抜くことによって「有意に」 devianceが増えた →Ｘ１はYを予測するモデルに必要不可欠な存在である →ほかの変数（Option1等）があったとしても、 それでもＸ１という変数が必要なのかどうか検定 質問どうぞ！
- 45. 45 尤度比検定あれこれ deviance ＝ 2×（カンペキ対数尤度 －最大化対数尤度） 二つのモデルの比較（ ②の方が複雑なモデル） deviance① ー deviance② ＝２×「カンペキ対数尤度 － 最大化対数尤度①」 － ２× 「カンペキ対数尤度 － 最大化対数尤度② 」 ＝２×（最大化対数尤度② － 最大化対数尤度① ） devianceの差＝最大化対数尤度の差の２倍
- 46. 46 尤度比検定あれこれ ２×（最大化対数尤度② － 最大化対数尤度①） devianceの差 ＝最大化対数尤度の差の２倍 ＝尤度の比をとってから対数をとってから２倍 ＝２× log 尤度② − log 尤度① ＝２×log 尤度② 尤度① 質問どうぞ！
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53. 53 ln 𝑔 𝑦− ln 𝑓 𝑦 +∞ −∞ 𝑔 𝑦 𝑑𝑦 注意！ 別にわからなくてもいいです 真の 確率密度関数 予測された 確率密度関数 確率をかけてから積分（合計）している →期待値！
- 54.
- 55.
- 56. 56 注意！ 別にわからなくてもいいです = ln𝑔 𝑦 +∞ −∞ 𝑔 𝑦 𝑑𝑦 − ln 𝑓 𝑦 𝑔 𝑦 𝑑𝑦 +∞ −∞ f(y)が入ってない →予測された確率分布関係なし！ こいつだけ使う →こいつが大きければ KL情報量は小さくなる ln 𝑔 𝑦 − ln 𝑓 𝑦 +∞ −∞ 𝑔 𝑦 𝑑𝑦 真の 確率密度関数 予測された 確率密度関数
- 57. 57 ln 𝑓 𝑦𝑔 𝑦 𝑑𝑦 +∞ −∞ 注意！ 別にわからなくてもいいです コイツ→ を大きくしたい 予測された 確率密度関数 確率をかけてから積分（合計）している！ 「データが得られる確率の対数」の期待値をとっている 対数尤度の期待値＝平均対数尤度
- 58.
- 59.
- 60.
- 61.