Download to read offline
![[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models](https://cdn.slidesharecdn.com/ss_thumbnails/mainslideshare1-190927025239-thumbnail.jpg?width=640&height=640&fit=bounds)
![[PRML] パターン認識と機械学習（第3章：線形回帰モデル）](https://cdn.slidesharecdn.com/ss_thumbnails/prmlchapter3-171003081954-thumbnail.jpg?width=640&height=640&fit=bounds)
一般線形モデル
- 1.
- 2.
- 3. 一般線形モデル 正規分布とは • 𝑝 𝑦𝜇, 𝜎 = 1 2𝜋𝜎 exp(− 𝑦−𝜇 2 𝜎2 ) (平均μ標準偏差σの時、yとなる確率) • データが連続値 • yの下限、上限ともにない。 3
- 4. 一般線形モデル 一般線形モデルとは • 目的変数yは正規分布に従う • 説明変数群xによらず、yの分布の標準偏差σが一定 •説明変数群xによって、yの分布のμが変化する と仮定したもとで、あるxが決められたときのパラメー タμおよび目的変数yを予測する回帰モデル。 4
- 5.
- 6. 一般線形モデル 導出 ~単回帰~ 𝑝𝑖𝑦𝑖 𝜇, 𝜎 = 1 2𝜋𝜎 exp(− 𝑦𝑖 − 𝜇 2 𝜎2 ) ⋯ ⋯ (1) 𝐿 𝛼, 𝛽 = 𝑖 𝑛 1 2𝜋𝜎 exp(− 𝑦𝑖 − 𝜇 2 𝜎2 ) ⋯ ⋯ (2) log 𝐿 𝛼, 𝛽 = 𝑛 log 1 2𝜋𝜎 − 𝑖 𝑛 𝑦𝑖 − 𝛼 + 𝛽𝑥𝑖 2 𝜎2 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒 𝑖 𝑛 𝑦𝑖 − (𝛼 + 𝛽𝑥𝑖) 2 ⋯ ⋯ (3) 実現値𝑦𝑖 が発生する確率𝑝𝑖 𝜇 = 𝛼 + 𝛽𝑥𝑖として 尤度関数Lを出す。 最小化項を得る 計算しやすいよう に対数をとる 6
- 7. 一般線形モデル 導出 ~単回帰~ 𝑦1 𝑦2 ⋮ 𝑦𝑛 = 1𝑥1 1 𝑥2 ⋮ 1 𝑥 𝑛 𝛼 𝛽 + 𝜀1 𝜀2 ⋮ 𝜀 𝑛 ⋯ ⋯ (1′) 𝜀1 𝜀2 ⋮ 𝜀 𝑛 = 𝑦1 𝑦2 ⋮ 𝑦𝑛 − 1 𝑥1 1 𝑥2 ⋮ 1 𝑥 𝑛 𝛼 𝛽 ⋯ ⋯ (2′) 𝐸 = 𝜀1 𝜀2 ⋮ 𝜀 𝑛 = 𝑖 𝑛 𝑦𝑖 − (𝛼 + 𝛽𝑥𝑖) 2 ⋯ ⋯ (3′) もう一方の方法。 まず、モデル式に 当てはめる。 誤差を左辺に移項 最小化項を得る (最尤推定と同じ 結果) 7
- 8. 𝜕𝐸 𝜕𝛼 = −2 𝑖 𝑛 𝑦𝑖 −𝛼 + 𝛽𝑥𝑖 = 0 ⋯ ⋯ (4) 𝛼 = 𝑦 − 𝛽 𝑥 ⋯ ⋯ (6) 一般線形モデル 導出 ~単回帰~ αの一階条件を得る (3)のEをαで偏微分 (4)をx, yの平均を 𝑥, 𝑦として整理する 𝑛 𝑦 − 𝑛 𝛼 + 𝛽 𝑥 = 0 8
- 9. 𝜕𝐸 𝜕𝛽 = −2 𝑖 𝑛 𝑥𝑖 𝑦𝑖− 𝛼 + 𝛽𝑥𝑖 = 0 ⋯ ⋯ (7) 𝑖 𝑛 𝑥𝑖 𝑦𝑖 − 𝑦 − 𝛽 𝑥 + 𝛽𝑥𝑖 = 0 ⋯ ⋯ (8) 𝑖 𝑛 𝑥𝑖 𝑦𝑖 − 𝑦 − 𝛽(𝑥𝑖 − 𝑥) = 0 ⋯ ⋯ (6) 一般線形モデル 導出 ~単回帰~ (8)を変形 (3)のEをβで偏微分 (6)式を代入 9
- 10. 𝑖 𝑛 (𝑥𝑖− 𝑥) 𝑦𝑖− 𝑦 − 𝛽 𝑖 𝑛 (𝑥𝑖− 𝑥) 𝑥𝑖 − 𝑥 = 0 ⋯ ⋯ (10) 𝑆 𝑥𝑦 − 𝛽𝑆 𝑥𝑥 = 0 ⋯ ⋯ (11) 𝛽 = 𝑆 𝑥𝑦 𝑆 𝑥𝑥 ⋯ ⋯ (12) 一般線形モデル 導出 ~単回帰~ βの一階条件を得る さらに変形 xの分散を𝑆 𝑥𝑥, xとyの共分散を𝑆 𝑥𝑦 として代入 10
- 11. 𝑦 = 𝛼+ 𝛽𝑥 = 𝑦 − 𝑆 𝑥𝑦 𝑆 𝑥𝑥 ( 𝑥 − 𝑥) ⋯ ⋯ (13) 一般線形モデル 導出 ~単回帰~ (6)と(12)をモデル 式に代入して完成 同じように重回帰についても計算できる。 11
- 12.
- 13. 一般線形モデル 導出 ~重回帰~ 𝑦1 𝑦2 ⋮ 𝑦𝑛 = 1𝑥11 … 𝑥1𝑚 1 𝑥21 … 𝑥2𝑚 ⋮ 1 𝑥 𝑛1 … 𝑥 𝑛𝑚 𝛼 𝛽1 ⋮ 𝛽 𝑚 + 𝜀1 𝜀2 ⋮ 𝜀 𝑛 ⋯ ⋯ (14) 𝒙𝒊 = 𝑥𝑖1 𝑥𝑖2 ⋮ 𝑥𝑖𝑚 , 𝜷 = 𝛽1 𝛽2 ⋮ 𝛽 𝑚 𝐸 = 𝜀1 𝜀2 ⋮ 𝜀 𝑛 = 𝑖 𝑛 𝑦𝑖 − (𝛼 + 𝒙𝒊 𝑻 𝜷) 2 ⋯ ⋯ (15) データを得る (3)と同様に 最小化項を得る 便宜上、 次を定義 13
- 14. 𝛼 = 𝑦− 𝑥1 𝑥2 ⋮ 𝑥 𝑚 𝑇 𝜷 ⋯ ⋯ (16) 𝜕𝐸 𝜕𝛽𝑗 = −2 𝑖 𝑛 𝑥𝑖𝑗 𝑦𝑖 − 𝛼 + 𝒙𝒊 𝑇 𝜷 = 0 ⋯ ⋯ (17) 𝑖 𝑛 (𝑥𝑖− 𝑥) 𝑦𝑖 − 𝑦 − 𝑖 𝑛 𝑥𝑖𝑗 𝑥𝑖1 − 𝑥1 𝑥𝑖2 − 𝑥2 ⋮ 𝑥𝑖𝑚 − 𝑥 𝑚 𝑇 ∙ 𝜷 = 0 ⋯ ⋯ (18) 一般線形モデル 導出 ~重回帰~ αの条件は (6)とほぼ同様 Eを𝛽𝑗で微分 さらに(10)と同 様に変形する 14
- 15. 𝑛𝑆1𝑦− 𝑖 𝑛 (𝑥𝑖1− 𝑥1) 𝑥𝑖1 −𝑥1 𝑥𝑖2 − 𝑥2 ⋮ 𝑥𝑖𝑚 − 𝑥 𝑚 𝑇 ∙ 𝜷 = 0 𝑛𝑆2𝑦− 𝑖 𝑛 (𝑥𝑖2− 𝑥2) 𝑥𝑖1 − 𝑥1 𝑥𝑖2 − 𝑥2 ⋮ 𝑥𝑖𝑚 − 𝑥 𝑚 𝑇 ∙ 𝜷 = 0 ⋮ 𝑛𝑆 𝑚𝑦− 𝑖 𝑛 (𝑥𝑖𝑚− 𝑥 𝑚) 𝑥𝑖1 − 𝑥1 𝑥𝑖2 − 𝑥2 ⋮ 𝑥𝑖𝑚 − 𝑥 𝑚 𝑇 ∙ 𝜷 = 0 一般線形モデル 導出 ~重回帰~ jを1~mで動か していくとm個 の式が得られる 15
- 16. 𝑛 𝑆1𝑦 𝑆2𝑦 ⋮ 𝑆 𝑚𝑦 − 𝑖 𝑛 𝑥𝑖1− 𝑥1 𝑥𝑖2 − 𝑥2 ⋮ 𝑥𝑖𝑚 − 𝑥 𝑚 𝑥𝑖1 − 𝑥1 𝑥𝑖2 − 𝑥2 ⋮ 𝑥𝑖𝑚 − 𝑥 𝑚 𝑇 ∙ 𝜷 = 0 𝑛 𝑆1𝑦 𝑆2𝑦 ⋮ 𝑆 𝑚𝑦 − 𝑖 𝑛 𝑥𝑖1 − 𝑥1 2 … 𝑥𝑖1 − 𝑥1 𝑥𝑖𝑚 − 𝑥 𝑚 ⋮ ⋱ ⋮ 𝑥𝑖𝑚 − 𝑥 𝑚 𝑥𝑖1 − 𝑥1 … 𝑥𝑖𝑚 − 𝑥 𝑚 2 𝜷 = 0 𝑛 𝑆1𝑦 𝑆2𝑦 ⋮ 𝑆 𝑚𝑦 − 𝑖 𝑥𝑖1 − 𝑥1 2 … 𝑖 𝑥𝑖1 − 𝑥1 𝑥𝑖𝑚 − 𝑥 𝑚 ⋮ ⋱ ⋮ 𝑖 𝑥𝑖𝑚 − 𝑥 𝑚 𝑥𝑖1 − 𝑥1 … 𝑖 𝑥𝑖𝑚 − 𝑥 𝑚 2 𝜷 = 0 𝑆1𝑦 𝑆2𝑦 ⋮ 𝑆 𝑚𝑦 − 𝑆11 … 𝑆1𝑚 ⋮ ⋱ ⋮ 𝑆 𝑚1 … 𝑆 𝑚𝑚 𝜷 = 0 ⋯ ⋯ (19) 一般線形モデル 導出 ~重回帰~ 行列表示して整理し ていくと、各々の分 散であらわされた式 が得られる。 16
- 17. 𝜷 = 𝑆11 …𝑆1𝑚 ⋮ ⋱ ⋮ 𝑆 𝑚1 … 𝑆 𝑚𝑚 −1 𝑆1𝑦 𝑆2𝑦 ⋮ 𝑆 𝑚𝑦 ⋯ ⋯ (20) 𝑦 = 𝛼 + 𝜷𝒙 ⋯ ⋯ (21) 一般線形モデル 導出 ~重回帰~ (19)をβについ て解けば終了。 モデル式(21)に (16)と(20)を代入 すれば予測がで きる。 17
- 18.
- 19. 一般線形モデル 導出 ~重回帰(行列表記)~ Eを定義 Eを𝛽で微分 (計算省略) 式を整える。 (ただし逆行列 の存在を仮定) 𝐸 = (𝑌 − 𝛽X)′(Y − βX) 𝑑𝐸 𝑑𝛽 = −2 𝑋′ 𝑌 − 𝑋′ 𝑋𝛽 = 𝟎 𝛽 = (𝑋′ 𝑋)−1 𝑋′ 𝑌 19
- 20.
- 21. 一般線形モデル 仮定との関係 • 目的変数yは正規分布に従う ➡αβの条件が任意の実数であることは暗黙的に設定されている。 xも実数であるからyも同様に、-∞～∞の実数でなくてはならない •説明変数群xによらず、yの分布の標準偏差σが一定 ➡xによってσが変化すると、xの取り方によって誤差の評価が変わってきて しまう。 • 説明変数群xによって、yの分布のμが変化する ➡σ一定の下でμを予測して正規分布を特定し、最も確率の高いμをyの予 測値として用いる。 21
- 22.
- 23. 一般化線形モデル 確率分布(パラメータがλの時ｙになる確率) : p(y|λ) リンク関数：f 線形予測子：α+βx と設定したとき、 式：𝑓𝜆 = 𝛼 + 𝛽𝑥 (𝑓−1 𝛼 + 𝛽𝑥 = 𝜆 とも表せる) とすると、 𝑝 = (𝑦|𝛼, 𝛽)となるから、これで最尤推定をしてαβを求めることで、x を定めた時のλが予測でき、これによってyの値も予測できる。 23
- 24. ポアソン回帰 ポアソン分布とは ⇒来客数などのカウントデータを主に扱う。 • 𝑝 𝑦𝜆 = 𝜆 𝑦 𝑒−𝜆 𝑦! (平均λの時、yとなる確率) • 平均＝分散＝λ • データyが非負整数 • yの下限はあるがの上限がない 24
- 25.
- 26. ポアソン回帰 • 一般的にポアソン回帰では、以下のように設定する。 リンク関数：𝑓 𝜆= 𝑙𝑜𝑔(𝜆) 線形予測子：α＋β・x (βｘはともに説明変数分の長さを持つベクトル) 確率分布：𝑝 𝑦 𝜆 = 𝑝 𝑦 𝛼, 𝜷 式：log 𝜆 = 𝛼 + 𝜷 ∙ 𝒙 ⇔ 𝜆 = 𝑒 𝛼+𝜷𝑥 ➡尤度関数：𝐿 𝛼, 𝜷 = 𝒊 𝑝(𝑦𝑖| 𝛼, 𝜷) 最尤推定法： 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒 𝑙𝑜𝑔(𝐿 𝛼, 𝜷 ) = 𝑖 𝑙𝑜𝑔(𝑝(𝑦𝑖|𝛼, 𝜷)) 26
- 27. ロジスティック回帰 二項分布とは ⇒成功回数をカウントしたデータを扱う • 𝑝 𝑦𝑞 = 𝑛 𝑦 𝑞 𝑦 (1 − 𝑞)(𝑛−𝑦) • データyは非負整数 • yは下限上限ともにある。 27
- 28.
- 29. ロジスティック回帰 • 一般的にポアソン回帰では、以下のように設定する。 リンク関数：𝑓 𝑞= log 𝑞 1−𝑞 線形予測子：α＋β・x (βｘはともに説明変数分の長さを持つベクトル) 確率分布：𝑝 𝑦 𝑞 = 𝑝 𝑦 𝛼, 𝜷 式：log 𝑞 1−𝑞 = 𝛼 + 𝜷 ∙ 𝒙 ⇔ 𝑞 = 𝑙𝑜𝑔𝑖𝑠𝑡𝑖𝑐 𝑧 = 1 1+exp(−𝛼−𝜷𝒙) ➡尤度関数：𝐿 𝛼, 𝜷 = 𝒊 𝑝(𝑦𝑖| 𝛼, 𝜷) 最尤推定法： 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒 𝑙𝑜𝑔(𝐿 𝛼, 𝜷 ) = 𝑖 𝑙𝑜𝑔(𝑝(𝑦𝑖|𝛼, 𝜷)) 29
- 30. 参考文献 データ解析のための統計モデリング入門: 一般化線形モデル・階層ベイ ズモデル・MCMC • 著者:久保拓弥 • 出版社: 岩波書店, シリーズ「確率と情報の科学」 • 編集: 甘利俊一，麻生英樹，伊庭幸人 30