Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (16)
Similar to An introduction to statistical learning 4 logistic regression manu
Similar to An introduction to statistical learning 4 logistic regression manu (20)
An introduction to statistical learning 4 logistic regression manu
- 1. An Introduction to Statistical Learning 4 Classification 高橋秀征
- 3. 4章 Classification 4.1 使うデータの紹介 4.2 線形回帰での分析 4.3 ロジスティック回帰 4.4 線形判別分析 4.5 分類理論（Classification Methods)の比較
- 4. 4章 Classification 4.1 使うデータの紹介 4.2 線形回帰での分析 4.3 ロジスティック回帰 4.4 線形判別分析 4.5 分類理論（Classification Methods)の比較
- 7. 4章 Classification 4.1 使うデータの紹介 4.2 線形回帰での分析 4.3 ロジスティック回帰 4.4 線形判別分析 4.5 分類理論（Classification Methods)の比較
- 8. 4.2 線形回帰で求めたら？ Y＝ 0 if not default 1 if otherwise Y ≧ 0.5 債務不履行 Y < 0.5 債務履行 このように解釈する Y = 𝛽0 + 𝛽1 Income + 𝛽2(Balance)
- 9. 4.2 線形回帰で求める ※𝑌 = 0.5を赤線で示した 【問題点】 ①変化が鈍い ②𝑌 ∈ [0,1]で無い 【結論】 線形回帰では無理がある Pr(default Balance) = 𝛽0 + 𝛽1(Balance)
- 11. ロジスティック回帰って何？
- 12. 4章 Classification 4.1 使うデータの紹介 4.2 線形回帰での分析（ダメな理由） 4.3 ロジスティック回帰 4.4 線形判別分析 4.5 分類理論（Classification Methods)の比較
- 13. 4.3 ロジスティック回帰とは 𝑌があるカテゴリに入る確率を求めるモデル ⇓ 𝑌が質的変数の時に使える （𝑌は説明変数の条件付き確率となる） 今回の例だと Pr(default=yes│Balance)∈[0,1] (以降Pr default=yes Balance =p(balance)と略記する）
- 14. 4.3.1 （一変数の）ロジスティック関数 天下り的に与えるとロジスティック関数は以下のようになる。 （ Pr Y=1 X =）p X = 𝑒 𝛽0+𝛽1 𝑋 1 + 𝑒 𝛽0+𝛽1 𝑋 これは𝑝 𝑋 ∈ [0,1]を満たすS字型の曲線となる。
- 15. 4.3.1 （一変数の）ロジスティック関数 𝑝 𝑋 = 𝑒 𝛽0+𝛽1 𝑋 1 + 𝑒 𝛽0+𝛽1 𝑋 ⇔ 𝑝(𝑋) 1 − 𝑝(𝑋) = exp[𝛽0 + 𝛽1 𝑋] ⇔ ln 𝑝 𝑋 1 − 𝑝 𝑋 = 𝛽0 + 𝛽1 𝑋 オッズ（odds) 失敗と成功の比 ロジット（logit)
- 16. 4.3.1 （一変数の）ロジスティック関数 𝑑 𝑑𝑋 𝑝 𝑋 = 𝛽1 𝑒 𝛽0+𝛽1 𝑋 1 + 𝑒 𝛽0+𝛽1 𝑋 [1 − 𝑒 𝛽0+𝛽1 𝑋 1 + 𝑒 𝛽0+𝛽1 𝑋 ] 𝑑 𝑑𝑋 𝑝(𝑋) 1 − 𝑝(𝑋) = 𝛽1exp[𝛽0 + 𝛽1 𝑋] 𝑑 𝑑𝑋 ln 𝑝 𝑋 1 − 𝑝 𝑋 = 𝛽1
- 17. 4.3.2 回帰係数の推定 最尤法(maximum likelihood)を用いる 尤度関数(likelihood function) 𝑙 𝛽0, 𝛽1 = 𝑖:𝑦 𝑖=1 𝑝( 𝑥𝑖) 𝑖′:𝑦 𝑖′=0 (1 − 𝑝( 𝑥𝑖′)) を最大にする𝛽0, 𝛽1を求める
- 19. 4.3.2 回帰係数の推定 Pr default=yes balance を推定する Default Dataの推定結果 この係数が本当に影響しているかどうかは以下の 検定で確かめる必要がある 𝐻0: 𝛽1 = 0 𝐻1: 𝛽1 ≠ 0
- 20. 4.3.2 推定結果の検定 𝐻0: 𝛽1 = 0の下でのZ−statistic Z−statistic = Coefficient−0 Std.error Z − statistic < 1.96を満たせば𝐻1: 𝛽1 ≠ 0は有意水準 5%で有意である。 P−valueはZ−statisticがある値の時に、それが起こる確 率
- 21. 4.3.2 推定結果の検定 検定の結果、 𝐻1: 𝛽1 ≠ 0は有意水準5%で有意と分かっ た。 よって Pr default=yes balance=X = 𝑝 𝑋 = 𝑒−10.6513+0.0055𝑋 1 + 𝑒−10.6513+0.0055𝑋 と言える。
- 22. 4.3.2 説明変数が質的変数の場合 Pr default=yes student を推定する 検定の結果、 𝐻1: 𝛽1 ≠ 0は有意水準5%で有意と分かった。 Pr default=yes 𝑋 = 𝑝 𝑋 = 𝑒−3.5041+0.4049𝑋 1 + 𝑒−3.5041+0.4049𝑋 但し X=1 if student=Yes X=0 if otherwise
- 24. 4.3.4 （2変数以上の）ロジスティック回帰 𝑝 𝑿 = 𝑒 𝛽0+𝛽1 𝑋1+⋯+𝛽 𝑝 𝑋 𝑝 1 + 𝑒 𝛽0+𝛽1 𝑋1+⋯+𝛽 𝑝 𝑋 𝑝 ln 𝑝 𝑿 1 − 𝑝 𝑿 = 𝛽0 + 𝛽1 𝑋1 + ⋯ + 𝛽 𝑝 𝑋 𝑝 但し𝑿 = (𝑋1, ・・・, 𝑋 𝑝)の行ベクトル
- 25. 4.3.4 係数の推定 以下の尤度関数を最大にするような係数を求める 𝑙 𝛽0, 𝛽1, … , 𝛽 𝑝 = 𝑖:𝑦 𝑖=1 𝑝( 𝒙𝑖) 𝑖′:𝑦 𝑖′=0 (1 − 𝑝( 𝒙𝑖′)) 収入は関係なく、学生であるか否かが重要
- 32. 説明変数 量的変数 質的変数 被 説 明 変 数 量 的 変 数 最小二乗法 最小二乗法 ↳ダミー変数 質 的 変 数 ロジスティック回帰 ロジスティック回帰 ↳ダミー変数
- 34. （線形）判別分析って何？
- 35. 4章 Classification 4.1 使うデータの紹介 4.2 線形回帰での分析（ダメな理由） 4.3 ロジスティック回帰 4.4 線形判別分析 4.5 分類理論（Classification Methods)の比較
- 39. 4.4.1 ベイズの定理 Pr 𝑌 = 𝑘 𝑋 = 𝑥 = 𝜋 𝑘 𝑓𝑘 𝑥 𝑙=1 𝐾 𝜋𝑙 𝑓𝑙 𝑥
- 40. 4.4.1 ベイズの定理 Pr 𝑌 = 𝑘 𝑋 = 𝑥 = 𝜋 𝑘 𝑓𝑘 𝑥 𝑙=1 𝐾 𝜋𝑙 𝑓𝑙 𝑥 ベイズの定理は、原因の確率に関する定理だと言 える。 今、ｋ個の排反なあらゆる群（原因）を想定する。 「各群（原因）である確率」は求められるものである とする。 データｘを抽出した（結果が生じた）時、各原因が結 果を生じさせる条件付き確率を想定する。 ベイズの定理とは、以上の条件から、ある結果が 得られた時に、ある原因から発生した確率を求め られると言うものである。 参照『自然科学の統計学』東大出版会
- 41. 4.4.1 ベイズの定理 Pr 𝑌 = 𝑘 𝑋 = 𝑥 = 𝜋 𝑘 𝑓𝑘 𝑥 𝑙=1 𝐾 𝜋𝑙 𝑓𝑙 𝑥 𝜋 𝑘：事前確率（Prior probabirity) Ｋ個の群からある群𝑘を選ぶ確率 Pr X=x Y=k :第k群である時に、X=xである確率 𝑓𝑘 𝑋 ≡ Pr 𝑋 𝑌 = 𝑘 とし、密度関数として扱う。 Pr Y=k X=x ：事後確率(Posterior probabirity) X=xである時に、第k群である確率
- 42. 4.4.1 ベイズの定理 Pr 𝑌 = 𝑘 𝑋 = 𝑥 = 𝜋 𝑘 𝑓𝑘 𝑥 𝑙=1 𝐾 𝜋𝑙 𝑓𝑙 𝑥 ベン図で考えると分かりやすい。 事後確率 事前確率
- 43. 4.4.1 ベイズの定理 𝑝 𝑘 𝑋 = Pr 𝑌 = 𝑘 𝑋 = 𝜋 𝑘 𝑓𝑘 𝑋 𝑙=1 𝐾 𝜋𝑙 𝑓𝑙 𝑋 と置き、確率関数として扱う。 𝑝 𝑘 𝑋 を推定したい ⇓ 事前確率は比較的推定が楽 ⇓ 推定が少し困難𝑓𝑘 𝑋 を推定する
- 44. 4.4.2 𝑓𝑘 𝑋 の仮定 分布について正規分布（normal),ガウス分布 (Gaussian)の仮定を置く 𝑓𝑘 𝑋 ＝ 1 2𝜋𝜎 𝑘 exp[− 1 2𝜎 𝑘 2 𝑋 − 𝜇 𝑘 2 ] 𝜇 𝑘：第k群における期待値 𝜎 𝑘 2 ：第k群における分散
- 45. 4.4.2 𝑓𝑘 𝑋 の仮定 各群の分散は一定と仮定 𝜎1 2 ＝・・・＝𝜎 𝐾 2 ＝𝜎2 𝑓𝑘 𝑋 ＝ 1 2𝜋𝜎 exp[− 1 2𝜎2 𝑋 − 𝜇 𝑘 2 ]
- 46. 4.4.2 単一のパラメータでのLDA ベイズの定理の公式に代入 𝑝 𝑘(X) = 𝜋 𝑘 1 2𝜋𝜎 exp[− 1 2𝜎2 𝑋 − 𝜇 𝑘 2] 𝑙=1 𝐾 𝜋𝑙 1 2𝜋𝜎 exp[− 1 2𝜎2 𝑋 − 𝜇𝑙 2] 𝑋 = 𝑥の時、上の式の値を最大にするような群に分類される ⇓ 値の大小は分子に依存 （∵分母は一定） ⇓ 分子の大小と、自然対数を取ったものの大小関係は同じ
- 47. 4.4.2 単一のパラメータでのLDA 𝑝 𝑘(X) = 𝜋 𝑘 1 2𝜋𝜎 exp[− 1 2𝜎2 𝑋 − 𝜇 𝑘 2] 𝑙=1 𝐾 𝜋𝑙 1 2𝜋𝜎 exp[− 1 2𝜎2 𝑋 − 𝜇𝑙 2] 分子のみに対数をとり、第k群に関する項だけを新 しい関数として定義する 𝛿 𝑘 𝑥 ≡ 𝑥 𝜇 𝑘 𝜎2 − 𝜇 𝑘 2 2𝜎2 + ln 𝜋 𝑘 𝑝 𝑘(𝑥)が最大となる𝑥では𝛿 𝑘 𝑥 も最大となる。 この関数は𝑥について線形であるので線形判別分析という
- 48. 4.4.2 単一のパラメータでのLDA 今までの話は、真のパラメータが既知の場合 ⇓ 実際は推定量を用意しなければならない ①期待値𝜇1, ・・・, 𝜇 𝐾の推定 ②分散𝜎2 の推定 ③事前確率𝜋1, ・・・, 𝜋 𝐾の推定
- 49. 4.4.2 単一のパラメータでのLDA ① 𝜇 𝑘 = 1 𝑛 𝑘 𝑖:𝑦 𝑖=𝑘 𝑥𝑖 ② 𝜎2 = 1 𝑛−𝐾 𝑘=1 𝐾 𝑖:𝑦 𝑖=𝑘(𝑥𝑖 − 𝜇 𝑘)2 ③ 𝜋 𝑘＝ 𝑛 𝑘 𝑛 但し𝑛 𝑘は第k群のデータ数
- 50. 4.4.2 単一のパラメータでのLDA 以上の推定量を𝛿 𝑘 𝑥 に入れて 𝛿 𝑘 𝑥 を作る 𝛿 𝑘 𝑥 ＝𝑥 𝜇 𝑘 𝜎2 − 𝜇 𝑘 2 2 𝜎2 + ln 𝜋 𝑘 線形判別分析では𝑋 = 𝑥の時、この 𝛿 𝑘 𝑥 を最大にす るような、k群に𝑥を分類する。
- 51. 4.4.3 多変量のLDA P次元のガウス分布 𝑿~𝑁(𝝁, 𝚺) を分析のために 準備する 𝑓 𝑿 ＝ 1 (2𝜋) 𝑝 2 𝚺 1 2 exp[− 1 2 𝑿 − 𝝁 𝑇 𝚺−1 (𝑿 − 𝝁)] を準備する 𝑿 = 𝑋1, ・・・, 𝑋 𝑝 𝑇 𝝁 = 𝜇1, ・・・, 𝜇 𝑝 𝑇 𝚺＝ 𝜎11 2 ⋯ 𝜎1𝑝 2 ⋮ ⋱ ⋮ 𝜎 𝑝1 2 ⋯ 𝜎 𝑝𝑝 2
- 52. 4.4.3 多変量のLDA 第k群については 𝑓𝑘 𝑿 ＝ 1 (2𝜋) 𝑝 2 𝚺 1 2 exp[− 1 2 𝑿 − 𝝁 𝒌 𝑇 𝚺−1 (𝑿 − 𝝁 𝒌)] 但し、分散共分散行列は各群に共通とする
- 53. 4.4.3 多変量のLDA ベイズの定理の公式に𝑓𝑘 𝑿 を代入 分子に対数を取り、第k群に関する項だけを新 しい関数とする 𝛿 𝑘 𝒙 ≡ 𝒙 𝑇 𝚺−1 𝝁 𝒌 − 1 2 𝝁 𝒌 𝑇 𝚺−1 𝝁 𝒌 + ln 𝜋 𝑘 (但し 𝒙 𝑇 𝚺−1 𝝁 𝒌 = 𝝁 𝒌 𝑻 𝚺−1 𝒙) 𝑋 = 𝑥の時に、この関数の値が最大となる群に 分類される
- 54. 4.4.3 多変量のLDA LDAでDefault Dataを検証 ⇓ 全体の誤り率は 23+252 10000 ＝0.0275 ⇓ 当てはまりとしてはかなり良 いのでは？ ⇓ 但し注意点が 真の状態 履行 不履行 計 予 測 し た 状 態 履 行 9644 252 9896 不 履 行 23 81 104 計 9667 333 10000
- 57. 4.4.3 2種類の過誤 薬学・生物学等の分野では感度(Sensitivity)や 特異度(Specificity)という指標で分類器の性能を表す 【今回の例】 感度（= 1 −偽陰性率）：債務不履行(Pos)の状態を正しく分 類できたか 81 333 ＝1 − 252 333 = 24.3% 特異度（= 1 −偽陽性率）：債務履行(Neg)の状態を正しく 分類できたか 9644 9667 = 1 − 23 9667 = 99.8%
- 58. 4.4.3 2種類の過誤 感度（True Positive Rate) 𝑻𝑷 𝑷 = 𝑷 − 𝑭𝑷 𝑷 = 𝟏 − 𝑭𝑷 𝑷 特異度（True Negative Rate) 𝑻𝑵 𝑵 = 𝑵 − 𝑭𝑵 𝑵 = 𝟏 − 𝑭𝑵 𝑵 真の状態 履行 (Negative) 不履行 （Positive) 計 予 測 し た 状 態 履 行 𝑇𝑟𝑢𝑒 𝑁𝑒𝑔 𝑇𝑁 𝐹𝑎𝑙𝑠𝑒 𝑁𝑒𝑔 𝐹𝑁 𝑁∗ 不 履 行 𝐹𝑎𝑙𝑠𝑒 𝑃𝑜𝑠 𝐹𝑃 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠 𝑇𝑃 𝑃∗ 計 𝑁 𝑃
- 59. 4.4.3 閾値の設定 修正前 Pr default=No x <0.5 ⇔ 予測される状態「債務履行」 ⇓閾値を修正する 修正後 Pr default=No x <0.2 ⇔ 予測される状態「債務履行」 カード会社が気になる部分 誤りが多い ⇓ LDAを修正する必要あり
- 61. 4.4.3（補足） 線形判別と誤り率 誤判別する確率を最小にする、という観点から線 形判別分析を考える。 𝐺1, 𝐺2群に分類する状況を想定して行う。 記号の準備 𝑓𝑘 𝑥 :母集団𝐺 𝑘 (𝑘=1,2)の確率密度関数 𝜋 𝑘：ｘが𝐺 𝑘から選ばれる確率（事前確率） 𝑃 𝑘 𝑥 :xが得られた時に、 𝐺 𝑘と判別する確率 𝐶 𝑗 𝑘 : 𝐺 𝑘からのサンプルを𝐺𝑗と判別した時の損失 𝑘, 𝑗 = 1,2 𝐶 1 1 = 𝐶 2 2 = 0
- 62. 4.4.3（補足） 線形判別と誤り率 真の状態 𝐺1 𝐺2 計 予 測 し た 状 態 𝐺1 𝑃 1 1 𝑃 1 2 𝑃(1) 𝐺2 𝑃 2 1 𝑃 2 2 𝑃(2) 計 1 1 群 𝐺1 𝐺2 事前確率 𝜋1 𝜋2 判別する確率 𝑃 2 1 𝑃 1 2 損失 𝐶 2 1 𝐶 1 2 期待損失 𝜋1 𝐶 2 1 𝑃 2 1 𝜋2 𝐶 1 2 𝑃 1 2
- 63. 4.4.3（補足） 線形判別と誤り率 よってｘが得られた時の損失の期待値は 𝑟 𝑥 = 𝜋1 𝐶 2 1 𝑃 2 1 + 𝜋2 𝐶 1 2 𝑃 1 2 これを最小化する。
- 65. 4.4.3 閾値の設定 ：全体の誤り率 ( 𝐹𝑃+𝐹𝑁 𝑃+𝑁 ) ・・・・・・：偽陽性率 （ 𝐹𝑃 𝑁 ） －－－：偽陰性率 （ 𝐹𝑁 𝑃 ） 真の状態 履行 (Negative) 不履行 （Positive) 計 予 測 し た 状 態 履 行 𝑇𝑟𝑢𝑒 𝑁𝑒𝑔 𝑇𝑁 𝐹𝑎𝑙𝑠𝑒 𝑁𝑒𝑔 𝐹𝑁 𝑁∗ 不 履 行 𝐹𝑎𝑙𝑠𝑒 𝑃𝑜𝑠 𝐹𝑃 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠 𝑇𝑃 𝑃∗ 計 𝑁 𝑃
- 67. 4.4.3 閾値の決定 ROC曲線（ROC curve)を導入する ・ROCは通信理論(Communication theory)にお ける受信者動作特性（Reciever Operating Characteristic)の頭文字から ・曲線以下の領域をROC曲線下面積・AUC(Area Under the Curve)と呼ぶ ・理想的なROC曲線は左上に接する
- 69. 4.4.3 ROC曲線 真の状態 履行 (Negative) 不履行 （Positive) 計 予 測 し た 状 態 履 行 𝑇𝑟𝑢𝑒 𝑁𝑒𝑔 𝑇𝑁 𝐹𝑎𝑙𝑠𝑒 𝑁𝑒𝑔 𝐹𝑁 𝑁∗ 不 履 行 𝐹𝑎𝑙𝑠𝑒 𝑃𝑜𝑠 𝐹𝑃 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠 𝑇𝑃 𝑃∗ 計 𝑁 𝑃 閾値 0.2 0.5 感度 0.586 0.243 偽陰性率 0.414 0.757 特異度 0.976 0.998 偽陽性率 0.024 0.002
- 70. 真の状態 履行 (Negative) 不履行 （Positive) 計 予 測 し た 状 態 履 行 𝑇𝑟𝑢𝑒 𝑁𝑒𝑔 𝑇𝑁 𝐹𝑎𝑙𝑠𝑒 𝑁𝑒𝑔 𝐹𝑁 𝑁∗ 不 履 行 𝐹𝑎𝑙𝑠𝑒 𝑃𝑜𝑠 𝐹𝑃 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠 𝑇𝑃 𝑃∗ 計 𝑁 𝑃
- 71. 4.4.4 二次判別分析 線形判別分析の仮定 ①各群は固有の期待値を持つ ②各群は等分散 ③各群での観測値は正規分布に従う ⇓ 𝑋 𝑘~𝑁（𝜇 𝑘, 𝜎2 ） ⇓ 等分散の仮定を外す ⇓ 𝑋 𝑘~𝑁（𝜇 𝑘, 𝜎 𝑘 2 ）
- 72. 4.4.4 二次判別分析(𝑝 = 1) ベイズの定理の公式に𝑁(𝜇 𝑘, 𝜎 𝑘 2)を代入した 𝑝 𝑘(X) = 𝜋 𝑘 1 2𝜋𝜎 𝑘 exp[− 1 2𝜎 𝑘 2 𝑋 − 𝜇 𝑘 2 ] 𝑙=1 𝐾 𝜋𝑙 1 2𝜋𝜎𝑙 exp[− 1 2𝜎𝑙 2 𝑋 − 𝜇𝑙 2] 分子のみに対数をとり、𝑘番目に関する項だけを新しい 関数として定義する 𝛿 𝑘 𝑥 ≡ −𝑥2 1 2𝜎 𝑘 2 + 𝑥 𝜇 𝑘 𝜎 𝑘 2 − 𝜇 𝑘 2 2𝜎 𝑘 2 + ln 𝜋 𝑘 − ln(𝜎 𝑘) 𝑝 𝑘(𝑥)が最大となる𝑥では𝛿 𝑘 𝑥 も最大となる。 この関数は𝑥について二次であるので二次判別分析という
- 73. 4.4.4 二次判別分析(𝑝 > 1) 第k群については 𝑓𝑘 𝑿 ＝ 1 (2𝜋) 𝑝 2 𝚺 𝒌 1 2 exp[− 1 2 𝑿 − 𝝁 𝒌 𝑇 𝚺 𝒌 −1 (𝑿 − 𝝁 𝒌)] を仮定する
- 74. 4.4.4 二次判別分析(𝑝 > 1) ベイズの定理の公式に𝑓𝑘 𝑿 を代入 分子に対数を取り、𝑘番目の階級に関する項だけを新し い関数とする 𝛿 𝑘 𝒙 ≡ − 1 2 𝒙 𝑇 𝚺 𝒌 −1 𝒙 + 𝒙 𝑇 𝚺 𝒌 −1 𝝁 𝒌 − 1 2 𝝁 𝒌 𝑇 𝚺 𝒌 −1 𝝁 𝒌 + ln 𝜋 𝑘 − 1 2 ln 𝚺 𝒌 (但し 𝒙 𝑇 𝚺−1 𝝁 𝒌 = 𝝁 𝒌 𝑻 𝚺−1 𝒙) 𝑋 = 𝑥の時に、この関数の値が最大となる階級に分類さ れる
- 77. 4.4.4 LDAとQDAの比較 等分散の条件の下 2値の分類を考える ベイズによる境界 LDAによる境界 QDAによる境界 QDAは必要以上にバイアスを減らし、 分散が大きくなっている ⇓ LDAの方が良く推定できている𝜎112＝𝜎212 = 0.7 Σ1＝Σ2
- 78. 4.4.4 LDAとQDAの比較 不等分散の条件の下 2値の分類を考える 𝜎112＝0.7 𝜎212＝ − 0.7 Σ1 ≠ Σ2 ベイズによる境界 LDAによる境界 QDAによる境界 QDAの方が良く推定できている
- 79. 4章 Classification 4.1 使うデータの紹介 4.2 線形回帰での分析（ダメな理由） 4.3 ロジスティック回帰 4.4 線形判別分析 4.5 分類理論（Classification Methods)の比較
- 80. 4.5 ロジスティック回帰とLDA 一変量のデータを二値に分けることを考える。 𝑝1 𝑥 ，𝑝2 𝑥 = 1 − 𝑝1 𝑥 とする。 線形判別分析でのロジットは ln 𝑝1 𝑥 𝑝2 𝑥 = ln 𝜋1 1 2𝜋𝜎 exp − 1 2𝜎2 𝑋 − 𝜇1 2 𝜋2 1 2𝜋𝜎 exp − 1 2𝜎2 𝑋 − 𝜇2 2
- 81. 4.5 ロジスティック回帰とLDA 適宜整理すると ln 𝑝1 𝑥 𝑝2 𝑥 = 𝜇1 − 𝜇2 𝜎2 𝑥 + 𝜇2 2 − 𝜇1 2 2𝜎2 + ln 𝜋2 𝜋1 LDAの場合、決定境界は線形であるが、その係 数の推定には正規分布の仮定から導かれる、 平均と分散が用いられる
- 82. 4.5 ロジスティック回帰とLDA ロジスティック回帰の場合のロジットは ln 𝑝1 𝑥 𝑝2 𝑥 = 𝛽0 + 𝛽1 𝑥 である。 ロジスティック回帰の場合、決定境界は線形で あるが、係数の推定には最尤法が用いられる。
- 87. 4.5 シナリオ5 観測値は正規分布からの無作 為抽出 各階級50ずつの観測値を抽出 無相関 応答変数は𝑋1 2 𝑋2 2 𝑋1 × 𝑋2 を含むロジスティック関数から 抽出 ⇓ 決定境界は二次曲線（非線形） ⇓ QADの想定に最も適合 線形を想定するLDAやLogiatic は当てはまりが悪い