2値分類問題のスタンダードであるロジスティック回帰についての解説資料です。

1. 解説#81 ロジスティック回帰
https://www.youtube.com/user/blinknetmonitoring
安藤類央

2. ロジスティック回帰とは
• 線形分離問題と二値分類問題に使う手法（アルゴリズム）。
• 名前とは裏腹に、分類問題に使う。
• 閾値関数の前の、活性関数にシグモイド関数を使う。
• データが特定のクラス（２つ）に属する確率を出力する。
• シンプルだが、精度と性能が理論的に保証されており、強力な
手法。

3. x1
x2
f(x1,x2)<0
f(x1,x2)＞0
P=0.5
f(x1,x2)
感染確率P
感染していない
感染している
σ x =
1
1 + 𝑒
P −∞ ≤ x ≤ ∞ = 𝑓 𝑥 𝑑𝑥 = 1
F x = 𝑓 𝑡 𝑑𝑡
ロジスティック回帰のイメージ
シグモイド関数σ x
確率密度関数σ x

4. W
W
∑ 予測値
W
W
∑ σ 予測値
W
W
∑ 予測値
❐パーセプトロン
❐ADALINE (Adaptive Linear Neuron)
❐ロジスティック回帰
σ x =
1
1 + 𝑒
❐線形活性化関数
φ 𝑤 ∗ 𝑥 = 𝑤 + 𝑥
❐シグモイド関数
❐活性化関数:なし
ロジスティック回帰への道
ニューロンの出力は０か１。
線形加重和∑に活性関数φが加わる。
ニューロンの出力は０か１。
０から１の確率が出力される。

5. 𝑃 𝑐 = 1 ) = 𝜎(𝑊 𝑥 + 𝑏) … (1)
𝑃 𝑐 = 0 𝑥 = 1 − 𝑃 𝑐 = 1 ) … (2)
𝑦 ∶= 𝜎(𝑊 𝑥 + 𝑏)
𝑃 𝐶 = 𝑡 𝑥 = 𝑦 +(1 − 𝑦) … (3)
(1)と(2)をまとめると、
N個の入力データXn およびそれぞれに対応する正解の出力データtnがあたえられたとき、尤度関数は、
L w, b = ∏ 𝑃 𝐶 = 𝑡 𝑥 …(4)
L w, b = 𝑦 1 − 𝑦 … (5)
確率関数から尤度関数へ
(1)と(3)から、
データが１と分類される確率
データが０と分類される確率
この式がデータの個数tだけ存在する。
なぜ総乗関数なのか。個々の確率関数（３）の値を
すべて１に近づけたいため。
この尤度関数を最適化
（最尤推定）する

6. = -
尤度関数から交差エントロピー誤差関数へ
この関数の最大化を考える場合、
パラメータの偏微分（勾配）を求める。
しかし、（５）の式は積の形（総乗）を
しており、偏微分の計算が非常に困難
Ｅ（エネルギー値）を設定し、
対数を取って和の形にする。
交差エントロピー誤差関数
関数Ｅのことを誤差関数・損失関数と言う。

7. 誤差関数から勾配降下法へ
𝑤 = 𝑤 − 𝜂 𝑦 − 𝑡 )𝑥 … (9)
𝑏 = 𝑏 − 𝜂 𝑦 − 𝑡 … 10
𝜕𝐸(𝑤, 𝑏)
𝜕𝑤
=
𝜕𝐸
𝜕𝑦
𝜕𝑦
𝜕𝑤
= − 𝑡 − 𝑦 )𝑥 … (7)
𝜕𝐸(𝑤, 𝑏)
𝜕𝑏
= − 𝑡 − 𝑦 ) … (8)
-
❐交差エントロピー誤差関数におけるパラメータは
ｗとｂなので、「ｗ、ｂで偏微分して０になる値」
を求める。
❐この場合、解析的にこの値を求めるのは困難。
❐反復学習により、パラメータを逐次的に更新
することで最適解を探すアプローチを
勾配降下法という。

8. 勾配降下法① – 1変数(１つの重み）
①現地点Wでの勾配を計算する
ことにより方向を特定
②誤差の小さくなる方向に
Wを変化させる
❐ 重みを変化させると誤差が変化する
❐ 勾配は𝛻𝐸とする
❐ 誤差Eが最小になるような重みの値を見つける
❐ 勾配を使った反復学習により、パラメータを逐次的に更新することで最適解を探索するアプローチ。
① 現時点Wでの勾配を計算する
② 誤差の小さくなる方向へWを変化させる
ΔE = * ΔW
Δ ΔW
Δ
Δw = (Δ𝑤 , Δ𝑤 , … Δ𝑤 )

9. 勾配降下法② - ２変数(2つの重み）
ΔError=h(w1, w2)
w1=0, w2=0の時
Errorの値が最小(0)
等高線 (Eが標高）
ΔE = ▽E * ΔW
<0 (0以下)の値を
取るときに誤差は
確実に減少方向に
進む。
計算したら出てく
る値であり、変更
できない。
変更できるのは
この値。
最小値（E=０）
等高線: Eが同じ値になる
w1とw2の組み合わせを線に
したもの。
等高線が近接していればいる
ほど、局面の傾きが急になる。
最も誤差が急になるのは常に
等高線に対して垂直な方向。
❐ ΔError=h(w1, w2)として、２次元の曲面を下っていくイメージで考える。

10. 参考:混合行列(Confusion Matrix)
予測
猫 犬
実際
猫 30 10
犬 20 40
４０匹の猫と６０匹の犬をサンプリング
正しく認識できたのは、
猫４０匹に対して３０匹
犬６０匹に対して４０匹
適合率＝30/30+20=30/50=0.6
感度＝30/30+10=30/40=0.75
✔ 🚫
✔ TP FN
🚫 FP TN
感度（再現率・真陽性率）=TP/TP＋FN
適合率=TP/TP+FP
陰性的中率 = FN/FN+TB

11. ロジスティック回帰とは
• 線形分離問題と二値分類問題に使う手法（アルゴリズム）。
データが特定のクラス（２つ）に属する確率を出力する。
• 閾値関数の前の、活性関数にシグモイド関数を使う。
• シンプルだが、精度と性能が理論的に保証されており、強力な手法。
• Scikit-Learnのライブラリでは、結果の評価に混合行列やＲＯＣ曲
線などが容易されている。