G検定対策社内数学講座　微分

1. 微分
〜関数の”ある点”における傾きを求める〜
Jun. 2019 created by ITO Akihiro

2. まずは、最小二乗法
y
x
y
x

3. y
x
すべての点からの距離が最短（＝誤差が最小）となる直線
単純に距離の和をとると +/-で相殺されてしまうので二乗和をとる ⇒ 最小二乗法
y
x
L1
L2
L3
L4
L5 L7
L6
L8
L9
L10

4. x
f(x)
❓
y
x
微分

5. a a+h
h
f(a+h)
f(a)
y
x

6. a a+h
h
f(a+h)
f(a)
y
x

7. h
f(x+h)
f(x)
x x+h
y
x

10. 偏微分 y
x
z
現実世界での誤差関数は複雑だが、二次元に落
として考えればシンプルに計算できる。
例えば、三次元の関数なら、グラフをある面で切っ
て、真横や真上から見れば、二次元の関数にな
る。これに対して微分すればよい。
つまり、特定のどれか１つの変数だけに着目して
微分する。
これが、偏微分。

13. 局所解と最適解
y
x
w local
局所解
w optimal
最適解
最適解を見つけるには基本的に
勾配降下法を使うが、
局所解に嵌まり込んでしまい、
最適解に辿り着けなくなる場合がある。
このリスクを少なくするために、
確率的勾配降下法
(SGD：Stochastic Gradient Descent)
等を用いる。