for a study session in my company

1. 機械学習の理論 (回帰) part2
2018年11月

2. 微分で誤差を小さくしよう！
ところで微分とは？
一言で言うと「瞬間の変化量」
dx
f(x) = x を微分するとn
d
f(x) = nx n-1

3. 微分を使うと？
y
x0
2
瞬間の変化量（傾き）がわかる！
g(x) = (x-1)

4. 傾きがわかると？
y
x0
2
スライドできる！
（y=0に近づくことができる）
g(x) = (x-1)

5. 勾配降下法（名前はどうでもいい）
y
x0
g(x) = (x-1)2
学習率と呼ばれる正の定数
（イータ）
左の矢印の長さを決めるもの

6. ex)
y
x
0 10
g(x) = (x-1)
2
= 10
= 2x-2
= 0.5
10 - 0.1 * (2*10 - 2)
?
?

7. ex)
y
x
0 10
g(x) = (x-1)
2
= 10
= 2x-2
= 0.5
10 - 0.1 * (2*10 - 2)
8.8
8.8

8. ここで思い出してほしい。目的関数！
誤差の総和

9. そういえば目的関数も二次関数！
y
x0
誤差。
微分を使って
誤差を0に近づける！

10. 目的関数の微分→偏微分
目的関数の微分は先ほど出てきた微分とは少し違う。
違いは微分をする変数の数。
目的関数はfθ(x)を含んでいる。(fθ(x) = θ0+θ1x)
つまり、目的関数はθ0とθ1の2つの変数を持つ関数である。
変数が2つ以上の場合は普通の微分ではなく偏微分を使う。
以下、更新式

11. 合成関数Eの微分はこうなる…
まずはこちらから解く
を解いてみよう！

12. もう一方も解く
あとは掛けるだけ

13. こちらも同じように微分すると…
最終的にパラメータ更新式はこうなる…