友人との機械学習勉強会で発表。

1. 誤差逆伝潘法
機械学習勉強会2017/5/14 Koki Natsume

2. 目次
1.誤差逆伝播法とは
2.理論と方法
3.単純なレイヤの実装
4.おわり、まとめ

3. 誤差逆伝潘法とは
NNの学習を
ザックリ言うと

4. 誤差逆伝潘法とは
勾配法を使ってできる
だけ小さい損失関数
（誤差）を探していく

5. 誤差逆伝潘法とは
で

6. 誤差逆伝潘法とは
その重みパラメータに
関する損失関数の
勾配の計算を
効率よく求める方法が

7. 誤差逆伝潘法とは
誤差逆伝播法

8. 理論と方法
誤差逆伝播法は計算グラフというものを利用するとわかりやすい
計算グラフの例）100円のりんごを2個買う(消費税10%)。
x 2 x 1.1
100 200 220

9. 理論と方法
誤差逆伝播法は計算グラフというものを利用するとわかりやすい
計算グラフの例）100円のりんごを2個買う(消費税10%)。
x 2 x 1.1
100 200 220
複雑な計算も局所的にすることで理解しやすくなる！

10. 理論と方法
誤差逆伝播法は計算グラフというものを利用するとわかりやすい
計算グラフの例）100円のりんごを2個買う(消費税10%)。
x 2 x 1.1
100 200 220
2.2 1.1 1
逆伝播は 1 -> 1.1 -> 2.2 と微分値が伝播されている

11. 理論と方法
誤差逆伝播法は計算グラフというものを利用するとわかりやすい
計算グラフの例）100円のりんごを2個買う(消費税10%)。
x 2 x 1.1
100 200 220
2.2 1.1 1
これはりんごが1円上がったら、支払いが2.2円上がるということ

12. 理論と方法
誤差逆伝播法は計算グラフというものを利用するとわかりやすい
計算グラフの例）100円のりんごを2個買う(消費税10%)。
x 2 x 1.1
100 200 220
2.2 1.1 1
このように各変数の微分値を効率よく計算できる！

13. sigmoidレイヤ
せっかくだし、sigmoid（活性関数）レイヤで実装してみる。
これね

14. sigmoidレイヤ
計算グラフだとこうなる。
x exp + /
y =
1/1+exp(-x)1+exp(-x)exp(-x)
1-1
-xx

15. sigmoidレイヤ
計算グラフだとこうなる。
x exp + /
y =
1/1+exp(-x)1+exp(-x)exp(-x)
1-1
-xx
-
(∂L/∂y)*y^
2
∂L/∂
y
-
(∂L/∂y)*y^
2
-
(∂L/∂y)*y^2*exp
(-x)
(∂L/∂y)*y^2*exp
(-x)

16. sigmoidレイヤ
doutは渡ってきた微分値、sigmoidは別で定義された関数ってことで

17. まとめ、おわりに
勾配を効率よく求める方法として誤差逆伝播法があ
る。
誤差逆伝播法は計算グラフを用いると可視化できて
理解しやすくなる。他にも色々と応用できそう。
次はなにやるかまだ考え中。。
学習に関してもっと突っ込むか、別な手法やるか。

18. ご清聴あざっす。