解説#78 誤差逆伝播
•
0 likes•203 views
鉄板トピックの誤差逆伝播について４０分ほど話しました。 ❏ 多層パーセプトロン ❏ 勾配降下法 ❏ リバースモード自動微分 ❏ 確率的勾配降下法 ❏ 実装（モジュール化） Rumelhart, David E.; Hinton, Geoffrey E., Williams, Ronald J. (8 October 1986). “Learning representations by back-propagating errors”. Nature 323 (6088): 533–536. doi:10.1038/323533a0.
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 解説#78 誤差逆伝播
More from Ruo Ando
More from Ruo Ando (20)
解説#78 誤差逆伝播
- 3. MLP (Multi Layer Perceptron: 多層パーセプトロン） ∑ x[j] w[j][k] n[k] u[k] ②活性関数 b1 入力x 出力u 出力y 入力層(x) 中間層(u) 出力層 (y) 教師信号t 誤差E 教師信号（目的変数） E = ③ 損失(誤差）関数 = b2 ① 総入力（加重総和）関数 多層パーセプトロンは、３つの層、３つの関数から構成される。 ① 総入力（加重総和）関数 ② 活性関数 ③ 損失（誤差）関数 重みW1 重みW2 ステップ関数の話 パーセプトロンの内部構造
- 4. 重み（パラメータ）と誤差 目標地点:大域的最小値 （グローバルミニマム） ❐ 重み(W)を変化させると誤差(E)が変化する ❐ 誤差が最小になるような重みの値を見つける ❐ x軸のWの各時点で計算できる勾配を ▽Eとする 極小値 （ローカルミニマム） ΔE = E * ΔW E = 入力層 中間層 出力層 教師信号 （目的変数） E
- 5. 重み（パラメータ）の調整 x 1 x 2 x 3 x10 0 w 2 w 1 y 1 y 2 ❐ 入力層が１００、中間層が２、出力層が１０の場合 求める重み（辺の太さ）の数は 100 * 2 * 10 = 2000 ❐ w1とw2の辺の太さを-10から10まで、２０通り調べるとすると、パラメータ試行回数Nは N= (100*20) * (2*20) * (10*20) = 16000000 ❐パラメータの幅（辺の太さ）をW、３層の多層パーセプトロンとすると、 W＾３*2000のパラメータを試す必要がある。 y1 0 Y軸:N（パラメータ試行回数 X軸:W（パラメータの幅） 総あたり法や、方程式を解く方法は 不可能
- 6. 勾配降下法① – 1変数(１つの重み） ①現地点Wでの勾配を計算する ことにより方向を特定 ②誤差の小さくなる方向に Wを変化させる ❐ 重みを変化させると誤差が変化する ❐ 勾配は𝛻𝐸とする ❐ 誤差Eが最小になるような重みの値を見つける ❐ 勾配を使った反復学習により、パラメータを逐次的に更新することで最適解を探索するアプローチ。 ① 現時点Wでの勾配を計算する ② 誤差の小さくなる方向へWを変化させる ΔE = * ΔW Δ ΔW Δ Δw = (Δ𝑤 , Δ𝑤 , … Δ𝑤 )
- 7. 勾配降下法② - ２変数(2つの重み） ΔError=h(w1, w2) w1=0, w2=0の時 Errorの値が最小(0) 等高線 (Eが標高） ΔE = ▽E * ΔW <0 (0以下)の値を 取るときに誤差は 確実に減少方向に 進む。 計算したら出てく る値であり、変更 できない。 変更できるのは この値。 最小値（E=０） 等高線: Eが同じ値になる w1とw2の組み合わせを線に したもの。 等高線が近接していればいる ほど、局面の傾きが急になる。 最も誤差が急になるのは常に 等高線に対して垂直な方向。 ❐ ΔError=h(w1, w2)として、２次元の曲面を下っていくイメージで考える。
- 8. リバースモード自動微分①（重みの更新） 誤差E （連鎖率） 動的計画法 b1 入力x 出力u 出力y 入力層(x) 中間層(u) 出力層 (y) 教師信号t 誤差E b2 重みW1 重みW2 多層パーセプトロンの重みの更新には、勾配降下法と自動微分を使う ① 連鎖率を使って勾配を計算 ② 勾配によって重みを更新 教師信号（目的変数） ❐ η：学習係数 勾配によってどれだけ重みを 変化させるかの度合いを示す
- 9. リバースモード自動微分②（勾配の計算） E = y 勾配 加重総和関数の微分 損失関数の微分 = 活性関数の微分 ∑ x[j] w[j][k] u[k] y[k] 重みの更新式 勾配𝛻𝐸は、損失関数、活性関数、加重総和関数をそれぞれ偏微分をしたものをまとめたものになる。
- 12. 勾配降下法 確率的勾配降下法 ❐（通常の）勾配降下法は、データ全体を使うので、一直線に最小値に向かうイメージ ❐（ミニバッチ）確率的勾配法は、谷をジグザグに下るイメージ ❐ （ミニバッチ）確率的勾配法は、全体の誤差Eを最小化するわけではない。少し横にずれて移動していく。 そのため、（特にランダムにバッチを選択した場合）偶然、極小値から外れることができる場合が期待できる。 確率的勾配降下法② - ２変数(2つの重み） 方向が同じ 方向が異なる 最小値（E=０） 最小値（E=０） ❐ ΔError=h(w1, w2)として、２次元の曲面を下っていくイメージで考える。 w2 w1 w2 w1
- 13. Pythonによる実装（モジュール化） 重みW 層（データ変換） 出力（予測値）Y 真の目的値（教師信号）t 損失関数 誤差E 最適化関数 入力X 入力層 中間層 出力層 教師信号t X U Y E 確率的勾配降下法は、 最適化関数として ここにモジュール化される。 深層学習のソフトウェアスタック
- 14. 誤差逆伝播 まとめ ❐ 多層パーセプトロンを学習させる方法 ❐ すべてのディープラーニングのモデルにおいて必要となる手法 以下のアルゴリズムによって構成される。 ❐勾配降下法 ❐リバースモード自動微分 ❐確率的勾配降下法 ❐モジュール化による実装