誤差逆伝播法の概要に関する説明です。 Deep Learningの社内勉強会の発表資料

1. Deep Learning勉強会
逆伝播の仕組み
2016/10/14 (金)
19:00 – 21:00

2. アジェンダ
• 復習
• 確率的勾配降下法に必要なものを算出する
• 誤差逆伝播法
• 誤差逆伝播法の式からわかること
• 誤差逆伝播法を一気にやる
• プログラミング
2

3. 復習（パーセプトロン）
3
・・・・・・・・
・・・・・・・・
・・・・・・・・
・・・・
・・・・
・・・・
・・・・・・・・・・・・
・・・・・・・・・・・・
・・・・
：ニューロンの活性
：ニューロンの出力
：ニューロンの入力の重み
：ニューロンのバイアス
：ネットワークのコスト関数
ベクトルで表現

4. 復習（確率的勾配降下法）
4
これを求めるのが誤差逆伝播法
わかりやすくするために、ニューロンレベルで書くと
重みの更新：
バイアスの更新：
（N：ミニバッチ内の訓練データの数）

5. 確率的勾配降下法に必要なものを算出する
5
と置きかえると
これを第l層のj番目のニューロンの誤差とよぶ
これが計算できればOK！
次の層の誤差がわかれば計算できる（誤差の逆伝播）。出力層までさかのぼると・・・
これはフィードフォワードの結果から計算できる！

6. 誤差逆伝播法
1. 訓練データのセット（ミニバッチ）を入力
2. ミニバッチ内の各訓練データ に対して、以下のステップを行う
(1) フィードフォワード
(2) 出力層の誤差を計算
(3) 誤差を逆伝播し、各層の誤差を計算
3. 勾配降下法で重み、バイアスを更新する
6

7. 誤差逆伝播法の式からわかること
7
1. 入力（ ）が小さいと、その入力の重みの学習は遅い
2. 誤差（ ）が小さいと、そのニューロンへの入力の重みの学習は遅い
誤差が小さくなるのはどんなとき？
→ ニューロンの活性（ ）が大きい、または小さい時には となる
2. ニューロンの活性が大きい、または小さいと、
そのニューロンへの入力の重みの学習は遅い

8. 誤差逆伝播法を一気にやる
1. 訓練データのセット（ミニバッチ）を入力し、行列化する
2. ミニバッチ に対して、以下のステップを行う
(1) フィードフォワード
(2) 出力層の誤差を計算
(3) 誤差を逆伝播し、各層の誤差を計算
3. 勾配降下法で重み、バイアスを更新する
8

9. プログラミング
9
＜課題＞
network.pyを行列を使ったアルゴリズムに書き換えてください