Download to read offline
Prml5
- 1.
- 2.
- 3.
- 4.
- 5.
- 6. 誤差関数の勾配の評価 • 誤差関数は、訓練集合の各データに対応する誤差項の和として表 せる 𝐸 𝑤= 𝑛=1 𝑁 𝐸 𝑛(𝑤) 「一つの項に対する勾配𝛻𝐸 𝑤 を評価する問題を考える」
- 7. 出力ykが入力変数xi線形和という単純な線形モデル 𝑦 𝑘 = 𝑖 𝑤𝑘𝑖 𝑥𝑖 ある特定の入力パターンnに対する誤差関数が以下の形をとる 𝐸 𝑛 = 1 2 𝑘 (𝑦 𝑛𝑘 − 𝑡 𝑛𝑘)2
- 8. 誤差関数の重みwjiに対する勾配は 𝜕𝐸 𝑛 𝜕𝑤𝑗𝑖 = 𝑦𝑛𝑗 − 𝑡 𝑛𝑗 𝑥 𝑛𝑖 𝑦 𝑛𝑗 − 𝑡 𝑛𝑗：誤差信号 𝑥 𝑛𝑖：入力の変数 • 次回からはこれを多層フィードフォワードネットワークに拡張する方 法を見ていく
- 9. • 一般のフィードフォワードニューラルネットワークのそれぞれのユニッ トは 𝑎𝑗 = 𝑖 𝑤𝑗𝑖𝑧𝑖 𝑧𝑗 = ℎ(𝑎𝑗) (5.48)(5.49)を順番に適用することによりネットワークのすべての隠れ ユニットと出力ユニットの出力が計算されている →順伝搬
- 10.
- 11. 𝑎𝑗 = 𝑖𝑤𝑗𝑖 𝑧𝑖 (5.48) 𝑧𝑖 𝑧1 𝑤𝑗𝑖
- 12. 𝑎𝑗 = 𝑖𝑤𝑗𝑖 𝑧𝑖 (5.48) 𝑧𝑖 𝑧1 𝑤𝑗𝑖
- 13. 𝑎𝑗 = 𝑖𝑤𝑗𝑖 𝑧𝑖 (5.48) 𝑧𝑖 𝑧1 𝑤𝑗𝑖 𝑎𝑗
- 14. 𝑧𝑖 𝑧1 𝜔𝑗𝑖 𝑎𝑗 𝑧𝑗 = ℎ(𝑎𝑗)(5.49) 𝑧𝑗
- 15.
- 16.
- 17.
- 18. Enの重みwjiに関する微分の評価（勾配） 勾配 = 𝜕𝐸 𝑛 𝜕𝑤𝑗𝑖 = 𝜕𝐸 𝑛 𝜕𝑎 𝑗 𝜕𝑎 𝑗 𝜕𝑤 𝑗𝑖 (5.50)
- 19. Enの重みwjiに関する微分の評価（勾配） 勾配 = 𝜕𝐸 𝑛 𝜕𝑤𝑗𝑖 = 𝜕𝐸 𝑛 𝜕𝑎 𝑗 𝜕𝑎 𝑗 𝜕𝑤 𝑗𝑖 (5.50) 𝛿𝑗 ≡ 𝜕𝐸 𝑛 𝜕𝑎𝑗
- 20. Enの重みwjiに関する微分の評価（勾配） 勾配 = 𝜕𝐸 𝑛 𝜕𝑤𝑗𝑖 = 𝛿𝑗 𝜕𝑎 𝑗 𝜕𝑤 𝑗𝑖 (5.50) 𝜕𝑎𝑗 𝜕𝑤𝑗𝑖 = 𝑧𝑖
- 21. Enの重みwjiに関する微分の評価（勾配） 勾配 = 𝜕𝐸 𝑛 𝜕𝑤𝑗𝑖 = 𝛿𝑗 𝑧𝑖 (5.53) 誤差𝛿の値と入力側のユニットの𝑧の値を掛けあ わせれば勾配が求められる。
- 22.
- 23.
- 24. 𝑧𝑖 𝑧1 𝑤𝑗𝑖 𝑎𝑗 後は𝛿を求めればよい 𝑧𝑗 𝑎 𝑘 𝑎1 𝑦 𝑘 𝑦1 𝑤𝑘𝑗 𝛿 𝑘 𝛿1 𝛿ｊ
- 25.
- 26. 𝑧𝑖 𝑧1 𝑤𝑗𝑖 𝑎𝑗 𝛿 𝑘 =𝑦 𝑘 − 𝑡 𝑘 𝑧𝑗 𝑎 𝑘 𝑎1 𝑦 𝑘 𝑦1 𝑤 𝑘𝑗 𝑡1 𝑡 𝑘
- 27. 𝑧𝑖 𝑧1 𝑤𝑗𝑖 𝑎𝑗 𝛿 𝑘 =𝑦 𝑘 − 𝑡 𝑘 𝑧𝑗 𝑎 𝑘 𝑎1 𝑦 𝑘 𝑦1 𝑤 𝑘𝑗 𝛿 𝑘 𝛿1 𝑡 𝑘 𝑡1
- 28. 𝑧𝑖 𝑧1 𝑤𝑗𝑖 𝑎𝑗 𝑧𝑗 𝑎 𝑘 𝑎1 𝑦 𝑘 𝑦1 𝑤𝑘𝑗 𝛿 𝑘 𝛿1
- 29. 𝑧𝑖 𝑧1 𝑤𝑗𝑖 𝑎𝑗 𝛿𝑗 = ℎ′ 𝑎𝑗 𝑘 𝑤𝑘𝑗 𝛿 𝑘 𝑧𝑗 𝑎 𝑘 𝑎1 𝑦 𝑘 𝑦1 𝑤 𝑘𝑗 𝛿 𝑘 𝛿1
- 30. 𝑧𝑖 𝑧1 𝑤𝑗𝑖 𝑎𝑗 𝛿𝑗 = ℎ′ 𝑎𝑗𝑘 𝑤 𝑘𝑗 𝛿 𝑘 (逆伝播公式) 𝑧𝑗 𝑎 𝑘 𝑎1 𝑦 𝑘 𝑦1 𝑤 𝑘𝑗 𝛿 𝑘 𝛿1 𝛿ｊ
- 31. まとめ １ 𝑎𝑗 = 𝑖 𝑤𝑗𝑖 𝑧𝑖𝑧𝑗 = ℎ(𝑎𝑗) ２ 𝛿 𝑘 = 𝑦 𝑘 − 𝑡 𝑘 ３
- 32. • 𝜕𝐸 𝑛 𝜕𝑤 𝑗𝑖 = 𝜕𝐸𝑛 𝜕𝑎 𝑗 𝜕𝑎 𝑗 𝜕𝑤 𝑗𝑖 • 𝛿𝑗 ≡ 𝜕𝐸 𝑛 𝜕𝑎 𝑗 • 𝜕𝑎 𝑗 𝜕𝑤 𝑗𝑖 = 𝑧𝑖 • 𝜕𝐸 𝑛 𝜕𝑤 𝑗𝑖 = 𝛿𝑗 𝑧𝑖 • 𝛿 𝑘 = 𝑦 𝑘 − 𝑡 𝑘 • 𝛿𝑗 ≡ 𝜕𝐸 𝑛 𝜕𝑎 𝑗 = 𝑘 𝜕𝐸 𝑛 𝜕𝑎 𝑘 𝜕𝑎 𝑘 𝜕𝑎 𝑗
- 33. • 𝛿𝑗 =ℎ′ 𝑎𝑗 𝑘 𝑤 𝑘𝑗 𝛿 𝑘 • 𝜕𝐸 𝜕𝑤 𝑗𝑖 = 𝑛 𝜕𝐸 𝑛 𝜕𝑤 𝑗𝑖