Download to read offline
PRML 5.3-5.3.4 誤差逆伝播
- 1.
- 2. 本日の内容 5.3 誤差逆伝播 ・5.3.1 誤差関数微分の評価 ・5.3.2単純な例 ・5.3.3 逆伝播の効率 ・5.3.4 ヤコビ行列
- 3.
- 4.
- 5. ニューラルネットワークについて ２層ニューラルネットワーク ネットワークの重み の最適化 誤差関数の最小化 解析的には求められない 数値的な反復手順に頼る 最急降下法 共役勾配法 ニュートン法 など 数値的な反復手順の計算量（5.2.3節） 勾配情報を利用しない・・・ 勾配情報を利用・・・
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12. 誤差関数の微分の評価（一般のＮＮ） の重み に関する勾配 誤差関数 はユニットへの入力 を通してのみ に依存する ニューラルネットワークの関係式の例 目的・・・誤差関数の微分の評価
- 13.
- 14.
- 15.
- 16. 出力ユニットの評価 ・出力ユニットの を考える 出力ユニットの活性化関数・・・正準連結関数 一般化線形モデルについて 正準連結関数 目的変数の条件付き分布・・・指数型分布族 活性化関数・・・正準連結関数 詳しくは4.3.6節 出力ユニットの活性 化関数 誤差関数 誤差関数の特 定のユニットに おける微分 回帰 恒等写像 二乗和誤差関数 2クラス 分類問題 シグモイド関数 交差エントロピー 誤差関数 多クラス 分類問題 ソフトマックス関数 多クラス交差エン トロピー誤差関数
- 17.
- 18.
- 19.
- 20. 誤差逆伝播の手続き 誤差逆伝播 １．入力ベクトル をネットワークに入れ、順伝播させて、すべての隠れユニットと出力ユニットの 出力を求める ２．（5.54）を用いてすべての出力ユニットの を評価 ３．（5.56）を用いてを逆伝播させ、すべての隠れユニットの を得る ４．（5.53）を用いて必要な微分を評価
- 21.
- 22.
- 23. （再掲）誤差逆伝播の手続き 誤差逆伝播 １．入力ベクトル をネットワークに入れ、順伝播させて、すべての隠れユニットと出力ユニットの 出力を求める ２．（5.54）を用いてすべての出力ユニットの を評価 ３．（5.56）を用いてを逆伝播させ、すべての隠れユニットの を得る ４．（5.53）を用いて必要な微分を評価
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.