Downloaded 46 times
![[DL輪読会]Convolutional Sequence to Sequence Learning](https://cdn.slidesharecdn.com/ss_thumbnails/dl0519-170519005603-thumbnail.jpg?width=640&height=640&fit=bounds)
![Differential privacy without sensitivity [NIPS2016読み会資料]](https://cdn.slidesharecdn.com/ss_thumbnails/nipsyomi2016slideshare-170122091905-thumbnail.jpg?width=640&height=640&fit=bounds)
Learning to learn by gradient descent by gradient descent
- 1. Learning to learnby gradient descent by gradient descent @NIPS2016読み会 発表者 福田 宏幸
- 2. 自己紹介 福田 宏幸 2000年4月 (株)電通入社 コピーライター 2016年7月 (株)電通デジタル 出向 2016年9月 東京大学新領域創成科学研究科 博士課程1年 専門：バイオインフォマティクス
- 3.
- 4.
- 5. 学習法の学習？ • Deep Learningの成功＝特徴量の自動学習 •しかし、 学習アルゴリズム（SGD等の最適化 アルゴリズム）の設計は、未だ人間。 • 本論文では、学習アルゴリズム自体をディー プラーニングで学習する方法を提案。
- 6.
- 7.
- 9. Deep Learningにおける学習 • コスト関数の設定 二乗誤差 クロスエントロピー •高次元、非凸関数。 • 勾配降下法（Gradient Descent）等により コスト関数を最小にするパラメーターを探索
- 10. 勾配降下法(Gradient Descent) • 傾きに沿ってパラメーターθを更新していく •α：学習率 αが大きすぎる：振動する。 αが小さすぎる：更新が遅い。 http://prog3.com/sbdm/blog/google19890102/article/details/50276775
- 11. 発展形 • パラメーターの更新の仕方がそれぞれ違う • Adagrad(2011) •RMSprop(2012) • ADAM(2015) http://postd.cc/optimizing-gradient-descent/#fnref:3
- 12.
- 13.
- 14. 何を学習すればよいのか？ • 更新量をディープラーニングが学習 • Optimizee:ｆ（θ） 学習したい問題の誤差関数 Optimizer: g（φ） 更新量を出力するNN Gradient Descent Learning to Learn
- 15.
- 16. 誤差関数をどう定義するか？ • 勾配の時系列を扱えるように定式化 • m：LSTM：時刻tの勾配 ：時刻tの状態 ：ウエイト。論文では1を使用。
- 17.
- 18.
- 19.
- 20. 実験 • Quadratic • MNIST •CIFAR10 • DEEP ART
- 21. • Optimizeeが、二次関数。 • Wとyの値をサンプリングで生成し、学習。 •他のアルゴリズムに比べて早く収束。 Quadratic Function
- 22.
- 23.
- 24. CIFAR10 • CNNでも実験。 （3layers, 32hiddenunits） • 畳込み層と全結合層では重みを共有しない。 • CIFAR5、CIFAR2への転移学習も上手くいく。
- 25.
- 26.
- 27.
- 28.
- 29. まとめ • ディープラーニングにより、学習アルゴリズム 自体を学習する方法を提案 • 既存の最適化手法を上回る精度を得た。 •問題の構造を上手く一般化することができた。
- 30. 個人的感想 • 結局チューニングがありそう。 • 大きなデータセット、ネットワー？ •データマイニングのコンペティションで試して みたい。
- 31.