Maxout networks

9,467 views

Published on

論文紹介

Published in: Technology
0 Comments
19 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
9,467
On SlideShare
0
From Embeds
0
Number of Embeds
8
Actions
Shares
0
Downloads
5
Comments
0
Likes
19
Embeds 0
No embeds

No notes for slide

Maxout networks

  1. 1. Maxout Networks Ian Goodfellow, David Warde-Farley, Mehdi Mirza, Aaron Courville, Yoshua Bengio (Universit ́e de Montr ́eal) ICML 2013 斎藤淳哉 junya[あっと]fugaga.info 論文紹介 1
  2. 2. 概要 Maxout ニューラルネットワークの新しい活性化関数 ≠Dropout ≠MaxPooling PFI Deep Learningの技術と未来 http://www.slideshare.net/beam2d/deep-learning-22544096 コレ! 2
  3. 3. 目次 Maxout Maxoutの表現力 Maxoutの学習アルゴリズム Dropout MaxPooling 実験 まとめ 3
  4. 4. Maxout 活性化関数 Maxout ニューラルネットワーク ※一般的な活性化関数 4
  5. 5. Maxoutの表現力(1) 例)2次関数を近似可能例)Rectifierを近似可能 ※流行の活性化関数 5
  6. 6. Maxoutの表現力(2) 定理1(ざっくり) Maxout は、隠れノード( )が十分にあれば 任意の凸関数を近似可能 補題(ざっくり) 凸関数 と からなる関数 は 任意の関数を近似可能 定理2(ざっくり) Maxout と からなる関数 は 任意の関数を近似可能 • 2層以上のMaxout • 1層以上のMaxout+1層以上のSoftmax → 任意の関数を近似可能 ※値域:[0,1] 6
  7. 7. Maxoutの学習アルゴリズム 学習アルゴリズム Back Propagation Back Propagation with Dropout Maxoutは線形関数なので簡単に微分可能 7
  8. 8. Dropout Dropout ニューラルネットワークの学習テクニック アルゴリズム 学習時 毎ステップ、隠れノード50%をランダムに なかったことにしてBack Propagation 推定時 学習したパラメータを1/2にして 全ノードを使って推定 ニューラルネットワーク 8
  9. 9. MaxPooling 活性化関数 MaxPooling ニューラルネットワーク ※一般的な活性化関数 9
  10. 10. 実験 実験データ MNIST(手書き数字認識データセット) 28×28 pixel grayscale 60,000 training 10,000 test examples 学習パラメータ Maxout層×(2or3)+Softmax層×1 Dropoutを使用して学習 いわゆるPre-trainingはなし 10
  11. 11. 実験結果 MNIST (permutation invariance) MNIST (permutation variance) 流行のRectifierに勝てた! ※提案手法以外は  MNIST公式Webページなど  から引用した結果 11
  12. 12. まとめ 活性化関数 Maxoutの提案 流行の活性化関数 Rectifierよりも性能向上 12

×