• Save
Maxout networks
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
4,460
On Slideshare
4,460
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
5
Comments
0
Likes
8

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Maxout Networks Ian Goodfellow, David Warde-Farley, Mehdi Mirza, Aaron Courville, Yoshua Bengio (Universit ́e de Montr ́eal) ICML 2013 斎藤淳哉 junya[あっと]fugaga.info 論文紹介 1
  • 2. 概要 Maxout ニューラルネットワークの新しい活性化関数 ≠Dropout ≠MaxPooling PFI Deep Learningの技術と未来 http://www.slideshare.net/beam2d/deep-learning-22544096 コレ! 2
  • 3. 目次 Maxout Maxoutの表現力 Maxoutの学習アルゴリズム Dropout MaxPooling 実験 まとめ 3
  • 4. Maxout 活性化関数 Maxout ニューラルネットワーク ※一般的な活性化関数 4
  • 5. Maxoutの表現力(1) 例)2次関数を近似可能例)Rectifierを近似可能 ※流行の活性化関数 5
  • 6. Maxoutの表現力(2) 定理1(ざっくり) Maxout は、隠れノード( )が十分にあれば 任意の凸関数を近似可能 補題(ざっくり) 凸関数 と からなる関数 は 任意の関数を近似可能 定理2(ざっくり) Maxout と からなる関数 は 任意の関数を近似可能 • 2層以上のMaxout • 1層以上のMaxout+1層以上のSoftmax → 任意の関数を近似可能 ※値域:[0,1] 6
  • 7. Maxoutの学習アルゴリズム 学習アルゴリズム Back Propagation Back Propagation with Dropout Maxoutは線形関数なので簡単に微分可能 7
  • 8. Dropout Dropout ニューラルネットワークの学習テクニック アルゴリズム 学習時 毎ステップ、隠れノード50%をランダムに なかったことにしてBack Propagation 推定時 学習したパラメータを1/2にして 全ノードを使って推定 ニューラルネットワーク 8
  • 9. MaxPooling 活性化関数 MaxPooling ニューラルネットワーク ※一般的な活性化関数 9
  • 10. 実験 実験データ MNIST(手書き数字認識データセット) 28×28 pixel grayscale 60,000 training 10,000 test examples 学習パラメータ Maxout層×(2or3)+Softmax層×1 Dropoutを使用して学習 いわゆるPre-trainingはなし 10
  • 11. 実験結果 MNIST (permutation invariance) MNIST (permutation variance) 流行のRectifierに勝てた! ※提案手法以外は  MNIST公式Webページなど  から引用した結果 11
  • 12. まとめ 活性化関数 Maxoutの提案 流行の活性化関数 Rectifierよりも性能向上 12