Your SlideShare is downloading. ×

Maxout networks

4,656

Published on

論文紹介

論文紹介

Published in: Technology
0 Comments
9 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
4,656
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
5
Comments
0
Likes
9
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Maxout Networks Ian Goodfellow, David Warde-Farley, Mehdi Mirza, Aaron Courville, Yoshua Bengio (Universit ́e de Montr ́eal) ICML 2013 斎藤淳哉 junya[あっと]fugaga.info 論文紹介 1
  • 2. 概要 Maxout ニューラルネットワークの新しい活性化関数 ≠Dropout ≠MaxPooling PFI Deep Learningの技術と未来 http://www.slideshare.net/beam2d/deep-learning-22544096 コレ! 2
  • 3. 目次 Maxout Maxoutの表現力 Maxoutの学習アルゴリズム Dropout MaxPooling 実験 まとめ 3
  • 4. Maxout 活性化関数 Maxout ニューラルネットワーク ※一般的な活性化関数 4
  • 5. Maxoutの表現力(1) 例)2次関数を近似可能例)Rectifierを近似可能 ※流行の活性化関数 5
  • 6. Maxoutの表現力(2) 定理1(ざっくり) Maxout は、隠れノード( )が十分にあれば 任意の凸関数を近似可能 補題(ざっくり) 凸関数 と からなる関数 は 任意の関数を近似可能 定理2(ざっくり) Maxout と からなる関数 は 任意の関数を近似可能 • 2層以上のMaxout • 1層以上のMaxout+1層以上のSoftmax → 任意の関数を近似可能 ※値域:[0,1] 6
  • 7. Maxoutの学習アルゴリズム 学習アルゴリズム Back Propagation Back Propagation with Dropout Maxoutは線形関数なので簡単に微分可能 7
  • 8. Dropout Dropout ニューラルネットワークの学習テクニック アルゴリズム 学習時 毎ステップ、隠れノード50%をランダムに なかったことにしてBack Propagation 推定時 学習したパラメータを1/2にして 全ノードを使って推定 ニューラルネットワーク 8
  • 9. MaxPooling 活性化関数 MaxPooling ニューラルネットワーク ※一般的な活性化関数 9
  • 10. 実験 実験データ MNIST(手書き数字認識データセット) 28×28 pixel grayscale 60,000 training 10,000 test examples 学習パラメータ Maxout層×(2or3)+Softmax層×1 Dropoutを使用して学習 いわゆるPre-trainingはなし 10
  • 11. 実験結果 MNIST (permutation invariance) MNIST (permutation variance) 流行のRectifierに勝てた! ※提案手法以外は  MNIST公式Webページなど  から引用した結果 11
  • 12. まとめ 活性化関数 Maxoutの提案 流行の活性化関数 Rectifierよりも性能向上 12

×