Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Maxout Networks
Ian Goodfellow, David Warde-Farley, Mehdi Mirza, Aaron Courville, Yoshua Bengio
(Universit ́e de Montr ́ea...
概要
Maxout
ニューラルネットワークの新しい活性化関数
≠Dropout
≠MaxPooling
PFI Deep Learningの技術と未来
http://www.slideshare.net/beam2d/deep-learning...
目次
Maxout
Maxoutの表現力
Maxoutの学習アルゴリズム
Dropout
MaxPooling
実験
まとめ
3
Maxout
活性化関数
Maxout
ニューラルネットワーク
※一般的な活性化関数
4
Maxoutの表現力(1)
例)2次関数を近似可能例)Rectifierを近似可能
※流行の活性化関数
5
Maxoutの表現力(2)
定理1(ざっくり)
Maxout は、隠れノード( )が十分にあれば
任意の凸関数を近似可能
補題(ざっくり)
凸関数 と からなる関数 は
任意の関数を近似可能
定理2(ざっくり)
Maxout と からなる関数 ...
Maxoutの学習アルゴリズム
学習アルゴリズム
Back Propagation
Back Propagation with Dropout
Maxoutは線形関数なので簡単に微分可能
7
Dropout
Dropout
ニューラルネットワークの学習テクニック
アルゴリズム
学習時
毎ステップ、隠れノード50%をランダムに
なかったことにしてBack Propagation
推定時
学習したパラメータを1/2にして
全ノードを使っ...
MaxPooling
活性化関数
MaxPooling
ニューラルネットワーク
※一般的な活性化関数
9
実験
実験データ
MNIST(手書き数字認識データセット)
28×28 pixel grayscale
60,000 training 10,000 test examples
学習パラメータ
Maxout層×(2or3)+Softmax層×1...
実験結果
MNIST
(permutation invariance)
MNIST
(permutation variance)
流行のRectifierに勝てた! ※提案手法以外は
 MNIST公式Webページなど
 から引用した結果
11
まとめ
活性化関数 Maxoutの提案
流行の活性化関数 Rectifierよりも性能向上
12
Upcoming SlideShare
Loading in …5
×

Maxout networks

10,522 views

Published on

論文紹介

Published in: Technology
  • Be the first to comment

Maxout networks

  1. 1. Maxout Networks Ian Goodfellow, David Warde-Farley, Mehdi Mirza, Aaron Courville, Yoshua Bengio (Universit ́e de Montr ́eal) ICML 2013 斎藤淳哉 junya[あっと]fugaga.info 論文紹介 1
  2. 2. 概要 Maxout ニューラルネットワークの新しい活性化関数 ≠Dropout ≠MaxPooling PFI Deep Learningの技術と未来 http://www.slideshare.net/beam2d/deep-learning-22544096 コレ! 2
  3. 3. 目次 Maxout Maxoutの表現力 Maxoutの学習アルゴリズム Dropout MaxPooling 実験 まとめ 3
  4. 4. Maxout 活性化関数 Maxout ニューラルネットワーク ※一般的な活性化関数 4
  5. 5. Maxoutの表現力(1) 例)2次関数を近似可能例)Rectifierを近似可能 ※流行の活性化関数 5
  6. 6. Maxoutの表現力(2) 定理1(ざっくり) Maxout は、隠れノード( )が十分にあれば 任意の凸関数を近似可能 補題(ざっくり) 凸関数 と からなる関数 は 任意の関数を近似可能 定理2(ざっくり) Maxout と からなる関数 は 任意の関数を近似可能 • 2層以上のMaxout • 1層以上のMaxout+1層以上のSoftmax → 任意の関数を近似可能 ※値域:[0,1] 6
  7. 7. Maxoutの学習アルゴリズム 学習アルゴリズム Back Propagation Back Propagation with Dropout Maxoutは線形関数なので簡単に微分可能 7
  8. 8. Dropout Dropout ニューラルネットワークの学習テクニック アルゴリズム 学習時 毎ステップ、隠れノード50%をランダムに なかったことにしてBack Propagation 推定時 学習したパラメータを1/2にして 全ノードを使って推定 ニューラルネットワーク 8
  9. 9. MaxPooling 活性化関数 MaxPooling ニューラルネットワーク ※一般的な活性化関数 9
  10. 10. 実験 実験データ MNIST(手書き数字認識データセット) 28×28 pixel grayscale 60,000 training 10,000 test examples 学習パラメータ Maxout層×(2or3)+Softmax層×1 Dropoutを使用して学習 いわゆるPre-trainingはなし 10
  11. 11. 実験結果 MNIST (permutation invariance) MNIST (permutation variance) 流行のRectifierに勝てた! ※提案手法以外は  MNIST公式Webページなど  から引用した結果 11
  12. 12. まとめ 活性化関数 Maxoutの提案 流行の活性化関数 Rectifierよりも性能向上 12

×