論文紹介

1. Maxout Networks
Ian Goodfellow, David Warde-Farley, Mehdi Mirza, Aaron Courville, Yoshua Bengio
(Universit ́e de Montr ́eal)
ICML 2013
斎藤淳哉
junya[あっと]fugaga.info
論文紹介
1

2. 概要
Maxout
ニューラルネットワークの新しい活性化関数
≠Dropout
≠MaxPooling
PFI Deep Learningの技術と未来
http://www.slideshare.net/beam2d/deep-learning-22544096
コレ！
2

3. 目次
Maxout
Maxoutの表現力
Maxoutの学習アルゴリズム
Dropout
MaxPooling
実験
まとめ
3

4. Maxout
活性化関数
Maxout
ニューラルネットワーク
※一般的な活性化関数
4

5. Maxoutの表現力（１）
例）２次関数を近似可能例）Rectifierを近似可能
※流行の活性化関数
5

6. Maxoutの表現力（２）
定理１（ざっくり）
Maxout は、隠れノード（ ）が十分にあれば
任意の凸関数を近似可能
補題（ざっくり）
凸関数 と からなる関数 は
任意の関数を近似可能
定理２（ざっくり）
Maxout と からなる関数 は
任意の関数を近似可能
• 2層以上のMaxout
• 1層以上のMaxout+1層以上のSoftmax
→ 任意の関数を近似可能
※値域：[0,1]
6

7. Maxoutの学習アルゴリズム
学習アルゴリズム
Back Propagation
Back Propagation with Dropout
Maxoutは線形関数なので簡単に微分可能
7

8. Dropout
Dropout
ニューラルネットワークの学習テクニック
アルゴリズム
学習時
毎ステップ、隠れノード50%をランダムに
なかったことにしてBack Propagation
推定時
学習したパラメータを1/2にして
全ノードを使って推定
ニューラルネットワーク
8

9. MaxPooling
活性化関数
MaxPooling
ニューラルネットワーク
※一般的な活性化関数
9

10. 実験
実験データ
MNIST（手書き数字認識データセット）
28×28 pixel grayscale
60,000 training 10,000 test examples
学習パラメータ
Maxout層×(２or３)＋Softmax層×１
Dropoutを使用して学習
いわゆるPre-trainingはなし
10

11. 実験結果
MNIST
(permutation invariance)
MNIST
(permutation variance)
流行のRectifierに勝てた！ ※提案手法以外は
MNIST公式Webページなど
から引用した結果
11

12. まとめ
活性化関数 Maxoutの提案
流行の活性化関数 Rectifierよりも性能向上
12