GAを用いてDNNのパラメータと構造を学習する。

1. Evolving Deep Neural
Networks
Risto Miikkulainen1,2 , Jason Liang1,2 , Elliot Meyerson1,2 , Aditya
Rawal1,2 , Dan Fink1 , Olivier Francon1 , Bala Raju1 , Hormoz
Shahrzad1 , Arshak Navruzyan1 , Nigel Duffy1 , Babak Hodjat1
1Sentient Technologies, Inc.
2The University of Texas at Austin
1 Mar 2017
論文URL https://arxiv.org/pdf/1703.00548.pdf
2017/05/22
神戸瑞樹
DeepLeaningゼミ

2. はじめに
• Deep learning neural network (DNN)は年々複雑化している
• DNNの構造、ハイパーパラメータの設定は手動で行われて
いる
• この論文では、これらを自動で決めるためにNEATを拡張し
たCoDeepNEATを提案
• 最先端のDNNと同程度の精度を達成
2

3. 関連研究
• Neuroevolution
– ニューラルネットの学習に遺伝的アルゴリズムを用いる
– ネットワークの構造を指定して、重みのみ最適化させるもの、
構造と重みの両方を最適化させるものがある
– 勾配が利用できる場合は、重みの最適化は別の手法を用い、ハ
イパーパラメータの最適化を行う
– 人手よりも広い空間を探索できる
3

4. 関連研究
• NEAT(Neuroevolution of augmenting topologies)
– GAを用いてネットワークを学習
– シンプルな構造からスタート
– Mutationにより段々と複雑な構造に
– Historical markingsによって交叉させる
– Speciationによって新しい構造がすぐ消えることを防ぐ
4

5. NEAT
• Genetic Encoding
Kenneth O. Stanley and Risto Miikkulainen. 2002. Evolving Neural Networks Through Augmenting
Topologies. Evolutionary Computation 10 (2002), 99–127より
5

6. NEAT
• Mutation
6
Kenneth O. Stanley and Risto Miikkulainen. 2002. Evolving Neural Networks Through Augmenting Topologies. Evolutionary Computation 10 (2002), 99–127より

7. NEAT
• 交叉
7

8. NEAT
• Speciation
– 全体の中ではなく、species(sub population)の中で競争する
– これによって新しい構造が十分なポテンシャルを発揮する前に
消えることを防ぐ
8

9. DeepNEAT
• NEATをDNN向けに拡張
• NEATでは遺伝子はニューロンを表していたが、こちらはレ
イヤー（畳み込み、全結合など）を表す
• ニューロン数やカーネルサイズなどのハイパーパラメータ
も持つ
• エッジはどのレイヤーと繋がっているかを示す
• 染色体に対応するグラフを作れば、DNNが構築できる
9

10. DeepNEAT
• 複数のレイヤーからの入力がある時は連結するか、要素ご
とに足して、出力と入力の次元を合わせる
• 複数の出力の次元が異なる場合は最も小さいものに合わせ
る
• 作成されたDNNは決まったエポック数学習させて評価する
• 得られる構造は複雑で非原理的なものが多い
• 基本的なコンポーネントを繰り返す典型的なDNNアーキテ
クチャとは対照的
10

11. CoDeepNEAT
• モジュールと青写真を別々に最適化する
• 青写真の染色体はモジュールのspeciesを繋いだグラフ
• モジュールの染色体は小さいDNNを表したグラフ
• 評価は両者を繋げて行い、モジュールと青写真の両方に帰
する。
11

12. CIFAR-10 Benchmarkに適用
• 50000の訓練画像と10000のテスト画像
• 32＊32のカラー画像で10クラス分類
• CNNの最適化を行う
• 25の青写真と45のモジュールで初期化
• 100のCNNを評価の度に作成
12

13. CIFAR-10 Benchmarkに適用
• 50000の訓練画像は42500のトレーニングセットと7500の
ヴァリデーションセットに分割
– 各ネットワークはトレーニングセットで8エポック学習した後
ヴァリデーションセットで評価
• 72世代後にベストなものが作成された
– ベストなものには、50000の訓練画像を300エポック学習
• エラー率は7.3%（Snoekらは6.4%）
• 進化途中では限られた学習しか出来ないため進化したネッ
トワークは学習が早く進んだ
– Snoekらは30エポックで20%テストエラーで200エポックで収束
したのに対し、12エポックで20%、120エポックで収束
13

14. CIFAR-10 Benchmarkに適用
14
• ベストなネットワーク

15. Language Modeling Benchmarkに適用
• Penn Tree Bank(PTB)データセットを用いる
– トレーニング、ヴァリデーション、テストの単語数はそれぞれ
929k,73k,83k
• 二通りのMutation
– LSTMレイヤー間の繋がりを作る若しくは無くす
– Skip connectionを作る若しくは無くす
• 50のLSTMネットワークが[-0.05, 0.05]の結合重みで初期化
– 各ネットワークは650の隠れノードをもつ2つのreccurent
layer(LSTMとその変種)から成る
• 各ネットワーウは39エポック学習され、学習率は6エポッ
クごとに0.8倍、ドロップアウト率は0.5
15

16. Language Modeling Benchmarkに適用
• 25世代後にベストなものが作成
– 普通のLSTMより5%良くなった
– 人に設計されたものに似た物ができた
16

17. キャプション生成に適用
• ImageNetで事前学習されたモデルを画像の埋め込み処理に
使う
• 初期のネットワークでは、画像とテキストは共通の埋め込
み層に入力され、埋め込み層はソフトマックス出力と密に
繋がっている
• 500000のMSCOCOのimage-caption
ペアからランダムに100000取ってき
たもので6エピック訓練する
– ベストなものが選ばれたらサブサンプ
リングを補填するために学習率は1/5に
17

18. キャプション生成に適用
• MSCOCOは”common objects in context”を描くために選ば
れている
– 対象が比較的少ない
• 主にiconic imagesを対象に17000のimage-captionペアを追
加で作成
– 雑誌のウェブサイトから4000枚をとってきてその中から1000枚
をiconicとする
– その1000枚に似た16000枚の画像をリポジトリから自動で収集
– キャプションはSpare5１に従って人間が作成
• 元の100枚と3000枚の画像をテストに使用
• 進化中はMSCOCOのデータで訓練
– ベストなものは追加したものと合わせて一から訓練する
181https://mty.ai/computer-vision/

19. キャプション生成に適用
• 手動でチューニングされたものより良い精度を発揮
19
BaselineはShow and Tell モデル

20. キャプション生成に適用
• 間違えたキャプションでも部分的には正しい
20

21. まとめと考察
• 最先端のDNNと同程度の精度を達成
• 進化中では学習回数が限られていた
– 一番精度の良いものより早く学習できるものが構築された
– 単純な精度のみでなく、訓練時間、実行時間などを考慮したモ
デルが生成できる
• 計算リソースを増やせばもっと精度の良いものができるか
もしれない
21