ICLR'17で発表されたGoogleBrainによる論文です。 NeuralNetworkを生成するNeuralNetworkが提案されました。CNNやLSTMモデルを生成しています。

1. By Yamato OKAMOTO
NEURAL ARCHITECTURE SEARCH WITH
REINFORCEMENT LEARNING
Neural Networkの
自動生成の手法！！

2. はじめに

3. 自己紹介 岡本大和（おかもとやまと）
 2013 京都大学 情報学研究科 修士課程修了（美濃研究室所属）
 画像処理やパターン認識の研究に着手
 卒業後、オムロンに入社（京都企業!!）
 R&D担当、機械学習・IoT・データ分析を扱う（バズワードばかり……）
twitter.com/RoadRoller_DESU
イラストレーターの友人が
描いてくれた似顔絵キャラ
（※お気に入り）

4. 今回紹介する論文
Neural Architecture Search
with Reinforcement Learning
ICLR ‘2017
Barret Zoph, Quoc V. Le (Google Brain)
https://arxiv.org/abs/1611.01578
https://www.youtube.com/watch?v=sROrvtXnT7Q
http://rll.berkeley.edu/deeprlcoursesp17/docs/quoc_barret.pdf

5. 論文詳細
Neural Architecture Search
with Reinforcement Learning

6. 背景と課題
深層学習の登場前後で人が担う役割が変化
• 登場前：Feature Design
• 登場後：Architecture Design
Architecture Designには専門知識と時間が必要
• モデルアーキテクチャに関わるパラメータは膨大
• 最適化するために試行錯誤を繰り返している状況
・Filter Size
・Output Dim
・Stride Size
etc…

7. 提案手法
Neural Networkを生成するNeural Networkを提案
Controller
• RNN構造のNeural Network
• CNNパラメータを生成
(Filter Width & Height. Output Dimension. Stride.)
Child Network
• CNN構造のNeural Network
• Controllerの生成パラメータに基づいて複数構築される

8. ControllerはConv層のパラメータを出力
提案手法
Neural Networkを生成するNeural Networkを提案
Controller
• RNN構造のNeural Network
• CNNパラメータを生成
(Filter Width & Height. Output Dimension. Stride.)
Child Network
• CNN構造のNeural Network
• Controllerの生成パラメータに基づいて複数構築される
パラメータ候補に対して、
最適値をsoftmaxで出力する
(例) Filter Height
候補値 [1.0, 3.0, 5.0, 7.0]
出力例 [0.0, 0.1, 0.7, 0.2]

9. Child NetworkのAccuracy ‘R’ を最大化するように、
Controllerのパラメータ ‘θc’ を最適化する
提案手法
Neural Networkを生成するNeural Networkを提案
Controller
• RNN構造のNeural Network
• CNNパラメータを生成
(Filter Width & Height. Output Dimension. Stride.)
Child Network
• CNN構造のNeural Network
• Controllerの生成パラメータに基づいて複数構築される

10. 課題と工夫①
R が θc で微分不可のため最適勾配法が適用できない
強化学習の枠組みを適用
• 報酬：Child NetworkのAccuracy(R)
• 行動：T個のパラメータを1~Tの連続したAction(a1:T)とみなす
Child Networkの個数mだけActionが繰り返されたとみなす
• 方策：Controllerのパラメータθc
Policy Gradient Methodによって方策 θc を最適化
• 報酬の期待値を微分した値 ∇θc J(θc) が近似的に求まる
報酬が高いChild Networkほど、
生成される確率が高くなるようΘcを更新

11. 課題と工夫②
全てのChild Networkで学習と評価するため計算量膨大
並行かつ非同期な学習によって高速化
• Controllerを複製してk個のReplicaを用意
• ReplicaはChild Networkをm個構築して∇θcJ(θc)を算出
• つまり合計でk*mのネットワークが同時に学習される
• ∇θcJ(θc) を上位に送信してパラメータθcを更新

12. 課題と工夫③
ResNetなどで用いられたSkip Connectionに対応したい
手前のLayerと接続するかどうかSigmoidで算出
• N番目のLayerでは1~N番目のLayerと接続するか否かそれぞれ計算
• それぞれの隠れ層状態hとパラメータWを元に計算する

13. 課題と工夫④
recurrent cellを含むネットワーク構造にも対応したい
Tree構造を前提に、cellの構成要素をControllerで出力
• cellの入力はxtとht-1、cellの出力はht
• この計算ルートを3つのnodeからなるTree構造だと仮定（図左）
• 各ノードの加算と活性化関数をControllerで出力（図中央）
• 加算『add, Elem-Mult』、活性化関数『Identity, tanh, sigmoid, relu』
• さらにはcellを接続するnodeもControllerで出力（図右）

14. 評価
生成したモデルでState-of-the-Artに近い性能を達成
• CIFAR-10やImageNetなど様々なタスクで評価している
• 下図はCIFAR-10の評価結果（他は省略）