Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

neural architecture search with reinforcement learning

217 views

Published on

ICLR'17で発表されたGoogleBrainによる論文です。
NeuralNetworkを生成するNeuralNetworkが提案されました。CNNやLSTMモデルを生成しています。

Published in: Technology
  • Be the first to comment

  • Be the first to like this

neural architecture search with reinforcement learning

  1. 1. By Yamato OKAMOTO NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING Neural Networkの 自動生成の手法!!
  2. 2. はじめに
  3. 3. 自己紹介 岡本大和(おかもとやまと)  2013 京都大学 情報学研究科 修士課程修了(美濃研究室所属)  画像処理やパターン認識の研究に着手  卒業後、オムロンに入社(京都企業!!)  R&D担当、機械学習・IoT・データ分析を扱う(バズワードばかり……) twitter.com/RoadRoller_DESU イラストレーターの友人が 描いてくれた似顔絵キャラ (※お気に入り)
  4. 4. 今回紹介する論文 Neural Architecture Search with Reinforcement Learning ICLR ‘2017 Barret Zoph, Quoc V. Le (Google Brain) https://arxiv.org/abs/1611.01578 https://www.youtube.com/watch?v=sROrvtXnT7Q http://rll.berkeley.edu/deeprlcoursesp17/docs/quoc_barret.pdf
  5. 5. 論文詳細 Neural Architecture Search with Reinforcement Learning
  6. 6. 背景と課題 深層学習の登場前後で人が担う役割が変化 • 登場前:Feature Design • 登場後:Architecture Design Architecture Designには専門知識と時間が必要 • モデルアーキテクチャに関わるパラメータは膨大 • 最適化するために試行錯誤を繰り返している状況 ・Filter Size ・Output Dim ・Stride Size etc…
  7. 7. 提案手法 Neural Networkを生成するNeural Networkを提案 Controller • RNN構造のNeural Network • CNNパラメータを生成 (Filter Width & Height. Output Dimension. Stride.) Child Network • CNN構造のNeural Network • Controllerの生成パラメータに基づいて複数構築される
  8. 8. ControllerはConv層のパラメータを出力 提案手法 Neural Networkを生成するNeural Networkを提案 Controller • RNN構造のNeural Network • CNNパラメータを生成 (Filter Width & Height. Output Dimension. Stride.) Child Network • CNN構造のNeural Network • Controllerの生成パラメータに基づいて複数構築される パラメータ候補に対して、 最適値をsoftmaxで出力する (例) Filter Height 候補値 [1.0, 3.0, 5.0, 7.0] 出力例 [0.0, 0.1, 0.7, 0.2]
  9. 9. Child NetworkのAccuracy ‘R’ を最大化するように、 Controllerのパラメータ ‘θc’ を最適化する 提案手法 Neural Networkを生成するNeural Networkを提案 Controller • RNN構造のNeural Network • CNNパラメータを生成 (Filter Width & Height. Output Dimension. Stride.) Child Network • CNN構造のNeural Network • Controllerの生成パラメータに基づいて複数構築される
  10. 10. 課題と工夫① R が θc で微分不可のため最適勾配法が適用できない 強化学習の枠組みを適用 • 報酬:Child NetworkのAccuracy(R) • 行動:T個のパラメータを1~Tの連続したAction(a1:T)とみなす Child Networkの個数mだけActionが繰り返されたとみなす • 方策:Controllerのパラメータθc Policy Gradient Methodによって方策 θc を最適化 • 報酬の期待値を微分した値 ∇θc J(θc) が近似的に求まる 報酬が高いChild Networkほど、 生成される確率が高くなるようΘcを更新
  11. 11. 課題と工夫② 全てのChild Networkで学習と評価するため計算量膨大 並行かつ非同期な学習によって高速化 • Controllerを複製してk個のReplicaを用意 • ReplicaはChild Networkをm個構築して∇θcJ(θc)を算出 • つまり合計でk*mのネットワークが同時に学習される • ∇θcJ(θc) を上位に送信してパラメータθcを更新
  12. 12. 課題と工夫③ ResNetなどで用いられたSkip Connectionに対応したい 手前のLayerと接続するかどうかSigmoidで算出 • N番目のLayerでは1~N番目のLayerと接続するか否かそれぞれ計算 • それぞれの隠れ層状態hとパラメータWを元に計算する
  13. 13. 課題と工夫④ recurrent cellを含むネットワーク構造にも対応したい Tree構造を前提に、cellの構成要素をControllerで出力 • cellの入力はxtとht-1、cellの出力はht • この計算ルートを3つのnodeからなるTree構造だと仮定(図左) • 各ノードの加算と活性化関数をControllerで出力(図中央) • 加算『add, Elem-Mult』、活性化関数『Identity, tanh, sigmoid, relu』 • さらにはcellを接続するnodeもControllerで出力(図右)
  14. 14. 評価 生成したモデルでState-of-the-Artに近い性能を達成 • CIFAR-10やImageNetなど様々なタスクで評価している • 下図はCIFAR-10の評価結果(他は省略)

×