Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Searching for a_robust_neural_architecture_in_four_gpu_hours

1,193 views

Published on

6/30 第53回コンピュータビジョン勉強会

Published in: Science
  • Be the first to comment

Searching for a_robust_neural_architecture_in_four_gpu_hours

  1. 1. 1Copyright © Acroquest Technology Co., Ltd. All rights reserved. Searching for A Robust Neural Architecture in Four GPU Hours 2019/6/30 Acroquest Technology Co, Ltd 山本 大輝(@tereka114)
  2. 2. 自己紹介 1. 山本 大輝(@tereka114) 2. Acroquest Technology株式会社 3. 画像処理・自然言語処理の研究開発 4. Kaggle Master ① Home Credit Default Risk 2nd ② IEEE Signal Processing 10th 5. Interface 12月号 AIひょっこり猫カメラ (2018)
  3. 3. Acroquestのミッション・ビジョン Copyright © Acroquest Technology Co., Ltd. All rights reserved. 3 テクノロジストチームとして ビジネスの革新的価値創出に挑戦する ビジョン Acroquestの創り出す技術で 地球を感動で進化させる ミッション
  4. 4. 「働きがいのある会社(GPTW)」 ランキング(従業員25~99人部門) 1位 を 3回 受賞 1位 1位 1位
  5. 5. 本発表の想定 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 5 • Neural Networkで利用されるモデル・関数について知っている。 • ResNet/DenseNet • Convolution、Dilated Convolutionなど。 • Neural Architecture Searchは知らなくて問題ありません。 • 発表前の私も知らなかったので、説明します。
  6. 6. Outline Copyright © Acroquest Technology Co., Ltd. All rights reserved. 6 1. 紹介する論文の概要 2. Neural Architecture Search(NAS)とは? 3. NASの関連研究の紹介 4. 提案手法 5. 実験結果 6. 論文の結論 7. (個人的な)考察・感想
  7. 7. 1. 紹介する論文の概要 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 7 • Searching for A Robust Neural Architecture in Four GPU Hours • Baido Researchが発表した論文。 • 実装:https://github.com/D-X-Y/GDAS • 提案手法は従来の3000GPU時間->4GPU時間(0.1%)でNASの実 行が完了する。また、従来手法より精度が高い(複数のSoTA) 0 500 1000 1500 2000 2500 3000 3500 従来手法 提案手法 性能 性能 0.1%
  8. 8. 1. なぜ、この論文を読んだのか。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 8 • Google Auto MLなど自動的にモデルを最適化するサービスが展開 されてきている。 • NASは膨大な量のリソースを使って、最適化している印象があった。 • 私がNeural Architecture Search(NAS)に詳しくない。 そのため、実際にどの程度のことができているのかを知りたかった。
  9. 9. 2. Neural Architecture Search(NAS)とは Copyright © Acroquest Technology Co., Ltd. All rights reserved. 9 • ニューラルネットワークのアーキテクチャを自動的に作成する。 • 従来研究では、VGG/ResNet/DenseNetなど人間がニューラルネ ットワークの構造を定義していた。 • NASでこの構造を自動的に探索する。
  10. 10. 3. NASの関連研究の紹介 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 10 • Neural Architecture Search with Reinforcement Learning • DARTS: Differentiable Architecture Search
  11. 11. 3. Neural Architecture Search with Reinforcement Learning Copyright © Acroquest Technology Co., Ltd. All rights reserved. 12 • 機械で自動的に良いアーキテクチャを作る研究  ニューラルネットワークのデザインは難しい。 • Controller(RNN)によるデザインとスコアによる報酬の関係性を元にアーキ テクチャを改良した。 • 学習するデータセットが巨大な場合、学習コストが増大する。
  12. 12. 3. DARTS: Differentiable Architecture Search Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 • ニューラルネットワークのアーキテクチャのトポロジーを微分でき る式で定義し、勾配法で学習できるようにした。 →従来まで時間がかかっていたNASの時間を大幅に短縮した。
  13. 13. 4. 提案手法の概要 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 14 • 勾配法を利用した最適化手法を使い、ニューラルネットワークのアーキテクチ ャを示すパラメータと重みを最適化。 • 更に計算時にメモリや計算時間を短縮する工夫を入れた。 • 実験結果でも、この効果が出ている。 • 複数のデータセットの実験で従来手法よりも高速、かつ、SoTAを実現した。 • 提案手法の名前はGDASと命名されている。 Gradient-based search using Differentiable Architecture Sampler
  14. 14. 4. 提案手法の流れ(GDAS) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 15 1. 探索空間を定義する。 2. 最適化を行う。 ① パラメータの更新 ② アーキテクチャを示すパラメータの更新 3. アーキテクチャの決定 パラメータの 更新 アーキテクチャを 示すパラメータの 更新 探索空間を 定義 アーキテクチャ の決定
  15. 15. 4. 提案手法の流れ(GDAS) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16 1. 探索空間を定義する。 2. 最適化を行う。 ① パラメータの更新 ② アーキテクチャを示すパラメータの更新 3. アーキテクチャの決定 パラメータの 更新 アーキテクチャを 示すパラメータの 更新 探索空間を 定義 アーキテクチャ の決定
  16. 16. 4-1. 探索空間の定義 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 17 • NASでアーキテクチャを作るための探索すべきパラメータを定義す る。 →後述にてどのような指定が必要かを説明する。 • 探索空間の説明の前に本手法で扱うアーキテクチャの表現方法を紹 介する。
  17. 17. 4-1. アーキテクチャの表現 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 18 • 提案手法はアーキテクチャをDAG(非循環有向グラフ)で表現する。 • 本手法で扱う概念は次の通り。 • ノードの関係は次の数式で示すことができる。 No. 項目 説明 1 ノード 関数の計算結果(出力) 2 セル ノードの集合 3 ブロック セルの集合 →後述に図があり。 ノード= テンソル セル エッジ=関数 ノードi (計算結果) ノードk ノードj 関数
  18. 18. 4-1. 探索空間の定義 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 19 No. ハイパーパラメータ 説明 1 関数空間 何を計算すべきかの候補を定義する。 本手法で利用した関数は後述 2 計算ノード (論文中のB) 計算用のセルの数を定義する。 3 Convolutionのチャネ ル数(論文中C) Convolutionのチャネル数を示す。 4 ブロック数 セルをいくつ使って、ブロックを構成するか
  19. 19. 4-1. GDASのアーキテクチャ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 20 ・探索セル ・Normal Cell: ・通常のセル ・Reduction Cell: ・画像のサイズを減 少させるセル
  20. 20. 4-1. GDASの探索空間(関数) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 21 • Identity • Zeroise • 3x3 depth-wise separate conv • 3x3 dilated depse-wise separate conv • 5x5 depth-wise separate conv • 5x5 dilated depth-wise separate conv • 3x3 average pooling • 3x3 max pooling
  21. 21. 4. 提案手法の流れ(GDAS) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 22 1. 探索空間を定義する。 2. 最適化を行う。 ① パラメータの更新 ② アーキテクチャを示すパラメータの更新 3. アーキテクチャの決定 パラメータの 更新 アーキテクチャを 示すパラメータの 更新 探索空間を 定義 アーキテクチャ の決定
  22. 22. 4-2. 最適化の内容 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 23 1. 学習で最適化するのは次の2つ、これら2つを交互に更新する。 ① ニューラルネットワークのアーキテクチャの重み ② アーキテクチャを示すパラメータAの更新 – 最終的にアーキテクチャを決定する方法は後述 2. 次の数式は1の方式を示す。 選択されたアーキテクチャの 中で最も良いパラメータ アーキテクチャ選択による誤差 を最小にする。
  23. 23. 4-2. 最適化のアルゴリズム(疑似コード) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 24 重みを更新 アーキテクチャの パラメータを更新 データを学習データか らサンプリングする。 データを検証データか らサンプリングする。 汎化性能向 上のため、 検証データ を利用
  24. 24. 4-2. 目的関数 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 25 Negative log likelihood アーキテクチャαをサンプ リング サンプリングしたαの重み
  25. 25. 4-2. GDASのアーキテクチャ構築 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 26 誤差逆伝搬法で更新できないため Gumbel-Max Trickを用いて更新 関数の集合から関数を サンプリング 最も高い値を選択 argmaxをsoftmaxに緩和する。 argmaxだと特定のインデックス のみにしか勾配法を適用できない ため、分布の学習が難しい アーキテクチャを 示すパラメータ
  26. 26. 4-2. Gumbel-Max Trick Copyright © Acroquest Technology Co., Ltd. All rights reserved. 27 • カテゴリカルな分布からサンプリングを行うためのテクニック。 1. ノイズoをGumbel分布から生成する。 – 必ず同じ値が生成されず、ランダム要素が含まれる。 – Gumbel分布は極値分布の一種 2. 1で生成したoとargmaxを用いて擬似的にサンプリングする。 • 論文はsoftmax(argmaxではない)を利用して、学習する。 • argmaxでは、特定のインデックスのみ学習が行われ、分布が正しく学習で きない。
  27. 27. 4-2. Acceleration(最適化の工夫) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 28 1. Forward, Backwardでargmaxのみを計算する。 ① Forward:関数空間の中で最も確率が高いものを残す。 ② Backward:生成された乱数に基づき、最も確率が高い部分の勾配を利用する。 2. このAccelerationの効果として次が望める。 ① GPUメモリの節約(関数空間の数= F Times) ② 計算時間の節約(関数空間の数=F Times) 3. 後述の実験で検証されているが、Accelerationを挟むことで収束ま での時間は早い。(ステップあたりは遅い)
  28. 28. 4. 提案手法の流れ(GDAS) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 29 1. 探索空間を定義する。 2. 最適化を行う。 ① パラメータの更新 ② アーキテクチャを示すパラメータの更新 3. アーキテクチャの決定 パラメータの 更新 アーキテクチャを 示すパラメータの 更新 探索空間を 定義 アーキテクチャ の決定
  29. 29. 4-3. 最終的なアーキテクチャの決定 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 30 1. 最適化で得られたパラメータ(A)から、最終的なアーキテクチャを 決定する。 ① ノード間の重要度を定義する。 ② ノード間で重要度の高い接続(T)を残す。 ③ 最も重要度の高い関数をノード間で適用する。 2. 従来研究より、前ノードからの接続(T)はCNNは2, RNNは1とし た。 ノード間の重要度 を計算する式
  30. 30. 4-3. 最終的なアーキテクチャの決定 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 31 前ノードの入力(2)前ノードの入力(1) 出力
  31. 31. 5. 実験内容 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 32 1. 計測条件(その他は記述なし) • GPU:Tesla V100 2. データセット No. データセット名 データセットの説明 1 CIFAR-10/CIFAR-100 画像分類のデータセット 2 ImageNet 画像分類のデータセット (1と比較してデータの規模が大きい) 3 Pen Tree Bank 自然言語処理で利用されるデータセット 前の単語から、後ろの単語を推測する。 4 WikiText-2 (WT2) 自然言語処理で利用されるデータセット 前の単語から、後ろの単語を推測する。 (3と比較してデータの規模が大きい)
  32. 32. 5. 実験結果(CIFAR-10, CIFAR-100) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 33 V100:4h Titan/GTX 1080Ti:7h
  33. 33. 5. 実験結果(ImageNet) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 34
  34. 34. 5. 実験結果(PTB) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 35 著者のコードが最適化 されておらず、 理論値的には改善可能
  35. 35. 5. 実験結果(WT2) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 36
  36. 36. 6. 論文の結論 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 37 • 勾配法で最適化するNASの一種、GDASの提案を行った。 • 従来手法よりも効率よく、高速に探索できた。 • 10000倍の性能改善を実現した。 • CNN/RNNのタスクでState of the Artを出した。
  37. 37. 7. 考察・感想 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 38 • GTX 1080Tiでも7GPU hoursであれば、個人的な利用用途でも、 計算可能である。 • 新しいデータセットに対して最適なアーキテクチャを素早く作るなど。 • 推論の性能による制約は未知数と感じている。このあたりは今後の 発展に期待。 →CVPR2019でAcceptされたFBNetは性能も考慮した勾配系の論 文らしいので興味あり。 • 研究の進展が早いので、今後の発展に期待してます。
  38. 38. ご清聴ありがとうございました。 Evolve the Earth with Emotion of Technology Copyright © Acroquest Technology Co., Ltd. All rights reserved. 39

×