Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[DL輪読会]Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation

1,681 views

Published on

2019/1/25
Deep Learning JP:
http://deeplearning.jp/hacks/

Published in: Technology
  • Be the first to comment

[DL輪読会]Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation

  1. 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation (arXiv preprint 2019) 2019/1/25
  2. 2. 書誌情報 • Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation • Chenxi Liu, Liang-Chieh Chen, Florian Schroff, Hartwig Adam, Wei Hua, Alan Yuille, Li Fei-Fei • Johns Hopkins University, Google, Stanford University • https://arxiv.org/abs/1901.02985 • Neural Architecture Searchをセグメンテーション問題に適用 ­ 3GPU, 1day (Cityscape) • PNASと同じ著者 2019/1/25 2
  3. 3. Neural Architecture Search (NAS) • ネットワークアーキテクチャの自動設計 • 探索対象 ­ レイヤーの種類 ­ レイヤー数 ­ パラメータ数 ­ … 2019/1/25 3
  4. 4. Cloud AutoML • https://cloud.google.com/automl/ 2019/1/25 4
  5. 5. NASの進化 • NAS (2016; ICLR’17) 800GPU (K40), 28days (cifer10) • NASNet (2017; CVPR’18) 450GPU (P100), 3-4days • PNAS (2017; ECCV’18) • ENAS (2018; ICML’18) 1GPU (GTX1080Ti), 16hr • DARTS (2018; ICLR’19) 2019/1/25 5
  6. 6. NASの基本 • Controller RNNがアーキテクチャ をサンプリング (child network) • Child networkを訓練 • 訓練結果をもとにコントローラを更新 • コントローラの訓練方法 ­ 強化学習 ­ 進化計算 ­ ベイズ最適化 2019/1/25 6
  7. 7. Controller RNN (for CNN) 2019/1/25 7 http://rll.berkeley.edu/deeprlcoursesp17/docs/quoc_barret.pdf
  8. 8. Skip connectionの表現 2019/1/25 8
  9. 9. Controller RNN (for RNN) 2019/1/25 9 Cell
  10. 10. NASNet • CNN向けのアーキテクチャ探索 • 探索空間をCellに限定 • 全体の構造は事前に決めておく 2019/1/25 Cell Normal Cell Reduction Cell 1/2^n
  11. 11. Controller RNN 2019/1/25 11 Softmax
  12. 12. ENAS • NAS(Net)はChild Network一から収束するまで訓練するから遅い ­ ! Transfer learningしてしまおう ­ Child Network間で重みを共有 • ENASでは探索空間を有向非巡回グラフ(DAG)で定義 • 接続の方法を探索 ­ 各辺に重みがある ­ 重みは共有する 2019/1/25 12
  13. 13. Recurrent Cellの探索 2019/1/25 13 Controller - -
  14. 14. CNNの探索 (アーキテクチャ) 2019/1/25 14
  15. 15. CNNの探索 (Cell) 2019/1/25 15 - node 1,2
  16. 16. DARTS • Differentiable Architecture Search • コントローラ方式からの脱却 • ネットワークを微分可能な形式にして探索する 2019/1/25 16
  17. 17. 探索空間の表現 2019/1/25 17 - x:
  18. 18. 訓練方法 2019/1/25 18 - Train w - Val α
  19. 19. 比較 2019/1/25 19From “DARTS: Differentiable Architecture Search”
  20. 20. Auto-DeepLab • 今まで紹介したNASは分類モデルが対象 • NASをセグメンテーションモデルへ拡張 • Challenge ­ 従来のNASではCellの探索が中心,ネットワーク構造は固定のものが多い ­ セグメンテーションではspatialな変化も重要 ­ セグメンテーションの場合,高解像度の画像を対象とした探索が重要 ­ その分計算能力が必要となる • Network levelとcell level networkをjoint training ­ Two-level hierarchical architecture search • DARTSと同様に訓練 2019/1/25 20
  21. 21. Cell level search • 構造はNASNetと同様 • 使用するブロック • 2つのinput, 一つの出力 ­ Input候補: 一つ前のCell, 二つ前のCell, 自分のブロックよりの前のブロックの出力 2019/1/25 21
  22. 22. Network level search • セグメンテーションでよく使用されるネットワークの特徴 ­ ある層の出力は,1) 入力の2倍, 2) 入力の1/2, 3) 入力と同じ のいずれか ­ 最小のdownsamplingサイズは32 2019/1/25 22Atrous Spatial Pyramid Pooling
  23. 23. (参考) 既存のネットワーク構造 2019/1/25 23
  24. 24. 実験結果: 実際に見つかったネットワーク (Cityscape) 2019/1/25 24 L=12 Input size: 321x321 3 P100 GPU, 3days
  25. 25. Cityscapes 2019/1/25 25 pretrain Cityscapes validation
  26. 26. PASCAL VOC 2012 2019/1/25 26 pretrain
  27. 27. Example 2019/1/25 27
  28. 28. 所感 • いかに探索空間を絞るかが肝 • セグメンテーション向け • 改良の余地はまだある ­ E.g., Networkレベルでのskip connection • メモリ使用率? • 基本的に精度をobjectiveとしている • 他の指標 ­ Inference time ­ Memory consumption ­ … 2019/1/25 28
  29. 29. 関連論文 • 主要論文のリスト ­ https://www.ml4aad.org/automl/literature-on-neural-architecture-search/ • ICLR’19 ­ DARTS: Differentiable Architecture Search (Liu et al.) [6,7,8] ­ https://openreview.net/forum?id=S1eYHoC5FX ­ SNAS: Stochastic Neural Architecture Search (Xie et al.) [6,7,7] ­ https://openreview.net/forum?id=rylqooRqK7 ­ Graph Hypernetworks for Neural Architecture Search (Zhang et al.) [7,6,7] ­ https://openreview.net/forum?id=rkgW0oA9FX ­ Efficient Multi-Objective Neural Architecture Search via Lamarckian Evolution (Elsken et al.) [6,6,6] ­ https://openreview.net/forum?id=ByME42AqK7 ­ ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware (Cai et al.) [6,6,7] ­ https://openreview.net/forum?id=HylVB3AqYm ­ Learnable Embedding Space for Efficient Neural Architecture Compression (Cao et al.) [5,7,6] ­ https://openreview.net/forum?id=S1xLN3C9YX 2019/1/25 29

×