[DL輪読会]NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection
•
4 likes•2,158 views
This document summarizes a research paper that applies neural architecture search (NAS) to feature pyramid networks (FPN) for object detection. Specifically, it searches for an optimal FPN structure by defining a search space that covers all possible cross-scale connections in FPN. The NAS process involves a controller RNN that samples "merging cells" to build the FPN, with the final outputs of the best cells forming the feature pyramid. The resulting NAS-FPN architecture achieves state-of-the-art object detection accuracy comparable to human-designed models but with faster inference speeds, demonstrating the effectiveness of the automated design approach.
![1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
NAS-FPN: Learning Scalable Feature Pyramid Architecture
for Object Detection (CVPR’19)
2019/4/19](https://image.slidesharecdn.com/20190419misono-190513060423/85/DL-NAS-FPN-Learning-Scalable-Feature-Pyramid-Architecture-for-Object-Detection-1-320.jpg)
Recommended
More Related Content
What's hot
What's hot (20)
Similar to [DL輪読会]NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection
Similar to [DL輪読会]NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection (20)
More from Deep Learning JP
More from Deep Learning JP (20)
Recently uploaded
Recently uploaded (20)
[DL輪読会]NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection
- 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection (CVPR’19) 2019/4/19
- 2. 書誌情報 • NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection • Golnaz Ghiasi, Tsung-Yi Lin, Ruoming Pang, Quoc V. Le • Google Brain • CVPR’19 • https://arxiv.org/abs/1904.07392 • FPN (Feature-Pyramid Network) に対するNASの適用 2019/4/19 2
- 3. Neural Architecture Search (NAS) • ネットワークアーキテクチャの自動設計 • 探索対象 レイヤーの種類 レイヤー数 パラメータ数 … • なんでもかんでも探索するのは難しいので，いかにいい感じに探索範囲を 定義するかがコツ 2019/4/19 3
- 4. NASの基本 • Controller RNNでアーキテクチャ をサンプリング (child network) • Child networkを訓練 • 訓練結果をもとにコントローラを更新 • コントローラの訓練方法 強化学習 進化計算 ベイズ最適化 2019/4/19 4 http://rll.berkeley.edu/deeprlcoursesp17/docs/quoc_barret.pdf
- 5. NASNet • CNN向けのアーキテクチャ探索 • 全体の構造は事前に決めておく • “Cell”の構造を探索 2019/4/19 Cell CellController RNN 5
- 6. この研究 • 最近の物体認識では，FPN (Feature Pyramid Network) をベースにしたものが多い点に注目 • 従来のNASでは対応していなかった， FPNの全てのcorss-scaleの接続を カバーする探索空間を定義 • ベースのアーキテクチャとしては RetinaNetを採用 • コントローラベースのNASで探索 2019/4/19 6 Feature Pyramid Networks for Object Detection (CVPR’17)
- 7. 提案手法 (NAS-FPN) 2019/4/19 7 Backbone Network (ResNet MobileNet ) : multiscale feature : FPN : : RetinaNet base
- 8. 探索方法 • Controller RNNで，”merging cell” を探索 • merging cellの出力は，次回以降の入力の候補になる • 最後の5つのmerging cellの出力が，feature pyramidの出力となる 2019/4/19 8 merging cell
- 9. 実装 • Proxy Task 良いFPN構造か判断するために利用 backbone: ResNet-10 入力 512x512, 10epoch ~1時間程度の訓練 • Controller RNN, PPO, APがreward 100 TPUs workqueue 8000stepで収束 2019/4/19 9
- 10. 実験パラメータ • batchsize 64 • multiscale training (random scale between [0.8, 1.2]) • focal loss α = 0.25, γ=1.6 • weight decay 0.0001 • momentum 0.9 • training 50 epoch / 150 epoch (when using DropBlock) • learning rate: 0.08, decayed 0.1 at 30 (120) and 40 (140) epochs 入力1280x1280のAmoebaNetのときはcosine learning rate • COCO 2017 dataset 2019/4/19 10
- 11. 探索過程 2019/4/19 11 cross-scale (e.g., high resolution input output feature layer ) feature reuse ( )
- 12. 最終的な探索結果 2019/4/19 12 ( (f) NAS-FPN/16.8AP)
- 13. 得られたFPN構造の評価 2019/4/19 13 (FPN backbone != backbone)
- 14. 性能比較 2019/4/19 14 accurate model fast model (for mobile) FPN
- 17. Any-time detection • NAS-FPNは，構造的にFPNの途中の 出力を利用して推論することも可能 (early exit) • deep supervision有りで訓練した モデルと，deep supervision無し で訓練 + early exit したモデル の精度はだいたい同じ (右図) 2019/4/19 17
- 18. まとめ • RetinaNetをベースにFPNにNASを適用 • 新しい点 merging cellを使ってcross-scaleな接続を学習可能にした • 割と既存手法のシンプルな応用 • この辺の話はどんどん増えていきそう データセットを変えるとアーキテクチャに変化があるのか? DARTSなどコントーラを利用しないNASでの応用? 2019/4/19 18