Deep layer aggregation. Cvpr2018

1. Deep Layer Aggregation
Shinichiro MURAKAMI
2018/07/07

2. Your Date Here Your Footer Here
2
〜2013.3 東京工業大学
- 運動野の情報解析
- 内部モデルの不確かさを考慮した学習モデル
2013.4〜 アイシン精機（トヨタ系自動車部品会社）
- トイレ設計
- ドライバ画像解析（顔向き、視線、年齢、性別...）
2017.4〜 IMRA Europe
- ドライバ画像解析、歩行者行動解析
2018.4〜 アイシン精機（台場）
- 視線解析、周辺認識

3. CVPR2018
3

6. Today’s Paper
Deep Layer Aggregation
6

7. What is skip connection?
ResNeXt
For classification
ResNet
deeper
wider(cardinality)
deeper
wider

8. Residual Networks Behave Like Ensembles of Relatively Shallow Networks
認識性能が高くなる理由は、並列パスの
アンサンブル学習とみなせるため。
Visualizing the Loss Landscape of Neural Nets
高次元のnon-convex lossをフラットにし、
学習を簡単にする。
Effects of residual connections
1. Calculate residual
2. Skip connection
⇛勾配を伝えやすくし、勾配消失を軽減

9. For semantic segmentation
U-Net
Downsamplingした後に、詳細な空間情報の再現に使える

10. Effects of skip connections
1. CNN前半の粗い特徴と、CNN後半の詳細な特徴を組
み合わせて、性能向上
2. 勾配を伝えやすくし、勾配消失問題に対処
3. Downsamplingした後に、詳細な空間情報の再現に使
える（e.g. semantic segmentation)
4. 収束時間の低減

11. CVPR 2018

12. Question:
Which skip connection is
better?
12

13. Deep Layer Aggregation
Fisher Yu, Dequan Wang, Evan Shelhamer,Trevor Darrell
UC Berkeley
- 従来のネットワーク(ResNet, DenseNet, FCN, U-Net等)のskip connection
” ” ” ”は， 浅い 結合しか適用されていなかった。この論文では、より 深い 結合を
ネットワークに取り入れ、少パラメータかつ高精度なネットワークモデルを構築。
- skip connectionをtree構造に見立てて、どのようにaggregate(まとめる)すれば
よいかを検討。General viewから検討されているので、頭の整理になる。

14. Approaches to aggregation

15. Existing model Stage : 同じサイズのconvolutionをまとめたもの。
pooling等でactivation mapの大きさが変わると、変わる。

16. Deep Layer Aggregation (DLA)
+
=

17. Deep Layer Aggregation (DLA)
Conv2d(in=3, out=16, kernel=7)
Batch Normalization(BN)
Relu
Conv2d(in=16, out=16, kernel=3)
BN
Relu
Conv2d(in=16, out=32, kernel=3)
BN
Relu
Conv2d(in=32, out=64, kernel=3)
BN
Relu
Conv2d(in=64, out=64, kernel=3)
BN
Relu
Conv2d(in=64, out=64, kernel=3)
BN
Relu
Conv2d(in=64, out=64, kernel=3)
BN
Relu
Conv2d(in=128, out=64, kernel=1)
BN
Relu

18. Deep Layer Aggregation - semantic
segmentation

20. Results (ImageNet classification)

21. Results (ImageNet classification)
軽量化モデルであるSqueezeNetと比較しても、DLAのCompactモデルでは、少ないパラメータにも
関らず、認識性能は良い。

22. Results (Fine-grained dataset)

23. Results (Semantic segmentation)
Validation dataで
ストライドの比較
Test dataで他モデル
の性能比較

24. Visualization (Semantic
segmentation)

25. Conclusion
- Skip connectionに対して深い結合(Deep layer aggregation)をネットワークに
取り入れた。
- Tree構造に見立てたモジュール構造にすることで、一般的な観点からネット
ワーク構造の検討を行っている。（ただ、論文上でその比較が無いのが残念）
- Classification, semantic segmentation等の複数の画像認識タスクにおいて
sotaの性能を達成した。

26. BDD-100K
- 今回紹介した論文のFirst author, Fisher Yu, が担当者

27. Made with by
THANK YOU !