20190630_VoVNet

An Energy and GPU-Computation
Efficient Backbone Network
for Real-Time Object Detection
2019.06.30
hei4

本日紹介する研究する研究研究
●
軽量化のワークショップ『のワークショップ『ワークショップ『 CEFRL2019 』での発表の中から紹介でのワークショップ『発表の中から紹介のワークショップ『中から紹介から紹介紹介する研究
“CEFRL 2019: 3rd International Workshop on Compact and Efficient
Feature Representation and Learning in Computer Vision 2019”
●
書誌情報：
Lee, Youngwan, et al. "An Energy and GPU-Computation Efficient Backbone
Network for Real-Time Object Detection." Proceedings of the IEEE
Conference on Computer Vision and Pattern Recognition Workshops. 2019.
●
GPU でのワークショップ『高計算効率と低消費電力を目標とした、軽量化アーキテクチャの研究。と低消費電力を目標とした、軽量化アーキテクチャの研究。低消費電力を目標とした、軽量化アーキテクチャの研究。を目標とした、軽量化アーキテクチャの研究。目標とした、軽量化アーキテクチャの研究。と低消費電力を目標とした、軽量化アーキテクチャの研究。した、軽量化アーキテクチャの研究。軽量化のワークショップ『アーキテクチャの研究。のワークショップ『研究。
『 OSA 』での発表の中から紹介モジュールと、『と低消費電力を目標とした、軽量化アーキテクチャの研究。、軽量化アーキテクチャの研究。『 VoVNet 』での発表の中から紹介ネットワークを目標とした、軽量化アーキテクチャの研究。提案

本日のワークショップ『発表の中から紹介のワークショップ『主旨
1. モデルと、『サイズや演算量の削減を焦点にあてた従来の軽量化アーキテクチャは、や演算量の削減を焦点にあてた従来の軽量化アーキテクチャは、演算量のワークショップ『削減を焦点にあてた従来の軽量化アーキテクチャは、を目標とした、軽量化アーキテクチャの研究。焦点にあてた従来の軽量化アーキテクチャは、にあてた従来の軽量化アーキテクチャは、のワークショップ『軽量化のワークショップ『アーキテクチャの研究。は、軽量化アーキテクチャの研究。
GPU 上では高速・低消費電力とは限らないということでは高速・低消費電力を目標とした、軽量化アーキテクチャの研究。と低消費電力を目標とした、軽量化アーキテクチャの研究。は限らないということら紹介ないと低消費電力を目標とした、軽量化アーキテクチャの研究。いうこと低消費電力を目標とした、軽量化アーキテクチャの研究。
2. GPU にと低消費電力を目標とした、軽量化アーキテクチャの研究。って効率と低消費電力を目標とした、軽量化アーキテクチャの研究。的なアーキテクチャの指針なアーキテクチャの研究。のワークショップ『指針
3. DenseBlock/DenseNet を目標とした、軽量化アーキテクチャの研究。改善したした OSA/VoVNet のワークショップ『紹介する研究

発表の中から紹介のワークショップ『アウトライン
●
DenseBlock/DenseNet へのワークショップ『期待と課題と低消費電力を目標とした、軽量化アーキテクチャの研究。課題
●
GPU のワークショップ『効率と低消費電力を目標とした、軽量化アーキテクチャの研究。性に大きく影響を与える要素に大きく影響を与える要素きく影響を与える要素影響を与える要素を目標とした、軽量化アーキテクチャの研究。与える要素える研究要素
●
OSA のワークショップ『提案
●
VoVNet のワークショップ『提案と低消費電力を目標とした、軽量化アーキテクチャの研究。実験結果
●
総括

DenseBlock
Huang, Gao, et al. "Densely connected convolutional networks." CVPR 2017.
各層の出力がのワークショップ『出力を目標とした、軽量化アーキテクチャの研究。が
後続層の出力がのワークショップ『入力を目標とした、軽量化アーキテクチャの研究。に
チャの研究。ネルと、『連結
入力を目標とした、軽量化アーキテクチャの研究。チャの研究。ネルと、『数が大きいためが大きく影響を与える要素きいため
3x3 畳み込みの前にみ込みの前に込みの前にみ込みの前にのワークショップ『前にに
1x1 ボトルと、『ネックでチャの研究。ネルと、『削減を焦点にあてた従来の軽量化アーキテクチャは、
入力を目標とした、軽量化アーキテクチャの研究。チャの研究。ネルと、『数が大きいためは
線形に増加に増加
多様な受容野を形成な受容野を形成を目標とした、軽量化アーキテクチャの研究。形に増加成
出力を目標とした、軽量化アーキテクチャの研究。チャの研究。ネルと、『数が大きいためは
一定かつ（比較的）小さいかつ（比較的）小さい比較的なアーキテクチャの指針）小さいさい

DenseNet へのワークショップ『期待と課題
●
画像分類ではでは DenseNet は高精度を示しているを目標とした、軽量化アーキテクチャの研究。示しているしている研究
●
物体検出では様な受容野を形成々なスケールの物体を認識する必要があるなスケールと、『のワークショップ『物体を目標とした、軽量化アーキテクチャの研究。認識する必要があるする研究必要がある研究
●
多様な受容野を形成な受容野を形成を目標とした、軽量化アーキテクチャの研究。持つつ DenseNet は、軽量化アーキテクチャの研究。物体検出のワークショップ『バックボーンと低消費電力を目標とした、軽量化アーキテクチャの研究。して期待と課題できる研究
●
FLOPs や演算量の削減を焦点にあてた従来の軽量化アーキテクチャは、パラメータ数も数が大きいためも DenseNet は ResNet に比べ小さい小さいさい
※FLOPs ：積和演算回数が大きいため

DenseNet バックボーンのワークショップ『結果
●
著者らがら紹介が DenseNet バックボーンのワークショップ『 RefineDet を目標とした、軽量化アーキテクチャの研究。実装し、し、軽量化アーキテクチャの研究。 COCO で実験
●
期待と課題通りり DenseNet バックボーンは高精度を示しているであった
●
しかし、軽量化アーキテクチャの研究。 FLOPs や演算量の削減を焦点にあてた従来の軽量化アーキテクチャは、パラメータ数も数が大きいためは小さいさいが、軽量化アーキテクチャの研究。
　 GPU でのワークショップ『推論速度を示しているや演算量の削減を焦点にあてた従来の軽量化アーキテクチャは、消費電力を目標とした、軽量化アーキテクチャの研究。は大きく影響を与える要素きい結果と低消費電力を目標とした、軽量化アーキテクチャの研究。なった
DenseNet のワークショップ『非効率と低消費電力を目標とした、軽量化アーキテクチャの研究。性に大きく影響を与える要素のワークショップ『理由を挙げる前に、を目標とした、軽量化アーキテクチャの研究。挙げる前に、げる研究前にに、軽量化アーキテクチャの研究。
従来の軽量化アーキテクチャは、のワークショップ『軽量化のワークショップ『アーキテクチャの研究。のワークショップ『指針が GPU における研究効率と低消費電力を目標とした、軽量化アーキテクチャの研究。性に大きく影響を与える要素のワークショップ『観点にあてた従来の軽量化アーキテクチャは、と低消費電力を目標とした、軽量化アーキテクチャの研究。は
一致していない点を説明していない点にあてた従来の軽量化アーキテクチャは、を目標とした、軽量化アーキテクチャの研究。説明

従来の軽量化アーキテクチャは、のワークショップ『軽量化のワークショップ『アーキテクチャの研究。
●
従来の軽量化アーキテクチャは、のワークショップ『軽量化のワークショップ『アーキテクチャの研究。は、軽量化アーキテクチャの研究。 FLOPs や演算量の削減を焦点にあてた従来の軽量化アーキテクチャは、パラメータ数も数が大きいためのワークショップ『削減を焦点にあてた従来の軽量化アーキテクチャは、が焦点にあてた従来の軽量化アーキテクチャは、
●
例）ボトルと、『ネック、軽量化アーキテクチャの研究。 Separable Conv
3x3 conv 1x1 conv
3x3 conv
1x1 conv
(point-wise)
3x3 conv
1x1 conv
(point-wise)
3x3 conv
depth-wise
M ch
N/a chN ch
M ch M ch
N ch
N ch
N ch
ノーマルと、『ボトルと、『ネック Separable Convolution

GPU のワークショップ『動作効率と低消費電力を目標とした、軽量化アーキテクチャの研究。に影響を与える要素する研究 2 つのワークショップ『要因
●
しかし、軽量化アーキテクチャの研究。 FLOPs や演算量の削減を焦点にあてた従来の軽量化アーキテクチャは、パラメータ数も数が大きいためを目標とした、軽量化アーキテクチャの研究。削減を焦点にあてた従来の軽量化アーキテクチャは、しても、軽量化アーキテクチャの研究。
GPU のワークショップ『推論時間や消費電力が削減されるとは限らないや演算量の削減を焦点にあてた従来の軽量化アーキテクチャは、消費電力を目標とした、軽量化アーキテクチャの研究。が削減を焦点にあてた従来の軽量化アーキテクチャは、される研究と低消費電力を目標とした、軽量化アーキテクチャの研究。は限らないということら紹介ない
– MobileNet v2 と低消費電力を目標とした、軽量化アーキテクチャの研究。同程度を示しているのワークショップ『 FLOPs を目標とした、軽量化アーキテクチャの研究。持つつ ShuffleNet v2 が、軽量化アーキテクチャの研究。 GPU 上では高速・低消費電力とは限らないということでは前に
者らがよりも高速に実行される事例される研究事例
– AlexNet より 50 倍少ない重みを持つない重みを持つみ込みの前にを目標とした、軽量化アーキテクチャの研究。持つつ SqueezeNet は、軽量化アーキテクチャの研究。 GPU 上では高速・低消費電力とは限らないということで前に者らがよりも
多く影響を与える要素のワークショップ『電力を目標とした、軽量化アーキテクチャの研究。を目標とした、軽量化アーキテクチャの研究。消費する研究事例
●
GPU のワークショップ『動作効率と低消費電力を目標とした、軽量化アーキテクチャの研究。に大きく影響を与える要素きく影響を与える要素影響を与える要素する研究要因が存在
1. メモリーアクセスコスト（比較的）小さい MAC ）
2. GPU 並列計算効率と低消費電力を目標とした、軽量化アーキテクチャの研究。
●
MAC と低消費電力を目標とした、軽量化アーキテクチャの研究。 GPU 並列計算効率と低消費電力を目標とした、軽量化アーキテクチャの研究。に焦点にあてた従来の軽量化アーキテクチャは、を目標とした、軽量化アーキテクチャの研究。当てることで、てる研究こと低消費電力を目標とした、軽量化アーキテクチャの研究。で、軽量化アーキテクチャの研究。 GPU のワークショップ『動作効率と低消費電力を目標とした、軽量化アーキテクチャの研究。を目標とした、軽量化アーキテクチャの研究。改善したできる研究

1. メモリーアクセスコスト（比較的）小さい MAC ）
●
CNN における研究エネルと、『ギー消費のワークショップ『主な原因はメモリアクセス。データ数もにアクセスする研究
こと低消費電力を目標とした、軽量化アーキテクチャの研究。は、軽量化アーキテクチャの研究。演算自体よりも桁違いに高い電力を消費するいに高い電力を目標とした、軽量化アーキテクチャの研究。を目標とした、軽量化アーキテクチャの研究。消費する研究
●
またメモリアクセスのワークショップ『時間や消費電力が削減されるとは限らないは推論時間や消費電力が削減されるとは限らないのワークショップ『大きく影響を与える要素部分を目標とした、軽量化アーキテクチャの研究。占め、め、軽量化アーキテクチャの研究。 GPU プロセスのワークショップ『ボトルと、『ネッ
クになりえる研究
●
すなわち同一の同一のワークショップ『 FLOPs と低消費電力を目標とした、軽量化アーキテクチャの研究。パラメータ数も数が大きいためでも、軽量化アーキテクチャの研究。 MAC によって消費電力を目標とした、軽量化アーキテクチャの研究。も推論速度を示しているも
異なってくるなってく影響を与える要素る研究
●
ShuffleNet v2 のワークショップ『論文にて、にて、軽量化アーキテクチャの研究。 MAC のワークショップ『式とその下限が提案されていると低消費電力を目標とした、軽量化アーキテクチャの研究。そのワークショップ『下限らないということが提案されている研究
– 入力を目標とした、軽量化アーキテクチャの研究。チャの研究。ネルと、『数が大きいため＝出力を目標とした、軽量化アーキテクチャの研究。チャの研究。ネルと、『数が大きいためのワークショップ『と低消費電力を目標とした、軽量化アーキテクチャの研究。き、軽量化アーキテクチャの研究。 MAC は下限らないということに一致していない点を説明（比較的）小さい＝ MAC 最小さい化のワークショップ『）
MAC=hw (ci+co)+k2
ci co MAC≥2hw √ci co+k2
ci co
k: カーネルと、『サイズや演算量の削減を焦点にあてた従来の軽量化アーキテクチャは、　 h/w: 特徴マップの高さマップのワークショップ『高さ / 幅　 ci
: 入力を目標とした、軽量化アーキテクチャの研究。チャの研究。ネルと、『数が大きいため　 co
: 出力を目標とした、軽量化アーキテクチャの研究。チャの研究。ネルと、『数が大きいため
Ma, Ningning, et al.
"Shufflenet v2: Practical guidelines for efficient cnn architecture design."
Proceedings of the European Conference on Computer Vision (ECCV). 2018.

2.GPU 並列計算効率と低消費電力を目標とした、軽量化アーキテクチャの研究。
●
畳み込みの前にみ込みの前に込みの前にみ込みの前にを目標とした、軽量化アーキテクチャの研究。分解すると並列に処理される演算が少なくなるため、する研究と低消費電力を目標とした、軽量化アーキテクチャの研究。並列に処理される研究演算が少ない重みを持つなく影響を与える要素なる研究ため、軽量化アーキテクチャの研究。 GPU のワークショップ『計算効
率と低消費電力を目標とした、軽量化アーキテクチャの研究。が悪化のワークショップ『する研究
●
できる研究だけ少ない重みを持つない層の出力がでネットワークを目標とした、軽量化アーキテクチャの研究。構成する研究こと低消費電力を目標とした、軽量化アーキテクチャの研究。が好ましいましい
– separable convolution や演算量の削減を焦点にあてた従来の軽量化アーキテクチャは、ボトルと、『ネックはＦＬＯＰ s を目標とした、軽量化アーキテクチャの研究。削減を焦点にあてた従来の軽量化アーキテクチャは、できる研究が、軽量化アーキテクチャの研究。１ × １
conv を目標とした、軽量化アーキテクチャの研究。追加する研究のワークショップ『で GPU 並列計算効率と低消費電力を目標とした、軽量化アーキテクチャの研究。にと低消費電力を目標とした、軽量化アーキテクチャの研究。っては有害
●
GPU 推論時間や消費電力が削減されるとは限らないを目標とした、軽量化アーキテクチャの研究。総 FLOPs で除算した（比較的）小さい FLOP/s ）を目標とした、軽量化アーキテクチャの研究。導入
– アーキテクチャの研究。によって FLOP/s は異なってくるなる研究ため、軽量化アーキテクチャの研究。実際ののワークショップ『 FLOP/s を目標とした、軽量化アーキテクチャの研究。計測するこする研究こ
と低消費電力を目標とした、軽量化アーキテクチャの研究。が肝要

DenseBlock のワークショップ『分析
各層の出力がのワークショップ『出力を目標とした、軽量化アーキテクチャの研究。が
後続層の出力がのワークショップ『入力を目標とした、軽量化アーキテクチャの研究。に
チャの研究。ネルと、『連結
入力を目標とした、軽量化アーキテクチャの研究。チャの研究。ネルと、『数が大きいためが大きく影響を与える要素きいため
3x3 畳み込みの前にみ込みの前に込みの前にみ込みの前にのワークショップ『前にに
1x1 ボトルと、『ネックでチャの研究。ネルと、『削減を焦点にあてた従来の軽量化アーキテクチャは、
入力を目標とした、軽量化アーキテクチャの研究。チャの研究。ネルと、『数が大きいためは
線形に増加に増加
多様な受容野を形成な受容野を形成を目標とした、軽量化アーキテクチャの研究。形に増加成
出力を目標とした、軽量化アーキテクチャの研究。チャの研究。ネルと、『数が大きいためは
一定かつ（比較的）小さいかつ（比較的）小さい比較的なアーキテクチャの指針）小さいさい
高い MAC
GPU 並列計算効率と低消費電力を目標とした、軽量化アーキテクチャの研究。を目標とした、軽量化アーキテクチャの研究。損なうなう

改善したのワークショップ『ためのワークショップ『 DenseNet のワークショップ『解すると並列に処理される演算が少なくなるため、析
●
学習済みみ込みの前に DenseNet のワークショップ『重みを持つみ込みの前にを目標とした、軽量化アーキテクチャの研究。可視化のワークショップ『
●
入力を目標とした、軽量化アーキテクチャの研究。層の出力がから紹介出力を目標とした、軽量化アーキテクチャの研究。層の出力がへのワークショップ『重みを持つみ込みの前に（比較的）小さい絶対値の平均）のワークショップ『平均）
入力を目標とした、軽量化アーキテクチャの研究。層の出力が
出力を目標とした、軽量化アーキテクチャの研究。層の出力が
Block1 Block2 Block3

改善したのワークショップ『ためのワークショップ『 DenseNet のワークショップ『解すると並列に処理される演算が少なくなるため、析
Block1 Block2 Block3 中から紹介間や消費電力が削減されるとは限らない層の出力がのワークショップ『
集約強度を示しているが高い
最終層の出力がのワークショップ『
集約強度を示しているは低い最終層の出力がのワークショップ『
集約強度を示しているは高い
中から紹介間や消費電力が削減されるとは限らない層の出力がのワークショップ『
集約強度を示しているが低い
●
中から紹介間や消費電力が削減されるとは限らない層の出力がと低消費電力を目標とした、軽量化アーキテクチャの研究。最終層の出力がのワークショップ『集約強度を示しているは負の関係にあると仮説を立てたのワークショップ『関係にあると仮説を立てたにある研究と低消費電力を目標とした、軽量化アーキテクチャの研究。仮説を目標とした、軽量化アーキテクチャの研究。立てたてた

DenseBlock のワークショップ『集約のワークショップ『概念図
■→■ ■■→■ ■■■→■ ■■■■→

誇張したした事例（比較的）小さい中から紹介間や消費電力が削減されるとは限らない層の出力がのワークショップ『集約：強）
■→■ ■■→■ ■■■→■ ■■■■→x x x

誇張したした事例（比較的）小さい最終層の出力がのワークショップ『集約：強）
■→■ ■■→■ ■■■→■ ■■■■→x x x

OSA (One Shot Aggregation)
●
（比較的）小さい仮説が正しければ、）最終層でのみ集約すれば中間層での集約は不要しければ、軽量化アーキテクチャの研究。）最終層の出力がでのワークショップ『み込みの前に集約すれば中から紹介間や消費電力が削減されるとは限らない層の出力がでのワークショップ『集約は不要
●
DenseBlock のワークショップ『非効率と低消費電力を目標とした、軽量化アーキテクチャの研究。性に大きく影響を与える要素を目標とした、軽量化アーキテクチャの研究。改善したする研究 OSA を目標とした、軽量化アーキテクチャの研究。提案
– 入力を目標とした、軽量化アーキテクチャの研究。チャの研究。ネルと、『数が大きいためが増加しないため、軽量化アーキテクチャの研究。ボトルと、『ネックが不要　（比較的）小さい高並列計算効率と低消費電力を目標とした、軽量化アーキテクチャの研究。）
– 入力を目標とした、軽量化アーキテクチャの研究。チャの研究。ネルと、『数が大きいため＝出力を目標とした、軽量化アーキテクチャの研究。チャの研究。ネルと、『数が大きいために設計　（比較的）小さい MAC 最小さい化のワークショップ『）

OSA のワークショップ『 CIFAR-10 でのワークショップ『確認
●
DenseBlock (12 層の出力が )
CIFAR-10 　 94.8%
●
OSA (12 層の出力が )
CIFAR-10 　 93.6%
●
OSA (5 層の出力が )
CIFAR-10 　 94.6%
集約強度を示しているが低いのワークショップ『で、軽量化アーキテクチャの研究。層の出力が数が大きいためを目標とした、軽量化アーキテクチャの研究。削減を焦点にあてた従来の軽量化アーキテクチャは、できる研究→ OSA5 層の出力が

VoVNet
●
OSA で構成した VoVNet を目標とした、軽量化アーキテクチャの研究。提案（比較的）小さい VoV: Variety of View ）
●
VoVNet を目標とした、軽量化アーキテクチャの研究。バックボーンにした DSOD 、軽量化アーキテクチャの研究。 RefineDet 、軽量化アーキテクチャの研究。 Mask R-CNN を目標とした、軽量化アーキテクチャの研究。実装し、して検証実験

VOC2007-test/ DSOD
goodgood
good
good
good

COCO test-dev/RefineDet
goodgood
good
good
good

総括
●
DenseNet は物体検出ネットワークのワークショップ『バックボーンと低消費電力を目標とした、軽量化アーキテクチャの研究。して有望だが、だが、軽量化アーキテクチャの研究。
GPU 実行される事例速度を示しているが遅く、消費電力も大きいく影響を与える要素、軽量化アーキテクチャの研究。消費電力を目標とした、軽量化アーキテクチャの研究。も大きく影響を与える要素きい
●
DenseNet のワークショップ『非効率と低消費電力を目標とした、軽量化アーキテクチャの研究。性に大きく影響を与える要素を目標とした、軽量化アーキテクチャの研究。解すると並列に処理される演算が少なくなるため、消する研究 One Shot Aggregation (OSA) と低消費電力を目標とした、軽量化アーキテクチャの研究。いうブロッ
クと低消費電力を目標とした、軽量化アーキテクチャの研究。、軽量化アーキテクチャの研究。 OSA で構成された VoVNet を目標とした、軽量化アーキテクチャの研究。提案（比較的）小さい VoV: Variety of View ）
●
VoVNet を目標とした、軽量化アーキテクチャの研究。バックボーンにした DSOD と低消費電力を目標とした、軽量化アーキテクチャの研究。 RefineDet で検証。 DenseNet バック
ボーンより 2 倍高速で消費電力を目標とした、軽量化アーキテクチャの研究。は 1.6 〜 4.1 倍削減を焦点にあてた従来の軽量化アーキテクチャは、する研究こと低消費電力を目標とした、軽量化アーキテクチャの研究。を目標とした、軽量化アーキテクチャの研究。示しているした。広く使用く影響を与える要素使用
されている研究 ResNet バックボーンよりも優れていることも確認れている研究こと低消費電力を目標とした、軽量化アーキテクチャの研究。も確認

design vs search ?
architecture design
vs
neural architecture search (NAS)
Design Expands search space.
ワークショップ『 CEFRL2019 』での発表の中から紹介のワークショップ『招待と課題講演にて、軽量化アーキテクチャの研究。
Dr. Jingdong Wang (Microsoft Research) のワークショップ『言葉

20190630_VoVNet

Recommended

Recommended

More Related Content

More from yohei okawa

More from yohei okawa (14)

20190630_VoVNet