モバイル端末向けの軽いネットワーク

1. MobileNets: Efficient Convolutional
Neural Networks for Mobile Vision
Applications
Andrew G. Howard Menglong Zhu Bo Chen
Dmitry Kalenichenko Weijun Wang
Tobias Weyand Marco Andreetto Hartwig Adam
Google Inc.
2017/11/16
B4 神戸瑞樹
https://arxiv.org/pdf/1704.04861.pdf

2. 概要
• CNNの進歩しているが、精度に比べサイズと速度
の面での進歩が少ない
• サイズを小さくする研究はあったが、速度を考慮
しているものは少ない
• ロボットなどの実世界でのアプリケーションでは
速度が必要になる
• 効率的なネットワークアーキテクチャと2つのハイ
パーパラメータを提案
• サイズを小さく、処理速度を速くする

3. Depthwise separatable convolution
• 畳み込みを空間方向の畳込み(depthwise
convolution)とチャネル方向の畳込み
(pointwise convolution, 1*1 convolution)に分け
る
http://machinethink.net/blog/googles-mobile-net-architecture-on-iphone/ より引用
通常の畳込み Depthwise separatable convolution
depthwise convolution
pointwise convolution

4. 計算量
• 入力マップをDF×DF×M、生成されるマップを
DF×DF×N、カーネルをDK×DK×M×Nとする
• Depthwise convolutionの計算量は
• Pointwise convolutonの計算量は
• Depthwise separatable convolutionの計算量は

5. 計算量
• 通常の畳込みの計算量は
• 減った計算量は
• Mobilenetでは3×3の畳み込みを行っているの
で、8分の1～9分の1くらいの計算量の削減

6. ネットワーク構造
regular
Depthwise
separatable
畳み込みの構造
通常の畳み込みと
depthwise separatable
の構造が同時に書いて
あるので注意
一番最初のみ通常の畳み込み

7. Width Multiplier
• モデルを更に小さく速くするためのハイパーパ
ラメータα∈ (0, 1] (1, 0.75, 0.5, 0.25)
• 入力と出力のチャネル数M、NをそれぞれαM、
αNにする
• これによって、計算量は以下の通り
• 計算量とパラメータ数が大体α2分減る
• 精度とのトレードオフ

8. Resolution Multiplier
• 計算コストを減らすためのハイパーパラメータ
ρ ∈ (0, 1]
• 入力サイズをρDFとする(224, 192, 160, 128)
• 計算量がρ2分減る、パラメータ数は減らない
• αとρを両方導入したときの計算量は

9. 実験結果
• 通常の畳み込みとdepthwise separatableの比較
• サイズと速度を大幅に改善したが、精度は1％落ち
たのみ

10. 実験結果
• Width multiplier と層を削除(5つの14×14×512
の特徴マップの層を削除)した時の比較
• 計算量とパラメータ数は同程度だが精度が3％高い

11. 実験結果
• Width multiplierの値での比較
• 0.25にすると精度が一気に下る
Width multiplier の値

12. 実験結果
• Resolution multiplierの値での比較
• 解像度が下がるのに合わせて滑らかに精度が減少
入力画像の解像度

13. 実験結果
• α ∈ {1, 0.75, 0.5, 0.25}、resolutions {224, 192,
160, 128}の16通りでの計算量と精度の散布図
• 対数線形になっている(α=0.25でずれてるが)

14. 実験結果
• α ∈ {1, 0.75, 0.5, 0.25}、resolutions {224, 192,
160, 128}の16通りでのパラメータ数と精度の
散布図

15. 実験結果
• 他のモデルとの比較
• 他より圧倒的に軽く、精度は同程度

16. 実験結果(fine grained recognition)
• Stanford Dogs datasetを利用
• 犬の詳細認識
• 圧倒的に軽くなっている

17. 実験結果(object detection)
• COCOデータセットでの比較
• 他よりも軽いが匹敵する精度を達成

18. まとめ
• Depthwise separatable convolution をベースと
したmobilenet を提案
• Width multiplier と resolution multiplier によっ
て精度と軽さをトレードオフにする