名古屋CV・PRML勉強会 CVPR 2018で発表された論文ShuffleNetの紹介(修正)

1. CV・PRML勉強会
ShuffleNet: An Extremely Efficient Convolutional Neural Network
for Mobile Devices
中部大学大学院 工学研究科情報工学専攻 修士1年
近藤 良太
1

2. ShuffleNetとは？
3
• 計算効率の高いモデルアーキテクチャ
– 性能の低い携帯端末向けに設計
– 精度を維持しつつ計算コストを削減
• 手法
– Pointwise Group Convolution
– Channel Shuffle

3. Pointwise Group Convolution
• 1×1の畳み込みにGroup Convolutionを使用
– 入力特徴マップをチャンネル方向に分割してグループ化
• グループ数が多いほど計算量が減少
4
N: 入力チャンネル数
M: 出力チャンネル数
K: カーネルサイズ
G: グループ数
N
M
K
Normal Covolution
N × M × K2
パラメータ数の比較
N
M
K
Pointwise Group Convolution
(N × M × 1) / G

4. Pointwise Group Convolution
• 1×1の畳み込みにGroup Convolutionを使用
– 入力特徴マップをチャンネル方向に分割してグループ化
• グループ数が多いほど計算量が減少
5
(a): bottleneck unit
(b): ShuffleNet unit
(c): ShuffleNet unit with stride=2

5. Pointwise Group Convolution
• 問題点
– Group Convolutionが連続するとチャンネル間の畳み込
みがされない
• 精度に悪影響
6
(a): bottleneck unit
(b): ShuffleNet unit
(c): ShuffleNet unit with stride=2

6. Channel Shuffle
• 入力特徴マップのチャンネルの順番を入れ替える
– Group Convolutionが連続しても精度低下を抑制
• Group Convolutionと併用
7
(a): Channel Shuffleなし (b): 他のグループから入力を取得できれば入出力が関連する (c): Channel Shuffleあり

7. Channel Shuffle
• 入力特徴マップのチャンネルの順番を入れ替える
– Group Convolutionが連続しても精度低下を抑制
• Group Convolutionと併用
8
Channel Shuffle有無の比較
※ShuffleNet 1x, 0.5xは各層のフィルタ数の倍数

8. 実験
• 学習
– ImageNet train set
• Weight decay: 4e-5~1e-4
• 300,000 iterations
• Batch size: 1024
• ネットワーク→
• 評価
– ImageNet validation set
• 入力: 256×256
• 224×224のsingle crop
• Top-1で評価
9

9. 結果
• 精度低下を抑えつつ計算量の削減に成功
• 他のネットワークモデルとも比較
– 計算効率が高い
10

10. 比較
• MobileNetとの比較
– 計算量，エラー率共に優勢
• 他のネットワークモデルとの計算量比較
– 計算量を大幅に削減
11

11. 比較
• MS COCOの物体検出による比較
– MobileNet，ShuffleNetとも設定は同一
• 携帯端末による推論速度比較
– CPU: Snapdragon820 @2.15GHz(※シングルスレッド)
12

12. 論文リンク
• https://arxiv.org/pdf/1707.01083.pdf
13