Pruningによるネットワーク高速化の論文。Conv層をカーネルごと削減する手法を提案。

1. どシンプルながらも強力な
Pruningによるネットワーク高速化
～Pruning Filters for Efficient ConvNets～
By RoadRoller

2. 自己紹介 ロードローラーさん
 2011 京都大学 工学部 情報学科 卒業
 2013 京都大学 情報学研究科 修士課程修了
 画像処理、パターン認識の研究に着手
 その後、京都の某メーカに勤務
 専門は機械学習、IoT、ビッグデータ（バズワードばかり……）
ブログ：http://r2d.info/
Twitter：RoadRoller_DESU

3. 論文情報
Pruning Filters for Efficient ConvNets (2017)
Hao Li, Asim Kadav, Igor Durdanovic, Hanan Samet, Hans Peter Graf
https://arxiv.org/pdf/1608.08710.pdf
概要
・Pruningによる高速化手法。
・Conv層をカーネルごと削減する手法を提案。

4. アイデア
• Conv層からカーネルごと削除することで処理高速化

5. アイデア
• L1ノルムが最小のカーネルを有効性が低いと仮定
• 有効性が低いカーネルから順に削除する

6. アイデア
• ResNetなど複雑な構造のネットワークにも応用可
• 関連Layerも次元数が揃うように次元削減する点に注意
• Residualを出力するLayerを基準に削除次元を選定する
と良いとのこと

7. 実験結果
• ランダムにカーネル選定するよりはL1を用いた方がわ
ずかに良かった
ただ、再学習すればどれも同じような性能まで回復するので、特に貢献のある発見ではないように気もする…

8. 実験結果
• Layer別にPruning時の性能低下率と速度向上率を検証
• 性能低下を招きやすいLayerがあると判明。
• 速度向上しやすいLayerがあると判明。