Recommended
More Related Content
What's hot
What's hot (7)
ニューロンの出力値に基づくニューラルネットワークの小規模化
- 3. DNN の小規模化に関する研究 2 モデルの性能維持のための (再)学習が必要 Pruning Pruning + Surgery Sparsification Quantization Low-rank decomposition Knowledge Distillation
- 4. 再学習を行わない小規模化（提案手法） 3 VGG16 を fine-tuning したモデル（31クラス分類） テストエラー： +2% ニューロン数：-73%
- 5. 提案手法 4 Neuro-Coding ニューロンの “振舞い” を把握 Neuro-Unification “振舞い” が似たニューロンを統合
- 6. 提案手法 ~ Neuro-Coding ~ 5 … 𝒙𝑖 = 0.53, 1.30, 0.45, ⋯ 𝑇 ニューロンの “振舞い” とは 𝑖
- 7. 提案手法 ~ Neuro-Unification ~ 6 𝑖 𝑗 線形従属 𝒙𝑗 𝒙𝑖(= 𝛼𝒙𝑗)
- 8. 提案手法 ~ Neuro-Unification ~ 7 𝑖 𝑗 𝑤𝑗 𝑤𝑖 𝑤𝑗 ′ = 𝛼𝑤𝑖 + 𝑤𝑗 𝑖 𝑗 𝒙𝑗 𝒙𝑖(= 𝛼𝒙𝑗) 線形従属
- 9. 提案手法 ~ Neuro-Unification ~ 8 𝒙𝑗 𝒙𝑖 𝑖 𝑗
- 10. 提案手法 ~ Neuro-Unification ~ 9 線形従属なベクトルに近似 𝒙𝑗 𝒙𝑖 𝛼𝒙𝑗 𝑤𝑗 𝑤𝑖𝑖 𝑗 𝑖 𝑗 𝑤𝑗 ′ = 𝛼𝑤𝑖 + 𝑤𝑗
- 11. 提案手法 ~ Neuro-Unification ~ 10 𝒙𝑗 𝒙𝑖 出力誤差を小さくしたい ⇒ 残差を最小化 𝑤𝑗 𝑤𝑖𝑖 𝑗 𝑖 𝑗 𝑤𝑗 ′ = 𝛼𝑤𝑖 + 𝑤𝑗
- 12. ReLU softmax 784 2,000 10 実験① 概要 • データ：MNIST • 60,000 - トレーニング ＆ Neuro-Coding • 10,000 - テスト • モデル 11 対象 エポック数 100 バッチサイズ 100 学習率 0.01 ドロップアウト率 0.5 目的関数 Cross Entropy 学習条件
- 13. 比較手法１ ~ Output-weights Norm Pruning (ONORM) ~ １．ニューロン 𝑖 の重要度を 1 𝑑 𝒘 𝑖 𝒘𝑖 で算出（ 𝑑 𝒘𝑖 : 𝒘𝑖 の次元数 ） ２．重要度が低いニューロンを消去 12 𝒘𝑖𝑖 𝑗 𝑖 𝑗 × ニューロンを消すのみ ⇒ 精度が落ちやすい T. He, Y. Fan, Y. Qian, T. Tan, and K. Yu, newblock Reshaping deep neural network for fast decoding by node-pruning, Proc. IEEE International Conference on Acoustics, Speech and Signal Processing, 245--249. Florence, Italy.
- 14. 比較手法２ ~ Data-free Parameter Pruning (DPP) ~ １．入力側の重みが似たニューロンを統合する方法 13 ○ 消したニューロンの重みを別のニューロンに移す × 活性化関数の影響を評価できない × 実データの特性を反映できない 𝑤𝑗 𝑤𝑖 𝒗𝑖(≈ 𝛼𝒗𝑗) 𝒗𝑗 𝑖 𝑗 𝑤𝑗 ′ = 𝛼𝑤𝑖 + 𝑤𝑗𝒗𝑗 𝑖 𝑗 S. Srinivas, R. V. Babu, “Data-free Parameter Pruning for Deep Neural Networks”, Proc. British Machine Vision Conference (BMVC 2015), 31.1-31.12. Swansea, UK.
- 15. 実験① 結果 14
- 16. 実験② 概要 • データ：犬31品種（IMAGENET より抽出） • 38,003 - トレーニング ＆ Neuro-Coding • 1,550 - テスト • モデル：VGG16 を fine-tuning 15 ReLU softmax FC1: 4,096 FC2: 4,096 31 ReLU （畳み込み層） 対象 エポック数 100 バッチサイズ 100 学習率 0.01 ドロップアウト率 0.5 目的関数 Cross Entropy 学習条件
- 18. まとめと今後の展望 • DNN の軽量化および構造学習のための手法を提案した • Neuro-Coding: ニューロンの振舞いを記述 • Neuro-Unification: 振舞いが似たニューロンを統合 • 従来手法と比べ、提案手法はモデル精度を保ちつつパラメー タを削減できることが、実験により示された。 17 • 複数の層をまたいだニューロンの統合 • 畳み込み層のマップ・フィルタの統合 • 3つ以上の線形従属なニューロンの統合 • Neuro-Coding による DNN の冗長性の評価 まとめ 今後の展望