文献紹介：Efficient Parametrization of Multi-Domain Deep Neural Networks
•
0 likes•7 views
Sylvestre-Alvise Rebuffi, Hakan Bilen, Andrea Vedaldi; Efficient Parametrization of Multi-Domain Deep Neural Networks, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 8119-8127 https://openaccess.thecvf.com/content_cvpr_2018/html/Rebuffi_Efficient_Parametrization_of_CVPR_2018_paper.html
Recommended
Recommended
More Related Content
Similar to 文献紹介：Efficient Parametrization of Multi-Domain Deep Neural Networks
Similar to 文献紹介：Efficient Parametrization of Multi-Domain Deep Neural Networks (20)
More from Toru Tamaki
More from Toru Tamaki (20)
Recently uploaded
Recently uploaded (8)
文献紹介：Efficient Parametrization of Multi-Domain Deep Neural Networks
- 1. Efficient parametrization of multi-domain deep neural networks Sylvestre-Alvise Rebuffi, Hakan Bilen, Andrea Vedaldi CVPR2018 大見一樹（名工大玉木研） 論文紹介 2021/10/29
- 2. 概要 ◼論文の内容 • マルチドメイン学習手法 • 効果的なパラメータ削減 ◼ドメイン • データが持つ特有の傾向 • 一般的に異なるドメインには異なるモデルが必要 ◼マルチドメイン学習 • 複数ドメインに有効な単一モデル • ドメイン非依存と依存パラメータ • 依存パラメータ数を小さくする ドメイン依存 パラメータ ドメイン非依存 パラメータ
- 3. 関連研究 ◼series residual adapter (Rebuffi+, NIPS2017) 1. 既存モデルにアダプタ（ドメイン依存）を直列に追加 2. 1のモデルの全パラメータを大規模データセットで学習 3. アダプタ以外をドメイン非依存パラメータとする 4. ドメインごとにアダプタのみを学習 ◼series residual adapterの欠点 • 既存モデルのパラメータが使えない • アダプタを含んだ状態で全パラメータの学習が必要 • 実験的に性能低下が見られた • モデルに知識が蓄積されない • ドメイン間での情報のやり取りなし アダプタ アダプタ以外のベースモデルはResNet
- 4. 手法の概要 ◼parallel residual adapter • 既存モデルにアダプタ（ドメイン依存）を並列に追加 • ドメインごとにアダプタ部のみを学習 • 特異値分解でアダプタの次元圧縮 • 特異値分解の結果でアダプタのパラメータ近似 ◼series residual adapterとの差異 • 既存モデルに使用可能 • 特異値分解によるドメイン間での情報共有 アダプタ
- 5. アダプタの次元圧縮 ◼特異値分解 • 各ドメインのアダプタのパラメータを とする • 全てのアダプタを1つの行列（ ）に • 上位K個の特異値のみを保持 ◼アダプタのパラメータを近似 • 他のドメインの情報共有 U T （ ， ）
- 6. デカスロン（十種競技）における性能比較 ◼結果 • ファインチューニングより高性能 • 直列型より高性能 • SVD分解はサンプルが少ないドメインに特に有効 デカスロンによる 総合評価 モデルの合計 パラメータ数 特異値分解 用いない 特異値分解
- 7. 事前学習済みモデルの影響 ◼モデルの大きさ • 事前学習済みモデルの パラメータ数は多いほうが良い ◼学習クラス数 • 多くのクラスで事前学習するのが良い 波線：ドロップアウトあり 実線：ドロップアウトなし モデルの大きさ： 黒（0.5），青(1.0)，赤(1.5)
- 8. まとめ ◼parallel residual adapter • アダプタを並列に追加 • ファインチューニングより高性能 • 直列型より高性能 • 既存モデルに適応可能 ◼特異値分解によるパラメータ数削減 • アダプタのパラメータ数を半減 • ドメイン間での情報共有