文献紹介：Learning multiple visual domains with residual adapters
•
0 likes•24 views
Sylvestre-Alvise Rebuffi, Hakan Bilen, Andrea Vedaldi, Learning multiple visual domains with residual adapters, Advances in Neural Information Processing Systems 30 (NIPS 2017) https://proceedings.neurips.cc/paper/2017/hash/e7b24b112a44fdd9ee93bdf998c6ca0e-Abstract.html
Recommended
More Related Content
More from Toru Tamaki
More from Toru Tamaki (20)
Recently uploaded
Recently uploaded (7)
文献紹介：Learning multiple visual domains with residual adapters
- 1. Learning multiple visual domains with residual adapters Sylvestre-Alvise Rebuffi, Hakan Bilen, Andrea Vedaldi NIPS2017 大見（名工大玉木研） 論文紹介 2021/10/15
- 2. はじめに ◼理想の機械学習モデル • 様々な異なるデータに有効なモデル ◼通常の機械学習モデル • 特定のドメイン（データが持つ特有の傾向）にのみ高性能 • ドメインが異なれば低性能 • ドメインごとにモデルが必要 ◼本論文の内容 • マルチドメイン学習手法の提案 • 複数ドメインに有効な単一モデル
- 3. マルチドメイン学習（MDL）とは ◼通常の学習 • ドメインごとにモデルを学習 • 異なるドメインには低い性能 ◼MDL • 複数ドメインに対応するモデルの学習 • ユニバーサルな特徴抽出 • コンパクトな表現 ◼通常の学習との違い • ドメイン依存パラメータ • ドメイン非依存パラメータ データB モデルA データA モデルB 高性能 高性能 通常の学習 データB モデルA 低性能 データB データA MDL モデル 高性能 高性能 MDL ドメインの異なるデータセットに低性能 複数ドメインのデータセットに高性能
- 4. 関連研究 ◼マルチタスク学習 (Bilen+, NIPS2016), (Zhang+, ECCV2014) • タスクは異なるがデータは同じ ◼ドメイン適応 (Tzeng+, CVPR2015), (Ganin+, ICML2015) • 適応するドメインに対して性能向上 • 適応前のドメインに対して性能低下 ◼Life-long learning (Rusu+, ArXiv2015), (Li+, ECCV2016) • 複数のタスクを連続して学習 • 追加パラメータで異なるタスクに対応 • 元のタスクの出力を維持しながら異なるタスクに対応
- 5. 提案手法の概要 ◼ドメイン非依存パラメータ • 大規模データセットで事前学習 • ドメイン依存パラメータを学習する際は固定 • 全パラメータの大部分 ◼ドメイン依存パラメータ • ドメインごとに学習 • 全パラメータの一部 ◼モデルのパラメータ数 • ドメインごとに10%増える • ドメインごとにモデルを用意するより低容量
- 6. アダプタ ◼アダプタ • ドメイン固有のモジュール • ドメインごとにアダプタを用意 • ドメイン依存のパラメータ ◼Residual adapter • Res blockにアダプタを追加 • 全パラメータの1割 ◼残差構造のアダプタの利点 • 恒等関数にもなる • オーバーフィッティング防止 • 学習がはやく収束 黒：ドメイン非依存パラメータ 青：ドメイン依存パラメータ
- 7. Visual decathlon ◼デカスロン（10種競技） • 10種のデータセットで評価 • その他のデータセットは使用不可 ◼評価方法 • 全てのデータセットでの得点の和 • ベースラインモデルを超えないと得点は0 スコア： エラー： Aircraft German Traffic Signs ImageNet OmniGlot VGG-Flowers SVHN CIFER100 UCF101 Describable Textures Daimler Pedestrians
- 8. 結果 ◼実験結果 • MDLモデルは各ドメインでのファインチューニングに匹敵（③と⑤） • ドメインによって重み減衰を変更するとさらに性能向上（④と⑤） • データセットの大きさで最適な重み減衰の値の見当がつく • ファインチューニングより低容量 ① スクラッチ ② 出力層のみ学習 ③ 各ドメインでファインチューニング ④ 提案手法 ⑤ ドメインによって重み減衰の値変更 ⑥ ドメイン非依存パラメータを 全データセットで学習 ⑦ 大きなResNet ① ② ③ ④ ⑤ ⑥ ⑦
- 9. まとめ ◼マルチドメイン学習のモデル • パラメータ共有は有効 • ファインチューニングに匹敵 • モデルが小容量 ◼Residual adapter • オーバーフィッティングを防ぐ • データセットに合わせて重み減衰の値を変更可 • 学習の収束が速い