[DL輪読会]In Search of Lost Domain Generalization
•
1 like•496 views
The document summarizes a paper that conducted a reproducible and fair comparison of recent domain generalization (DG) methods. The key points are: 1. Many DG methods have been proposed recently but lack common experimental settings, making results difficult to compare. 2. The study implemented 14 DG methods on 7 datasets using a common framework to enable fair comparisons. 3. Surprisingly, simple empirical risk minimization performed competitively with state-of-the-art DG methods under the controlled settings. 4. The authors made their code openly available to help advance DG research.
![DEEP LEARNING JP
[DL Papers]
論文紹介
In Search of Lost Domain Generalization
Ryosuke Ohashi, bestat inc.
http://deeplearning.jp/](https://image.slidesharecdn.com/20210716ohashi-210716050334/85/DL-In-Search-of-Lost-Domain-Generalization-1-320.jpg)
Recommended
More Related Content
What's hot
What's hot (20)
Similar to [DL輪読会]In Search of Lost Domain Generalization
Similar to [DL輪読会]In Search of Lost Domain Generalization (17)
More from Deep Learning JP
More from Deep Learning JP (20)
Recently uploaded
Recently uploaded (20)
[DL輪読会]In Search of Lost Domain Generalization
- 1. DEEP LEARNING JP [DL Papers] 論文紹介 In Search of Lost Domain Generalization Ryosuke Ohashi, bestat inc. http://deeplearning.jp/
- 2. 書誌情報 2 https://iclr.cc/virtual/2021/poster/2998 選定理由 仕事で Domain Adaptation 手法を試しており，それより難しい条件設定の Domain Generalization って今どんな感じなの？と気になったため
- 5. 背景：OODへの汎化問題 5 Torralba, Efros. Unbiased Look at Dataset Bias. AIが訓練データ分布外で気まぐれに挙動してしまう 信頼性の求められる応用には使えない😐
- 6. 背景：ドメイン汎化 6 複数の環境でモデルを訓練し，未知環境にも上手く汎化させたい 未知環境にも通用する「共通ルール」をモデルに学習させられないか？ Muandet et al. Domain Generalization via Invariant Feature Representation. DomainNet dataset from Peng et al. Moment Matching for Multi-Source Domain Adaptation
- 7. 問題：ドメイン汎化研究結果の乱立 7 近年DG手法がさかんに研究・発表されている CORAL (Sun & Saenko) DANN (Ganin et al.) MLDG (Li et al.) IRM (Arjovsky et al.) Etc... 論文により扱っているデータセット，モデル設計・選択基準，訓練テクニックが 異なる 再現可能・公正な比較がなされていない 研究・応用時に困る😭
- 11. 雑感：Adaptationとの比較 11 論文の結果に比べると，Domain Adaptation手法は多少上手くいく印象がある テストドメイン上での特徴抽出器の挙動を躾けられるから？ DGの問題設定だと，テストドメインに似た訓練ドメインを人海戦術で用意 しまくるしかない？ ラベル付けできなくてもUnsupervised Domain Adaptationを使える メタな知識や生成モデルを使ってテストドメインに似た訓練ドメインを仮想 的に作れる？ 人間がメタ知識を明示的に訓練に入れ込んだり，生成モデルを作り込む ことになる Online Adaptation路線を進むのが良い？ 一番「知的生命体」っぽい👶 Adaptationしつつメタ知識や生成モデルを形成・成長させていくような 機構があるとよい？
- 13. 雑感：モデル選択 13 「テストドメイン上でvalidation > 訓練ドメイン上でvalidation」は分かる 「訓練ドメイン上でvalidation > 訓練ドメイン間でcross-validation」は何故？ あるfoldでvalidation用に取り除いた訓練ドメインが，training用に残した訓練 ドメインのいずれとも類似性が低いと，最適なハイパラが乱れてしまう？