More Related Content Similar to Domain Generalization via Model-Agnostic Learning of Semantic Features (20) More from Yamato OKAMOTO (20) Domain Generalization via Model-Agnostic Learning of Semantic Features1. NeurIPS’19 読み会 in 京都
2020/2/11
Yamato OKAMOTO
Domain Generalization
via Model-Agnostic Learning
of Semantic Features
2. 自己紹介 岡本大和(おかもとやまと)
~’13 京都大学 知能情報専攻 映像メディア分野
~’16 システムエンジニア
~’18 機械学習+IoT屋さん
’18~ Business Developer 兼 Researcher
興味ある事
顧客現場でちゃんと役に立つ機械学習モデルを作りたい
夢は京都をポスト・シリコンバレーにすること
⇒ ところで、そろそろ京都に帰りたい(※東京へ転勤になって2年目)
Twitter: RoadRoller_DESU
Rugby World Cup
In JAPAN
8. Domain-Generalizationの論文
CVPR’19(3本)
• Domain Generalization by Solving Jigsaw Puzzles
• DLOW: Domain Flow for Adaptation and Generalization
• Multi-adversarial Discriminative Deep Domain Generalization for Face
Presentation Attack Detection
ICML’19(1本)
• Feature-Critic Networks for Heterogeneous Domain Generalization
NeurIPS’19(1本)
• Domain Generalization via Model-Agnostic Learning of Semantic Features
今年度も大量の論文が発表された『Domain-Adaptation』に比べて
『Domain-Generalization』はまだ出始めたばかり
10. Deeper, Broader and Artier Domain Generalization (ICCV’17)
VLCS PACS
Domain Generalizeの研究にPACSデータはうってつけだと述べた論文
PACSデータセットでは
ドメインごとに特徴量の分布が異なる
(というか、難しすぎでは??)
学習済みモデルを
異なるドメインに
転用したときの
性能劣化も激しい
11. Deeper, Broader and Artier Domain Generalization (ICCV’17)
VLCS PACS
Domain Generalizeの研究にPACSデータはうってつけだと述べた論文
PACSデータセットでは
ドメインごとの特徴量分布が明らかに異なる
(というか、難しすぎでは??)
学習済みモデルを
異なるドメインに
転用したときの
性能劣化も激しい
や、これは無理じゃね・・?
!?
12. Domain Generalization by Solving Jigsaw Puzzles (CVPR’19)
Object-ClassifierとJigsaw(パズル復元)のマルチタスクで学習する
Object-Classification-Loss
𝜃𝑓(share)
𝜃𝑐
𝜃 𝑝
S:ドメイン数
N:クラス数
K:画像ごとに生成するJigsaw-sample数
Jigsaw-Loss
シャッフルパターンが膨大なので( n*nのGrid
で区切るとn2!)、ハミング距離が大きくなるよ
うにP個だけ選別する
Jigsaw-Classifierはシャッフルパターンを予測
してP次元のベクトルを出力
Object-Classifierはシャッフルされていないサ
ンプルのみ学習
Unsupervised-Domain-Adaptationにも応用可
13. Feature-Critic Networks
for Heterogeneous Domain Generalization (ICML’19)
メタラーニングによってDomain-Generalizationを実現
3つのネットワーク
θ:特徴量抽出部
Φ:クラス識別部
ω:特徴量評価部
3つのLoss
LCE :クラス識別が正しくできているかどうかのLoss
Laux :ネットワークωによる特徴量の評価スコア
Lmeta:特徴抽出部をLaux有りと無しで学習したとき差分
学習ドメインをtrainとvalidに分割
train-domain
1.クラス識別できるよう学習
2.クラス識別できるよう学習
+ωによる評価が大きくなるよう学習
valid-domain
1.より2.の方がvalidで高性能となるよ
うにωを学習
14. 本日の紹介論文
Domain Generalization via Model-Agnostic Learning
of Semantic Features
Jigsaw
(CVPR’19)
Feature-Critic
(ICML’19)
Semantic Feature
(NeurIPS’19)
C,P,Sで学習
Artで評価
67.63 64.89 70.35
A,P,Sで学習
Cartoonで評価
71.71 71.72 72.46
A,C,Sで学習
Photoで評価
89.00 89.94 90.68
A,C,Pで学習
Sketchで評価
65.18 61.85 67.33
Average 73.38 72.10 75.21
PACSデータで
SoTA達成
16. KEY: メタラーニングとメトリックラーニングの導入
Task Loss
• trainでのみクラス識別の教師付き学
習をする
Local Loss
• 特徴量を低次元に射影したとき、
(ドメインに関係なく)同じクラス
が近い&異なるクラスが遠いほど
Lossは小さくなる
• trainとvalidの両方で学習
Global Loss
• 『クラスAとクラスBは混同しやすい、
クラスCは混同しにくい』といった
Confusion-Matrixを算出
• これらがtrainとvalidのドメイン間で
類似するように学習