[DL輪読会]Learning to Generalize: Meta-Learning for Domain Generalization
•Download as PPTX, PDF•
10 likes•4,447 views
2018/2/9 Deep Learning JP: http://deeplearning.jp/seminar-2/
![DEEP LEARNING JP
[DL Papers]
”Learning Generalize: Meta-Learning for Domain
Generalization” (AAAI2018)
Yusuke Iwasawa, Matsuo Lab
http://deeplearning.jp/](https://image.slidesharecdn.com/20180208-180209000942/85/DL-Learning-to-Generalize-Meta-Learning-for-Domain-Generalization-1-320.jpg)
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
More from Deep Learning JP
More from Deep Learning JP (20)
[DL輪読会]Learning to Generalize: Meta-Learning for Domain Generalization
- 1. DEEP LEARNING JP [DL Papers] ”Learning Generalize: Meta-Learning for Domain Generalization” (AAAI2018) Yusuke Iwasawa, Matsuo Lab http://deeplearning.jp/
- 2. 書誌情報 • AAAI2018 accepted • Da Li, Yongxin Yang, Yi-Zhe Song, Timothy M. Hospedales (CMU) • 概要 – MAMLをベースにしたメタ学習によるドメイン汎化手法の提案 • 選定理由： – メタ学習に興味が出てきた – MAMLがなんか流行ってる • “Meta-Learning And Universarity”（本当はこっちも読みたかったが時間なく断念） – 不変な特徴を学習する、というアプローチのドメイン汎化には限界を感じて いる 2
- 3. アウトライン 1. ドメイン汎化 2. MAML：Model Agnostic Meta Learning 3. 提案法：Meta Learning Domain Generalization (MLDG) 4. 結果 5. おまけ 3
- 4. 研究背景：ドメインバイアス • DL含む多くの検証・一般的な学習理論は左を前提 • 一部の機械学習タスクはドメインバイアスがある（つまり右） – 訓練時と異なるユーザを対象とする，ユーザの行動が変化するなど – ドメインバイアスを無視すると，テストに対して精度が悪化 4 P(X) 訓練 データ テスト データ P(X) 訓練 データ テスト データ P’(X ) w/oドメインバイアス w/ドメインバイアス ≒ 同じ真の分布から サンプルされたデータ 異なる真の分布から サンプルされたデータ
- 5. 研究背景：ドメイン汎化 [Blanchard, 2011] • ドメインシフト有 + 未知ドメインのラベルデータを得にくい場合に重要 – 加速度センサによる行動認識，医療（フローサイトメトリー [Blanchard, 2011]） 5 P1(X ) ユーザ1 データ 未知 ユーザ P’(X ) ドメイン汎化：未知ドメインに有用な知識を関連ドメイン群から獲得する P2(X ) ユーザ2 データ P3(X ) ユーザ3 データ … 任意の数の関連ドメインの観測データ （例：学習時にいるユーザ） 未知のドメインのデータ （例：未知のユーザ） ≒ ≒ ≒ 学習 テスト …
- 6. ドメイン汎化の具体例 1：画像認識 (PACS Dataset) 6 ”Deeper, Broader and Artier Domain Generalization”
- 7. ドメイン汎化の具体例 2：強化学習 7 ”Domain Randomization forTransferring Deep Neural Networks from Simulation to the Real World”
- 8. 関連研究：ドメイン適応 • ドメイン適応：ある対象ドメインのデータが観測された元で 関連ドメインのデータから有用な知識を獲得 • 類似点：未知ドメインに有効（不変な）表現の獲得で対策可能 – Domain Adversarial Neural Networks [Ajakan, 2014] – Deep Domain Adaptation [Long, 2015] • 相違点（ドメイン適応/ドメイン汎化） – 対象ドメインのデータが観測される/されない – （通常は）関連ドメインが1つ/関連ドメインが複数 8
- 9. 研究背景：ドメイン汎化への既存アプローチ • 各訓練ドメインごとに予測器+テスト時には近い分類器を選ぶ – [Xu et al., 2014] “Exploiting low-rank structure from latent domains for domain generalization” • ドメイン固有部分と、特定部分を分けて学習する – [Khola et al., 2012] “Undoing the Damage of Dataset Bias” – [Li et al., 2017] ”Deeper, Broader and Artier Domain Generalization” • ドメイン不変な特徴空間に飛ばす – [Ghifary et al, 2015] Multi-view autoencoders – [Ganin et al., 2015] Domain Adversarial Training 9 今回は新しい アプローチ
- 10. [Khola et al., 2012] “Undoing the Damage of Dataset Bias” 10
- 11. アウトライン 1. ドメイン汎化 2. MAML：Model Agnostic Meta Learning 3. 提案法：Meta Learning Domain Generalization (MLDG) 4. 結果 5. おまけ 11
- 12. 書誌情報 • ICML2017 accepted • Chelsea Finn, Pieter Abbeel, Sergey Levine • 概要 – メタ学習（Learning to Learn）の新しい方法を提案 12
- 15. メタ学習の問題設定の定式化 • Tをタスク（X, Y, x*)とする – X、Yは学習用のデータセット – x*は予測したい対象 • 学習時には、タスクの集合が与えられる • テスト時には、未知のタスクが来る – これを解けるかを競う 15
- 16. NNでメタ学習：代表的な方法 • タスクを継続的に解くRNNないしメモリを持つネットワーク • タスクTの訓練データセットを入力に該当タスクを解くためのパラ メータを出力する 16 "META-LEARNINGAND UNIVERSALITY”参照
- 17. MAML 17 - Few Shot Recognitionの問題の手法（たぶん） - Few Shotでどのタスクにも良い解にたどり着くような初期θを探している - RNNを使う代わりに、勾配法を使ってメタ学習していると解釈できる - パラメータが増えない - Omniglot やMiniImageNet、強化学習のタスク（よく読んでない）でよい性能
- 19. アウトライン 1. ドメイン汎化 2. MAML：Model Agnostic Meta Learning 3. 提案法：Meta Learning Domain Generalization (MLDG) 4. 結果 5. おまけ 19
- 21. MLDGでの勾配への制約 • MLDGの最適化 • 2項目をx’のまわりでテーラー展開すると • X=θ-αF(θ)、x’をθとすると 21 2つのドメイン集合に対する勾配のドット積 =>勾配が同じ方向を向く制約
- 22. MLDGの分析 22 普通に2つの集合での損失 勾配のドット積 = 勾配が同じ方向を向く制約 • 普通の損失に、二つのドメイン集合S-VとVで勾配が同じ方向を向 くような制約を付け加えたものとみなせる – 普通にSで学習するだけだとこうはならない
- 23. アウトライン 1. ドメイン汎化 2. MAML：Model Agnostic Meta Learning 3. 提案法：Meta Learning Domain Generalization (MLDG) 4. 結果 5. おまけ 23
- 25. 実験：物体認識 25
- 28. MLDGのまとめ • MAMLを素直にドメイン汎化に適用 • 既存法よりよい精度 – 比較元が自分の研究なので妥当なのかはよくわからない • テーラー展開による分析は面白いが、それだけじゃ説明できない 何かがありそう 28
- 29. アウトライン 1. ドメイン汎化 2. MAML：Model Agnostic Meta Learning 3. 提案法：Meta Learning Domain Generalization (MLDG) 4. 結果 5. おまけ 29
- 30. MAMLは何を近似できるのだろうか？ • RNNベースのメタ学習は、Universal learning procedure approximatorであることがわかっている – そもそもRNNはチューリング完全なので、当然といえば当然 • MAMLは勾配法によるメタ学習 – 勾配法はRNNで近似できるから、MAMLによるメタ学習がRNNで 近似できることは自明 • MAMLは、どのような関数を近似できるだろうか？ 30
- 31. 31 - ICLR2018 Accepted (7, 6, 6) - MAMLがUniversal learning procedure approximatorであることを証明 （損失の形とかに制約はあるらしい）
- 32. おわり 32