2018/2/9 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. DEEP LEARNING JP
[DL Papers]
”Learning Generalize: Meta-Learning for Domain
Generalization” (AAAI2018)
Yusuke Iwasawa, Matsuo Lab
http://deeplearning.jp/

2. 書誌情報
• AAAI2018 accepted
• Da Li, Yongxin Yang, Yi-Zhe Song, Timothy M. Hospedales (CMU)
• 概要
– MAMLをベースにしたメタ学習によるドメイン汎化手法の提案
• 選定理由：
– メタ学習に興味が出てきた
– MAMLがなんか流行ってる
• “Meta-Learning And Universarity”（本当はこっちも読みたかったが時間なく断念）
– 不変な特徴を学習する、というアプローチのドメイン汎化には限界を感じて
いる
2

3. アウトライン
1. ドメイン汎化
2. MAML：Model Agnostic Meta Learning
3. 提案法：Meta Learning Domain Generalization (MLDG)
4. 結果
5. おまけ
3

4. 研究背景：ドメインバイアス
• DL含む多くの検証・一般的な学習理論は左を前提
• 一部の機械学習タスクはドメインバイアスがある（つまり右）
– 訓練時と異なるユーザを対象とする，ユーザの行動が変化するなど
– ドメインバイアスを無視すると，テストに対して精度が悪化
4
P(X)
訓練
データ
テスト
データ
P(X)
訓練
データ
テスト
データ
P’(X
)
w/oドメインバイアス w/ドメインバイアス
≒
同じ真の分布から
サンプルされたデータ
異なる真の分布から
サンプルされたデータ

5. 研究背景：ドメイン汎化 [Blanchard, 2011]
• ドメインシフト有 + 未知ドメインのラベルデータを得にくい場合に重要
– 加速度センサによる行動認識，医療（フローサイトメトリー [Blanchard, 2011]）
5
P1(X
)
ユーザ1
データ
未知
ユーザ
P’(X
)
ドメイン汎化：未知ドメインに有用な知識を関連ドメイン群から獲得する
P2(X
)
ユーザ2
データ
P3(X
)
ユーザ3
データ
…
任意の数の関連ドメインの観測データ
（例：学習時にいるユーザ）
未知のドメインのデータ
（例：未知のユーザ）
≒ ≒ ≒
学習 テスト
…

6. ドメイン汎化の具体例 1：画像認識 (PACS Dataset)
6
”Deeper, Broader and
Artier Domain
Generalization”

7. ドメイン汎化の具体例 2：強化学習
7
”Domain Randomization forTransferring Deep Neural Networks from Simulation to the Real World”

8. 関連研究：ドメイン適応
• ドメイン適応：ある対象ドメインのデータが観測された元で
関連ドメインのデータから有用な知識を獲得
• 類似点：未知ドメインに有効（不変な）表現の獲得で対策可能
– Domain Adversarial Neural Networks [Ajakan, 2014]
– Deep Domain Adaptation [Long, 2015]
• 相違点（ドメイン適応/ドメイン汎化）
– 対象ドメインのデータが観測される/されない
– （通常は）関連ドメインが1つ/関連ドメインが複数
8

9. 研究背景：ドメイン汎化への既存アプローチ
• 各訓練ドメインごとに予測器+テスト時には近い分類器を選ぶ
– [Xu et al., 2014] “Exploiting low-rank structure from latent domains for domain
generalization”
• ドメイン固有部分と、特定部分を分けて学習する
– [Khola et al., 2012] “Undoing the Damage of Dataset Bias”
– [Li et al., 2017] ”Deeper, Broader and Artier Domain Generalization”
• ドメイン不変な特徴空間に飛ばす
– [Ghifary et al, 2015] Multi-view autoencoders
– [Ganin et al., 2015] Domain Adversarial Training
9
今回は新しい
アプローチ

10. [Khola et al., 2012] “Undoing the Damage of Dataset Bias”
10

11. アウトライン
1. ドメイン汎化
2. MAML：Model Agnostic Meta Learning
3. 提案法：Meta Learning Domain Generalization (MLDG)
4. 結果
5. おまけ
11

12. 書誌情報
• ICML2017 accepted
• Chelsea Finn, Pieter Abbeel, Sergey Levine
• 概要
– メタ学習（Learning to Learn）の新しい方法を提案
12

13. メタ学習とは？
• “ある決まったバイアス，すなわち仮説空間の中から，事例に応じ
て，適切な仮説を獲得する普通の学習器をベース学習器という．
その上位で，学習対象のタスクやドメインに応じて，学習器のバイ
アスを決定するためのメタ知識を獲得するのがメタ学習 (meta
learning)．”
13
よくわからない

14. メタ学習の具体例：画像認識の例
14

15. メタ学習の問題設定の定式化
• Tをタスク（X, Y, x*)とする
– X、Yは学習用のデータセット
– x*は予測したい対象
• 学習時には、タスクの集合が与えられる
• テスト時には、未知のタスクが来る
– これを解けるかを競う
15

16. NNでメタ学習：代表的な方法
• タスクを継続的に解くRNNないしメモリを持つネットワーク
• タスクTの訓練データセットを入力に該当タスクを解くためのパラ
メータを出力する
16
"META-LEARNINGAND UNIVERSALITY”参照

17. MAML
17
- Few Shot Recognitionの問題の手法（たぶん）
- Few Shotでどのタスクにも良い解にたどり着くような初期θを探している
- RNNを使う代わりに、勾配法を使ってメタ学習していると解釈できる
- パラメータが増えない
- Omniglot やMiniImageNet、強化学習のタスク（よく読んでない）でよい性能

18. MAML：結果
18
- その他強化学習の設定などで検証

19. アウトライン
1. ドメイン汎化
2. MAML：Model Agnostic Meta Learning
3. 提案法：Meta Learning Domain Generalization (MLDG)
4. 結果
5. おまけ
19

20. MLDG基本形：教師あり学習の場合
20
Meta-Train: S-Vで訓練
Meta-Test: Fで更新されたθ’での損失

21. MLDGでの勾配への制約
• MLDGの最適化
• 2項目をx’のまわりでテーラー展開すると
• X=θ-αF(θ)、x’をθとすると
21
2つのドメイン集合に対する勾配のドット積
=>勾配が同じ方向を向く制約

22. MLDGの分析
22
普通に2つの集合での損失
勾配のドット積
= 勾配が同じ方向を向く制約
• 普通の損失に、二つのドメイン集合S-VとVで勾配が同じ方向を向
くような制約を付け加えたものとみなせる
– 普通にSで学習するだけだとこうはならない

23. アウトライン
1. ドメイン汎化
2. MAML：Model Agnostic Meta Learning
3. 提案法：Meta Learning Domain Generalization (MLDG)
4. 結果
5. おまけ
23

24. 実験：疑似データ
24
• 上の9個のドメインで学習した
超平面がどうなるか
• 左から順に、MLP、MLDG、
MLDG-GC、MLDG-GN
• MLPは過学習している

25. 実験：物体認識
25

26. 強化学習：Cart-Pole RL
26

27. 強化学習：Mountain Car
27

28. MLDGのまとめ
• MAMLを素直にドメイン汎化に適用
• 既存法よりよい精度
– 比較元が自分の研究なので妥当なのかはよくわからない
• テーラー展開による分析は面白いが、それだけじゃ説明できない
何かがありそう
28

29. アウトライン
1. ドメイン汎化
2. MAML：Model Agnostic Meta Learning
3. 提案法：Meta Learning Domain Generalization (MLDG)
4. 結果
5. おまけ
29

30. MAMLは何を近似できるのだろうか？
• RNNベースのメタ学習は、Universal learning procedure
approximatorであることがわかっている
– そもそもRNNはチューリング完全なので、当然といえば当然
• MAMLは勾配法によるメタ学習
– 勾配法はRNNで近似できるから、MAMLによるメタ学習がRNNで
近似できることは自明
• MAMLは、どのような関数を近似できるだろうか？
30

31. 31
- ICLR2018 Accepted (7, 6, 6)
- MAMLがUniversal learning procedure approximatorであることを証明
（損失の形とかに制約はあるらしい）

32. おわり
32