[DL Hacks]Model-Agnostic Meta-Learning for Fast Adaptation of Deep Network
•
1 like•2,258 views
2018/10/22 Deep Learning JP: http://deeplearning.jp/hacks/
More Related Content
What's hot
What's hot (20)
Similar to [DL Hacks]Model-Agnostic Meta-Learning for Fast Adaptation of Deep Network
Similar to [DL Hacks]Model-Agnostic Meta-Learning for Fast Adaptation of Deep Network (13)
More from Deep Learning JP
More from Deep Learning JP (20)
Recently uploaded
Recently uploaded (14)
[DL Hacks]Model-Agnostic Meta-Learning for Fast Adaptation of Deep Network
- 1. Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks PSI B3 近藤生也
- 2. アジェンダ ● 書誌情報 ● メタ学習とは ● 概要 ● MAML ● メタ学習 2
- 3. 書誌情報 ● Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks ● Chelsea Finn*... (UC Berkeley) ● ポイント ○ メタ学習、ドメイン適応に強い ○ UC Berkeleyはロボット系のコンペで最強。 ○ DL輪読回でも以前取り上げられている。 ○ [DL輪読会]Learning to Adapt: Meta-Learning for Model-Based Control ○ ドメイン適応のためになる話 ○ [DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Latent Homologies 3
- 5. ドメイン適応 5 ● シミュレーション ○ 急に足がもげる ○ 急に坂が現れる ● セグメンテーション ○ CG上→リアル映像 ● ボイスチェンジャー ○ Aさんのvocoder→Bさんのvocoder ● 食器洗いとか ○ 皿→鍋 なんにでも使えるね！
- 6. MAML概要 ● 発想：どんなタスクにも数ステップ で最適化できるような、 共通の初期パラメータを求める ● 目的関数 （ΦTは、更新後のパラメータ） 6 ①meta-train-taskのtrainで初期値パラメタθを更新 ②更新されたパラメータで meta-train-taskのvalidationに対しての汎化誤差をとって ③汎化誤差が小さくなるように初期値パラメータを更新
- 7. 実装 7
- 8. 課題設定 8 ● meta-train30言語、meta-test30言語、各言語10文字ずつ。 ● 学習時は各文字1画像しか見せてもらえない ● テスト時は、各文字19画像見せつけられる ● 本家と若干違う ○ 本家はtrain_task内で文字を混ぜてオリジナルタスクを作っている。
- 9. データローダー 9
- 10. タスクローダー 10 ● 言語を一つ選び、 いい感じにtrain(1枚)と test(19枚)に分割して、 data_loaderにして返す ● task_loader クラスを適 当に作って継承している
- 11. メタテスト 11
- 12. メタトレイン 12
- 13. メタトレイン 13
- 14. メタトレイン 14
- 15. 昔のパラメータで微分することができるのか 15 ● やってみた ○ ↓100万階微分するセルがあるので注意 ● https://github.com/naruya/maml-pytorch/blob/master/notebooks/pytorch_auto grad_kiso.ipynb ● できてそう