Recommended
More Related Content
What's hot
What's hot (20)
Similar to 論文紹介 No-Reward Meta Learning (RL architecture勉強会)
Similar to 論文紹介 No-Reward Meta Learning (RL architecture勉強会) (11)
Recently uploaded
Recently uploaded (9)
論文紹介 No-Reward Meta Learning (RL architecture勉強会)
- 1. 論文紹介 NoRML: No-Reward Meta Learning D1 中田勇介 2019/05/21 強化学習アーキテクチャ勉強会
- 2. 002 / 実環境で実行可能な方策を学習するためのMeta-Learning手法を提案 ・シミュレータで学習 -> 実環境で方策を適応 ・特徴：実環境への適応時に報酬不要 ・MAML, Domain Randomizationと比較して優れた性能 ・著者：Yuxiang Yang, Ken Caluwaerts, Atil Iscen, Jie Tan, Chelsea Finn ・実装：https://github.com/google-research/google-research/tree/master/norml どんな論文？
- 3. 003 / 1. Introduction 2. Preliminaries 3. NO-REWARD META LEARNING （提案法） 4. Experiments 5. Related Work 6. まとめ Outline
- 7. 007 / Model-free Reinforcement Learning ・Loss function Preliminaries
- 8. 008 / Model-free Reinforcement Learning ・Loss function ・Policy Gradient ・Advantage function Preliminaries
- 9. 009 / 学習タスク〜 を用いてテストタスク〜 に適応可能な パラメータを学習する方法 仮定：タスク間には共通の構造（使いまわせる知識）が存在する． Meta Learningとは
- 10. 0010 / 学習タスク〜 を用いてテストタスク〜 に適応可能な パラメータを学習する方法 仮定：タスク間には共通の構造（使いまわせる知識）が存在する． ・NoRMLにおける仮定 タスク間で共通 ： ， ， タスク間で異なる： Meta Learningとは
- 11. 0011 / Model-Agnostic Meta Learning (MAML)
- 12. 0012 / Model-Agnostic Meta Learning (MAML)
- 13. 0013 / MAML on Model-free RL Policy Gradient
- 14. 0014 / ・Policy Gradient ・Update Rule MAML on Model-free RL
- 15. 0015 / MAML on Model-free RL
- 16. 0016 / MAML on Model-free RL
- 17. 0017 / MAML on Model-free RL
- 18. 0018 / ・Learned Advantage Function ・Offset NO-REWARD META LEARNING （提案法）
- 19. 0019 / ・Learned Advantage Function ・Offset NO-REWARD META LEARNING （提案法）
- 20. 0020 / ・Learned Advantage Function ・Offset NO-REWARD META LEARNING （提案法） 全タスクで共通
- 21. 0021 / NO-REWARD META LEARNING （提案法）
- 22. 0022 / NO-REWARD META LEARNING （提案法）
- 23. 0023 / NO-REWARD META LEARNING （提案法）
- 26. 0026 / 実験環境 ・Point Agent with Rotation Bias ・Cartpole with Sensor Bias ・Half Cheetah with Swapped Actions Experiments
- 27. 0027 / Point Agent with Rotation Bias (-2, 2) (2, 2) (2, -2)(-2, -2) x Goal (1, 0) action Rotation bias Next state State(0, 0)
- 28. 0028 / Point Agent with Rotation Bias
- 29. 0029 / Point Agent with Rotation Bias
- 30. 0030 / Point Agent with Rotation Bias
- 31. 0031 / Cartpole with Sensor Bias
- 32. 0032 / Cartpole with Sensor Bias
- 33. 0033 / Half Cheetah with Swapped Actions
- 34. 0034 / Half Cheetah with Swapped Actions
- 35. 0035 / https://sites.google.com/view/noreward-meta-rl/ Half Cheetah with Swapped Actions
- 36. 0036 / Meta reinforcement learningの分類 - Recurrent based: RL2, Attentive meta learner, etc. - エピソードを記憶させることで環境の違いを認識 - Gradient-based: NoRML(this work), MAML, etc. - 勾配法でパラメータを更新し環境に適応 - Hybrid-based: Evolved Policy Gradient, Meta-critic network, etc - 上の二つのハイブリッド Related Work
- 37. 0037 / ダイナミクスの変化に対する他のアプローチ - Adaptive inverse control - Self-modeling - Bayesian optimization - Online system identification Related Work
- 38. 0038 / 実環境で実行可能な方策を学習するNoRMLを提案 提案内容：Learned Advantage Function, Offset ・シミュレータで学習 -> 実環境で方策を適応 ・実環境への適応時に報酬不要 ・MAML, Domain Randomizationと比較して優れた性能 まとめ
Editor's Notes
- この論文ではないが，Learning to