[DL輪読会]Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
•
1 like•2,463 views
2018/2/2 Deep Learning JP: http://deeplearning.jp/seminar-2/
![1
DEEPLEARNINGJP
[DLPapers]
http://deeplearning.jp/
“Learning Robust Rewards with Adversarial
Inverse Reinforcement Learning (ICLR2018)”
吉田 岳人, 國吉新山研
DL輪読会2018/02/02発表](https://image.slidesharecdn.com/180201dllearningrobustrewardswithadversarial3-180205170610/85/dllearning-robust-rewards-with-adversarial-inverse-reinforcement-learning-1-320.jpg)
![書誌情報
•https://openreview.net/forum?id=rkHywl-A-
•著者：Justin Fu, Katie Luo, Sergey Levine
–UC Berkeley
–Chelsea Finn氏による、Guided Cost Learning[Finn+,
2016]とA connection between GANs , IRL and EBM[Finn+,
2016]を引き継ぐ形
•ICLR 2018 accepted
–Score: 7,6,6
2](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
More Related Content
What's hot
What's hot (20)
More from Deep Learning JP
More from Deep Learning JP (20)
Recently uploaded
Recently uploaded (9)
[DL輪読会]Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
- 1. 1 DEEPLEARNINGJP [DLPapers] http://deeplearning.jp/ “Learning Robust Rewards with Adversarial Inverse Reinforcement Learning (ICLR2018)” 吉田 岳人, 國吉新山研 DL輪読会2018/02/02発表
- 2. 書誌情報 •https://openreview.net/forum?id=rkHywl-A- •著者：Justin Fu, Katie Luo, Sergey Levine –UC Berkeley –Chelsea Finn氏による、Guided Cost Learning[Finn+, 2016]とA connection between GANs , IRL and EBM[Finn+, 2016]を引き継ぐ形 •ICLR 2018 accepted –Score: 7,6,6 2
- 3. •RL •IRL 3 •Maximum Entropy IRL • IRLの基本アルゴリズム • (1)式は以下の仮定から求まる • 𝑎𝑟𝑔𝑚𝑎𝑥 𝜋(𝑎|𝑠) 𝐸 𝜏~𝜋 [𝑅 𝜏 − log 𝜋 𝜏 ] • 第一項のみでは対応する方策が複数存 • エントロピー最大化の制約項を入れて 対応する方策を一意に定める 逆強化学習(IRL)とは エキスパートが従っている報酬関数を推定 報酬関数 𝑟(𝑠, 𝑎, 𝑠′) 最適方策 𝜋∗ (𝑎|𝑠) 軌道{𝑠𝑡, 𝑎 𝑡 ; 𝑡 = 0, … , 𝑇} 環境 𝑃(𝑠′ |𝑠, 𝑎) Task解決 報酬関数 𝑟(𝑠, 𝑎, 𝑠′) エキスパート軌道 [{𝑠𝑡, 𝑎 𝑡 ; 𝑡 = 0, … , 𝑇} 𝑖 ; 𝑖 = 1, . . , 𝑛] 𝜋∗ 𝜏 = exp 𝑅 𝜏 𝑍 が成立し、…(1) 𝑎𝑟𝑔𝑚𝑎𝑥 𝑟 𝑠,𝑎 𝐸 𝜏∈𝐸𝑥𝑝𝑒𝑟𝑡 [ exp 𝑅 𝜏 𝑍 ] で最適な報酬関数を推定 𝜏 = {𝑠𝑡, 𝑎 𝑡 ; 𝑡 = 0, … , 𝑇} 𝜋∗ 𝜏 :最適方策により𝜏が生成される確率 𝑅(𝜏):軌道𝜏により得られる累積報酬 学習 実行 学習 𝜋1 ∗ 𝜋2 ∗ 𝜋3 ∗ エントロピー 中 大 小
- 4. •Direct –Generative Adversarial Imitation Learning (GAIL) [Ho & Erman, NIPS2016] –GANのGeneratorをエージェントの方策と する –Discriminatorは状態sで行動aを取るエー ジェントがエキスパートかどうかを見分 ける –学習が収束すると𝜋 𝑎𝑔𝑒𝑛𝑡 = 𝜋 𝑒𝑥𝑝𝑒𝑟𝑡となる 「GAILの問題点」 –報酬関数は陰に求めつつ方策を直接πを 最適化していく →報酬関数がDiscriminatorに埋もれる ＊Dは報酬関数を表しているように思える が、学習が収束すると、Generator 𝜋 𝑎𝑔𝑒𝑛𝑡 が出す軌道のどのs,aに対してもD(s,a)=0.5 となり報酬関数として不適 4 •Indirect –陽に報酬関数を求めた後、もしくは求め ながら、最適方策を求める –本論文は陽に報酬を求めながら最適方策 を求める –具体的には以下のようにDiscriminatorを工 夫したGANを使うと報酬関数を取り出せる GAN-GCL[Finn+, 2016] Imitation Learning(IL)とは 報酬を陽に扱うか陰に扱うか 𝑟(𝑠, 𝑎, 𝑠′)IRL RL 最適方策 𝜋∗ (𝑎|𝑠)
- 5. 本論文の概要 •問題意識 –同じ軌道を生成する方策が複数ある問題→Max Ent IRLで解決 –同じ最適方策が生じる報酬関数も複数ある ⇓ • 状態遷移モデルが変化する転移学習を考える際、複数ある報酬のうち一部し かうまく機能しない •アプローチ –同じ最適方策を生じる報酬関数のクラスの性質を分析 –転移学習に耐えうる報酬を学習するアルゴリズムの考案 5
- 6. •最適方策が一致する報酬のク ラスは以下のもののみであるこ とが知られている[Ng+, 1999] ∵ 𝑡=0 ∞ 𝛾 𝑡 𝑟 𝑠𝑡, 𝑎 𝑡, 𝑠𝑡+1 + 𝛾Φ 𝑠𝑡+1 − Φ 𝑠𝑡 = 𝑡=0 ∞ 𝛾 𝑡 𝑟 𝑠𝑡, 𝑎 𝑡, 𝑠𝑡+1 + 𝛾∞ Φ 𝑠∞ − Φ 𝑠0 = 𝑡=0 ∞ 𝛾 𝑡 𝑟 𝑠𝑡, 𝑎 𝑡, 𝑠𝑡+1 − Φ 𝑠0 –このような報酬の変形があると、 状態遷移モデルが変わったときにr^ によって得られる最適方策が解きた いタスクの最適方策でなくなる。 •s’やaに依存すると状態遷移モ デル変化に対してロバストでな くなる 6 •状態sにのみ依存するように Discriminatorの構造を決める –すると最適値では –となり 報酬関数の曖昧性 状態sにのみ依存する報酬のみが環境変化にロバスト
- 7. アルゴリズム 7