Recommended
More Related Content
What's hot
What's hot (20)
More from Katsuya Ito
More from Katsuya Ito (18)
最近強化学習の良記事がたくさん出てきたので勉強しながらまとめた
- 3. 参考 • 良Qiita https://qiita.com/shionhonda/items/ec05aade07b5bea78081 • PFNの前田さんの良スライド https://www.slideshare.net/pfi/nlp2018-introduction-of-deep- reinforcement-learning • DeepMindの良チュートリアルICML http://hunch.net/~beygel/deep_rl_tutorial.pdf • DQNを理解したので、Gopherくんの図を使って説明 https://qiita.com/ishizakiiii/items/5eff79b59bce74fdca0d • まとめてあるBlog http://blog.syundo.org/post/20180115-reinforcement-learning/
- 4. 0. Policy(方策):状況→動作 • Policyとは状況から動作への写像である。 • ある状況に対してAgentが動作をする。 • 確定的な場合は と書ける。 • 確率的な場合は と書ける。 http://hunch.net/~beygel/deep_rl_tutorial.pdf
- 5. 0. Q関数:状態×動作→rewardの合計 • Q関数とは、 • ある方策πのもとで、 • 状態sと行動aを与えたときに、 • どれだけのrewardを得ることができるのかを与えてくれる関数 ただしγは割引率。 http://hunch.net/~beygel/deep_rl_tutorial.pdf
- 8. 3つの強化学習 • 価値ベースRL • 最適な価値関数Q*を学習する • 適当な方策πを決める • 方策ベースRL • 最適な方策π*を直接決める • モデルベースRL • 環境に関するモデルをすでに構築できる場合 • 環境に応じてQやπを作る。
- 9. １．価値ベース
- 11. 価値ベースRLの一般的な流れ https://www.slideshare.net/pfi/nlp2018-introduction- of-deep-reinforcement-learning
- 12. Q-learning • 最適なQ*は以下のようなベルマン方程式に従う • よって、右辺の[]内 を目的変数として、 • Q(s,a)を勾配法で近似する。つまり、以下を最小化する。 http://hunch.net/~beygel/deep_rl_tutorial.pdf
- 13. Q-learningの問題点とDQNの克服 http://blog.syundo.org/post/20171208-reinforcement- learning-dqn-and-impl/
- 15. DQNの派生 • Dueling Net Qをsの関数とs,aの関数に分離 • Double DQN w’で得られた行動をwでさらに評価(過大評価を抑止) • Prioritized replay 驚き度合で前の経験を重点サンプル
- 16. Gorilla (General Reinforcement Learning Architecture)
- 17. Rainbow（全部乗せ）
- 18. ２．方策ベース
- 22. Actor-Critic • REINFORCE • Qは平均で近似するのみ・学習はしない • Actor-Critic • Actor：行動をして、環境に働きかける→π • Critic：Actorの評価をする→Q • 行動を決めるActor(行動器)を直接改善しながら, • 方策を評価するCritic(評価器)も同時に学習させる
- 25. DDPG Deep Deterinistic Policy Gradient https://qiita.com/shionhonda/items/ec05aade07b5bea 78081
- 27. DDPG DDPGについては、PFNインターンでいっしょだった石川さんの記事が勉強になるよ～ https://sykwer.hatenablog.jp/entry/2018/03/08/105711
- 28. TRPO • 方策ベース • 1度方策関数が劣化するとその後で報酬が得られなくなる • その後の改善が困難になる • TRPO (trust region policy optimization) • 更新前後の重みのKLダイバージェンスに制約を設けますtrust region • NNの重みを慎重に更新していく
- 29. PPO Proximal Policy Optimization • TRPOと方針は同じ • r(θ,s,a)をクリップすることによって、1-ε,1+εの間に。 • クリップする前の目的関数と比較して最小値を取る • 大きな報酬につられて大胆な重み更新をしないようにしています.
- 30. NAC • これまでユークリッド距離で定めていた方策勾配として, • KLダイバージェンス(擬距離)で定めた自然勾配を用いた • 自然勾配については以下のAmari先生の記事が勉強になる https://www.jstage.jst.go.jp/article/sicejl1962/40/10/40_10_735/_pdf
- 32. 価値ベースと方策ベース 価値ベース 方策ベース 最適化の対象 価値関数 方策関数 最適化アルゴリズム Q学習かSARSA 確率的勾配降下法など 利点 任意の方策で探索できる 行動空間が広くても学習できる 欠点 行動空間が広いと学習が難しい. メモリが必要 モデルが劣化した後の復帰が難 しい https://qiita.com/shionhonda/items/ec05aade07b5bea78081
- 33. ３．最近のやつとか
- 34. Ape-X • 優先度付き経験再生を分散処理で高速化した • DQN版の他に決定方策勾配法(DPG)版もある • Atariのスコアが人の約4倍
- 35. R2D2(Recurrent Experience Replay in Distributed Reinforcement Learning ) • ICLR under review (スコア：7-6-7) • LSTMと経験再生と分散学習を組み合わせたアルゴリズム • 順番を変える経験再生とLSTMは相性が悪いとされる