![今回取り上げるのはこれ
[1]T. Schaul, J. Quan, I. Antonoglou, D. Silver. “Prioritized
Experience Replay” arXiv:1511.05952v4, 2016.
DQNやDDQNのexperience replay内にあるtransitionに優先
度をつけることで、学習を高速にし、かつstate-of-the-artな結
果（2016年初頭時点）を得た！](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (10)
More from WEBFARMER. ltd.
More from WEBFARMER. ltd. (20)
Introduction to Prioritized Experience Replay
- 2. 今回取り上げるのはこれ [1]T. Schaul, J. Quan, I. Antonoglou, D. Silver. “Prioritized Experience Replay” arXiv:1511.05952v4, 2016. DQNやDDQNのexperience replay内にあるtransitionに優先 度をつけることで、学習を高速にし、かつstate-of-the-artな結 果（2016年初頭時点）を得た！
- 3. 通常のDQNやDDQN部分は・・・ 通常のDQN部分の全体像は塚原裕史氏「論文紹介 Playing Atari with Deep Reinforcement Learning」[2] http://www.slideshare.net/htsukahara/paper-intoduction-playing-atari-with-deep- reinforcement-learning や藤田康博氏「Playing Atari with Deep Reinforcement Learning」[3] http://www.slideshare.net/mooopan/ss-30336609 もしくは私の「ディープラーニングの最新動向 強化学習とのコラボ編① DQN」 [4] http://www.slideshare.net/ssuser07aa33/introduction-to-deep-q-learning あるいは私の「ディープラーニングの最新動向 強化学習とのコラボ編② DDQN」[5] http://www.slideshare.net/ssuser07aa33/introduction-to-double-deep-qlearning などを参照してください
- 4. 解説のポイント ① 普通のexperience replayで何が問題か ② prioritized experience replayとは ③ 実装する際のテクニック ④ 結果どうなった？
- 5. ① 普通のexperience replayで何が問題か ② prioritized experience replayとは ③ 実装する際のテクニック ④ 結果どうなった？ 解説のポイント
- 8. DQNやDDQNのexperience replay [6]Figure 1 例えばDQN(nature, 2015)では・・・・ randomに抜き取って minibachを形成 重要でないtraisitionが 何度も使われる
- 9. DQNやDDQNのexperience replay [6]Figure 1 例えばDQN(nature, 2015)では・・・・ 重要なtransitionを何度も使えば学習が早く 進むし、精度も上がるのでは！？
- 10. 解説のポイント ① 普通のexperience replayで何が問題か ② prioritized experience replayとは ③ 実装する際のテクニック ④ 結果どうなった？
- 11. prioritized experience replayとは [6]Figure 1 replay memory内のtransitionに優先順位をつける 重要でない重要 ・・・ s1,a1,r1 a'1 s2,a2,r2 a'2 sN,aN,rN a'N 2番1番 N番
- 12. prioritized experience replayとは [6]Figure 1 優先順位の高いtransitionを高確率で取り出す 重要でない重要 ・・・ s1,a1,r1 a'1 s2,a2,r2 a'2 sN,aN,rN a'N 2番1番 N番 今回は これを使う
- 13. どう優先順位をつけるか δt = Rt +γ max a Q St,a( )−Q St−1, At−1( )TD誤差 が大きい ものをより多く使えば、学習が早く進むだろう。
- 14. そこでこの δ を優先順位を表す数値 p に置き換える 方法１） δ に比例的な数値 方法２） ランキング化した数値 どう優先順位をつけるか pi = δi +ε pi = 1 rank i( )
- 15. p を確率にする どう優先順位をつけるか P i( )= pi α pk α k ∑ → この P(i) 確率で各 i 番目のtransitionを選択すれば いい
- 16. 解説のポイント ① 普通のexperience replayで何が問題か ② prioritized experience replayとは ③ 実装する際のテクニック ④ 結果どうなった？
- 18. ② minibachが k 個のとき、それぞれのトータル確率 が同じになるように、k 個のsegmentに分ける 実装する際のテクニック seg1 P(i) iseg2 seg3 seg4 ・・・ segk
- 19. ③ それぞれのsegmentから１個ずつランダムに選択す る 実装する際のテクニック seg1 P(i) iseg2 seg3 seg4 ・・・ segk これとこれとこれとこれとこれ！
- 20. これでだいたい確率に従って k 個選択できてる！ (piecewiseなlinear) 実装する際のテクニック seg1 P(i) iseg2 seg3 seg4 ・・・ segk これとこれとこれとこれとこれ！
- 21. 解説のポイント ① 普通のexperience replayで何が問題か ② prioritized experience replayとは ③ 実装する際のテクニック ④ 結果どうなった？
- 25. Reference [6]A. Nair, et al “Massively Parallel Methods for Deep Reinforcement Learning” arXiv:1507.04296v2, 2015
- 26. 終わり