![今回取り上げるのはこれ
[1]V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves I.
Antonoglou, D. Wierstra, M. Riedmiller. “Playing Atari with
Deep Reinforcement Learning” arXiv:1312.5602, 2013.
もしくは
[2]V. Mnih, et al. “Human-level control through deep
reinforcement learning” nature, 2015.
ディープラーニングと強化学習とを組み合わせることで、
ゲームで高得点を叩き出した！](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
More Related Content
Viewers also liked
Viewers also liked (20)
More from WEBFARMER. ltd.
More from WEBFARMER. ltd. (13)
Recently uploaded
Recently uploaded (9)
introduction to Deep Q Learning
- 2. 今回取り上げるのはこれ [1]V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves I. Antonoglou, D. Wierstra, M. Riedmiller. “Playing Atari with Deep Reinforcement Learning” arXiv:1312.5602, 2013. もしくは [2]V. Mnih, et al. “Human-level control through deep reinforcement learning” nature, 2015. ディープラーニングと強化学習とを組み合わせることで、 ゲームで高得点を叩き出した！
- 3. 全体像は・・・ 全体像は[3]塚原裕史氏「論文紹介 Playing Atari with Deep Reinforcement Learning」 http://www.slideshare.net/htsukahara/paper-intoduction- playing-atari-with-deep-reinforcement-learning や[4]藤田康博氏「Playing Atari with Deep Reinforcement Learning」 http://www.slideshare.net/mooopan/ss-30336609 などを参照してください →今回は重要な部分だけを詳しく解説
- 6. ベルマン方程式からはじめる Q* st,at( )= ES'≈ε r +γ max at+1 Q* st+1,at+1( ) st,at ⎡ ⎣⎢ ⎤ ⎦⎥ st at Q st,at( ) Q* st,at( ) r γ ： t における状態 ： t における行動 ： 状態 で の行動をとった場合の価値 ： 状態 で の行動をとり、その後最適な行動をとっ た場合の価値 ： 報酬 ： 割引率 st st at at
- 7. ベルマン方程式を直感的に理解する（１） Q* st,at( )= ES'≈ε r +γ max at+1 Q* st+1,at+1( ) st,at ⎡ ⎣⎢ ⎤ ⎦⎥ ① この瞬間が状態 st ② この時行動 をとってみるat
- 8. 状態 で の行動をとった場合の価値 は その後とるであろう報酬の累計と考える ベルマン方程式を直感的に理解する（２） Q* st,at( )= ES'≈ε r +γ max at+1 Q* st+1,at+1( ) st,at ⎡ ⎣⎢ ⎤ ⎦⎥ Q st,at( )st at Q st,at( )= rt +rt+1 ⋅γ +rt+1 ⋅γ2 +… 将来分はどんどん割り引く
- 9. 特に t+1 以降で最適な行動をとった場合を とする ベルマン方程式を直感的に理解する（３） Q* st,at( )= ES'≈ε r +γ max at+1 Q* st+1,at+1( ) st,at ⎡ ⎣⎢ ⎤ ⎦⎥ Q* st,at( ) →これを を使って表現したい。Q* st+1,at+1( )
- 10. ベルマン方程式を直感的に理解する（４） Q* st,at( )= ES'≈ε r +γ max at+1 Q* st+1,at+1( ) st,at ⎡ ⎣⎢ ⎤ ⎦⎥ 例えば、 （右へ移動）で 40点 獲得した！ at = r = 40点 次の t+1 では最適な行動 を選択する max at+1 次の t+2 以降は最適な行動をするとする max at+1 Q* st+1,at+1( )
- 11. ベルマン方程式を直感的に理解する（５） Q* st,at( )= ES'≈ε r +γ max at+1 Q* st+1,at+1( ) st,at ⎡ ⎣⎢ ⎤ ⎦⎥ これに割引率 をかけて、 t の報酬 を加えるγ r
- 12. ベルマン方程式を直感的に理解する（６） Q* st,at( )= ES'≈ε r +γ max at+1 Q* st+1,at+1( ) st,at ⎡ ⎣⎢ ⎤ ⎦⎥ 実際は確率的なので、期待値とする
- 13. これを使って更新していく Qi+1 st,at( )⇐ E r +γ max at+1 Q st+1,at+1( ) st,at ⎡ ⎣⎢ ⎤ ⎦⎥ とすれば、 で となるだろうi → ∞ Qi → Q*
- 14. 以上をDQN用に変形する Qi+1 st,at( )⇐ E r +γ max at+1 Q st+1,at+1( ) st,at ⎡ ⎣⎢ ⎤ ⎦⎥ [2]のFigure1より DQNでは としてQi st,at( ) を使う Qi st,at;θ( )モデルの出力 まず
- 15. 以上をDQN用に変形する Qi+1 st,at;θ( )⇐ E r +γ max at+1 Q st+1,at+1;θ( ) st,at ⎡ ⎣⎢ ⎤ ⎦⎥ のようにしたい。しかし実際に更新するのはdeep learning部 分の重み 。 よって、両辺の差をとり、 とし、これを誤差とする。 この差を０に収束させるように誤差逆伝播させればいい。 θ E r +γ max at+1 Q st+1,at+1;θ( ) st,at ⎡ ⎣⎢ ⎤ ⎦⎥−Qi+1 st,at;θ( ) 0 ⇐ E r +γ max at+1 Q st+1,at+1;θ( ) st,at ⎡ ⎣⎢ ⎤ ⎦⎥−Qi+1 st,at;θ( ) ⎛ ⎝ ⎜ ⎞ ⎠ ⎟ 2
- 17. これがアルゴリズム [1] より
- 28. 終わり