Downloaded 14 times
More Related Content
![[Webinar] The State of Search with Google and 180fusion](https://cdn.slidesharecdn.com/ss_thumbnails/180fusionwebinar-march20171-170322212100-thumbnail.jpg?width=640&height=640&fit=bounds)
DRL_stydy_1_doc_ohmasa
- 1.
- 2. ● 名前：大政孝充（おおまさ たかみつ） ● 株式会社ウェブファーマー 代表 http://web-farmer.net ● ディープラーニングのコンサルタント ● 深層強化学習システムの開発 自己紹介
- 3.
- 4.
- 5. 論文解説 Connecting Generative Adversarial Networksand Actor-Critic Methods Devid Pfau, Oriol Vinyals(Google DeepMind) arXiv:1610.01945v3 18 Jan 2017
- 6.
- 7.
- 8. 概要 l Deep LearningのGANsモデルと強化学習のActor-Critic法は似 てる l ともに２つのモデルを有し、これらを同時に学習させるため、最 適化が困難である l しかし現状では両者は別々のコミュニティで研究されており、 意思疎通がない l よってそれぞれが有する最適化のテクニックを、相手側に適応 すればよいのではないか
- 9.
- 10. GANsの復習 ① 生成器 （generator） 実際のdata 識別器 （discriminator） 本物？ 偽物？ ノイズ z ≈ pzz( ) D G z( )( ) G z( )
- 11. GANsの復習② 本物のdataの場合の出力 生成器 （generator） 本物のdata 識別器 （discriminator） ノイズ min G max D V D,G( )=Εx≈pdata x( ) logD x( )⎡⎣ ⎤⎦+ Εz≈pz z( ) log 1− D G x( )( )( )⎡ ⎣ ⎤ ⎦ ・・・ 0.3 0.8 ! 0.4 ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ x D x( )
- 12. GANsの復習③ 偽物のdataの場合の出力 生成器 （generator） 識別器 （discriminator） ノイズ ・・・ 2 0 ! 1 ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ min G max D V D,G( )=Εx≈pdata x( ) logD x( )⎡⎣ ⎤⎦+ Εz≈pz z( ) log 1− D G x( )( )( )⎡ ⎣ ⎤ ⎦ G x( ) D G x( )( ) z 0.1 0.2 ! 0.1 ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ 本物のdata ・・・ x
- 13. GANsの復習④ 識別器を学習する 生成器 （generator） 実際のdata 識別器 （discriminator） ノイズ ∇θd 1 m logD xi ( )⎡ ⎣ ⎤ ⎦+log 1− D G zi ( )( )( )⎡ ⎣⎢ ⎤ ⎦⎥ ⎡ ⎣⎢ ⎤ ⎦⎥ i=1 m ∑ ⊕
- 14. GANsの復習⑤ 生成器を学習する 生成器 （generator） 実際のdata 識別器 （discriminator） ノイズ ∇θg 1 m log 1− DG zi ( )( )( )⎡ ⎣⎢ ⎤ ⎦⎥ i=1 m ∑ −
- 15.
- 16.
- 17.
- 18.
- 19. 両者の類似点 ② min G max D Εw≈pdata x( )logD w( )⎡⎣ ⎤⎦+ Εz≈Ν 0,1( ) log 1− D G z( )( )( )⎡ ⎣ ⎤ ⎦ = min G max D Εw,y ylogD w( )+ 1− y( )log 1− D w( )( )⎡ ⎣ ⎤ ⎦ F D,G( )= −Εw≈pdata x( ) logD w( )⎡⎣ ⎤⎦− Εz≈Ν 0,1( ) log 1− D G z( )( )( )⎡ ⎣ ⎤ ⎦ f D,G( )= −Εz≈Ν 0,1( ) logD G z( )( )⎡ ⎣ ⎤ ⎦ X* = argmin x∈ℵ F X,Y* X( )( ) Y* X( )= argmin Y∈ϒ f X,Y( ) F Q,π( )= Εst ,at ≈π D Εst +1,rt ,at +1≈π rt +γQ st+1,at+1( )⎡⎣ ⎤⎦||Q st,at( )( )⎡ ⎣ ⎤ ⎦ f Q,π( )= −Εs0 ≈p0,a0 ≈π Qπ s0,a0( )⎡⎣ ⎤⎦ Qπ s,a( )= Εst +k≈Ρ,rt+k ≈R,at+k ≈π γk rt+k k=1 ∞ ∑ st = s,at = a ⎡ ⎣ ⎢ ⎤ ⎦ ⎥ π* = argmax π Εs0 ≈Ρ0,a0 ≈π Qπ s0,a0( )⎡⎣ ⎤⎦ Qπ = argmin Q Εst ,at ≈π D Εst+1,rt ,at+1 rt +γQ st+1,at+1( )⎡⎣ ⎤⎦||Q st,at( )( )⎡ ⎣ ⎤ ⎦ GANs Actor-critic法
- 20.
- 21.
- 22.
- 23. 安定化させる技術の適応状況 Tim Salimans, IanGoodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, and Xi Chen. Improved techniques for training gans. arXiv preprint arXiv:1606.03498, 2016. Label smoothing・・・discriminatorの予測が非常に確からしい時に、 勾配消失を防ぐため 0/1 ラベルを ε/1 – ε とする。 これを強化学習に適応する場合、報酬 0/1 をε/1 – ε としたらよい のではないか。
- 24.
- 25.
- 26. まとめ l Deep LearningのGANsモデルと強化学習のActor-Critic法は 似てる l しかし学習を安定化させ、また改良する技術は研究し尽くされ ていない l 一方が採用しているものの他方が採用していない技術があれ ば、それを試してみればいいのではないか
- 27.