Download to read offline
![[DL輪読会]相互情報量最大化による表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/20190913iwasawa-190913002312-thumbnail.jpg?width=640&height=640&fit=bounds)
Ml15min発表資料（提出用）
- 1. Machine Learning 15minutes 発表資料 2017/3/18 株式会社ウェブファーマー 大政 孝充
- 2. ● 名前：大政孝充（おおまさ たかみつ） ●株式会社ウェブファーマー 代表 http://web-farmer.net ● ディープラーニングのコンサルタント ● 深層強化学習システムの開発 自己紹介
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11. ゲームの全体図 収穫ロボット ピーマン カボチャ レタス 花 草 野菜雑草 ゲームの設定
- 12.
- 13.
- 14.
- 15.
- 16.
- 17. 構成 Raspberry pi 学習用パソコン アーム カメラ obs,reward action action obs reward 協力：（株）マイティ
- 18.
- 19. 深層強化学習で金を生成するモデル 売り数量 価格 買い数量 133,000660 24,000 659 31,000 658 62,000 657 17,000 656 44,000 655 51,000 654 26,000 653 652 40,000 651 39,000 650 154,000 649 38,000 648 32,000 647 18,000 646 657,000 645 41,000 644 28,000 深層強化学習 • DQN • DRQN • FRMQN 入力データ • 注文数量 • 約定履歴 • 他の情報 報酬 前処理 DNN ・・・・ 買う 何も しない 売る 前処理 価格の上昇値 下落値 Q(s, a)
- 20.
- 21.
- 22. 参考資料： Connecting Generative Adversarial Networksand Actor-Critic Methods Devid Pfau, Oriol Vinyals(Google DeepMind) arXiv:1610.01945v3 18 Jan 2017
- 23. GANs（生成モデル） 生成器 （generator） 実際のdata 識別器 （discriminator） 本物？ 偽物？ ノイズ z » pzz( ) D G z( )( ) G z( )
- 24.
- 25. GANsとActor-Criticの類似点 min G max D Ew»pdata x( )logD w( )éë ùû+ Ez»N 0,1( ) log 1- D G z( )( )( )é ë ù û = min G max D Ew,y ylogD w( )+ 1- y( )log 1- D w( )( )é ë ù û F D,G( )= -Ew»pdata x( ) logD w( )éë ùû- Ez»N 0,1( ) log 1- D G z( )( )( )é ë ù û f D,G( )= -Ez»N 0,1( ) logD G z( )( )é ë ù û X* = argmin xÎÀ F X,Y* X( )( ) Y* X( )= argmin YΡ f X,Y( ) F Q,p( )= Est ,at »p D Est+1,rt,at+1»p rt +gQ st+1,at+1( )éë ùû||Q st,at( )( )é ë ù û f Q,p( )= -Es0»p0,a0»p Qp s0,a0( )éë ùû Qp s,a( )= Est+k»R,rt+k »R,at+k »p gk rt+k k=1 ¥ å st = s,at = a é ë ê ù û ú p* = argmax p Es0 »R0,a0»p Qp s0,a0( )éë ùû Qp = argmin Q Est,at »p D Est+1,rt,at+1 rt +gQ st+1,at+1( )éë ùû||Q st,at( )( )é ë ù û GANs Actor-critic法
- 26. GANsとActor-Criticの類似点 min G max D Ew»pdata x( )logD w( )éë ùû+ Ez»N 0,1( ) log 1- D G z( )( )( )é ë ù û = min G max D Ew,y ylogD w( )+ 1- y( )log 1- D w( )( )é ë ù û F D,G( )= -Ew»pdata x( ) logD w( )éë ùû- Ez»N 0,1( ) log 1- D G z( )( )( )é ë ù û f D,G( )= -Ez»N 0,1( ) logD G z( )( )é ë ù û X* = argmin xÎÀ F X,Y* X( )( ) Y* X( )= argmin YΡ f X,Y( ) F Q,p( )= Est ,at »p D Est+1,rt,at+1»p rt +gQ st+1,at+1( )éë ùû||Q st,at( )( )é ë ù û f Q,p( )= -Es0»p0,a0»p Qp s0,a0( )éë ùû Qp s,a( )= Est+k»R,rt+k »R,at+k »p gk rt+k k=1 ¥ å st = s,at = a é ë ê ù û ú p* = argmax p Es0 »R0,a0»p Qp s0,a0( )éë ùû Qp = argmin Q Est,at »p D Est+1,rt,at+1 rt +gQ st+1,at+1( )éë ùû||Q st,at( )( )é ë ù û GANs Actor-critic法 行動を生成し ている
- 27.
- 28.