20190125 Minecraftで深層強化学習 ハンズオン
•Download as PPTX, PDF•
5 likes•2,282 views
Minecraftで深層強化学習ハンズオンの資料
More Related Content
Similar to 20190125 Minecraftで深層強化学習 ハンズオン
Similar to 20190125 Minecraftで深層強化学習 ハンズオン (11)
More from Keisuke Umezawa
20190125 Minecraftで深層強化学習 ハンズオン
- 2. 2018/02/23 自己紹介 2 • 梅澤 慶介 • 金融マーケット予測モデルの研究開発 @AlpacaJapan • Chainer Evangelist ＠Preferred Networks • Twitter：@kmechann • GitHub：@keisuke-umezawa
- 3. 2019/01/25 Alpaca Forecast AI Prediction Matrix 3 • 最近、Bloombergアプリとしてリリースした金融商品予測システム • 30分後に価格が上がるか下がるか予測する
- 4. 2019/01/25 Agenda 1. 強化学習とは 2. Chainer/ChainerRLの紹介 3. 本日のハンズオンについて 4. Chainer User Groupの紹介 4
- 7. 2019/01/25 強化学習の学習過程 7 • 強化学習でブロック崩しを 学習する様子 • 環境：ゲーム • 状態：画像 • 報酬：崩したプロックの数 • エージェント：ゲームAI • 行動：板の移動 • 最初はすぐに失敗するが、120回を超 えると人間並みの腕並み • 240回を超えると… Google DeepMinds: Google DeepMind's Deep Q-learning playing Atari Breakout (https://youtu.be/V1eYniJ0Rnk)
- 15. 2018/11/25 Chainer • Chainerとは (http://chainer.org/) • Preferred Networks製Deep Learningフレームワーク 15
- 17. 2018/11/25 拡大するChainerファミリー 17 Chainer UI Chainer Chemistry 強化学習 画像認識 可視化 グラフ構造 大規模分散 Menoh 推論特化
- 22. 実装済みのアルゴリズム • Deep Q-Network (Mnih et al., 2015) • Double DQN (Hasselt et al., 2016) • Normalized Advantage Function (Gu et al., 2016) • (Persistent) Advantage Learning (Bellemare et al., 2016) • Deep Deterministic Policy Gradient (Lillicrap et al., 2016) • SVG(0) (Heese et al., 2015) • Asynchronous Advantage Actor-Critic (Mnih et al., 2016) • Asynchronous N-step Q-learning (Mnih et al., 2016) • Actor-Critic with Experience Replay (Wang et al., 2017) <- NEW! • Path Consistency Learning (Nachum et al., 2017) <- NEW! • etc.
- 24. 2018/11/25 今回の強化学習の問題 24 • MarLo-FindTheGoal-v0 • 目的 • find the goal • 報酬 • 1stepごとに-0.01 • 最大で250step • ゴールにダド率いたら1.0 • 制限時間を超えたら-0.1
- 25. 2018/11/25 深層強化学習をチョット詳しく 25 • Deep Q-Network (DQN) • 強化学習では、状態に対する各行動の評価値をQ値と呼び、 それを用いる手法をQ学習と呼ぶ • Q値を表現する関数をQ関数と呼び、それをDeep Neural Networkで表現するのでDeep Q-Networkという。 状態 Convolutional Neural Network 行動評価 前進 後退 右回 左回
- 26. 2018/11/25 DQNの工夫 26 • Experience Replay • experienceに蓄積した結果をランダムで学習データにつかう Experience (状態 , 行動 , 報酬) , 後退 , -0.1 , 右回 , -0.1 , 前進 , 1.0 , 前進 , -0.1 Replay
- 27. 2018/11/25 ハンズオンで変更するパラメータ 27 Experience (状態 , 行動 , 報酬) , 後退 , -0.1 , 右回 , -0.1 , 前進 , 1.0 , 前進 , -0.1 Replay Q関数 環境 状態 行動 報酬
- 28. 2018/11/25 ハンズオンで変更するパラメータ 28 Experience (状態 , 行動 , 報酬) , 後退 , -0.1 , 右回 , -0.1 , 前進 , 1.0 , 前進 , -0.1 Replay Q関数 環境 状態 行動 報酬 1. Experience Replayの種類 2. Agentの種類 3. Q関数の種類
- 29. 2019/01/25 環境構築 • 今回のハンズオンは告知したように、あらかじめ以下のどちら かの方法で環境構築をお願いしています • sshを使わない方法 • https://qiita.com/ikeyasu/private/d6e587126a54ce559604 • sshを使う方法 • https://qiita.com/keisuke-umezawa/items/fcf5d00474e244217a5e 29
- 32. 2018/02/23 chug (Chainer User Group)の紹介 32
- 33. 2018/02/23 Chainer User Groupの紹介 • connpass • Slack chainer-jp • Twitter @chug_jp • 活動内容 • Meetup・ハンズオンの開催 • Chainerに関する情報・ドキュメントの拡充 • Web チュートリアルの作成 • 一緒に活動できる方を募集しています ！Slack #chug-jp-management に是非 33
- 34. 2019/01/25
Editor's Notes
- エージェントが環境の状態を観測をして行動を選び、その行動に応じて状態が変化して、また新しい観測と報酬がエージェントの元に届く まず環境を初期状態にリセットし、最初の観測を返す 環境はアクションを受け取って4つの値を返せば十分
- アルゴリズムごとに異なるエージェントのパラメータを渡して、エージェンとを作る
- 環境とインタラクションさせる 環境とエージェントのインタラクションをベタにかけばよい エージェントが観測と報酬をうけとって次の行動を返す 環境が行動を受け取って次の観測、報酬などをかえす このループを回す
- 環境とインタラクションさせる 環境とエージェントのインタラクションをベタにかけばよい エージェントが観測と報酬をうけとって次の行動を返す 環境が行動を受け取って次の観測、報酬などをかえす このループを回す