More Related Content
Featured
Featured (20)
データサイエンス勉強会～機械学習＿強化学習による最適戦略の学習
- 2. アジェンダ • 第Ⅰ部 機械学習とは？ • 第Ⅱ部 強化学習で最適戦略の学習
- 3. 第Ⅰ部
- 4. • 機械学習とは？ • 3つのアプローチ • 学習方法 • 未学習と過学習 第Ⅰ部
- 5. • 機械学習とは？ • 3つのアプローチ • 学習方法 • 未学習と過学習 第Ⅰ部
- 8. • 機械学習とは？ • 3つのアプローチ • 学習方法 • 未学習と過学習 第Ⅰ部
- 19. • 機械学習とは？ • 3つのアプローチ • 学習方法 • 未学習と過学習 第Ⅰ部
- 24. • 機械学習とは？ • 3つのアプローチ • 学習方法 • 未学習と過学習 第Ⅰ部
- 30. • 機械学習とはデータを学習して、モデルを作り回帰/分 類問題を解く技術 • 機械学習には「教師あり学習」、「教師なし学習」、 「強化学習」の3つのアプローチがある • 学習方法は「バッチ処理」、「ミニバッチ処理」、「オ ンライン学習」の3つがある • 作成したモデルが「未学習」や「過学習」にならないよ うに注意する 第Ⅰ部まとめ
- 31. つづく
- 32. つづき
- 33. 第Ⅱ部
- 34. • 強化学習とは？ • アルゴリズム • マルコフ決定過程 • 強化学習で最適な戦略を学習しよう！ 第Ⅱ部
- 35. • 強化学習とは？ • アルゴリズム • マルコフ決定過程 • 強化学習で最適な戦略を学習しよう！ 第Ⅱ部
- 41. 傘を持っていかなかったら
- 42. 強化学習とは？ （例）「傘を持っていくべきか？」 状態 曇 持っていく 持っていかない 状態 雨 傘で雨を凌いだ プラスの報酬GET「持っていかない」 を選択 雨でびしょ濡れ マイナスの報酬GET
- 44. • 強化学習とは？ • アルゴリズム • マルコフ決定過程 • 強化学習で最適な戦略を学習しよう！ 第Ⅱ部
- 46. Q学習（Q-learning）とは？ Q学習はある状態で選択可能な行動に対して、Q値を与え、 Q値を比較して行動を選択する 𝑄 𝑠𝑡, 𝑎 𝑡 ← 𝑄 𝑠𝑡, 𝑎 𝑡 + 𝛼 [𝑟𝑡+1 + 𝛾𝑚𝑎𝑥𝑄 𝑠𝑡+1, 𝑎 − 𝑄(𝑠𝑡, 𝑎 𝑡)] 𝑄 𝑠𝑡, 𝑎 𝑡 ：時刻tにおける状態Sで選択可能な行動aに対するQ値 α：学習率 𝑟𝑡+1：時刻tで行動した結果得られる利得 γ：割引率（0 < γ < 1）
- 52. Q学習（Q-learning）とは？ （例）「傘を持っていくべきか？」 状態 曇 持っていく 持っていかない 𝑄 曇, 傘を持っていく =3 𝑄 曇, 傘を持っていかない =1 Q値を元に 行動選択 Exploit Q値が最大の行動 傘を持っていく Explore 確率的に行動選択 持っていく or 持っていかない
- 54. • 強化学習とは？ • アルゴリズム • マルコフ決定過程 • 強化学習で最適な戦略を学習しよう！ 第Ⅱ部
- 55. • 状態遷移が生じる動的システムの確率モデル – 強化学習のモデル：行動を確率的に決定し、状態遷移 • 状態と選択可能な行動が予め全てわかっている – （例）状態：晴、曇、雨 行動：傘を持っていく、傘を持っていかない • 行動して得られる利得と利得を得られる確率は予 めわからない – 強化学習が求める答え マルコフ決定過程とは？
- 56. • 強化学習とは？ • アルゴリズム • マルコフ決定過程 • 強化学習で最適な戦略を学習しよう！ 第Ⅱ部
- 59. • Q値の更新は正常にできていた • 学習した結果が最適な戦略とは言い切れなかった • 全ての状態、行動を学習するには非常に時間がか かる • 混合戦略（戦略決定に相手の戦略にも影響を受け る）への適応が課題 Q学習してみた結果
- 60. おわり