Downloaded 15 times
![15
TD学習
[入力] S，Aは既知．行動の入力に対して次状態と報酬を出力するモデル．
π，γ，α，終了条件．
[出力] 方策πの推定価値関数
1. 初期化
推定価値関数を任意に初期化・t＝0に初期化・初期状態𝑠0を観測
2. 環境との相互作用
方策 に従い行動𝑎 𝑡を選択し環境に入力，環境から報酬𝑟𝑡と次状態𝑠𝑡+1を観測
3. 学習
TD誤差を計算
推定価値関数を更新
4. 終了判定
終了条件を満たしていれば終了
それ以外は手順2から繰り返す](https://image.slidesharecdn.com/rlchapter4-200826105716/85/4-15-320.jpg)
![[DL輪読会]Temporal Abstraction in NeurIPS2019](https://cdn.slidesharecdn.com/ss_thumbnails/20191115-191112082849-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]深層強化学習はなぜ難しいのか？Why Deep RL fails? A brief survey of recent works.](https://cdn.slidesharecdn.com/ss_thumbnails/20210115dlohta-210115054939-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ts2-01-210607042910-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Oracle Code Night] Reinforcement Learning Demo Code](https://cdn.slidesharecdn.com/ss_thumbnails/20210831orajam7crypto-210921030945-thumbnail.jpg?width=640&height=640&fit=bounds)
強化学習4章
- 1.
- 2.
- 3.
- 4. 4 手順 1. 方策πを用いて終端状態までデータをサンプルする 2. 価値関数の推定 3.エピソード終了毎に価値関数を更新 モンテカルロ法 𝑠 𝑎 𝑎𝑎 𝑠𝑠𝑠 𝑎 𝑠 終端状態𝑡 = 𝑇 𝑡 = 1 𝑡 = 0 ・ ・ ・ モンテカルロ法のバックアップ木 モンテカルロ法の問題点 • エピソード終了まで価値関数を更新できない ため，オンライン学習に向かない • 推定値の偏り（バイアス）が小さい反面，推 定値の分散（バリアンス）が大きくなる
- 5. 5 TD学習(時間的差分学習：Temporal Difference learning) 𝑠 𝑎𝑎𝑎 𝑠𝑠𝑠 𝑎 𝑠 オンラインで価値関数の更新を行う手法 推定価値関数の更新式 1ステップ毎に価値関数の更新を行う
- 6. 6 おまけ（動的計画法） 𝑠0 (0) 𝑎0 (0) 𝑎0 (2) 𝑎0 (1) 𝑠1 (2) 𝑠1 (1)𝑠1 (0) 𝜋 𝑎0 𝑠0 𝑝𝑇 𝑠1 𝑎0 , 𝑠0 𝑔(𝑎0, 𝑠0) 𝑎1 (2) 𝑠T 2
- 7.
- 8.
- 9.
- 10. 10 バッチ学習でのベルマン方程式 ある方策 π (固定)に従い収集した履歴データℎ𝑇 π が既に手元にある（バッチ学習） 推定価値関数の更新式（近似ベルマン方程式） 繰り返し適用することで，縮小性より不動点に収束する T → ∞ の極限で 𝐵はBπ に収束するため， 𝑉∞は𝑉π に一致する ベルマン方程式
- 11.
- 12. 12 オンライン学習でのベルマン方程式 ロビンス・モンローの条件 を満たせば，t → ∞の極限で以下が成り立つ (確率的近似の収束性) ベルマン方程式の一意性(2章)より 𝑉は真の価値関数𝑉π に収束する ロビンス・モンローアルゴリズム
- 13. 13 ベルマン方程式の解の一意性（再掲） a. ベルマン最適方程式の解になる関数 は， を満たすが，それは最適価値関数ただ１つ． b．定常方策 のベルマン期待方程式の解になる関数 は， を満たすが，それは の価値関数 ただ１つ．
- 14. 14 TD学習（時間的差分学習） 上式を解釈しやすいように以下のように書き換える 次ステップの価値の推定値と現在の価値の推定値の差分 TD誤差 新しい推定値 ← 古い推定値＋ ステップサイズ（新しい推定値 ー 古い推定値） 確率的勾配降下法と同じ原理
- 15. 15 TD学習 [入力] S，Aは既知．行動の入力に対して次状態と報酬を出力するモデル． π，γ，α，終了条件． [出力] 方策πの推定価値関数 1.初期化 推定価値関数を任意に初期化・t＝0に初期化・初期状態𝑠0を観測 2. 環境との相互作用 方策 に従い行動𝑎 𝑡を選択し環境に入力，環境から報酬𝑟𝑡と次状態𝑠𝑡+1を観測 3. 学習 TD誤差を計算 推定価値関数を更新 4. 終了判定 終了条件を満たしていれば終了 それ以外は手順2から繰り返す
- 16.
- 17.
- 18.
- 19.
- 20.
- 21. 21 後方観測的なTD(λ)学習 ∞Tt τ 時間ステップ T 時点では第1項のみ計算可能 時間ステップT までに状態 s に訪問した時間ステップの集合を以下で定義 状態 s の時間ステップ T までのTD(λ)誤差の和
- 22. 22 後方観測的なTD(λ)学習 状態 s の時間ステップT までに計算可能な誤差項 時間ステップ T 以降の誤差項 これらを用いて，
- 23.
- 24.
- 25. 25 後方観測的なTD(λ)学習 以上より，前方観測的なTD(λ)学習の近似として以下の更新式が考えられる ∞Tt τ Tが大きくなるほど は と比べて相対的に大きくなる したがって，となり，後方観測的なTD(λ)学習は前方観測的なTD(λ) 学習の近似となる
- 26.
- 27. 27 前方と後方の違い 前方観測的なTD(λ)学習 後方観測的なTD(λ)誤差 • 前方観測的なTD(λ)では時間ステップtに滞在している状態𝑠𝑡についてのみ推定 価値関数の更新をしないが，後方観測的なTD(λ)ではすべての状態について更新 する •後方観測的なTD(λ)誤差は現在の経験から求まるため即座に推定価値関数の更新 ができるためオンライン学習に向いている
- 28.
- 29.
- 30.
- 31. 31 最適方策の推定 価値反復法に基づいて適当な閾値𝜖 > 0を用いて 収束していれば，最適方策は以下の通り推定できる 収束条件 ベルマン行動最適作用素の性質について考える 作用素の適用は妥当か？
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40. 40 Q学習 各時間ステップtでデータ{𝑎 𝑡, 𝑟𝑡,𝑠𝑡+1 }が得られる度に最適行動価値関数の推定 値を更新 TD誤差を用いて以下のように書き換え可能 TD誤差 適当な条件下で推定値は真の最適行動価値関数に収束する
- 41. 41 Q学習の収束性 マルコフ決定過程M(π)の各時間ステップt+1で関数 をQ学習 に従い更新するとき， であり， ・の初期化条件： ・累積学習率の条件（ロビンス・モンローの条件）： を満たすなら， は最適行動価値関数 に収束する． 証明略
- 42.
- 43. 43 Q-learning algorithm 1．初期化 推定値 を任意に初期化 初期状態𝑠0を環境から観測 2．環境との相互作用 に従い行動𝑎𝑡を選択し，環境に入力 環境から報酬𝑟𝑡と次状態𝑠𝑡+1を観測 3．学習 推定値を更新 4．終了判定 終了条件を満たしていれば終了 それ以外は として繰り返す
- 44.
- 45.
- 46. 46 On-PolicyとOff-Policyの違い Reinforcement Learning :An Introduction 挙動方策 𝜀 = 0.1のε-greedy方策を使用 SARSA 推定方策もε-greedy方策である ため確率的に崖に落ちるのを避 けた迂回ルートが最適となる Q-learning 推定方策がgreedy方策であるた め崖に落ちることがなく最短 ルートが最適となる しかし，挙動方策により確率的 に崖に落ちるため報酬の総和は SARSAと比べて小さい
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53.