Recommended
More Related Content
What's hot
What's hot (20)
Similar to RL_chapter1_to_chapter4
Similar to RL_chapter1_to_chapter4 (20)
More from hiroki yamaoka
Recently uploaded
Recently uploaded (8)
RL_chapter1_to_chapter4
- 1. 強化学習 1/137
- 2. 2 前半パートの流れ 1章 強化学習のための準備 2章 動的計画法（強化学習のための準備） 3章 探索と活用のトレードオフ ここから強化学習 4章 モデルフリー強化学習 5章 モデルベース強化学習 6章 関数近似を用いた強化学習 後半パート（来週以降） 7章 部分観測マルコフ決定過程 8章 深層強化学習
- 3. 3 1章 流れ • 強化学習とは • マルコフ性 • マルコフ決定過程 • マルコフ決定過程の時間発展 • 目的関数 • 方策
- 6. 6 強化学習（Reinforcement Learning) とは この例では，現在の客の購買意欲(状態)に基づいて，キャンペーンを 実施するか否か(行動)によって変化する客の購買意欲(次状態)や得られる 売り上げ(報酬)は既知であるので，最適な方策を簡単に求めることがで きる（環境が既知である） 環境が既知であれば強化学習でなくとも解ける（2章） 強化学習では環境が未知である問題を扱う 現実の環境が未知である方策の最適化問題は，複雑で簡単には解けない → 強化学習では環境に対してマルコフ性という仮定
- 7. 7 マルコフ性とは 【マルコフ性】 将来の確率変数の条件付き確率分布は現時間ステップ t の値のみに依存 例：サイコロを振って出た目 X1 X2 X 𝟑 X 𝟒 X 𝟓 t回目に出た目 3 1 2 4 1 t回目までに出た目の 最大値 3 3 3 4 4 t回目までに出た目の 中央値 3 2 2 2.5 2 i.i.d マルコフ性 強化学習では一般的にマルコフ性が成立する状態を観測できるマルコフ決定過程 (確率制御過程)に対する学習法を考える 状態遷移確率 全過去に依存
- 8. 8 (離散時間)マルコフ決定過程 M(π)={𝑆, 𝐴, 𝑝𝑠0 , 𝑝 𝑇, g , π} ・有限状態集合： ・有限行動集合： ・初期状態確率関数： ・状態遷移確率関数： ・報酬関数： ・方策： マルコフ決定過程(Markov Decision Process MDP) 連続状態(or 行動)集合における強化学習は6章で扱う
- 9. 9 マルコフ決定過程の時間発展 𝑠0 𝑎0 𝑠1 1. 時間ステップ t を t＝0 と初期化して，初期状態確率 𝑝𝑠0 に従い初期状態 𝑠0 を 観測する 2. 状態 𝑠t と方策 𝜋 ・ 𝑠𝑡 から，行動𝑎tを選択する 3. 行動 𝑎t を実行し，その結果として報酬関数 𝑔(𝑎t, 𝑠t) から定まる報酬 rt と，状 態遷移確率 𝑝 𝑇 ・ 𝑎t , 𝑠𝑡 から定まる次状態 st+1 を観測する 4. 時間ステップ t = t + 1 とし，手順1．に戻る 𝜋 𝑎0 𝑠0 𝑝 𝑇 𝑠1 𝑎0 , 𝑠0 …𝑝𝑠0 r0〜𝑔(𝑎0, 𝑠0)
- 11. 11 典型的な目的関数 • 典型的な問題設定では，期待報酬や期待割引累積報酬が目的関数として用い られる 【期待報酬】 【期待割引累積報酬】(期待リターン) は割引率 長期的な利益を尊重するなら，1に近づける • これらの目的関数は，最適な方策を求める際，時間不変な（定常な）方策の み考慮すれば良いという性質をもつ(後述)
- 12. 12 方策にもいろいろある 強化学習の目標：目的関数を最大にする方策を求める ひとくちに方策といっても単純なものから複雑なものまで様々な方策がある • 決定的方策 • 確率的方策 • 定常な方策 • 非定常な方策 • マルコフ方策 • 履歴依存の方策
- 14. 14 方策の分類 𝜋 や 𝜋 𝑑 は，現状態 s のみに依存することからマルコフ方策といい， 時間ステップ t が進展しても方策は変化しないので，定常なマルコフ方策という stationary 方策系列 ・定常な決定的マルコフ方策集合の大きさ
- 17. 17 方策系列集合の包含関係 履歴依存の方策系列の集合 非定常なマルコフ方策系列の集合定常なマルコフ方策系列の集合 定常な決定的マルコフ方策系列の集合 ※緑は確率的方策と仮定 例：状態数 𝑆 = 2，行動数 𝐴 = 2の有限長MDPにおける方策系列集合の大きさ
- 19. 19 マルコフ方策の妥当性 任意のマルコフ決定過程 M={𝑆, 𝐴, 𝑝𝑠0 , 𝑝 𝑇, g } と 履歴依存の方策系列 に対して，次を満たすような マルコフ方策の系列 が存在する． どんな履歴依存の非マルコフ方策で行動選択したとしても環境の重要な特徴であ る各時間ステップ t での 𝑆𝑡 , 𝐴 𝑡 の同時確率は，より簡単な方策であるマルコフ方 策を用いても同様に表すことができる これを用いて次が成り立つ ⇨ 次ページへ
- 20. 20 マルコフ方策の十分性 同時周辺確率関数 方策 𝜋 の目的関数 𝑓 を同時周辺確率関数の系列 を引数とする 関数 𝑓 を用いて，任意の に対して と表せるとき， が成り立つ． ※ ※の条件を満たす目的関数についてはマルコフ方策のみを最適化対象にすれば十 分である
- 23. 23 リターン(割引累積報酬)の導入 リターンを用いた一般的な目的関数 リターン 𝐶 ∈ ℝ （確率変数） ・再帰的な構造をもつ は割引率(ハイパーパラメータ) 長期的な利益を尊重するなら，1に近づける
- 24. 24 価値関数の導入 価値関数とは ・ある状態 s からマルコフ方策 π に従い行動選択した場合の期待リターン ・ベルマン(期待)方程式（価値関数の再帰ver.）
- 26. 26 ベルマン期待方程式 𝑆 = {𝑠(0), 𝑠(1), 𝑠(2)} 𝐴 = {𝑎(0), 𝑎(1), 𝑎(2)} 𝑠0 (0) 𝑎0 (0) 𝑎0 (2) 𝑎0 (1) 𝑠1 (2) 𝑠1 (1)𝑠1 (0) 𝜋 𝑎0 𝑠0 𝑝 𝑇 𝑠1 𝑎0 , 𝑠0 𝑔(𝑎0, 𝑠0) 次ステップの状態 価値関数はこの時 点で定まっている
- 28. 28 最適方策がγに依存しない目的関数 期待リターンの時間平均 ・マルコフ連鎖 M={𝑆, 𝑝𝑠0 , 𝑝 𝑀𝐶 π } が常にエルゴード性を満たす時， 𝑓∞を最大にする 最適方策はγに依存しない ・状態遷移確率
- 30. 30 エルゴード性 • 定常分布 マルコフ連鎖がエルゴード性を満たす時に唯一の定常分布が存在する ・定常分布は初期状態確率 𝑝𝑠0 に依存しない ・時間ステップ t の状態分布の時間平均や極限に一致
- 31. 31 最適方策がγに依存しない目的関数(続) 期待リターンの時間平均 ・マルコフ連鎖 M={𝑆, 𝑝𝑠0 , 𝑝 𝑀𝐶 π } が常にエルゴード性を満たす時， 𝑓∞を最大にする 最適方策はγ(割引率)に依存しない より，
- 36. 36 目次 • プランニングとは • 動的計画法 • ベルマン方程式 • 動的計画法によるベルマン方程式の解法
- 38. 38 最適価値関数の導入 最適価値関数 定義より，最適価値関数は目的関数の最適値と一致 ⇨ 最適価値関数を求めると最適方策がわかる 1章の議論から，最適価値関数を求めるにはマルコフ方策を考えれば良い
- 42. 42 ベルマン作用素 動的計画法ではベルマン作用素と呼ばれる作用素(写像)を状態関数 𝑣 に適用し， 𝑣 の更新を繰り返すことで，徐々に 𝑣 を(最適)価値関数に近づけることができる ベルマン期待作用素 ベルマン期待作用素を用いるとベルマン期待方程式がスッキリする イメージ図 スタート ゴール
- 45. 45 ベルマン方程式の意味 ベルマン期待方程式 ベルマン最適方程式 これらの式は と は， や を何度適用しても変わらないことを意 味している このような と を， と の不動点という 不動点 定義域と値域が同じ であるような関数や作用素 に対し て， を満たす のこと．またこのような を の解という スタート ゴール
- 46. 46 ベルマン作用素の性質 ベルマン作用素の単調性 任意の状態関数 と が を満たす時， a. ベルマン最適作用素 について， b. 任意のマルコフ方策系列 のベルマン期待作用素 の積 について， が成り立つ． 任意の状態の関数vの大小関係はベルマン作用素の適用前後で変化しない
- 48. 48 動的計画法の数理 無限時間ステップ長のマルコフ決定過程に対して最適方策を求める上で有用な動 的計画法の性質を見る • 動的計画法の収束性 ベルマン作用素の適用で不動点に到達するか • ベルマン方程式の解の一意性 ベルマン作用素の不動点は唯一つか • ベルマン作用素の縮小性 ベルマン作用素の適用で不動点にどれくらい近づいているか
- 49. 49 動的計画法の収束性 a. 任意の有界の状態関数 に対して，ベルマン最適作用素 をk回 繰り返し適用した関数 は最適価値関数 に漸近的に等しくなる． b. 任意の有界の状態関数 に対して，マルコフ方策系列 のベルマン期待作用素 を適用した関数 は の価値関数 に漸近的に等しく なる． ベルマン作用素を繰り返し適用することで，初期の状態関数vに依らず，不動点 である最適価値関数や価値関数を求めることができる
- 50. 50 ベルマン方程式の解の一意性 a. ベルマン最適方程式の解になる関数 は， を満たすが，それは最適価値関数 ただ１つ． b．定常方策 のベルマン期待方程式の解になる関数 は， を満たすが，それは の価値関数 ただ１つ．
- 51. 51 ベルマン作用素の縮小性 任意の有界関数 と に対して， a. ベルマン最適作用素 について， b. 任意の のベルマン期待作用素 について， が成立する．
- 52. 52 縮小性の意味 𝑣′ に不動点 𝑉∗ を代入すると イメージ図 不動点 𝑉∗ と 𝐵∗ 𝑘 𝑣 のキョリは反復回数kについて指数関数的に減少する
- 54. 54 最適方策の存在性と必要十分条件 最適方策になりうる定常な決定的方策 が存在し，ある が最適 方策である. ベルマン期待作用素 によるベルマン期待方程式の不動点 が最適価値関数 であること，すなわち が成立する． コレが成り立てばある定常な決定的方 策が最適方策として存在する
- 56. 56 動的計画法による解法 MDPとベルマン方程式のもとで最適方策を見つける方法 • Value ベース 最適価値関数を直接的に推定して，この関数が最大となる行動を選択するよ うに最適方策を求める アルゴリズム：価値反復法 • Policy ベース 方策を直接的に推定し価値関数による方策評価を参考にして方策を改善して 最適方策を求める アルゴリズム：方策反復法
- 58. 58 価値反復法 入力： 終了閾値 出力：最適方策 最適価値関数 1．初期化 価値関数 を任意に初期化 2．価値関数の更新 3．収束判定 もし なら，以下の決定的方策を求めて終了 それ以外は， として，手順2．に戻る
- 60. 60 4．収束判定 もし， ならば終了 それ以外は， として，手順2．へ戻る 1．初期化 決定的方策 を任意に初期化 2．方策評価 方策 のベルマン方程式（ に関する連立一次方程式） 方策反復法 入力： 出力：最適方策 最適価値関数 を解いて， の価値関数 を求める 3．方策改善 改善方策 を求める
- 61. 61 方策評価 状態価値関数𝑉 𝜋 (𝑠)は状態sにおいて方策𝜋に従い続けた際の価値を表す つまり， 𝑉 𝜋 (𝑠)は定常方策𝜋 𝑑 の良さを表す評価指数となる ベルマン方程式を解くとはすなわち方策の評価を行なっていることになる 解析的に解く 逆行列の計算量が𝑂(|𝑆|3)なので状態数が多い場合，価値反復法のように繰り返 しベルマン作用素を適用させて𝑉 𝜋 (𝑠)を近似的に求める（反復方策評価）
- 63. 63 方策改善の単調性 方策反復法の任意の繰り返し回数 の方策 と について， が成立する．また， が成立する． 方策の更新により価値関数が変化しないなら，方策は最適方策に収束している 方策が最適方策に収束していないなら，方策の更新によりある状態で価値関数 が必ず改善される
- 64. 64 2章まとめ ベルマン方程式を状態関数に繰り返し適用することで真の価値関数が得 られる ・価値反復法 ・方策反復法 最適方策は決定的マルコフ定常方策から見つかる 価値関数は方策を評価する指標になる
- 65. 3章 探索と活用のトレードオフ
- 66. 66 やっと強化学習 ここからは環境(MDP)の情報が未知と仮定 ⇨ 強化学習 MDPの情報はエージェントが環境に働きかけて得たデータから推測する データが少ないと局所解に陥る可能性大 ・エージェントは環境からデータを収集するために行動 (探索) ・収集したデータを利用して期待報酬最大となるように行動 (活用) オンライン学習では，最適方策以外に上手く探索する方策も知りたい 探索か活用のどちらか一方に偏るのは好ましくない 探索と活用のトレードオフ を考慮する必要
- 68. 68 リグレット 「神のみぞ知る最適方策に従って得た報酬の期待値」と比べて，「学習途中の方 策に従って得た報酬の期待値」の良さ(探索と活用のトレードオフ)を測る指標 • リグレットが小さいほどデータの探索と活用が適切に考慮できている • この定義では，時間割引なしの期待累積報酬しか扱えない(多腕バンディッド 問題など) • 最適性の原理を満たさない問題に適用できない
- 69. 69 サンプル複雑度 各時間ステップ t の状態s 𝑡で方策𝜋 𝑡がε最適でなかった回数の総和 ε最適方策 目的関数 が最適性の原理を満たし，ε > 0に対してある方策 π がある状態 s で を満たすとき，πは状態sでε最適であるといい，πが任意のsで上式を満たすとき， πはε最適方策であるという 最適方策 時間ステップtにおける「最適価値」と 「学習途中の価値」との差
- 70. 70 サンプル複雑度の注意点 サンプル複雑度は学習速度を主に評価している • 各時間ステップtの方策𝜋 𝑡がε最適か否かの2値的にしか評価していない • 学習途中のリグレットが大きい or 小さい方策のどちらでも，ε最適な方策な方 策を求めるまでのステップ数が変わらなければサンプル複雑度は大して変わ らない MDPが既約でない場合，サンプル複雑度が役に立たない可能性 明らかに良くない状態であるが サンプル複雑度が増えなくなる
- 72. 72 方策モデル 方策をモデル化する2つのアプローチ ・NNなどを用いて，状態を入力として行動（の確率分布）を出力する ・行動価値関数が最大となるような行動（の確率分布）を出力する ⇦ 今回はコレ （効用関数） 方策の定義（再掲） 行動価値関数（状態sで行動aに従った後は方策πに従う場合の割引期待累積報酬） 価値関数 𝑄πの推定値を𝑞(𝑠, 𝑎)とする時，𝑞 𝑠, 𝑎 < 𝑞(𝑠, 𝑎′)ならば状態sでは𝑎′の方が良い行動 ⇨ 貪欲方策モデル
- 73. 73 行動価値関数のイメージ図 例：移動ロボット（状態行動空間が離散） 𝑆𝑡𝑎𝑟𝑡 𝐺𝑜𝑎𝑙 𝑠0 𝑠1 𝑠2 𝑠3 𝑠5 𝑠6 𝑠7 𝑠8 上 右 左 下 𝑠0 0 3 0 3 𝑠1 0 5 1 5 𝑠2 0 0 1 7 𝑠3 1 5 0 5 𝑠4 1 7 1 7 𝑠5 1 0 1 10 𝑠6 1 7 0 0 𝑠7 1 10 1 0 𝑠8 0 0 0 0 行動 状態 テーブル形式（ルックアップテーブル）
- 75. 75 ε貪欲方策モデル 貪欲方策モデルを確率的方策に一般化 ハイパーパラメータ ・ε が 1 に近いほどランダムに行動選択し易い （ 「探索」行動を選択し易い） ・ε が 0 に近いほど行動価値を最大にする行動を選択し易い （「活用」行動を選択し易い） 離散環境(状態・行動が離散的)での強化学習の応用を研究している論文ではほと んどがこの方策モデルを使っている では，状態が連続の環境では？ ⇨ ソフトマックス方策モデル
- 76. 76 ソフトマックス方策モデル ε貪欲方策同様，貪欲方策を確率的方策に拡張 ε貪欲と何が違う？ ⇨ 微分ができる！ ソフトマックス方策 逆温度 βが大きい ⇨ 相対的に行動価値の大きい行動を選択し易い βが小さい ⇨ ランダムに行動を選択し易い β → ∞の極限で，貪欲方策モデルと等価
- 78. 78 不確かなときは楽観的に 貪欲に行動選択を行う場合の問題点 ・ 𝑞(𝑠, 𝑎)が過大評価された場合，行動𝑎が最適であると誤判断する可能性 ⇨ (s, 𝑎)に関するデータが増えるので𝑞(𝑠, 𝑎)を下方修正できる可能性 ・ 𝑞(𝑠, 𝑎)が過小評価された場合，行動𝑎以外が最適であると誤判断する可能性 ⇨ 今後(s, 𝑎)に関するデータが得られず𝑞(𝑠, 𝑎)を上方修正できない可能性 行動価値関数を工夫することで「探索と活用のトレードオフ」を考慮する これが非常にマズい 永遠に状態sにおいて誤った行動選択をし続ける可能性があるから この問題を回避するためのヒューリスティック 「不確かなときは楽観的に」
- 79. 79 不確かなときは楽観的に 𝑞(𝑠, 𝑎)が不確実な時は優先的に行動𝑎を選択するようにする 不確実度(探索が必要な度合い) (𝑠, 𝑎)の経験数の増加につれて減少 活用に関する量 ＋ 多腕バンディッド問題 ⇨ UCB1法
- 85. 4章 モデルフリーな強化学習
- 88. 88 手順 1. 方策πを用いて終端状態までデータをサンプルする 2. 価値関数の推定 3. エピソード終了毎に価値関数を更新 モンテカルロ法 𝑠 𝑎 𝑎𝑎 𝑠𝑠𝑠 𝑎 𝑠 終端状態𝑡 = 𝑇 𝑡 = 1 𝑡 = 0 ・ ・ ・ モンテカルロ法のバックアップ木 モンテカルロ法の問題点 • エピソード終了まで価値関数を更新できない ため，オンライン学習に向かない • 推定値の偏り（バイアス）が小さい反面，推 定値の分散（バリアンス）が大きくなる
- 89. 89 TD学習(時間的差分学習：Temporal Difference learning) 𝑠 𝑎 𝑎𝑎 𝑠𝑠𝑠 𝑎 𝑠 オンラインで価値関数の更新を行う手法 推定価値関数の更新式 1ステップ毎に価値関数の更新を行う
- 90. 90 おまけ（動的計画法） 𝑠0 (0) 𝑎0 (0) 𝑎0 (2) 𝑎0 (1) 𝑠1 (2) 𝑠1 (1)𝑠1 (0) 𝜋 𝑎0 𝑠0 𝑝 𝑇 𝑠1 𝑎0 , 𝑠0 𝑔(𝑎0, 𝑠0) 𝑎1 (2) 𝑠T 2
- 94. 94 バッチ学習でのベルマン方程式 ある方策 π (固定)に従い収集した履歴データℎ 𝑇 π が既に手元にある（バッチ学習） 推定価値関数の更新式（近似ベルマン方程式） 繰り返し適用することで，縮小性より不動点に収束する T → ∞ の極限で 𝐵はBπ に収束するため， 𝑉∞は𝑉π に一致する ベルマン方程式
- 96. 96 オンライン学習でのベルマン方程式 ロビンス・モンローの条件 を満たせば，t → ∞ の極限で以下が成り立つ (確率的近似の収束性) ベルマン方程式の一意性(2章)より 𝑉は真の価値関数𝑉π に収束する ロビンス・モンローアルゴリズム
- 97. 97 ベルマン方程式の解の一意性（再掲） a. ベルマン最適方程式の解になる関数 は， を満たすが，それは最適価値関数 ただ１つ． b．定常方策 のベルマン期待方程式の解になる関数 は， を満たすが，それは の価値関数 ただ１つ．
- 98. 98 TD学習（時間的差分学習） 上式を解釈しやすいように以下のように書き換える 次ステップの価値の推定値と現在の価値の推定値の差分 TD誤差 新しい推定値 ← 古い推定値 ＋ ステップサイズ（新しい推定値 ー 古い推定値） 確率的勾配降下法と同じ原理
- 99. 99 TD学習 [入力] S，Aは既知．行動の入力に対して次状態と報酬を出力するモデル． π，γ，α，終了条件． [出力] 方策πの推定価値関数 1. 初期化 推定価値関数を任意に初期化・t＝0に初期化・初期状態𝑠0を観測 2. 環境との相互作用 方策 に従い行動𝑎 𝑡を選択し環境に入力，環境から報酬𝑟𝑡と次状態𝑠𝑡+1を観測 3. 学習 TD誤差を計算 推定価値関数を更新 4. 終了判定 終了条件を満たしていれば終了 それ以外は手順2から繰り返す
- 104. 104 後方観測的なTD(λ)学習
- 105. 105 後方観測的なTD(λ)学習 ∞Tt τ 時間ステップ T 時点では第1項のみ計算可能 時間ステップ T までに状態 s に訪問した時間ステップの集合を以下で定義 状態 s の時間ステップ T までのTD(λ)誤差の和
- 106. 106 後方観測的なTD(λ)学習 状態 s の時間ステップ T までに計算可能な誤差項 時間ステップ T 以降の誤差項 これらを用いて，
- 108. 108 後方観測的なTD(λ)学習 ＋ ＋ ・・・ ✖️ 𝑧𝑡,λ(𝑠)は状態sに直近どれだけ滞在したかを表す統計量と解釈でき， の大小 によってどの程度過去の情報を現在の価値に反映させるかを調整する
- 109. 109 後方観測的なTD(λ)学習 以上より，前方観測的なTD(λ)学習の近似として以下の更新式が考えられる ∞Tt τ Tが大きくなるほど は と比べて相対的に大きくなる したがって， となり，後方観測的なTD(λ)学習は前方観測的なTD(λ) 学習の近似となる
- 111. 111 前方と後方の違い 前方観測的なTD(λ)学習 後方観測的なTD(λ)誤差 • 前方観測的なTD(λ)では時間ステップtに滞在している状態𝑠𝑡についてのみ推定 価値関数の更新をしないが，後方観測的なTD(λ)ではすべての状態について更新 する • 後方観測的なTD(λ)誤差は現在の経験から求まるため即座に推定価値関数の更新 ができるためオンライン学習に向いている
- 115. 115 最適方策の推定 価値反復法に基づいて適当な閾値𝜖 > 0を用いて 収束していれば，最適方策は以下の通り推定できる 収束条件 ベルマン行動最適作用素 の性質について考える 作用素の適用は妥当か？
- 123. 123 オンライン学習 TD学習の導出と同様にして，近似ベルマン行動作用素による（Valueベース）オ ンライン学習法を導出する 近似ベルマン行動最適作用素 ⇨ Q学習（Off-Policy） 近似ベルマン行動期待作用素 ⇨ SARSA（On-Policy）
- 124. 124 Q学習 各時間ステップtでデータ{𝑎 𝑡, 𝑟𝑡, 𝑠𝑡+1 }が得られる度に最適行動価値関数の推定 値を更新 TD誤差を用いて以下のように書き換え可能 TD誤差 適当な条件下で推定値は真の最適行動価値関数に収束する
- 125. 125 Q学習の収束性 マルコフ決定過程M(π)の各時間ステップt+1で関数 をQ学習 に従い更新するとき， であり， ・ の初期化条件： ・累積学習率の条件（ロビンス・モンローの条件）： を満たすなら， は最適行動価値関数 に収束する． 証明略
- 126. 126 方策オフ型学習（Off-Policy） Q学習はOff-Policy 挙動方策：ε-greedy方策 推定方策：greedy方策 𝑠𝑡 𝑎 𝑡 𝑠𝑡+1 Q関数の更新 推定方策に挙動方策とは異なる方 策を採用する Off-Policy 挙動方策（behavior policy） エージェントが行動を決定するた めの方策 推定方策（target policy） 行動価値を更新するための方策 𝑎 𝑡+1
- 127. 127 Q-learning algorithm 1．初期化 推定値 を任意に初期化 初期状態𝑠0を環境から観測 2．環境との相互作用 に従い行動𝑎 𝑡を選択し，環境に入力 環境から報酬𝑟𝑡と次状態𝑠𝑡+1を観測 3．学習 推定値を更新 4．終了判定 終了条件を満たしていれば終了 それ以外は として繰り返す
- 129. 129 方策オン型学習（On-Policy） 𝑠𝑡 𝑎 𝑡 𝑠𝑡+1 Q関数の更新 SARSAはOn-Policy 推定方策に挙動方策を採用する On-Policy 挙動方策：ε-greedy方策 推定方策：ε-greedy方策 挙動方策（behavior policy） エージェントが行動を決定するた めの方策 推定方策（target policy） 行動価値を更新するための方策 𝑎 𝑡+1
- 130. 130 On-PolicyとOff-Policyの違い Reinforcement Learning : An Introduction 挙動方策 𝜀 = 0.1のε-greedy方策を使用 SARSA 推定方策もε-greedy方策である ため確率的に崖に落ちるのを避 けた迂回ルートが最適となる Q-learning 推定方策がgreedy方策であるた め崖に落ちることがなく最短 ルートが最適となる しかし，挙動方策により確率的 に崖に落ちるため報酬の総和は SARSAと比べて小さい
Editor's Notes
- 標本近似の妥当性 近似作用素が真の作用素に収束することが言いたい
- エルゴード性：各状態の滞在確率の極限は初期状態に依存しない