強くなるロボティック・プレイヤーの作り方 6章 間違えているところや疑問点などがありましたら下記のツイッターアカウントまでご一報ください。 @gen_goose_gen

1. 強くなるロボティク・プレイヤーの作り方
~6章 政策を直接近似する~
@gen_goose_gen

2. 発表スタンス
●
テキストの式について追っていきます
●
テキストが間違えていそうなところがあるのでそこ
は随時皆様と確認していきます
●
参考文献に投げている部分は認めるものとして発
表します
（全部探して読む時間なんてありませんでした…）
●
実装系は実行できてないです…

3. スライドで用いる表記
●
スカラー：ローマン体
●
ベクトル：小文字のボールド体
●
行列：大文字のボールド体
●
近似した量：ハットをつける
●
集合：カリグラフィー文字
（特に断らない場合列ベクトルとする）

4. 導入
●
強化学習の目的：最適な政策関数を獲得すること
● 4・5章：価値関数を近似して政策関数を更新
– 高次元でかつ連続な状態・行動空間を持つ問題では価値関
数の形状が複雑になり近似が困難
– 行動空間が高次元で連続な場合,価値関数が最大となる行
動の探索が難しい
– 価値関数が少し変更されただけでも,政策が大きく変化するこ
とがある.
(近似誤差が存在する状況での政策反復の収束性に大きく影響
政策を直接近似する必要がある

5. 政策直接近似での強化学習
●
これからの方針
1. パラメータを用いて連続した政策関数の近似モデルを
作る
2. 収益の期待値を定義し、パラメータに対する勾配を計
算する
3.収益の期待値が大きくなる方向に政策のパラメータを
更新する
4. 2-3を繰り返す
確率分布で作る
Cf:ガウス分布

6. Cf:連続空間での強化学習
1. パラメータを用いて連続した価値関数の近似モデ
ルを作る
2. 真の価値関数と近似モデルの差を取り、最小とな
るパラメータを探して近似モデルを決定する
3. 求められた価値関数の近似モデルが大きくなるよ
うに政策を更新する
4. 2-3を繰り返す

7. 政策勾配法
収益の期待値：
：パラメータによって表される政策
：状態遷移確率
：初期状態確率
このモデルに従うあるエピソードdで得られる収益

8. 政策勾配法
収益の期待値：
パラメータで勾配計算
エピソードデータｄを分布に従って
変えた時の収益の期待値
||
あるモデルに従った時に
得られる収益の期待値
パラメータ依存
ではない定数
※パラメータに従うのは
エピソードデータdの出現率

9. 政策勾配法
任意の定数bを追加できる:
:ベースライン
（勾配ベクトル の推定量の分散を小さくするように設定）

10. 政策勾配法
収益の期待値のパラメータ値対する勾配ベクトル：
政策モデルパラメータの更新式：
:学習率
収益の期待値におけるパラメータに
対する上昇方向を表す
→上昇方向に動かしているので政策勾配法は局所的最適
解を得ることが出来る
※パラメータ空間が極度に歪んでいる場合ではプラトーに陥り、局所的最適解を
得られない場合がある

11. 政策勾配法
・無限ステップで定義されているものが含まれている
・エピソードデータの種類が膨大
→直接計算できない
エピソードデータを標本して、データ集合 を使って勾
配を推定（近似）

12. 政策勾配法
・REINFORCE
(Reward Increment = Nonnegative Factor × Offset Reinforcement × Characteristic Eligibility)
モデルパラメータ 学習率
エピソードデータ
平均
tステップまでの割引報酬 Tステップまでのエピソードの
出現率の勾配
※ある政策に従うエピソードデータ
集合 を用いて標本してた沖の
データを使っていることに注意
（エピソード数：M, ステップ数：T）

13. 最小分散ベースライン
勾配推定量の分散を最小にするようにベースラインを選ぶ
（＝真の勾配に近い範囲で勾配サンプルが行われるようにする）

14. 最小分散ベースライン
分散をbで微分して０と置くことによって
分散を最小にするベースラインb*を導出

15. 政策勾配法の例
〜ガウスモデル政策モデル〜
政策関数のモデル（ガウスモデル）
パラメータ：
：ガウス分布の中心を決めるN次元ベクトル
：幅を決めるスカラー
※行動空間 は１次元、状態空間 はN次元と仮定してモデル化している

16. 政策勾配法の例
〜ガウスモデル政策モデル〜
政策関数のモデル（ガウスモデル）
ガウスモデルを取ることで微分計算が簡単になる
,
勾配計算

17. 政策勾配法の例
〜ガウスモデル政策モデル〜
,
政策モデルパラメータの更新式：

18. 政策勾配法のアルゴリズム

19. 自然政策勾配法
パラメータ空間が極度に歪んでいる場合、局所的最適解
を得られない場合がある（プラトーに陥る）
＝学習で収益が大きくなる政策が見つけられない
※NNでは頻繁に観測される
Ex)鞍点
回避する方法：自然勾配法
J(θ)
（σ,μ）=(0,0)においてJ(θ)の勾配はゼロだが、
J（θ）の値は極大を取っていない

20. 自然政策勾配法
〜概要〜
政策勾配法のパラメータの更新式：
自然政策勾配法のパラメータの更新式：
：フィッシャー情報行列
：政策 に従った時の状態sの定常分布
（要は状態ｓがどのように現れるかの分布）

21. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
これまでの収益の期待値の勾配：
政策勾配の定理：
：状態ｓにおけるベースライン
◯収益の期待値を書き換える

22. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
政策勾配の定理：
◯価値関数とベースラインを線形モデルを用いて近似
：B個の基底ベクトル
：B個のモデルパラメータ
（価値関数とベースラインをモデル化するパラメータなので政策近
似によって最適化するパラメータとは別）

23. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
政策勾配の定理：
◯近似モデルを勾配計算に代入して整理
フィッシャー情報量行列になっている
T

24. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
◯NACにおけるパラメータ更新式
：B個のモデルパラメータ
（価値関数とベースラインをモデル化するパラメータなので政策近
似によって最適化するパラメータとは別）
NACでは価値関数とベースラインのモデルパラメータだけ
を用いて政策関数のモデルパラメータを最適化（＝収益の
期待値が大きくなるように動かす）していけばいい

25. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
◯ここまでのまとめ
✔
政策勾配法では局所的最適解が求まらない場合があ
る（プラトー）
→対策として自然勾配法を導入
✔
自然勾配法ではパラメータ更新式をフィッシャー情報
行列を用いて書き換える
✔自然政策勾配法のうちNACでは政策勾配の定理を用
いて、収益の勾配を価値関数とベースラインを用いて書
き換える
✔
価値関数とベースラインをある線形モデルで近似的に
表して整理すると自然勾配法のパラメータの更新式が
単純になる

26. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
◯ここまでのまとめ
✔
政策勾配法では局所的最適解が求まらない場合があ
る（プラトー）
→対策として自然勾配法を導入
✔
自然勾配法ではパラメータ更新式をフィッシャー情報
行列を用いて書き換える
✔自然政策勾配法のうちNACでは政策勾配の定理を用
いて、収益の勾配を価値関数とベースラインを用いて書
き換える
✔
価値関数とベースラインをある線形モデルで近似的に
表して整理すると自然勾配法のパラメータの更新式が
単純になる
近似モデルの評価をしないとだめ
∵モデルが当てはまっていないと収益の勾配計算
が正しくできているかわからないから

27. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
◯価値関数とベースラインの近似モデルを求める
→最小二乗法を用いてモデルパラメータωを求める
近似したい関数
性質：
アドバンテージ関数 の近似問題を解けば良い

28. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
◯価値関数とベースラインの近似モデルを求める
アドバンテージ関数の定義：
状態ｓにおいて各行動aの相対的な価値を出力する
関数として定義
アドバンテージ関数の性質：

29. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
◯価値関数とベースラインの近似モデルを求める
Cf:
：状態ｓにおけるベースライン
特にここまでで指定はない
→ここで状態価値関数を用いて書き換えた
（アドバンテージ関数の近似問題に置き換えた）
アドバンテージ関数の近似問題≒価値関数の近似問題
→ベルマン残差を用いて近似を行う

30. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
◯価値関数とベースラインの近似モデルを求める
ベルマン方程式：
変形

31. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
◯価値関数とベースラインの近似モデルを求める
変形
変形

32. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
◯価値関数とベースラインの近似モデルを求める
変形 期待値を外して、実測値にした時に生じる誤差
（総和を取るとほぼゼロになる）

33. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
◯価値関数とベースラインの近似モデルを求める
→
・両辺の差をとって二乗
・汎化誤差にするために
期待値を取る
＾
＾
エピソードデータによる近似
（サンプリングによる近似）

34. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
◯価値関数とベースラインの近似モデルを求める
＾
＾
近似モデルで表した
アドバンテージ関数の割り引き和
実際の
アドバンテージ関数の割り引き和

35. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
◯価値関数とベースラインの近似モデルを求める
＾
＾
ωで偏微分して０とおいて
パラメータの最小二乗推定量を得る

36. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
◯ここまでのまとめ（再掲）
✔
政策勾配法では局所的最適解が求まらない場合があ
る（プラトー）
→対策として自然勾配法を導入
✔
自然勾配法ではパラメータ更新式をフィッシャー情報
行列を用いて書き換える
✔自然政策勾配法のうちNACでは政策勾配の定理を用
いて、収益の勾配を価値関数とベースラインを用いて書
き換える
✔
価値関数とベースラインをある線形モデルで近似的に
表して整理すると自然勾配法のパラメータの更新式が
単純になる

37. 自然政策勾配法
〜NAC(Natural Actor-Critic)〜
◯アルゴリズム

38. 政策勾配のイメージ
〜政策勾配法と自然政策勾配法の比較〜
線形２次形式レギュレータ問題
・伝達関数が状態ｓと行動aに対して線形
・評価関数（報酬関数）が２次形式
※ここでは簡単化のために状態空間・行動空間がともに１次元とする
・伝達関数：
・報酬関数：
・政策：
パラメータ設定：A=1, b=1, Q=1, R=0.1
政策パラメータ
（これによって収益の期待値が最大となるように政策を決める）

39. 政策勾配のイメージ
〜政策勾配法と自然政策勾配法の比較〜
線形２次形式レギュレータ問題
・収益の期待値の三次元グラフ ・収益の期待値の等高線
収益の期待値が最大となる領域がほぼ平らに見える
（実際はμ＝１、σ＝0.1付近で最大となっている）

40. 政策勾配のイメージ
〜政策勾配法と自然政策勾配法の比較〜
線形２次形式レギュレータ問題
・収益の期待値の三次元グラフ ・収益の期待値の等高線
収益の期待値が最大となる領域がほぼ平らに見える
（実際はμ＝１、σ＝0.1付近で最大となっている）
勾配に大きな差がでない
→プラトーの問題が起こる可能性がある

41. 政策勾配のイメージ
〜政策勾配法と自然政策勾配法の比較〜
線形２次形式レギュレータ問題
・政策勾配の例 ・自然政策勾配の例
政策勾配法ではできないが、自然勾配法を用いると正しく
勾配方向を求められる

42. ありがとうございました！！