Downloaded 237 times
![参考文献
2016年10月に左の本が出た。
これを読んでいく。
右下の本が長らくバイブル
だったが2000年(原著1998年)
発行。
3
http://amzn.to/2josIJ1
http://amzn.to/2jCnYQg言及する時 [こ] と呼ぶことにする(著者多いので)](https://image.slidesharecdn.com/4-170203043846/85/4-3-320.jpg)
![修正
[こ]の式1.5.2 (p.59)では
𝑃 𝑜 𝑏, 𝑎 =
𝑠
𝑏 𝑠
𝑠′
𝑃 𝑠′
𝑠, 𝑎 𝑃(𝑎, 𝑜, 𝑠′)
となっているけど[22]の式15(下囲み)を参考にす
ると[こ]の記法ではO(s’, a, o)=P(o | a, s’)だから
𝑃 𝑜 𝑏, 𝑎 =
𝑠
𝑏 𝑠
𝑠′
𝑃 𝑠′
𝑠, 𝑎 𝑃(𝑜|𝑎, 𝑠′)
13
[22] = [Shani+ 2012] A survey of point-based POMDP solvers](https://image.slidesharecdn.com/4-170203043846/85/4-13-320.jpg)
![状態遷移関数
信念bの空間B上の状態遷移関数を求める
𝜏 𝑏, 𝑎, 𝑏′
= 𝑃 𝑏′
𝑎, 𝑏
=
𝑃 𝑏, 𝑎, 𝑏′
𝑃 𝑏, 𝑎
=
σ 𝑜 𝑃 𝑏, 𝑎, 𝑜, 𝑏′
𝑃(𝑏, 𝑎)
𝑏 𝑎,𝑜
𝑠′
= 𝑃(𝑠′
|𝑏, 𝑎, 𝑜)だから
𝑃 𝑏, 𝑎, 𝑜, 𝑠′ = 𝑏 𝑎,𝑜
𝑠′
𝑃 𝑏, 𝑎, 𝑜
= 𝑏 𝑎,𝑜 𝑠′ 𝑃 𝑜 𝑏, 𝑎 𝑃(𝑏, 𝑎)
𝑃 𝑏, 𝑎, 𝑜, 𝑏′ は𝑃 𝑏, 𝑎, 𝑜, 𝑠′ のs’がb’に一致した場合だけを取
り出したものだから
σ 𝑜 𝑃 𝑏, 𝑎, 𝑜, 𝑏′
𝑃(𝑏, 𝑎)
=
𝑜
𝕀[𝑏 𝑎,𝑜
𝑠′
= 𝑏′(𝑠)]𝑃 𝑜 𝑏, 𝑎
14](https://image.slidesharecdn.com/4-170203043846/85/4-14-320.jpg)
![区分線形で下に凸
n>0の時VnはVn-1を用いてこう書ける
𝑉𝑛 𝑏 = max
𝑎
𝑖
𝑏𝑖 𝑞𝑖
𝑎
+
𝑖𝑗𝑜
𝑏𝑖 𝑝𝑖𝑗
𝑎
𝑟𝑗𝑜
𝑎
𝑉𝑛−1(𝑏′
)
ストーリーに影響しないけど一応書いておくと
𝑝𝑖𝑗
𝑎
= 𝑇 𝑠 = 𝑠𝑖, 𝑎, 𝑠′ = 𝑠𝑗 = 𝑃 𝑠′ 𝑠, 𝑎 ,
𝑟𝑗𝑜
𝑎
= 𝑂 𝑠′ = 𝑠𝑗, 𝑎, 𝑜 = 𝑃 𝑜 𝑠′, 𝑎 ,
𝑞𝑖
𝑎
=
𝑗𝑜
𝑝𝑖𝑗
𝑎
𝑟𝑗𝑜
𝑎
𝑤𝑖𝑗𝑜
𝑎
, 𝑏𝑗
′
=
σ𝑖 𝑏𝑖 𝑝𝑖𝑗
𝑎
𝑟𝑗𝑜
𝑎
σ𝑖𝑗 𝑏𝑖 𝑝𝑖𝑗
𝑎
𝑟𝑗𝑜
𝑎
𝑤𝑖𝑗𝑜
𝑎
= 𝑅(𝑠 = 𝑠𝑖, 𝑎, 𝑠′ = 𝑠𝑗, 𝑜)
18
[Smallwood and Sondik 1971]がまあだいぶ前の論文なので記法の差が激しいんですよ](https://image.slidesharecdn.com/4-170203043846/85/4-18-320.jpg)
![Point-Based Value Iteration
αが指数的に増えると困るので数を制限しよう
→Point-Based Value Iteration(PBVI)
個人的には[こ]よりPBVIの提案がされた
[Pineau+ 2003]の方がわかりやすかったのと
[こ]の数式との対応がよくわからなかったので
[Pineau+ 2003]ベースで解説する。
21
[Pineau+ 2003]
Point-based value iteration: An anytime algorithm for POMDPs](https://image.slidesharecdn.com/4-170203043846/85/4-21-320.jpg)
![実装してみよう！
[こ]でも紹介されているTiger問題、元が2状態だ
からbが1次元単体でグラフが描きやすい。
なのでこれを実装して観察してみよう。
28](https://image.slidesharecdn.com/4-170203043846/85/4-28-320.jpg)
![小問の答え
(4)
𝑅 𝑠, 𝑎 = {
𝑠𝑙𝑒𝑓𝑡 ∶ +10, −100, −1 ,
𝑠 𝑟𝑖𝑔ℎ𝑡: [−100, +10, −1]
}
(5)
𝑇 𝑠, 𝑎, 𝑠′
= {
𝑠𝑙𝑒𝑓𝑡 ∶ 0.5, 0.5 , 0.5, 0.5 , [1.0, 0.0] ,
𝑠 𝑟𝑖𝑔ℎ𝑡: 0.5, 0.5 , 0.5, 0.5 , 0.0, 1.0
}
32
見やすさのために連想行列風に書いたけど最終的に行列に落とします](https://image.slidesharecdn.com/4-170203043846/85/4-32-320.jpg)
![小問の答え
(6) 観測(listen)していない時の観測結果を表現す
るために何も聞こえないo_nothingを追加する手
も考えられたが、今回は左右均等に音が聞こえる
ことにした。
𝑂 𝑠′
, 𝑎, 𝑜 = {
𝑠𝑙𝑒𝑓𝑡 ∶ 0.5, 0.5 , 0.5, 0.5 , [0.85, 0.15] ,
𝑠 𝑟𝑖𝑔ℎ𝑡: 0.5, 0.5 , 0.5, 0.5 , 0.15, 0.85
}
33](https://image.slidesharecdn.com/4-170203043846/85/4-33-320.jpg)
![小問の答え
(6) V0は行動が0回残っている時点での価値なの
で{[0.0, 0.0]}
(7-1) Γ 𝑎,∗
は|A| * |S|で
[[ 10 -100 -1]
[-100 10 -1]]
長さ|S|のベクトルの集合であるVと揃えて考える
と、V0がサイズ1で、Γ 𝑎,∗
がサイズ3
35](https://image.slidesharecdn.com/4-170203043846/85/4-35-320.jpg)
![小問の答え
Γ 𝑎,𝑜
は |A| * |O| * |V0| * |S| で、V0の中身がゼロな
ので計算すると全部ゼロになる。
[[[[ 0. 0.]] [[ 0. 0.]]]
[[[ 0. 0.]] [[ 0. 0.]]]
[[[ 0. 0.]] [[ 0. 0.]]]]
36](https://image.slidesharecdn.com/4-170203043846/85/4-36-320.jpg)
![小問の答え
Γ 𝑎
はクロス和をするので |A| * (|V0| ** |O|) * |S| と
指数的サイズだが、今回 |V0| = 1なのでサイズ3
ゼロのクロス和もゼロなので結局、各行動・状態
ごとの報酬であるところの Γ 𝑎,∗
になる。
[[[ 10. -100.]]
[[-100. 10.]]
[[ -1. -1.]]]
V1はこの3つの|S|次元ベクトルの集合になる。
37](https://image.slidesharecdn.com/4-170203043846/85/4-37-320.jpg)
![V2
V2は|A| * (|V1| ** |O|)なので
3 * 3 ** 2の27になる。
40
[[ -35. -145. ]
[ -35. -145. ]
[ -13. -123. ]
[ -35. -145. ]
[ -35. -145. ]
[ -13. -123. ]
[ -13. -123. ]
[ -13. -123. ]
[ 9. -101. ]
[-145. -35. ]
[-145. -35. ]
[-123. -13. ]
[-145. -35. ]
[-145. -35. ]
[-123. -13. ]
[-123. -13. ]
[-123. -13. ]
[-101. 9. ]
[ 9. -101. ]
[ -7.5 -7.5 ]
[ 7.35 -16.85]
[ -84.5 -84.5 ]
[-101. 9. ]
[ -86.15 -0.35]
[ -0.35 -86.15]
[ -16.85 7.35]
[ -2. -2. ]]](https://image.slidesharecdn.com/4-170203043846/85/4-40-320.jpg)
![参考文献
[22] = [Shani+ 2012] A survey of point-based POMDP solvers
https://pdfs.semanticscholar.org/2027/b108fbefdb8aef1b6db8806
f98fceaa341a9.pdf
[Smallwood and Sondik 1971] The Optinal Control of Partially
Observable Markov Process over a Finite Horizon
http://www.cs.ubc.ca/~nando/550-
2006/handouts/sondikPOMDP.pdf
[Pineau+ 2003]
Point-based value iteration: An anytime algorithm for POMDPs
http://www.cs.mcgill.ca/~jpineau/files/jpineau-ijcai03.pdf
51](https://image.slidesharecdn.com/4-170203043846/85/4-51-320.jpg)
![[DL輪読会]Temporal Abstraction in NeurIPS2019](https://cdn.slidesharecdn.com/ss_thumbnails/20191115-191112082849-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Temporal DifferenceVariationalAuto-Encoder](https://cdn.slidesharecdn.com/ss_thumbnails/20181130new-190205051636-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Control as Inferenceと発展](https://cdn.slidesharecdn.com/ss_thumbnails/20191004-191204055019-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder](https://cdn.slidesharecdn.com/ss_thumbnails/nvaeadeephierarchicalvariationalautoencoder-201113004930-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]逆強化学習とGANs](https://cdn.slidesharecdn.com/ss_thumbnails/irlgans-171128063119-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Dl輪読会]introduction of reinforcement learning](https://cdn.slidesharecdn.com/ss_thumbnails/dlintroductionofreinforcementlearning-161121061444-thumbnail.jpg?width=640&height=640&fit=bounds)
強化学習その4
- 1. 強化学習 その4 部分観測マルコフ決定過程 2017-02-02 @機械学習勉強会 サイボウズ・ラボ 西尾泰和 その1: http://www.slideshare.net/nishio/1-70974083 その3: http://www.slideshare.net/nishio/3-71708970 その2: http://www.slideshare.net/nishio/2-71708934
- 2.
- 3.
- 4. 今後の予定 第2回(前前回): 2節 強化学習の構成要素 3節 価値反復に基づくアルゴリズム 第3回(前回):1章4節 方策勾配に基づくアルゴリズム 第4回(今回): 1章5節 部分観測マルコフ決定過程 第5回: 1章5節 部分観測マルコフ決定過程であま り触れられていないモデルフリーのPOMCT 4
- 5. 今後の予定 第6回 2.1 統計学習の観点から見たTD学習 2.1.1 強化学習と教師付き学習の学習則 2.1.2~3関数近似を(する/しない)価値関数推定 (ここまで28ページ) 第7回 2.1.4 セミパラメトリック統計学習に基づく定式 化(10ページ) 2.2 理論性能解析とベイズ (理論薄めでやる。13ページ) 5
- 6. 今後の予定 第8回 2.3 逆強化学習 第9回2.4 経験強化型学習 2.5 群強化学習(飛ばします) 第10回 2.6 リスク考慮型強化学習 2.7 複利型強化学習(飛ばします) 第11回 3 強化学習の工学応用 3.3 対話処理における強化学習 6
- 7. 今後の予定 第12回 3.5 自然言語処理における逆強化学習と模 倣学習 第13回3.7 深層学習を用いたQ関数の学習 第14回 4 知能のモデルとしての強化学習 7
- 8.
- 9.
- 10. 部分観測マルコフ決定過程 部分観測マルコフ決定過程(POMDP: Partially Observable MarkovDecision Process) (𝒮, 𝒜, 𝑇, 𝑅, Ω, 𝑂) マルコフ決定過程では観測＝状態Sだったが POMDPでは観測Ωと状態Sを分ける。 Oは観測関数: 𝑂 𝑠′ , 𝑎, 𝑜 = 𝑃(𝑜|𝑎, 𝑠′ ) 10
- 11.
- 12. 信念状態の遷移 ある信念状態b(s)で、行動aをして、観測oが得られ たときの新しい信念状態b(s’)は 𝑏 𝑎,𝑜 𝑠′ ≝ 𝑃𝑠′ 𝑏, 𝑎, 𝑜 = 𝑃 𝑠′ , 𝑏, 𝑎, 𝑜 𝑃 𝑏, 𝑎, 𝑜 = 𝑃 𝑜 𝑠′ , 𝑏, 𝑎 𝑃 𝑠′ , 𝑏, 𝑎 𝑃 𝑜 𝑏, 𝑎 𝑃(𝑏, 𝑎) = 𝑃 𝑜 𝑠′ , 𝑏, 𝑎 𝑃 𝑠 𝑏, 𝑎 𝑃 𝑜 𝑏, 𝑎 = 𝑃 𝑜 𝑠′ , 𝑎 𝑃 𝑠 𝑏, 𝑎 𝑃 𝑜 𝑏, 𝑎 = 𝑃 𝑜 𝑎, 𝑠′ σ 𝑠 𝑃 𝑠′ 𝑠, 𝑎 𝑏 𝑠 𝑃 𝑜 𝑏, 𝑎 12 条件付確率の定義 P(x | y)=P(x, y)/P(y) P(x, y)=P(x | y)P(y) 𝑃 𝑜 𝑠′ , 𝑏, 𝑎 はs’がgivenだから bには依存しない
- 13. 修正 [こ]の式1.5.2 (p.59)では 𝑃 𝑜𝑏, 𝑎 = 𝑠 𝑏 𝑠 𝑠′ 𝑃 𝑠′ 𝑠, 𝑎 𝑃(𝑎, 𝑜, 𝑠′) となっているけど[22]の式15(下囲み)を参考にす ると[こ]の記法ではO(s’, a, o)=P(o | a, s’)だから 𝑃 𝑜 𝑏, 𝑎 = 𝑠 𝑏 𝑠 𝑠′ 𝑃 𝑠′ 𝑠, 𝑎 𝑃(𝑜|𝑎, 𝑠′) 13 [22] = [Shani+ 2012] A survey of point-based POMDP solvers
- 14. 状態遷移関数 信念bの空間B上の状態遷移関数を求める 𝜏 𝑏, 𝑎,𝑏′ = 𝑃 𝑏′ 𝑎, 𝑏 = 𝑃 𝑏, 𝑎, 𝑏′ 𝑃 𝑏, 𝑎 = σ 𝑜 𝑃 𝑏, 𝑎, 𝑜, 𝑏′ 𝑃(𝑏, 𝑎) 𝑏 𝑎,𝑜 𝑠′ = 𝑃(𝑠′ |𝑏, 𝑎, 𝑜)だから 𝑃 𝑏, 𝑎, 𝑜, 𝑠′ = 𝑏 𝑎,𝑜 𝑠′ 𝑃 𝑏, 𝑎, 𝑜 = 𝑏 𝑎,𝑜 𝑠′ 𝑃 𝑜 𝑏, 𝑎 𝑃(𝑏, 𝑎) 𝑃 𝑏, 𝑎, 𝑜, 𝑏′ は𝑃 𝑏, 𝑎, 𝑜, 𝑠′ のs’がb’に一致した場合だけを取 り出したものだから σ 𝑜 𝑃 𝑏, 𝑎, 𝑜, 𝑏′ 𝑃(𝑏, 𝑎) = 𝑜 𝕀[𝑏 𝑎,𝑜 𝑠′ = 𝑏′(𝑠)]𝑃 𝑜 𝑏, 𝑎 14
- 15. belief MDP 信念状態b(s)を状態だと考えれば 𝜏 𝑏,𝑎, 𝑏′ を状態遷移関数としてMDPになる。 既存のMDPに関する解法が使える！ …と思いきや、元のMDPがD状態だったとすると このbelief MDPはD次元の連続状態になる。 →計算量がやばい！ 15
- 16. 都合のよい性質 belief MDPの価値関数Vには*ある特徴がある: 区分線形で下に凸(piecewise linearand convex) あるベクトルの集合Γn = {𝛼1, 𝛼2, … , 𝛼 𝐾}を用いて 𝑉𝑛 𝑏 = max 𝛼∈Γ 𝑛 𝑖 𝛼𝑖 𝑏𝑖 = max 𝛼∈Γ 𝑛 𝛼 ⋅ 𝑏 と表せる。なぜか？ 16 * 有限ステップで終了する場合と、一部の無限ステップの場合に限定して
- 17. 区分線形で下に凸 残り0ステップで終了する場合(=終了した場合) 状態iで終わった時の価値の期待値を𝑞𝑖 0 として、 𝑉0 𝑏 = 𝑖 𝑏𝑖 𝑞𝑖 0 となる。これは Γ0 = {𝑞0 } のケースに相当する。 17
- 18. 区分線形で下に凸 n>0の時VnはVn-1を用いてこう書ける 𝑉𝑛 𝑏 =max 𝑎 𝑖 𝑏𝑖 𝑞𝑖 𝑎 + 𝑖𝑗𝑜 𝑏𝑖 𝑝𝑖𝑗 𝑎 𝑟𝑗𝑜 𝑎 𝑉𝑛−1(𝑏′ ) ストーリーに影響しないけど一応書いておくと 𝑝𝑖𝑗 𝑎 = 𝑇 𝑠 = 𝑠𝑖, 𝑎, 𝑠′ = 𝑠𝑗 = 𝑃 𝑠′ 𝑠, 𝑎 , 𝑟𝑗𝑜 𝑎 = 𝑂 𝑠′ = 𝑠𝑗, 𝑎, 𝑜 = 𝑃 𝑜 𝑠′, 𝑎 , 𝑞𝑖 𝑎 = 𝑗𝑜 𝑝𝑖𝑗 𝑎 𝑟𝑗𝑜 𝑎 𝑤𝑖𝑗𝑜 𝑎 , 𝑏𝑗 ′ = σ𝑖 𝑏𝑖 𝑝𝑖𝑗 𝑎 𝑟𝑗𝑜 𝑎 σ𝑖𝑗 𝑏𝑖 𝑝𝑖𝑗 𝑎 𝑟𝑗𝑜 𝑎 𝑤𝑖𝑗𝑜 𝑎 = 𝑅(𝑠 = 𝑠𝑖, 𝑎, 𝑠′ = 𝑠𝑗, 𝑜) 18 [Smallwood and Sondik 1971]がまあだいぶ前の論文なので記法の差が激しいんですよ
- 19. 区分線形で下に凸 Vn-1が条件を満たすとする。正の数を掛けたり足したり はmaxと演算の順序を交換しても結果が変わらないので 𝑉𝑛 𝑏 =max 𝑎 𝑖 𝑏𝑖 𝑞𝑖 𝑎 + 𝑖𝑗𝑜 𝑏𝑖 𝑝𝑖𝑗 𝑎 𝑟𝑗𝑜 𝑎 max 𝛼∈Γ 𝑛−1 𝛼 ⋅ 𝑏′ = max 𝑎,𝛼 𝑜 ∈Γ 𝑛−1 Ω 𝑖 𝑏𝑖 𝑞𝑖 𝑎 + 𝑖𝑗𝑜 𝑝𝑖𝑗 𝑎 𝑟𝑗𝑜 𝑎 𝛼 𝑜 ⋅ 𝑏 𝑜 ′ 𝑜 となる。中のカッコの中身を新しいαと見れば「Vn-1で 成り立つならVnでも成り立つ」となり数学的帰納法。 19 b’がoに依存しているため、maxになるαがoに依存するので|Ω|個選ぶ必要がある
- 20. というわけで belief MDPの価値関数Vは区分線形で下に凸であ り、αベクトルを使って効率的に表現できる。 しかし、1ステップ先までの情報を使うと αベクトルの数が「 𝐴𝑉 Ω 」倍になる。 p.61の「各々のαベクトルは、直感的にはある鼓 動決定木を取った場合の価値関数」 p.63の「αベクトルがステップごとに指数的に増 えてしまう」 の意味がよく分かった。 20
- 21. Point-Based Value Iteration αが指数的に増えると困るので数を制限しよう →Point-BasedValue Iteration(PBVI) 個人的には[こ]よりPBVIの提案がされた [Pineau+ 2003]の方がわかりやすかったのと [こ]の数式との対応がよくわからなかったので [Pineau+ 2003]ベースで解説する。 21 [Pineau+ 2003] Point-based value iteration: An anytime algorithm for POMDPs
- 22.
- 23. exact value backupとPBVIの比較 まずexactvalue backupの流れを見て、 それから一部共通であるPBVIの流れを見る。 23
- 24. exact value backupの実装 まず一時的に以下の集合を作る Γ𝑎,∗ ← 𝛼 𝑎,∗ 𝑠 = 𝑅 𝑠, 𝑎 Γ 𝑎,𝑜 ← 𝛼𝑖 𝑎,𝑜 𝑠 𝛼𝑖 ′ ∈ 𝑉′ 𝑤ℎ𝑒𝑟𝑒 𝛼𝑖 𝑎,𝑜 = 𝛾 𝑠′ 𝑇 𝑠, 𝑎, 𝑠′ 𝑂 𝑜, 𝑠′ , 𝑎 𝛼𝑖 ′ 𝑠 ここまではPBVIも同じ。 24
- 25. exact value backupの実装 得られた一時的集合に対してクロス和を計算する Γ𝑎 = Γ 𝑎,∗ ⊕ Γ 𝑎,𝑜1 ⊕ Γ 𝑎,𝑜2 ⊕ ⋯ それからユニオンを計算して、Vが得られる 𝑉 =∪ 𝑎∈𝒜 Γ 𝑎 クロス和は集合の各要素についての和を取ったも のの集合なので(間に枝刈りを挟んで多少削減す ることはできるが)最悪ケースで指数オーダー 𝑉 = 𝐴 𝑉′ Ω 25
- 26. Point-Based Value Iteration Vが指数オーダーのサイズになると困るので 有限個の点Bについてだけ計算するのがPBVI 一次的集合の作成までは同じで、その後 クロス和の代わりに Γ𝑏 𝑎 =Γ 𝑎,∗ + 𝑜 argmax 𝛼∈Γ 𝑎,𝑜(𝛼 ⋅ 𝑏) 𝑉 = argmaxΓ 𝑏 𝑎 ,∀𝑎∈𝒜 Γ𝑏 𝑎 ⋅ 𝑏 𝑏 ∈ 𝐵 とやることでVのサイズは常に|B|となる。 26
- 27.
- 28.
- 29.
- 30.
- 31. 小問の答え (1) 𝒜 = {𝑎𝑙𝑒𝑓𝑡,𝑎 𝑟𝑖𝑔ℎ𝑡, 𝑎𝑙𝑖𝑠𝑡𝑒𝑛} (2) 𝒮 = {𝑠𝑙𝑒𝑓𝑡, 𝑠 𝑟𝑖𝑔ℎ𝑡} (3) Ω = {𝑜𝑙𝑒𝑓𝑡, 𝑜 𝑟𝑖𝑔ℎ𝑡} 31
- 32. 小問の答え (4) 𝑅 𝑠, 𝑎= { 𝑠𝑙𝑒𝑓𝑡 ∶ +10, −100, −1 , 𝑠 𝑟𝑖𝑔ℎ𝑡: [−100, +10, −1] } (5) 𝑇 𝑠, 𝑎, 𝑠′ = { 𝑠𝑙𝑒𝑓𝑡 ∶ 0.5, 0.5 , 0.5, 0.5 , [1.0, 0.0] , 𝑠 𝑟𝑖𝑔ℎ𝑡: 0.5, 0.5 , 0.5, 0.5 , 0.0, 1.0 } 32 見やすさのために連想行列風に書いたけど最終的に行列に落とします
- 33. 小問の答え (6) 観測(listen)していない時の観測結果を表現す るために何も聞こえないo_nothingを追加する手 も考えられたが、今回は左右均等に音が聞こえる ことにした。 𝑂 𝑠′ ,𝑎, 𝑜 = { 𝑠𝑙𝑒𝑓𝑡 ∶ 0.5, 0.5 , 0.5, 0.5 , [0.85, 0.15] , 𝑠 𝑟𝑖𝑔ℎ𝑡: 0.5, 0.5 , 0.5, 0.5 , 0.15, 0.85 } 33
- 34. 小問 (6) V0は何か？ (7) Γ𝑎,∗ , Γ 𝑎,𝑜 , Γ 𝑎 それぞれのサイズと値は？ 34
- 35. 小問の答え (6) V0は行動が0回残っている時点での価値なの で{[0.0, 0.0]} (7-1)Γ 𝑎,∗ は|A| * |S|で [[ 10 -100 -1] [-100 10 -1]] 長さ|S|のベクトルの集合であるVと揃えて考える と、V0がサイズ1で、Γ 𝑎,∗ がサイズ3 35
- 36. 小問の答え Γ 𝑎,𝑜 は |A|* |O| * |V0| * |S| で、V0の中身がゼロな ので計算すると全部ゼロになる。 [[[[ 0. 0.]] [[ 0. 0.]]] [[[ 0. 0.]] [[ 0. 0.]]] [[[ 0. 0.]] [[ 0. 0.]]]] 36
- 37. 小問の答え Γ 𝑎 はクロス和をするので |A|* (|V0| ** |O|) * |S| と 指数的サイズだが、今回 |V0| = 1なのでサイズ3 ゼロのクロス和もゼロなので結局、各行動・状態 ごとの報酬であるところの Γ 𝑎,∗ になる。 [[[ 10. -100.]] [[-100. 10.]] [[ -1. -1.]]] V1はこの3つの|S|次元ベクトルの集合になる。 37
- 38.
- 39.
- 40. V2 V2は|A| * (|V1|** |O|)なので 3 * 3 ** 2の27になる。 40 [[ -35. -145. ] [ -35. -145. ] [ -13. -123. ] [ -35. -145. ] [ -35. -145. ] [ -13. -123. ] [ -13. -123. ] [ -13. -123. ] [ 9. -101. ] [-145. -35. ] [-145. -35. ] [-123. -13. ] [-145. -35. ] [-145. -35. ] [-123. -13. ] [-123. -13. ] [-123. -13. ] [-101. 9. ] [ 9. -101. ] [ -7.5 -7.5 ] [ 7.35 -16.85] [ -84.5 -84.5 ] [-101. 9. ] [ -86.15 -0.35] [ -0.35 -86.15] [ -16.85 7.35] [ -2. -2. ]]
- 41.
- 42.
- 43.
- 44. V3 V2の段階でpruneしていないと、 |A| * (|V2|** |O|) = 3 * 27 ** 2 = 2187になる(左図) backup(prune(V2))なら75、それをさらにpruneす れば9になる(中・右図) 次数が低いからかpruneがとてもよく効いている 44
- 45. 掛かる時間 pruneが効くとはいえ、一度大きな集合を作って それを刈り込む作業には割と時間がかかる。 45 V1, 3->3, 0s160ms V2, 27->5, 0s 540ms V3, 75->9, 1s 444ms V4, 243->5, 4s 645ms V5, 75->9, 1s 450ms V6, 243->13, 4s 523ms V7, 507->15, 9s 117ms V8, 675->21, 12s 426ms V9, 1323->25, 25s 98ms V10, 1875->25, 39s 991ms 注: pruneの実装はまじめにやると結構面倒なので今回は1万点のグリッドサーチをして いる。もっと人間時間を使って線形計画法で実装しなおせばCPU時間は節約できるけど PBVIならそもそもpruneしなくても数が抑えられるんで頑張らない。
- 46. Point-based Value Iteration 元々決まった個数しか作らないので 刈り込みの時間もかからない。 46 V1,11->3, 0s 362ms V2, 11->5, 0s 182ms V3, 11->7, 0s 178ms V4, 11->7, 0s 207ms V5, 11->8, 0s 202ms V6, 11->9, 0s 205ms V7, 11->11, 0s 199ms V8, 11->11, 0s 180ms V9, 11->10, 0s 195ms V10, 11->11, 0s 183ms Bは論文通りの方法ではなく、手抜きをして11点均等にばらまいた
- 47.
- 48. Belief point setexpansion この実験ではBelief point setを適当に 均等割りで11個決めたが、 論文通りに初期状態から探索して決めたら どうなるか？ 48
- 49.
- 50.
- 51. 参考文献 [22] = [Shani+2012] A survey of point-based POMDP solvers https://pdfs.semanticscholar.org/2027/b108fbefdb8aef1b6db8806 f98fceaa341a9.pdf [Smallwood and Sondik 1971] The Optinal Control of Partially Observable Markov Process over a Finite Horizon http://www.cs.ubc.ca/~nando/550- 2006/handouts/sondikPOMDP.pdf [Pineau+ 2003] Point-based value iteration: An anytime algorithm for POMDPs http://www.cs.mcgill.ca/~jpineau/files/jpineau-ijcai03.pdf 51