強化学習若手の会で発表した『Decision Transformer: Reinforcement Learning via Sequence Modeling』 のまとめになります。

1. Decision Transformer: Reinforcement
Learning via Sequence Modeling
Lili Chen, Kevin Lu, Aravind Rajeswaran, Kimin Lee,
Aditya Grover, Michael Laskin, Pieter Abbeel, Aravind Srinivasy, Igor Mordatchy
尾崎安範
株式会社サイバーエージェント

2. 尾崎安範 (Yasunori OZAKI)
• 例によって⾃⼰紹介
サイバーエージェント 研究員 兼
⼤阪⼤学 招聘研究員 兼
⼤阪⼤学 ⽯⿊研究室 社会⼈博⼠２年⽣
← NTT研（開発寄り） 研究員
← 東⼤ 情報理⼯
最近やっていること
ロボットによる接客を強化学習する研究開発
@alfredplpl

3. Transformerってやつで
強化学習したい︕

4. 要約
• Transformerってやつがすごいらしい
• オフライン強化学習ができるTransformer、Decision Transformerを提案してみた
• Decision Transformerは連続制御に強いらしいことがわかった

5. はじめに
• Transformerってやつがすごいらしい
• だから、逐次意思決定問題にも使ってみたい
逐次意思決定問題を解くのが強化学習ってやつらしい
• 強化学習の主流であるTD法のパラダイムを変えてやりたい
特に⻑い時間間隔を考えることにしたい
• ちなみにオフラインRLを考えるからよろしく

6. 準備: オフライン強化学習
• 問題そのものはMDPで記述できる
• 過去の履歴を利⽤して学習する
• 通常の強化学習と違い、探索ができない
• つまり、通常の強化学習より難しい

7. 準備: Transformer
• TransformerとはAttentionと呼ばれる以下の数式を特徴とするニューラルネットワーク
• Transformerでスペイン語を英語に翻訳するイメージは以下の通り。
[1] https://qiita.com/omiita/items/07e69aef6c156d23c538
[1] より引⽤

8. 提案⼿法: Decision Transformer
• こんなアニメーション（リンク先[2]参照）のような感じらしい
[2] https://sites.google.com/berkeley.edu/decision-transformer
[2] より引⽤

9. Decision Transformerの履歴表現
• 履歴の表現が即時報酬でなくリターンになっている

10. Decision Transformerのアーキテクチャ
• 3000トークンを⼊⼒として使う
１トークンはリターン、⾏動、状態の集まり
• 基本的にはGPTと同じモデル

11. 補⾜: GPTのアーキテクチャ
• GPTのアーキテクチャは下図のとおりである
[3] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018.
[3] より引⽤

12. Decision Transformerの擬似コード
# R, s, a, t: returns -to -go , states , actions , or timesteps
# transformer : transformer with causal masking (GPT)
# embed_s , embed_a , embed_R : linear embedding layers
# embed_t : learned episode positional embedding
# pred_a : linear action prediction layer
# main model
def DecisionTransformer (R, s, a, t):
# compute embeddings for tokens
pos_embedding = embed_t (t) # per - timestep ( note : not per - token )
s_embedding = embed_s (s) + pos_embedding
a_embedding = embed_a (a) + pos_embedding
R_embedding = embed_R (R) + pos_embedding
# interleave tokens as (R_1 , s_1 , a_1 , ... , R_K , s_K )
input_embeds = stack ( R_embedding , s_embedding , a_embedding )
# use transformer to get hidden states
hidden_states = transformer ( input_embeds = input_embeds )
# select hidden states for action prediction tokens
a_hidden = unstack ( hidden_states ). Actions
# predict action
return pred_a ( a_hidden )

13. Decision Transformerの学習
• 履歴を⼊⼒として使う
• 損失関数はタスクの⾏動が連続の場合はMSE、離散であるならば、cross entropy

14. 学習の擬似コード
# training loop
for (R, s, a, t) in dataloader : # dims : ( batch_size , K, dim )
a_preds = DecisionTransformer (R, s, a, t)
loss = mean (( a_preds - a )**2) # L2 loss for continuous actions
optimizer . zero_grad (); loss . backward (); optimizer . step ()

15. 評価実験
• 他のオフライン強化学習⼿法と⽐べてどんな性質があるか調べてみた
実験環境
Atari: 離散制御
Open AI gym: 連続制御
Key-to-door: 右下図のような環境
評価指標
リターンを元に正規化された指標
評価条件
TD法: 特にCQLを利⽤
模倣学習: 特にBCを利⽤
テスト時の初期リターン値
望む値
[4] Thomas Mesnard, Th ophane Weber, Fabio Viola, Shantanu Thakoor, Alaa Saade,
Anna Harutyunyan, Will Dabney, Tom Stepleton, Nicolas Heess, Arthur Guez, et al.
Counterfactual credit assignment in model-free reinforcement learning. arXiv preprint
arXiv:2011.09464, 2020
[4] より引⽤

16. 評価実験の擬似コード
# evaluation loop
target_return = 1 # for instance , expert - level return
R, s, a, t, done = [ target_return ], [env. reset ()] , [], [1] , False
while not done : # autoregressive generation / sampling
# sample next action
action = DecisionTransformer (R, s, a, t)[ -1] # for cts actions
new_s , r, done , _ = env. step ( action )
# append new tokens to sequence
R = R + [R[ -1] - r] # decrement returns -to -go with reward
s, a, t = s + [ new_s ], a + [ action ], t + [len(R)]
R, s, a, t = R[-K:], ... # only keep context length of

17. 評価実験結果の総論
• 離散の⾏動はあんまり変わらないらしい
• 連続制御は強いらしい
• 特にkey-to-doorがすごい強い

18. 実験結果: Atari
• Breakoutは強いらしい
• Qbertがまぁまぁ弱いらしい

19. 実験結果: OpenAI Gym
• D4RLというデータセットのうち、HalfCheetah、Hopper、Walkerの運動を学習させたらしい
Medium: エキスパートに対して1/3のスコアを出す中レベル⽅策が１００万回のタイムスタンプを試⾏し
たデータセット。
Medium-Replay: 最⼤４０万回のタイプスタンプを中レベル⽅策で集め、リプレイさせたデータセット。
Medium-Expert: 中レベル⽅策が１００万回のタイプスタンプを試⾏したデータとエキスパートが１００万
回のタイプスタンプを試⾏したデータセット。
[5] Justin Fu, Aviral Kumar, Ofir Nachum, George Tucker, and Sergey
Levine. D4rl: Datasets for deep data-driven reinforcement learning. arXiv
preprint arXiv:2004.07219, 2020.
[5] より引⽤

20. 考察
• めちゃくちゃ疑問がおおい
Does Decision Transformer perform behavior cloning on a subset of the data?
How well does Decision Transformer model the distribution of returns?
What is the benefit of using a longer context length?
Does Decision Transformer perform effective long-term credit assignment?
Does Decision Transformer perform well in sparse reward settings?
Why does Decision Transformer avoid the need for value pessimism or behavior regularization?
How can Decision Transformer benefit online RL regimes?
• なので、気になった疑問だけを紹介

21. ⽂脈情報はどれぐらい役⽴っているのか
• 特にAtariではめちゃくちゃ役⽴っている
作者は「シーケンスモデリング」のような働きをして⽂脈に即した⾏動ができているのではない
かと仮説⽴てている

22. 提案⼿法をオンラインにすると︖
• うまく⾏けば、Go-Exploreの「記憶エンジン」として使えるんじゃないかな
補⾜: Go-ExploreとはAtariの中でも最も難しいゲームをぶっちぎりのスコアを出した⼿法
[5] Adrien Ecoffet, Joost Huizinga, Joel Lehman, Kenneth O Stanley, and Jeff Clune. Go-explore: a new approach for hard-exploration
problems. arXiv preprint arXiv:1901.10995, 2019.
[5] より引⽤
[5] より引⽤

23. まとめ
• Decision TransformerというTransformerベースの強化学習を提案した
• 強化学習界隈でTransformerをもっと使ってほしい
• 現状では実世界応⽤には難があるかもしれない
特に怪しいデータを突っ込むと意図しない⾏動を起こすかもしれない
[2] より引⽤

24. 発表者の感想
• 良かったところ
ソースコードが公開されているのが親切
議論が尽くされていて、機械学習の論⽂としては親切
• つっこみところ
⼊⼒にリターンを使うのはleakageを起こしているのではないか
ちなみにコードに対応するところはこちら
https://github.com/kzl/decision-transformer/blob/master/gym/experiment.py#L41
オンラインだとリターンが計算できないため、どうするつもりなのだろうか
CQLとかと⽐べて、DTはパラメータ数多すぎることないか