CoRL2021読み会のライトニングトーク "XIRL: Cross-embodiment Inverse Reinforcement Learning" の紹介スライド．

1. 1
© OMRON Corporation All Rights Reserved
この論文の貢献：ロボ身体に依存しないRL報酬を獲得する方法を提案！
XIRL: Cross-embodiment Inverse Reinforcement Learning
(Debidatta Dwibedi @ Robotics at Google, Jeannette Bohg @ Stanford Univ. et al.)
身体性の異なるエキスパートデータ
身体性に依存しない潜在空間で報酬を獲得
新しい身体でより早く学習できる！
Abstract
報酬を設計
𝝓 エンコーダ
どうやって学習するか？

2. 2
© OMRON Corporation All Rights Reserved
報酬設計の方法
Approach
動画中で共通してキーとなる瞬間を捉えるように
エンコーダを学習する
2つの動画データの全フレームが，
embedding 空間で 1対1対応するように
エンコーダ𝜙を学習する
Dwibedi et al. Temporal Cycle-Consistency Learning, CVPR’19

3. 3
© OMRON Corporation All Rights Reserved
報酬設計の方法
Approach
動画中で共通してキーとなる瞬間を捉えるように
エンコーダを学習する
2つの動画データの全フレームが，
embedding 空間で 1対1対応するように
エンコーダ𝜙を学習する
Dwibedi et al. Temporal Cycle-Consistency Learning, CVPR’19 報酬 = L2 距離
Result
タスクの遂行度を反映しつつ
dense な報酬を獲得できた
ゴール状態
現在の状態
獲得した embedding 空間上で
現在の状態 と ゴールの状態 の L2 距離を報酬とする

4. 4
© OMRON Corporation All Rights Reserved
箱を押すタスクで，新しい身体でより早く学習できた！
学習結果
エキスパート 新しい身体 エキスパート 新しい身体

5. 5
© OMRON Corporation All Rights Reserved
まとめ
• エキスパート動画のキーフレームを抽出するようエンコーダを自己学習すると，タスク依存
の embedding を獲得できる．（個人的おもしろポイント）
• 獲得した embedding を報酬に用いると，身体性に依存しない dense な報酬となり，新しい
身体性のロボットで早く学習できる．
• Youtube などたくさんの人の動作データを，ロボットに転用できるかも
Imitation learning