[DL輪読会]Temporal Abstraction in NeurIPS2019

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Temporal Abstraction in NeurIPS2019
presentator Kei Akuzawa

• NeurIPS2019のTemporal Abstraction関連の論文を二本紹介します
• Variational Temporal Abstraction
• Language as an Abstraction for Hierar...

Temporal Abstraction とは
（Precup 2018 より）
• 時間方向において階層化された各レベルのアクションの統合（関係の学習）
• 例: ご飯を作る
• 高レベル: レシピを選ぶ，買い物リストを作る，買い物をする，調...

Options Framework
(one of the formalization of temporal abstraction, Sutton+1999 より)

Temporal Abstraction: 二つのアプローチ
• 予測モデル(予測モデルと尤度)ドリブンなTemporal Abstraction
• Variational Temporal Abstraction（一本目）
• RL(方策と...

一本目

書誌情報
• Variational Temporal Abstraction
• Taesup Kim, Sungjin Ahn, Yoshua Bengio
• NeurIPS2019
• 一言まとめ: 動画などの系列データから階層的な抽象...

背景
• 系列データから階層構造を見つけると…
• Option-learning: 階層RLにおけるOption(上位方策)を学習
• 従来だと人手で作る，モデリングの柔軟性が限られる(e.g., Goal
Conditional Hiera...

提案モデル概要
1. Hierarchical Recurrent Space Models
2. Binary Subsequence Indicator
3. Prior on Temporal Structure
4. Hierarchi...

1. Hierarchical Recurrent State Space Models
• この論文が目指す階層的なState Space Models(SSM)のグラフィカルモデル
• 上位のState( )も遷移する（e.g., レシピを...

Preliminary: Recurrent State Space Models
• PlaNet[Hafner+2019] 等で採用されているVAEベースのSSM
• これを階層化したものが提案手法
• 上の図では省略してあるが，をRNN...

2. Binary Subsequence Indicator
• をいつ遷移させるかを決める新たなbinary潜在変数を導入．のときのみ遷移
•
, はRNNで集約された (コンテキスト)
• アイデア自体はあった(e.g., Ghahr...

3. Prior on Temporal Structure
• ではをどうパラメタライズするか？
=> ベルヌーイ分布 with Gumbel-softmaxでモデル化が素直
• しかし何らかの事前知識があれば，それを埋め込んだ方が良いだろ...

4. Hierarchical Transitions
• jumpy future imaginationさせたい
• 提案モデルは赤線以外の矢印をわざわざ生
成しなくてもは未来へ進むことができる．
• 実装上は常ににすればよい
• SS...

5. Learning and Inference
• VAE(の一種)なのでELBOで学習
• 生成モデル:
•
• 推論モデル:
•
p(X, Z, S, M) =
T
∏
t=1
p (xt |st) p (mt |st) p (st |...

実験
• 示すこと
• サブシークエンスとしてどのようなものが学習されるか
• jumpy future predictionをnavigationにどう役立てるか
• 環境
• Bouncing Ball:
• 壁にぶつかると色が変わる
• ...

Bouncing Ball
• ボールが壁にぶつかって色が変わったタイミングでスイッチ(上の矢印)
• PriorをただのGumbel Softmaxにすると動かない
= 常にスイッチがオフ（の遷移が途切れないので，RSSMに相当）
• 提案...

Navigation in 3D Maze
• 左: 鳥瞰図, 右: 一人称視点
• A = {forward, left-turn, right-turn}, ただし交差点以外の場所で
は”forward”しか選択できない
• T=20, C...

Navigation in 3D Maze (loss)
• 階層構造を持たないRSSMと，持つHRSSMで比較
• “This suggests that our model does not lose the reconstruction ...

Goal-Oriented Navigation
• 設定: ゴール近傍の画像が与えられた
状況でのNavigation
• エージェント: 予測モデルを使って仮
想的なnステップのTrajectoryを作
り，その中でリワードが一番高いも
の...

感想
• 面白い方向性にシンプルな手法
• 例えばBouncing Ballの実験で，Ballが複数個あるようなときは，Ballごと
にサブシークエンスが学習されるべきではないか？（時空間の抽象化）
• 例えば音声データには単語/発話/話者など...

二本目

書誌情報
• Language as an Abstraction for Hierarchical Deep
Reinforcement Learning
• Yiding Jiang, Shixiang Gu, Kevin Murphy, ...

背景
• 階層強化学習(HRL)において効果的かつ汎用的なabstractionを学習する
のは難しい
• スキルをあるタスクに特化させればそのタスクの性能はあがるが，その
スキルが汎用的になる保証はない
• ただでさえHRLはtuningが大...

貢献
• HRLにおいて言語をアブストラクションに用いるフレームワークの提案
• 言語指示(インストラクション)を統合した連続制御環境(OSS)の提供
• MuJoCoとCLEVR[Johnson+2017]を基にしている
• Long-hor...

Preliminary: Goal-Conditional HRL
• 上位方策はサブゴールをサンプリング，下位方策はサブゴールを達成するようなHRLの枠組み
• 上位方策 : サブゴールをサンプリング．外的報酬で訓練．
• 下位方策 : 適...

提案手法-方針-
• Goal-Conditional HRLにおいてサブゴールを言語指示の達成と見做す
• 上位方策は言語指示(=サブゴール)をサンプリング
• 下位方策は言語指示の達成を報酬として訓練
• Note: 単一のGoal Sta...

提案手法-下位方策の訓練-
• 下位方策の報酬: は
Given
• あるが，インストラクション
を満たしているかを判定する関
数(右図)
• 著者らが提供した環境ではこれを自
動でやってくれる？
• 下位方策の内部で言語指示は
GRUで...

提案手法-下位方策の訓練-
• だけだとスパースリワードすぎ
=> Hindsight Instruction Relabeling (HIR)の利用
• が達成できなかった=>報酬が得られない=>どうしよう？
• を満たす (i.e., をC...

提案手法-上位方策の学習-
• 下位方策は訓練済みで与えられている状況を想定
• 上位方策は，外部報酬を用いて任意のRLアルゴリズムで訓練可能
• 上位方策のモデル化も自由
• 例えば言語生成モデルにすることもできる(が報酬から生成モデル...

動作例
• https://sites.google.com/view/hal-
demo#h.p_XvbS-Ac8r6jC
• 以下の条件を満たすよう物体を並び替える
1.red ball to the right of purple bal...

実験
• 環境:
• 著者らがMuJoCoとCLEVRを元に作成
• 示したいこと
• 言語による表現は，Compositionalではない他の表現に比べて優れているか
• 言語指示の数やstateの次元に提案手法がスケールするか
• 外挿でき...

下位方策の評価1.
Role of Compositionality and Relabeling
• 「一つの下位方策がどれだけ多
くの指示を解けるか」評価
• Non-Compose:
• を(自己符号化器による)言
語指示の埋め込みにした...

下位方策の評価2.
Visual Generalization
• Systematic: “red"という単語を前半に含まない言語指示を訓練，含むものをテストデータにした
• を言語にすると(Language)，埋め込み(Non-Compos...

上位方策(あるいはアルゴリズム全体)の評価
• 6つのタスクで評価（右図は一部抜粋）
• 比較手法：HIRO, OC(既存のHRL)，
DDQN(non-H RL)
• 強い
• 比較手法は言語を一切用いてないの
で，当然といえば当然

議論・Future Work
• human language supervisorをimage captioning modelで置き換えたい
• 結局用意された環境，言語指示の集合によって性能が制限されてしまう
=> 言語の教師なしでCom...

感想
• image captioning model とVQA さえあればHRLと言語が
接続できる，というアイデアがシンプルで好き．拡張の余地もたくさんあ
りそう．
• 外挿の実験も面白い
ω(g|s) Ψ(s, g)

References
• Sutton, R. S., Precup, D., and Singh, S. P. (1999). Between MDPs and semi-MDPs: A framework for
temporal abst...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1062387 views
Storytelling For The Web: Integrate... by Chiara Aliotta 980817 views
Artificial Intelligence, Data and C... by OECD Directorate ... 921734 views
How to Leverage AI to Boost Employe... by SocialHRCamp 391483 views
2024 State of Marketing Report – by... by Marius Sescu 221384 views
Everything You Need To Know About C... by Expeed Software 237443 views

View on Slideshare

1 of 38 Ad

View on Slideshare

1 of 38 Ad