Keisuke Nakata, profile picture
Uploaded byKeisuke Nakata
PPTX, PDF846 views

Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning

NN論文を肴に酒を飲む会 #5

Embed presentation

Downloaded 25 times
Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning 2018/02/09 NN論文を肴に酒を飲む会 #5 仲田 圭佑
自己紹介 • 名前 • 仲田 圭佑 (なかた けいすけ) • 仕事 • データ分析@株式会社ブレインパッド • 研究開発寄りの部署でお仕事に役立ちそうな機械学習研究のサーベイ をしつつ、受託分析業務をしています • 最近気になっている分野 • 強化学習 • 今回のNN論文を肴に酒を飲む会のテーマが強化学習なので今日は楽しみです
Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning • ICLR2018 Poster: https://openreview.net/forum?id=SJJQVZW0b • arXiv: https://arxiv.org/abs/1712.07294 • arXiv 版はデグレっている (2018/02/08現在) ので、ICLR 版推奨 • Official blog article • https://einstein.ai/research/hierarchical-reinforcement-learning • Authors: • Tianmin Shu • Univ. of California, Los Angeles • (Intern at Salesforce Research) • Caiming Xiong • Richard Socher • Salesforce Research
概要 • 階層的にスキルを取得させる強化学習のフレームワークを提案 • 上位スキルが下位スキルを出来る限り利用するように訓練 • 各スキルは自然言語 と対応させる • Minecraft で実験
導入 • 人間は単純なスキルを組み合わせて新しいスキルを得ている • 強化学習でも、スキル間の関係を発見して、階層的に組み合わ せることで新しいスキルを獲得しよう！ • 各スキルは解釈可能であってほしい • → 各スキルが解く「タスク」は、人間による自然言語の指示で表現
Hierarchical Reinforcement Learning • 階層的にタスクおよび方策・行動を分割する強化学習。 上位／下位の2階層にするのが典型的。 (だが、提案法では多階層が可能) • global policy (上位) • 最終ゴールを達成するために必要なサブゴールの系列を決定する • より抽象的 (「ブロックを探す」等) • エージェントによって直接実行はできない行動を出力 • option とか macro action とか呼ばれたりする • local policy (下位) • サブゴールを達成するための行動系列を決定する • より具体的 (「前に1歩進む」「前のマスの物体を取得する」等) • 実際にエージェントが実行可能な、プリミティブな行動を出力 • primitive action とか呼ばれたりする
モデル • の説明の前に・・・ • 方策の階層構造の概要 (図1) を説明 • 実際に、あるタスクがどう分割されているかを例示
タスクの実行例 (図1) basic actions terminal policy top-level policy • terminal 以外の policy は、ひとつ下位の policy に処理を委譲する か、basic action を直接実行する • terminal policy は basic (primitive) action しか実行できない
タスクの実行例 (図1) • 各タスク (と行動) の発火順序 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ ⑩ ⑪ ⑫ ⑬
設定 ：(kステージの) タスク。<find blue> とか。 ：状態。つまりゲーム画面。※ ※ 手持ちのブロックも状態に含む？論文中に明記なし ：プリミティブ行動。「一歩前へ」とか、 「目の前の物体を取得」とか ：報酬。タスク g ごとに与えられることに注意 (<find blue>のクリア条件と<put blue>のクリア条件は異なるため) ：(kステージの) 方策。k=0 なら terminal、 k=K なら top-level policy は、k が対応するタスクセット を解く。 また、タスクセットは入れ子になっている： つまり、上位方策は下位方策でも解けるタスクを解くこともある。 (が、実際のところそういうタスクは下位方策に委譲するように訓練させる。後述)
階層型方策 ・ ・ ・ k = K (top-level policy) k = K-1 k = 0 (terminal policy) ・・・ • 上位方策はモジュール内部に ひとつ下の下位方策を持つ • 上位方策は下位方策への タスク委譲を判断するし、 自ら primitive action を取る こともある • ただし最下位方策 (terminal) は primitive action しか 取れない
階層型方策 (絵) ひとつ下の下位方策 (Base) 下位方策に与える タスク g を 生成する方策 (Instruction) 自ら primitive action を取るときの方策 (Augmented flat) Aug. flat と Base の どちらを使うか 判断する方策 (Switch)
階層型方策 (式) Base方策とAug. flat方策のどちらを 使うかの判断 e を、Switch方策で生成 自分に与えられたタスク g から、Base方策 に渡すタスク g’ をInstruction方策で生成 eが1なら自分のAug. flat方策から、0ならBase方策から、 取るべき primitive action を生成。 この一連の流れ全体がステージkの Global policy となる
Stochastic Temporal Grammar (STG) • タスクには依存関係がある • オブジェクトを持っていないと置けないはず。等 • 強化学習とは別に、 過去の成功系列 (positive episode) をもとに、タスクの依存関 係の順番を文法だと考えて、正しい文法を推測。 推測した文法を利用して、方策の事前分布に補正をかける： やたらごつい名前がついているが、やっていることは、 過去に成功して報酬がもらえたタスク系列に似てほしいから、その経験分布をかけているだけ
訓練 • 各ステージkごとに段階的に訓練させていく (progressive learning 的) • さらに、ひとつのステージの中でも、訓練を2フェーズに分割 (curriculum learning) • さらにさらに、その各フェーズの中でも、それぞれの方策モ ジュールは順繰りにひとつずつ更新をかけ、それ以外は更新を 止めておく (alternating update) • 訓練の擬似コードは、付録A: Algorithm 2
Progressive Learning • k の若い順から訓練を進める • 上位方策からは、 下位方策のパラメータは 更新しない ・ ・ ・ k = K (top-level policy) k = K-1 k = 0 (terminal policy) ・・・ 訓練の順番
Curriculum Learning • 同じステージ内でも、2フェイズに分けて訓練する • Phase1 • base skill acquisition phase • 下位方策 (下位ステージ, k-1) が訓練に利用したタスクのみを上位方策に解か せる • 「下位方策ですでに解けるタスクは、下位方策に適切にタスクを委譲すれば 良い」を学ばせる • Phase2 • novel skill acquisition phase • 今のステージ (k) で新たに加わったタスクも含めて解かせる • 「どのタスクが下位方策で解けて、どのタスクが自ら Aug. flat 方策で解かな いといけないか」を学ばせる
Alternating Update • M=500 ステップごとに、3つの方策のパラメータの更新対象を 切り替える • Switch policy • Instruction policy • Augmented flat policy • (もちろん、このとき対象外の 方策のパラメータは更新しない)
Advantage Actor-Critic (A2C) • 方策勾配法をベースとして、価値関数 (のアドバンテージ) を同 時に推定する A2C でパラメータ更新 Actor 側の勾配 Critic 側の勾配 ω：重点サンプリングの補正項 (経験再生っぽいことをしているので)
実験 • Minecraft で、「ブロックを重ねる」というタスクを解かせ る： =={“Find x”} ={“Find x”, “Get x”} ={“Find x”, ”Get x”, “Put x”} ={“Find x”, “Get x”, “Put x”, “Stack x”} ={“Find x”, “Get x”, “Put x”, “Stack x”, “Put x on y”} x, y には色の名前 (6種類) が入る。ただし x と y は異なる色。 よってタスクはぜんぶで 種類ある。 各タスクを完遂すると＋1の報酬を貰ってエピソード終了。 実行不可能なサブタスクを生成すると-0.5の罰則を受けてエピソード終了。
実験
実験 (a): の学習曲線。Reward が落ちている部分は Phase の切り替え。 (b): の学習曲線。ただし Phase 1 を pre-trained で固定して Phase 2 のみの比較。 いずれも提案法はちゃんと学習できていることがわかる
実験 は、”Get x” を受けて、最初に “Find x” を に対して命令。 しかし、制御が返ってきた後、まだ x を見つけていないことに気づき、 再度 に “Find x” を命令している。
感想 • かなりの hand-engineering • 問題設定やモデル設計、学習方法の工夫に人間の事前知識をだいぶ入 れている印象 • この点は論文中でも将来の課題として触れられている • 下位方策に完全に操作を委譲してしまう提案法のアプローチだ と、「状況が変わったので、実行中の下位方策を一旦中断して 再度上位方策で方針を決め直す」とかはできなさそう • 例えば、マルチエージェント系だと、他のエージェントによって状況 を変えられてしまうことが特に起こりやすい気がする
感想 • 自然言語で解釈可能とは言っても、 語彙がとても少ない上に文章長が2とか • これくらいの規模なら、埋め込みをせずにそのまま単語インデックス をエンコードかけても大丈夫そうに感じる • もちろん、大規模な語彙や文章での発展を考えて応用可能なアーキテクチャで実 験しているという点は理解できる • もしかしたら、「put と stack は埋め込みが近くなっている」とかあ るかもしれない？(指示としては似ているので)
感想 • progressinve/curriculum learning によって簡単なタスクを強制的に先に 学習させ、階層的スキルの未分化／過分化の問題を防止しているように見 える • 方策蒸留系 (H-DRLN等？) のアプローチも、progressive learning に見える。スキル の未分化／過分化が自然に防げると思われる • ICLR2018 には、階層的強化学習系として progressive RL のポスターも通っている • Progressive Reinforcement Learning with Distillation for Multi-Skilled Motion Control • https://openreview.net/forum?id=B13njo1R-
参考資料 • Thinking out loud: hierarchical and interpretable multi-task reinforcement learning • https://einstein.ai/research/hierarchical-reinforcement-learning • NIPS2017読み会@PFN： Hierarchical Reinforcement Learning + α • https://www.slideshare.net/yukono1/nips2017pfn-hierarchical- reinforcement-learning
参考文献 • Shu, T., Xiong, C., & Socher, R. (2018). Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning. ICLR. • Tessler, C., Givony, S., Zahavy, T., Mankowitz, D. J., & Mannor, S. (2017). A Deep Hierarchical Approach to Lifelong Learning in Minecraft. AAAI. • Berseth, G., Xie, C., Cernek, P., & Panne, M. Van de. (2018). Progressive Reinforcement Learning with Distillation for Multi-Skilled Motion Control. ICLR. • Hermann, K. M., Hill, F., Green, S., Wang, F., Faulkner, R., Soyer, H., et al. (2017). Grounded Language Learning in a Simulated 3D World. arXiv preprint. • Rusu, A. A., Colmenarejo, S. G., Gulcehre, C., Desjardins, G., Kirkpatrick, J., Pascanu, R., et al. (2016). Policy Distillation. ICLR. • Su, P.-H., Budzianowski, P., Ultes, S., Gasic, M., & Young, S. (2017). Sample- efficient Actor-Critic Reinforcement Learning with Supervised Data for Dialogue Management. ICLR.

More Related Content

PDF
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
byJun Okumura
 
PDF
DQNからRainbowまで 〜深層強化学習の最新動向〜
byJun Okumura
 
PDF
NIPS2017読み会@PFN： Hierarchical Reinforcement Learning + α
by佑 甲野
 
PDF
【DL輪読会】Scaling laws for single-agent reinforcement learning
byDeep Learning JP
 
PPTX
【DL輪読会】論文解説：Offline Reinforcement Learning as One Big Sequence Modeling Problem
byDeep Learning JP
 
PDF
研究の基本ツール
by由来 藤原
 
PPTX
モデル高速化百選
byYusuke Uchida
 
PPTX
モデルアーキテクチャ観点からの高速化2019
byYusuke Uchida
 
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
byJun Okumura
 
DQNからRainbowまで 〜深層強化学習の最新動向〜
byJun Okumura
 
NIPS2017読み会@PFN： Hierarchical Reinforcement Learning + α
by佑 甲野
 
【DL輪読会】Scaling laws for single-agent reinforcement learning
byDeep Learning JP
 
【DL輪読会】論文解説：Offline Reinforcement Learning as One Big Sequence Modeling Problem
byDeep Learning JP
 
研究の基本ツール
by由来 藤原
 
モデル高速化百選
byYusuke Uchida
 
モデルアーキテクチャ観点からの高速化2019
byYusuke Uchida
 

What's hot

PDF
機械学習モデルの判断根拠の説明（Ver.2）
bySatoshi Hara
 
PDF
Teslaにおけるコンピュータビジョン技術の調査 (2)
byKazuyuki Miyazawa
 
PPTX
強化学習における好奇心
byShota Imai
 
PDF
画像の基盤モデルの変遷と研究動向
bynlab_utokyo
 
PPTX
[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...
byDeep Learning JP
 
PDF
0から理解するニューラルネットアーキテクチャサーチ（NAS）
byMasanoriSuganuma
 
PPTX
【DL輪読会】時系列予測 Transfomers の精度向上手法
byDeep Learning JP
 
PDF
[DL輪読会]Understanding Black-box Predictions via Influence Functions
byDeep Learning JP
 
PPTX
CNNの構造最適化手法について
byMasanoriSuganuma
 
PPTX
【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...
byDeep Learning JP
 
PDF
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
byDeep Learning JP
 
PDF
cvpaper.challenge 研究効率化 Tips
bycvpaper. challenge
 
PPTX
OSS強化学習フレームワークの比較
bygree_tech
 
PDF
[Track2-2] 最新のNVIDIA AmpereアーキテクチャによるNVIDIA A100 TensorコアGPUの特長とその性能を引き出す方法
byDeep Learning Lab（ディープラーニング・ラボ）
 
PPTX
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
byDeep Learning JP
 
PDF
Transformerを多層にする際の勾配消失問題と解決法について
bySho Takase
 
PDF
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
byDeep Learning JP
 
PDF
[DL輪読会]マルチエージェント強化学習と⼼の理論 〜Hanabiゲームにおけるベイズ推論を⽤いたマルチエージェント 強化学習⼿法〜
byDeep Learning JP
 
PPTX
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
byDeep Learning JP
 
PPTX
[DL輪読会]Pay Attention to MLPs （gMLP）
byDeep Learning JP
 
機械学習モデルの判断根拠の説明（Ver.2）
bySatoshi Hara
 
Teslaにおけるコンピュータビジョン技術の調査 (2)
byKazuyuki Miyazawa
 
強化学習における好奇心
byShota Imai
 
画像の基盤モデルの変遷と研究動向
bynlab_utokyo
 
[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...
byDeep Learning JP
 
0から理解するニューラルネットアーキテクチャサーチ（NAS）
byMasanoriSuganuma
 
【DL輪読会】時系列予測 Transfomers の精度向上手法
byDeep Learning JP
 
[DL輪読会]Understanding Black-box Predictions via Influence Functions
byDeep Learning JP
 
CNNの構造最適化手法について
byMasanoriSuganuma
 
【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...
byDeep Learning JP
 
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
byDeep Learning JP
 
cvpaper.challenge 研究効率化 Tips
bycvpaper. challenge
 
OSS強化学習フレームワークの比較
bygree_tech
 
[Track2-2] 最新のNVIDIA AmpereアーキテクチャによるNVIDIA A100 TensorコアGPUの特長とその性能を引き出す方法
byDeep Learning Lab（ディープラーニング・ラボ）
 
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
byDeep Learning JP
 
Transformerを多層にする際の勾配消失問題と解決法について
bySho Takase
 
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
byDeep Learning JP
 
[DL輪読会]マルチエージェント強化学習と⼼の理論 〜Hanabiゲームにおけるベイズ推論を⽤いたマルチエージェント 強化学習⼿法〜
byDeep Learning JP
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
byDeep Learning JP
 
[DL輪読会]Pay Attention to MLPs （gMLP）
byDeep Learning JP
 

Similar to Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning

PDF
強化学習と逆強化学習を組み合わせた模倣学習
byEiji Uchibe
 
PPTX
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
byDeep Learning JP
 
PDF
強化学習の実適用に向けた課題と工夫
byMasahiro Yasumoto
 
PDF
論文紹介：”Playing hard exploration games by watching YouTube“
byJun Okumura
 
PDF
多様な強化学習の概念と課題認識
by佑 甲野
 
PDF
[Dl輪読会]introduction of reinforcement learning
byDeep Learning JP
 
PDF
分散型強化学習手法の最近の動向と分散計算フレームワークRayによる実装の試み
bySusumuOTA
 
PDF
[DL輪読会]Temporal Abstraction in NeurIPS2019
byDeep Learning JP
 
PDF
「これからの強化学習」勉強会#1
byChihiro Kusunoki
 
PPTX
Multi-agent Inverse reinforcement learning: 相互作用する行動主体の報酬推定
byKeiichi Namikoshi
 
PDF
【論文紹介】PGQ: Combining Policy Gradient And Q-learning
bySotetsu KOYAMADA（小山田創哲）
 
PDF
ICLR2018読み会@PFN 論文紹介：Intrinsic Motivation and Automatic Curricula via Asymmet...
byJun Okumura
 
PDF
交差点の交通流におけるシミュレーション環境 を用いた深層強化学習に関する研究
byharmonylab
 
PDF
「これからの強化学習」勉強会#2
byChihiro Kusunoki
 
PDF
ICML2017 参加報告会 山本康生
byYahoo!デベロッパーネットワーク
 
PPTX
Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
byharmonylab
 
PDF
ロボットによる一般問題解決
bySOINN Inc.
 
PPTX
Learning in a small world
byShingo Horiuchi
 
PDF
Computational Motor Control: Reinforcement Learning (JAIST summer course)
byhirokazutanaka
 
PPTX
[DL輪読会]Learn What Not to Learn: Action Elimination with Deep Reinforcement Le...
byDeep Learning JP
 
強化学習と逆強化学習を組み合わせた模倣学習
byEiji Uchibe
 
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
byDeep Learning JP
 
強化学習の実適用に向けた課題と工夫
byMasahiro Yasumoto
 
論文紹介：”Playing hard exploration games by watching YouTube“
byJun Okumura
 
多様な強化学習の概念と課題認識
by佑 甲野
 
[Dl輪読会]introduction of reinforcement learning
byDeep Learning JP
 
分散型強化学習手法の最近の動向と分散計算フレームワークRayによる実装の試み
bySusumuOTA
 
[DL輪読会]Temporal Abstraction in NeurIPS2019
byDeep Learning JP
 
「これからの強化学習」勉強会#1
byChihiro Kusunoki
 
Multi-agent Inverse reinforcement learning: 相互作用する行動主体の報酬推定
byKeiichi Namikoshi
 
【論文紹介】PGQ: Combining Policy Gradient And Q-learning
bySotetsu KOYAMADA（小山田創哲）
 
ICLR2018読み会@PFN 論文紹介：Intrinsic Motivation and Automatic Curricula via Asymmet...
byJun Okumura
 
交差点の交通流におけるシミュレーション環境 を用いた深層強化学習に関する研究
byharmonylab
 
「これからの強化学習」勉強会#2
byChihiro Kusunoki
 
ICML2017 参加報告会 山本康生
byYahoo!デベロッパーネットワーク
 
Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
byharmonylab
 
ロボットによる一般問題解決
bySOINN Inc.
 
Learning in a small world
byShingo Horiuchi
 
Computational Motor Control: Reinforcement Learning (JAIST summer course)
byhirokazutanaka
 
[DL輪読会]Learn What Not to Learn: Action Elimination with Deep Reinforcement Le...
byDeep Learning JP
 

Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning

  • 1.
    Hierarchical and Interpretable SkillAcquisition in Multi-task Reinforcement Learning 2018/02/09 NN論文を肴に酒を飲む会 #5 仲田 圭佑
  • 2.
    自己紹介 • 名前 • 仲田圭佑 (なかた けいすけ) • 仕事 • データ分析@株式会社ブレインパッド • 研究開発寄りの部署でお仕事に役立ちそうな機械学習研究のサーベイ をしつつ、受託分析業務をしています • 最近気になっている分野 • 強化学習 • 今回のNN論文を肴に酒を飲む会のテーマが強化学習なので今日は楽しみです
  • 3.
    Hierarchical and InterpretableSkill Acquisition in Multi-task Reinforcement Learning • ICLR2018 Poster: https://openreview.net/forum?id=SJJQVZW0b • arXiv: https://arxiv.org/abs/1712.07294 • arXiv 版はデグレっている (2018/02/08現在) ので、ICLR 版推奨 • Official blog article • https://einstein.ai/research/hierarchical-reinforcement-learning • Authors: • Tianmin Shu • Univ. of California, Los Angeles • (Intern at Salesforce Research) • Caiming Xiong • Richard Socher • Salesforce Research
  • 4.
  • 5.
  • 6.
    Hierarchical Reinforcement Learning •階層的にタスクおよび方策・行動を分割する強化学習。 上位／下位の2階層にするのが典型的。 (だが、提案法では多階層が可能) • global policy (上位) • 最終ゴールを達成するために必要なサブゴールの系列を決定する • より抽象的 (「ブロックを探す」等) • エージェントによって直接実行はできない行動を出力 • option とか macro action とか呼ばれたりする • local policy (下位) • サブゴールを達成するための行動系列を決定する • より具体的 (「前に1歩進む」「前のマスの物体を取得する」等) • 実際にエージェントが実行可能な、プリミティブな行動を出力 • primitive action とか呼ばれたりする
  • 7.
    モデル • の説明の前に・・・ • 方策の階層構造の概要(図1) を説明 • 実際に、あるタスクがどう分割されているかを例示
  • 8.
    タスクの実行例 (図1) basic actions terminalpolicy top-level policy • terminal 以外の policy は、ひとつ下位の policy に処理を委譲する か、basic action を直接実行する • terminal policy は basic (primitive) action しか実行できない
  • 9.
    タスクの実行例 (図1) • 各タスク(と行動) の発火順序 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ ⑩ ⑪ ⑫ ⑬
  • 10.
    設定 ：(kステージの) タスク。<find blue>とか。 ：状態。つまりゲーム画面。※ ※ 手持ちのブロックも状態に含む？論文中に明記なし ：プリミティブ行動。「一歩前へ」とか、 「目の前の物体を取得」とか ：報酬。タスク g ごとに与えられることに注意 (<find blue>のクリア条件と<put blue>のクリア条件は異なるため) ：(kステージの) 方策。k=0 なら terminal、 k=K なら top-level policy は、k が対応するタスクセット を解く。 また、タスクセットは入れ子になっている： つまり、上位方策は下位方策でも解けるタスクを解くこともある。 (が、実際のところそういうタスクは下位方策に委譲するように訓練させる。後述)
  • 11.
    階層型方策 ・ ・ ・ k = K(top-level policy) k = K-1 k = 0 (terminal policy) ・・・ • 上位方策はモジュール内部に ひとつ下の下位方策を持つ • 上位方策は下位方策への タスク委譲を判断するし、 自ら primitive action を取る こともある • ただし最下位方策 (terminal) は primitive action しか 取れない
  • 12.
    階層型方策 (絵) ひとつ下の下位方策 (Base) 下位方策に与える タスク gを 生成する方策 (Instruction) 自ら primitive action を取るときの方策 (Augmented flat) Aug. flat と Base の どちらを使うか 判断する方策 (Switch)
  • 13.
    階層型方策 (式) Base方策とAug. flat方策のどちらを 使うかの判断e を、Switch方策で生成 自分に与えられたタスク g から、Base方策 に渡すタスク g’ をInstruction方策で生成 eが1なら自分のAug. flat方策から、0ならBase方策から、 取るべき primitive action を生成。 この一連の流れ全体がステージkの Global policy となる
  • 14.
    Stochastic Temporal Grammar(STG) • タスクには依存関係がある • オブジェクトを持っていないと置けないはず。等 • 強化学習とは別に、 過去の成功系列 (positive episode) をもとに、タスクの依存関 係の順番を文法だと考えて、正しい文法を推測。 推測した文法を利用して、方策の事前分布に補正をかける： やたらごつい名前がついているが、やっていることは、 過去に成功して報酬がもらえたタスク系列に似てほしいから、その経験分布をかけているだけ
  • 15.
    訓練 • 各ステージkごとに段階的に訓練させていく (progressive learning的) • さらに、ひとつのステージの中でも、訓練を2フェーズに分割 (curriculum learning) • さらにさらに、その各フェーズの中でも、それぞれの方策モ ジュールは順繰りにひとつずつ更新をかけ、それ以外は更新を 止めておく (alternating update) • 訓練の擬似コードは、付録A: Algorithm 2
  • 16.
    Progressive Learning • kの若い順から訓練を進める • 上位方策からは、 下位方策のパラメータは 更新しない ・ ・ ・ k = K (top-level policy) k = K-1 k = 0 (terminal policy) ・・・ 訓練の順番
  • 17.
    Curriculum Learning • 同じステージ内でも、2フェイズに分けて訓練する •Phase1 • base skill acquisition phase • 下位方策 (下位ステージ, k-1) が訓練に利用したタスクのみを上位方策に解か せる • 「下位方策ですでに解けるタスクは、下位方策に適切にタスクを委譲すれば 良い」を学ばせる • Phase2 • novel skill acquisition phase • 今のステージ (k) で新たに加わったタスクも含めて解かせる • 「どのタスクが下位方策で解けて、どのタスクが自ら Aug. flat 方策で解かな いといけないか」を学ばせる
  • 18.
    Alternating Update • M=500ステップごとに、3つの方策のパラメータの更新対象を 切り替える • Switch policy • Instruction policy • Augmented flat policy • (もちろん、このとき対象外の 方策のパラメータは更新しない)
  • 19.
    Advantage Actor-Critic (A2C) •方策勾配法をベースとして、価値関数 (のアドバンテージ) を同 時に推定する A2C でパラメータ更新 Actor 側の勾配 Critic 側の勾配 ω：重点サンプリングの補正項 (経験再生っぽいことをしているので)
  • 20.
    実験 • Minecraft で、「ブロックを重ねる」というタスクを解かせ る： =={“Findx”} ={“Find x”, “Get x”} ={“Find x”, ”Get x”, “Put x”} ={“Find x”, “Get x”, “Put x”, “Stack x”} ={“Find x”, “Get x”, “Put x”, “Stack x”, “Put x on y”} x, y には色の名前 (6種類) が入る。ただし x と y は異なる色。 よってタスクはぜんぶで 種類ある。 各タスクを完遂すると＋1の報酬を貰ってエピソード終了。 実行不可能なサブタスクを生成すると-0.5の罰則を受けてエピソード終了。
  • 21.
  • 22.
    実験 (a): の学習曲線。Reward が落ちている部分はPhase の切り替え。 (b): の学習曲線。ただし Phase 1 を pre-trained で固定して Phase 2 のみの比較。 いずれも提案法はちゃんと学習できていることがわかる
  • 23.
    実験 は、”Get x” を受けて、最初に“Find x” を に対して命令。 しかし、制御が返ってきた後、まだ x を見つけていないことに気づき、 再度 に “Find x” を命令している。
  • 24.
    感想 • かなりの hand-engineering •問題設定やモデル設計、学習方法の工夫に人間の事前知識をだいぶ入 れている印象 • この点は論文中でも将来の課題として触れられている • 下位方策に完全に操作を委譲してしまう提案法のアプローチだ と、「状況が変わったので、実行中の下位方策を一旦中断して 再度上位方策で方針を決め直す」とかはできなさそう • 例えば、マルチエージェント系だと、他のエージェントによって状況 を変えられてしまうことが特に起こりやすい気がする
  • 25.
    感想 • 自然言語で解釈可能とは言っても、 語彙がとても少ない上に文章長が2とか • これくらいの規模なら、埋め込みをせずにそのまま単語インデックス をエンコードかけても大丈夫そうに感じる •もちろん、大規模な語彙や文章での発展を考えて応用可能なアーキテクチャで実 験しているという点は理解できる • もしかしたら、「put と stack は埋め込みが近くなっている」とかあ るかもしれない？(指示としては似ているので)
  • 26.
    感想 • progressinve/curriculum learningによって簡単なタスクを強制的に先に 学習させ、階層的スキルの未分化／過分化の問題を防止しているように見 える • 方策蒸留系 (H-DRLN等？) のアプローチも、progressive learning に見える。スキル の未分化／過分化が自然に防げると思われる • ICLR2018 には、階層的強化学習系として progressive RL のポスターも通っている • Progressive Reinforcement Learning with Distillation for Multi-Skilled Motion Control • https://openreview.net/forum?id=B13njo1R-
  • 27.
    参考資料 • Thinking outloud: hierarchical and interpretable multi-task reinforcement learning • https://einstein.ai/research/hierarchical-reinforcement-learning • NIPS2017読み会@PFN： Hierarchical Reinforcement Learning + α • https://www.slideshare.net/yukono1/nips2017pfn-hierarchical- reinforcement-learning
  • 28.
    参考文献 • Shu, T.,Xiong, C., & Socher, R. (2018). Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning. ICLR. • Tessler, C., Givony, S., Zahavy, T., Mankowitz, D. J., & Mannor, S. (2017). A Deep Hierarchical Approach to Lifelong Learning in Minecraft. AAAI. • Berseth, G., Xie, C., Cernek, P., & Panne, M. Van de. (2018). Progressive Reinforcement Learning with Distillation for Multi-Skilled Motion Control. ICLR. • Hermann, K. M., Hill, F., Green, S., Wang, F., Faulkner, R., Soyer, H., et al. (2017). Grounded Language Learning in a Simulated 3D World. arXiv preprint. • Rusu, A. A., Colmenarejo, S. G., Gulcehre, C., Desjardins, G., Kirkpatrick, J., Pascanu, R., et al. (2016). Policy Distillation. ICLR. • Su, P.-H., Budzianowski, P., Ultes, S., Gasic, M., & Young, S. (2017). Sample- efficient Actor-Critic Reinforcement Learning with Supervised Data for Dialogue Management. ICLR.