MS
Uploaded byMasahiro Suzuki
PDF, PPTX14,503 views

「世界モデル」と関連研究について

強化学習アーキテクチャ勉強会の資料

Embed presentation

Download as PDF, PPTX
2018/05/15
¤ ¤ 2013 3 ¤ 2015 3 ¤ 2018 3 ¤ ¤ 2018 4 ~ ¤ ¤ ¤ ¤ Deep Learning ¤ Goodfellow Deep Learning
¤ World Models ¤ David Ha, Jürgen Schmidhuber ¤ arXiv: 1803.10122 Web https://worldmodels.github.io/ ¤ Ha hardmaru ¤ ¤ ¤ ¤ 3
¤ ¤ ¤ “World Model” ¤
¤ ¤ ¤ ¤ internal model ¤ ¤ world model ¤ dynamics model
¤ “The image of the world around us, which we carry in our head, is just a model. Nobody in his head imagines all the world, government or country. He has only selected concepts, and relationships between them, and uses those to represent the real system. (Forrester, 1971)” ¤ ¤ [Chang+ 17, Cell] ->
¤ ¤ Jeff Hawkins On Intelligence ¤ ¤ ¤ -> 8
¤ ¤ ¤ ¤ ¤ ¤ ¤ PredNet [Watanabe+ 18] http://www.psy.ritsumei.ac.jp/~akitaoka/rotsnakes.html
AI ¤ AI AI ¤ AI 1. 2.
¤ ¤ ! " # $ !’ ¤ &("|!) ¤ MDP Recap: the reinforcement learning objective The Anatomy of a Reinforcement Learning Problem Slide from Sergey Levine Recap: the reinforcement learning objective
¤ ¤ ¤ -> ¤ ¤ ¤ ¤ 1. 2. 3. 4. 2 Model-based RL Review improve the policy Correcting for model errors: refitting model with new data, replanning with MPC, using local models Model-based RL from raw observations: learn latent space, typically with unsupervised learning, or model &plan directly in observational space e.g., backprop through model supervised learning Even simpler… generic trajectory optimization, solve however you want • How can we impose constraints on trajectory optimization?
¤ ¤ ¤ ¤ ¤ ¤ RBF DNN ¤ ¤ ¤ ¤ PILCO ¤ Guided policy search (trajectory optimization) ¤ CMA-ES Policy Search Classification Yet, it’s a grey zone… Important Extensions: • Contextual Policy Search [Kupscik, Deisenroth, Peters & Neumann, AAAI 2013], [Silva, Konidaris & Barto, ICML 2012], [Kober & Peters, IJCAI 2011], [Paresi & Peters et al., IROS 2015] • Hierarchical Policy Search [Daniel, Neumann & Peters., AISTATS 2012], [Wingate et al., IJCAI 2011], [Ghavamzadeh & Mahedevan, ICML 2003] 9 Direct Policy Search Value-Based RL Evolutionary Strategies, CMA-ES Episodic REPS Policy Gradients, eNAC Actor Critic, Natural Actor Critic Model-based REPS PS by Trajectory Optimization Q-Learning, Fitted Q LSPIPILCO Advantage Weighted Regression Conservative Policy Iteration Model-Based Policy Search Methods 85 Learn dynamics model from data-set + More data efficient than model-free methods + More complex policies can be optimized • RBF networks [Deisenroth & Rasmussen, 2011] • Time-dependent feedback controllers [Levine & Koltun, 2014] • Gaussian Processes [Von Hoof, Peters & Nemann, 2015] • Deep neural nets [Levine & Koltun, 2014][Levine & Abbeel, 2014] Limitations: - Learning good models is often very hard - Small model errors can have drastic damage on the resulting policy (due to optimization) - Some models are hard to scale - Computational Complexity
PILCO ¤ PILCO (probabilistic inference for learning control) [Deisenroth+ 11] ¤ ¤ ¤ RBF ¤ 1. 2. ¤ ¤ 3. Greedy Policy Updates: PILCO [Deisenroth & Rasmussen 2011] Model Learning: • Use Bayesian models which integrate out model uncertainty Gaussian Processes • Reward predictions are not specialized to a single model Internal Stimulation: • Iteratively compute • Moment matching: deterministic approximate inference Policy Update: • Analytically compute expected return and its gradient • Greedily Optimize with BFGS 88 Greedy Policy Updates: PILCO [Deisenroth & Rasmussen 2011] Model Learning: • Use Bayesian models which integrate out model uncertainty Gaussian Processes • Reward predictions are not specialized to a single model Internal Stimulation: • Iteratively compute • Moment matching: deterministic approximate inference Policy Update: • Analytically compute expected return and its gradient • Greedily Optimize with BFGS 88 Greedy Policy Updates: PILCO [Deisenroth & Rasmussen 2011] Model Learning: • Use Bayesian models which integrate out model uncertainty Gaussian Processes • Reward predictions are not specialized to a single model Internal Stimulation: • Iteratively compute • Moment matching: deterministic approximate inference Policy Update: • Analytically compute expected return and its gradient • Greedily Optimize with BFGS 88 Greedy Policy Updates: PILCO [Deisenroth & Rasmussen 2011] Model Learning: • Use Bayesian models which integrate out model uncertainty Gaussian Processes • Reward predictions are not specialized to a single model Internal Stimulation: • Iteratively compute • Moment matching: deterministic approximate inference Policy Update: • Analytically compute expected return and its gradient • Greedily Optimize with BFGS 88 Greedy Policy Updates: PILCO [Deisenroth & Rasmussen 2011] Model Learning: • Use Bayesian models which integrate out model uncertainty Gaussian Processes • Reward predictions are not specialized to a single model Internal Stimulation: • Iteratively compute • Moment matching: deterministic approximate inference Policy Update: • Analytically compute expected return and its gradient • Greedily Optimize with BFGS 88 What’s the problem? backprop backprop backprop • Similar parameter sensitivity problems as shooting methods • But no longer have convenient second order LQR-like method, because policy parameters couple all the time steps, so no dynamic programming • Similar problems to training long RNNs with BPTT • Vanishing and exploding gradients • Unlike LSTM, we can’t just “choose” a simple dynamics, dynamics are chosen by nature
Guided Policy Search via trajectory optimization ¤ ¤ ¤ trajectory optimization ¤ DNN trajectory optimization+ guided policy search [Levine+ 14]
CMA-ES ¤ Model-based 1 ¤ Evolution Strategy ES ¤ ¤ ¤ ¤ CMA-ES ( ¤ ¤ ¤ 1. 2. 3. 2 http://yuki-koyama.hatenablog.com/entry/2017/01/20/172109
¤ ¤ [Gu+ 16] ¤ etc. ¤ ¤ ¤
¤ ¤ 1980 Feed-forward neural networks FNN ¤ 1990 RNN -> ¤ RNN ¤ “Making the World Differentiable” [Schmidhuber, 1990] ¤ RNN RNN
¤ ¤ Learning deep dynamical models from image pixels [Wahlström+ 14] From Pixels to Torques: Policy Learning with Deep Dynamical Models [Wahlstrom+ 15] ¤ deep dynamical model DDM ¤
VAE ¤ ! "; $ ¤ ¤ " ¤ ¤ Variational autoencoder VAE [Kingma+ 13] [Rezende+ 14] ¤ " % &'(%|") " ~ !,("|%) % ~ !(%) &' % " = .(%|/ " , 12 (")) !, " % = ℬ("|/ " )
VAE ¤ ! "~$ " ! ¤ ¤ ! (a) Learned Frey Face manifold (b) Learned MNIST manifold Figure 4: Visualisations of learned data manifold for generative models with two-dimensional latent space, learned with AEVB. Since the prior of the latent space is Gaussian, linearly spaced coor- dinates on the unit square were transformed through the inverse CDF of the Gaussian to produce values of the latent variables z. For each of these values z, we plotted the corresponding generative p✓(x|z) with the learned parameters ✓. [Kingma+ 13]
VAE ¤ VAE ¤ ¤ GAN ¤ disentangle ¤ ¤ ¤ β-VAE[Higgins+ 17] ¤ ¤ [Burgess+ 18]
“World Model”
¤ Schmidhuber ¤ ¤ ¤ + 25
¤ ¤ 3 ¤ Vision Model V ¤ Memory RNN M ¤ Controller C V M 26
Vision Model V ¤ 2D Variational Autoencoder VAE ¤ 27
MDN-RNN M ¤ M !" !"#$ ¤ %(!"#$|(", !", ℎ") ¤ ( ℎ RNN ¤ !"#$ ¤ M MDN-RNN[Graves + 13, Ha+ 17] ¤ RNN ¤ ¤ Ha 28
¤ [Bishop+ 94] ¤ ¤ ¤ ! " ¤ 29
MDN-RNN ¤ SketchRNN[Ha+ 17] ¤ MDN-RNN 30
Controller (C) Model ¤ ¤ C ¤ ! RNN ℎ ¤ ¤ CMA-ES ¤ 1 867 31
¤ V M C 32 h z C
1 ¤ ¤ 3 ¤ 10000 ¤ 33
V M ¤ VAE V ¤ V ! M ¤ " ¤ 34
1. V ¤ M ¤ ¤ 35
2. V M ¤ ¤ 36
¤ ¤ OpenAI Gym leaderboard ¤ RGB ¤ 37
¤ SketchRNN ¤ VAE 38
2 VizDoom ¤ VizDoom Doom ¤ ¤ 750 39
¤ M ¤ !"#$% (!%) 2 ¤ ( )%*+, !%*+ -%, )%, ℎ%) ¤ C 40
¤ 900 ¤ ¤ ! ¤ 41
¤ ¤ 1000 ¤ 42
¤ ¤ 13 BB ¤ ¤ ¤ ¤ 43
¤ MDN-RNN ¤ C M ¤ ! ¤ 44
¤ ¤ ¤ ¤ Learning To Think[Schmidhuber+ 15] 1. M C 2. 3. M M C 4. 2 ¤ 1 ¤ 2 ¤ curiosity ¤ 45
¤ ¤ ¤ ¤ Replay Comes of Age ¤ 46
¤ ¤ MDN-RNN VAE ¤ VAE ¤ ¤ ¤ Friston ¤ Wahlström M V ¤ VRNN[Chung+ 15] 47
Friston ¤ ¤ !"($) ¤ ¤ ¤ https://en.wikipedia.org/wiki/Free_energy_principle 164 第 9 章 考察 ると，内部モデルは生成モデルによって実現される． 内部モデルを機械学習における生成モデルと捉え，行動と結びつけた枠組で有名なのが Friston による自由エネルギー原理（free-energy principle） [Friston 10] である．自由エネル ギー原理では，生物学的なシステムが内部状態の自由エネルギーを最小化することによって秩 序を維持していると考えている． 状態 x*8 と潜在変数 z を持つ生成モデル pθ(x, z) を考えて，近似分布を qφ(z) とする． また，負の周辺尤度の上界である変分自由エネルギー（負の変分下界）を F(x; φ, θ) = −Eqφ(z)[log p(x, z)] + H[qφ(z)] とする．自由エネルギー原理では，内部パラメータ φ と行動 a は，（変分）自由エネルギーを最小化するように更新すると考える． ˆφ = arg min φ F(x; φ, θ), ˆa = arg min a F(x; φ, θ). なお，ここでの arg mina は，自由エネルギーが最小になるような x を選ぶ行動 a を取るとい うことである．また，生成モデルのパラメータ θ については，上記の更新を一定数繰り返した 後に更新する． 自由エネルギー原理では，入力は単純に状態 x として考えられている．ある状態 x を受け 取ったときに内部状態が更新され，その後生成モデルを元に，自由エネルギーが最小になる ような状態 x を選ぶ行動 a が取られる．しかし実際には，外界からの刺激は五感を通じてマ ルチモーダル情報として得られるため，自由エネルギーは複数のモダリティ x や w を含んだ 164 ると，内部モデルは生成モデルによって実現される． 内部モデルを機械学習における生成モデルと捉え，行動と結びつけ Friston による自由エネルギー原理（free-energy principle） [Friston 10 ギー原理では，生物学的なシステムが内部状態の自由エネルギーを最小化 序を維持していると考えている． 状態 x*8 と潜在変数 z を持つ生成モデル pθ(x, z) を考えて，近似分 また，負の周辺尤度の上界である変分自由エネルギー（負の変分下 −Eqφ(z)[log p(x, z)] + H[qφ(z)] とする．自由エネルギー原理では，内部 a は，（変分）自由エネルギーを最小化するように更新すると考える． ˆφ = arg min φ F(x; φ, θ), ˆa = arg min a F(x; φ, θ). なお，ここでの arg mina は，自由エネルギーが最小になるような x を選 うことである．また，生成モデルのパラメータ θ については，上記の更新 後に更新する． 自由エネルギー原理では，入力は単純に状態 x として考えられている 取ったときに内部状態が更新され，その後生成モデルを元に，自由エネ ような状態 x を選ぶ行動 a が取られる．しかし実際には，外界からの刺 第 9 章 考察 デルは生成モデルによって実現される． を機械学習における生成モデルと捉え，行動と結びつけた枠組で有名なのが 自由エネルギー原理（free-energy principle） [Friston 10] である．自由エネル ，生物学的なシステムが内部状態の自由エネルギーを最小化することによって秩 いると考えている． 潜在変数 z を持つ生成モデル pθ(x, z) を考えて，近似分布を qφ(z) とする． 辺尤度の上界である変分自由エネルギー（負の変分下界）を F(x; φ, θ) = x, z)] + H[qφ(z)] とする．自由エネルギー原理では，内部パラメータ φ と行動 自由エネルギーを最小化するように更新すると考える． ˆφ = arg min φ F(x; φ, θ), ˆa = arg min a F(x; φ, θ). の arg mina は，自由エネルギーが最小になるような x を選ぶ行動 a を取るとい ．また，生成モデルのパラメータ θ については，上記の更新を一定数繰り返した ． ギー原理では，入力は単純に状態 x として考えられている．ある状態 x を受け 内部状態が更新され，その後生成モデルを元に，自由エネルギーが最小になる 164 第 9 章 考察 ると，内部モデルは生成モデルによって実現される． 内部モデルを機械学習における生成モデルと捉え，行動と結びつけた枠組で有名なのが Friston による自由エネルギー原理（free-energy principle） [Friston 10] である．自由エネル ギー原理では，生物学的なシステムが内部状態の自由エネルギーを最小化することによって秩 序を維持していると考えている． 状態 x*8 と潜在変数 z を持つ生成モデル pθ(x, z) を考えて，近似分布を qφ(z) とする． また，負の周辺尤度の上界である変分自由エネルギー（負の変分下界）を F(x; φ, θ) = −Eqφ(z)[log p(x, z)] + H[qφ(z)] とする．自由エネルギー原理では，内部パラメータ φ と行動 a は，（変分）自由エネルギーを最小化するように更新すると考える． ˆφ = arg min φ F(x; φ, θ), ˆa = arg min a F(x; φ, θ). なお，ここでの arg mina は，自由エネルギーが最小になるような x を選ぶ行動 a を取るとい うことである．また，生成モデルのパラメータ θ については，上記の更新を一定数繰り返した 後に更新する． 自由エネルギー原理では，入力は単純に状態 x として考えられている．ある状態 x を受け 取ったときに内部状態が更新され，その後生成モデルを元に，自由エネルギーが最小になる ような状態 x を選ぶ行動 a が取られる．しかし実際には，外界からの刺激は五感を通じてマ ルチモーダル情報として得られるため，自由エネルギーは複数のモダリティ x や w を含んだ
LeCun Y LeCun How Much Information Does the Machine Need to Predict? “Pure” Reinforcement Learning (cherry) The machine predicts a scalar reward given once in a while. A few bits for some samples Supervised Learning (icing) The machine predicts a category or a few numbers for each input Predicting human-supplied data 10 10,000 bits per sample→ Unsupervised/Predictive Learning (cake) The machine predicts any part of its input for any observed part. Predicts future frames in videos Millions of bits per sample (Yes, I know, this picture is slightly offensive to RL folks. But I’ll make it up)
¤ ¤ C ¤ ¤ PredNet [Lotter+ 16] ¤
¤ ¤ … ¤ 51 内部モデル 外界 行動 刺激 （マルチモーダル情報）
¤ ¤ ¤ Schmidhuber ¤ ¤ ¤ ¤ POMDP 52

More Related Content

PDF
深層生成モデルと世界モデル（2020/11/20版）
byMasahiro Suzuki
 
PPTX
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
byDeep Learning JP
 
PPTX
[DL輪読会]Dream to Control: Learning Behaviors by Latent Imagination
byDeep Learning JP
 
PPTX
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
byDeep Learning JP
 
PDF
【DL輪読会】A Path Towards Autonomous Machine Intelligence
byDeep Learning JP
 
PPTX
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
byDeep Learning JP
 
PDF
確率的推論と行動選択
byMasahiro Suzuki
 
PDF
[DL輪読会]Control as Inferenceと発展
byDeep Learning JP
 
深層生成モデルと世界モデル（2020/11/20版）
byMasahiro Suzuki
 
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
byDeep Learning JP
 
[DL輪読会]Dream to Control: Learning Behaviors by Latent Imagination
byDeep Learning JP
 
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
byDeep Learning JP
 
【DL輪読会】A Path Towards Autonomous Machine Intelligence
byDeep Learning JP
 
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
byDeep Learning JP
 
確率的推論と行動選択
byMasahiro Suzuki
 
[DL輪読会]Control as Inferenceと発展
byDeep Learning JP
 

What's hot

PDF
[DL輪読会]`強化学習のための状態表現学習 －より良い「世界モデル」の獲得に向けて－
byDeep Learning JP
 
PPTX
[DL輪読会]逆強化学習とGANs
byDeep Learning JP
 
PDF
強化学習と逆強化学習を組み合わせた模倣学習
byEiji Uchibe
 
PPTX
近年のHierarchical Vision Transformer
byYusuke Uchida
 
PDF
強化学習その3
bynishio
 
PPTX
【DL輪読会】ViT + Self Supervised Learningまとめ
byDeep Learning JP
 
PPTX
強化学習 DQNからPPOまで
byharmonylab
 
PPTX
【DL輪読会】Scaling Laws for Neural Language Models
byDeep Learning JP
 
PDF
GAN（と強化学習との関係）
byMasahiro Suzuki
 
PPTX
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
byDeep Learning JP
 
PPTX
強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
byShota Imai
 
PPTX
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
byDeep Learning JP
 
PDF
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
bySSII
 
PDF
PRML学習者から入る深層生成モデル入門
bytmtm otm
 
PDF
ゼロから始める深層強化学習（NLP2018講演資料）/ Introduction of Deep Reinforcement Learning
byPreferred Networks
 
PDF
[DL輪読会]画像を使ったSim2Realの現況
byDeep Learning JP
 
PDF
Decision Transformer: Reinforcement Learning via Sequence Modeling
byYasunori Ozaki
 
PDF
POMDP下での強化学習の基礎と応用
byYasunori Ozaki
 
PDF
自己教師学習（Self-Supervised Learning）
bycvpaper. challenge
 
PPTX
[DL輪読会]World Models
byDeep Learning JP
 
[DL輪読会]`強化学習のための状態表現学習 －より良い「世界モデル」の獲得に向けて－
byDeep Learning JP
 
[DL輪読会]逆強化学習とGANs
byDeep Learning JP
 
強化学習と逆強化学習を組み合わせた模倣学習
byEiji Uchibe
 
近年のHierarchical Vision Transformer
byYusuke Uchida
 
強化学習その3
bynishio
 
【DL輪読会】ViT + Self Supervised Learningまとめ
byDeep Learning JP
 
強化学習 DQNからPPOまで
byharmonylab
 
【DL輪読会】Scaling Laws for Neural Language Models
byDeep Learning JP
 
GAN（と強化学習との関係）
byMasahiro Suzuki
 
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
byDeep Learning JP
 
強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
byShota Imai
 
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
byDeep Learning JP
 
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
bySSII
 
PRML学習者から入る深層生成モデル入門
bytmtm otm
 
ゼロから始める深層強化学習（NLP2018講演資料）/ Introduction of Deep Reinforcement Learning
byPreferred Networks
 
[DL輪読会]画像を使ったSim2Realの現況
byDeep Learning JP
 
Decision Transformer: Reinforcement Learning via Sequence Modeling
byYasunori Ozaki
 
POMDP下での強化学習の基礎と応用
byYasunori Ozaki
 
自己教師学習（Self-Supervised Learning）
bycvpaper. challenge
 
[DL輪読会]World Models
byDeep Learning JP
 

Similar to 「世界モデル」と関連研究について

PDF
[DL輪読会]Weight Agnostic Neural Networks
byDeep Learning JP
 
PDF
MuZero - ML + Security Reading Group
byKim Hammar
 
PDF
データを読む感性
byHideo Hirose
 
PPTX
[DL輪読会] Learning Finite State Representations of Recurrent Policy Networks (I...
byDeep Learning JP
 
PDF
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
byEiji Uchibe
 
PPTX
帰納バイアスが成立する条件
byShinobu KINJO
 
PDF
Ibis2016okanohara
byPreferred Networks
 
PDF
Deep learning勉強会20121214ochi
byOhsawa Goodfellow
 
PDF
Learning Deep Architectures for AI （第 3 回 Deep Learning 勉強会資料; 松尾）
byOhsawa Goodfellow
 
PPTX
Deep Learning Chap. 6: Deep Feedforward Networks
byShion Honda
 
PPTX
深層学習の基礎と導入
byKazuki Motohashi
 
PDF
データを読み取る感性
byHideo Hirose
 
PDF
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19
byTatsuya Shirakawa
 
PDF
第7回WBAシンポジウム：全脳確率的生成モデル(WB-PGM)〜世界モデルと推論に基づく汎用人工知能に向けて
byThe Whole Brain Architecture Initiative
 
PDF
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
byPreferred Networks
 
PDF
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
byPreferred Networks
 
PPTX
【輪読会】Braxlines: Fast and Interactive Toolkit for RL-driven Behavior Engineeri...
byDeep Learning JP
 
PDF
Learning to Navigate in Complex Environments 輪読
byTatsuya Matsushima
 
PDF
Chapter 8 ボルツマンマシン - 深層学習本読み会
byTaikai Takeda
 
PDF
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
bycvpaper. challenge
 
[DL輪読会]Weight Agnostic Neural Networks
byDeep Learning JP
 
MuZero - ML + Security Reading Group
byKim Hammar
 
データを読む感性
byHideo Hirose
 
[DL輪読会] Learning Finite State Representations of Recurrent Policy Networks (I...
byDeep Learning JP
 
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
byEiji Uchibe
 
帰納バイアスが成立する条件
byShinobu KINJO
 
Ibis2016okanohara
byPreferred Networks
 
Deep learning勉強会20121214ochi
byOhsawa Goodfellow
 
Learning Deep Architectures for AI （第 3 回 Deep Learning 勉強会資料; 松尾）
byOhsawa Goodfellow
 
Deep Learning Chap. 6: Deep Feedforward Networks
byShion Honda
 
深層学習の基礎と導入
byKazuki Motohashi
 
データを読み取る感性
byHideo Hirose
 
医療ビッグデータの今後を見通すために知っておきたい機械学習の基礎〜最前線 agains COVID-19
byTatsuya Shirakawa
 
第7回WBAシンポジウム：全脳確率的生成モデル(WB-PGM)〜世界モデルと推論に基づく汎用人工知能に向けて
byThe Whole Brain Architecture Initiative
 
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
byPreferred Networks
 
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
byPreferred Networks
 
【輪読会】Braxlines: Fast and Interactive Toolkit for RL-driven Behavior Engineeri...
byDeep Learning JP
 
Learning to Navigate in Complex Environments 輪読
byTatsuya Matsushima
 
Chapter 8 ボルツマンマシン - 深層学習本読み会
byTaikai Takeda
 
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
bycvpaper. challenge
 

More from Masahiro Suzuki

PDF
深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについて
byMasahiro Suzuki
 
PDF
深層生成モデルと世界モデル
byMasahiro Suzuki
 
PDF
深層生成モデルを用いたマルチモーダルデータの半教師あり学習
byMasahiro Suzuki
 
PDF
（DL輪読）Variational Dropout Sparsifies Deep Neural Networks
byMasahiro Suzuki
 
PDF
（DL輪読）Matching Networks for One Shot Learning
byMasahiro Suzuki
 
PDF
（DL hacks輪読）Bayesian Neural Network
byMasahiro Suzuki
 
PDF
深層生成モデルを用いたマルチモーダル学習
byMasahiro Suzuki
 
PDF
(DL hacks輪読) How to Train Deep Variational Autoencoders and Probabilistic Lad...
byMasahiro Suzuki
 
PDF
(DL hacks輪読) Variational Inference with Rényi Divergence
byMasahiro Suzuki
 
PDF
(DL hacks輪読) Deep Kalman Filters
byMasahiro Suzuki
 
PDF
(研究会輪読) Weight Uncertainty in Neural Networks
byMasahiro Suzuki
 
PDF
(DL hacks輪読) Deep Kernel Learning
byMasahiro Suzuki
 
PDF
(DL hacks輪読) Seven neurons memorizing sequences of alphabetical images via sp...
byMasahiro Suzuki
 
PDF
(研究会輪読) Facial Landmark Detection by Deep Multi-task Learning
byMasahiro Suzuki
 
PDF
(DL hacks輪読) Difference Target Propagation
byMasahiro Suzuki
 
PDF
(DL hacks輪読) Variational Dropout and the Local Reparameterization Trick
byMasahiro Suzuki
 
PDF
(DL Hacks輪読) How transferable are features in deep neural networks?
byMasahiro Suzuki
 
深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについて
byMasahiro Suzuki
 
深層生成モデルと世界モデル
byMasahiro Suzuki
 
深層生成モデルを用いたマルチモーダルデータの半教師あり学習
byMasahiro Suzuki
 
（DL輪読）Variational Dropout Sparsifies Deep Neural Networks
byMasahiro Suzuki
 
（DL輪読）Matching Networks for One Shot Learning
byMasahiro Suzuki
 
（DL hacks輪読）Bayesian Neural Network
byMasahiro Suzuki
 
深層生成モデルを用いたマルチモーダル学習
byMasahiro Suzuki
 
(DL hacks輪読) How to Train Deep Variational Autoencoders and Probabilistic Lad...
byMasahiro Suzuki
 
(DL hacks輪読) Variational Inference with Rényi Divergence
byMasahiro Suzuki
 
(DL hacks輪読) Deep Kalman Filters
byMasahiro Suzuki
 
(研究会輪読) Weight Uncertainty in Neural Networks
byMasahiro Suzuki
 
(DL hacks輪読) Deep Kernel Learning
byMasahiro Suzuki
 
(DL hacks輪読) Seven neurons memorizing sequences of alphabetical images via sp...
byMasahiro Suzuki
 
(研究会輪読) Facial Landmark Detection by Deep Multi-task Learning
byMasahiro Suzuki
 
(DL hacks輪読) Difference Target Propagation
byMasahiro Suzuki
 
(DL hacks輪読) Variational Dropout and the Local Reparameterization Trick
byMasahiro Suzuki
 
(DL Hacks輪読) How transferable are features in deep neural networks?
byMasahiro Suzuki
 

Recently uploaded

PPTX
【ASW22-01】STAMP:STPAロスシナリオの発想・整理支援ツールの開発 ～astah* System Safetyによる構造化・階層化機能の実装...
bycsgy24013
 
PDF
0.0001秒の攻防！？快適な運転を支えるリアルタイム制御と組み込みエンジニアの実践知【DENSO Tech Night 第四夜】
bydots.
 
PDF
Kubernetes Release Team Release Signal Role について ~Kubernetes Meetup Tokyo #72~
byKeisuke Ishigami
 
PDF
Rin Ukai_即興旅行の誘発を目的とした口コミ情報に基づく雰囲気キーワード_EC2025.pdf
byMatsushita Laboratory
 
PDF
Nanami Doikawa_寄り道の誘発を目的とした旅行写真からのスポット印象語彙の推定に関する基礎検討_EC2025
byMatsushita Laboratory
 
PDF
サーバーサイド Kotlin を社内で普及させてみた - Server-Side Kotlin Night 2025
byHirotaka Kawata
 
PPTX
「グローバルワン全員経営」の実践を通じて進化し続けるファーストリテイリングのアーキテクチャ
byFast Retailing Co., Ltd.
 
【ASW22-01】STAMP:STPAロスシナリオの発想・整理支援ツールの開発 ～astah* System Safetyによる構造化・階層化機能の実装...
bycsgy24013
 
0.0001秒の攻防！？快適な運転を支えるリアルタイム制御と組み込みエンジニアの実践知【DENSO Tech Night 第四夜】
bydots.
 
Kubernetes Release Team Release Signal Role について ~Kubernetes Meetup Tokyo #72~
byKeisuke Ishigami
 
Rin Ukai_即興旅行の誘発を目的とした口コミ情報に基づく雰囲気キーワード_EC2025.pdf
byMatsushita Laboratory
 
Nanami Doikawa_寄り道の誘発を目的とした旅行写真からのスポット印象語彙の推定に関する基礎検討_EC2025
byMatsushita Laboratory
 
サーバーサイド Kotlin を社内で普及させてみた - Server-Side Kotlin Night 2025
byHirotaka Kawata
 
「グローバルワン全員経営」の実践を通じて進化し続けるファーストリテイリングのアーキテクチャ
byFast Retailing Co., Ltd.
 

「世界モデル」と関連研究について

  • 1.
  • 2.
    ¤ ¤ 2013 3 ¤2015 3 ¤ 2018 3 ¤ ¤ 2018 4 ~ ¤ ¤ ¤ ¤ Deep Learning ¤ Goodfellow Deep Learning
  • 3.
    ¤ World Models ¤David Ha, Jürgen Schmidhuber ¤ arXiv: 1803.10122 Web https://worldmodels.github.io/ ¤ Ha hardmaru ¤ ¤ ¤ ¤ 3
  • 4.
  • 6.
    ¤ ¤ ¤ ¤ internal model ¤ ¤world model ¤ dynamics model
  • 7.
    ¤ “The imageof the world around us, which we carry in our head, is just a model. Nobody in his head imagines all the world, government or country. He has only selected concepts, and relationships between them, and uses those to represent the real system. (Forrester, 1971)” ¤ ¤ [Chang+ 17, Cell] ->
  • 8.
    ¤ ¤ Jeff HawkinsOn Intelligence ¤ ¤ ¤ -> 8
  • 9.
    ¤ ¤ ¤ ¤ ¤ ¤ ¤ PredNet [Watanabe+18] http://www.psy.ritsumei.ac.jp/~akitaoka/rotsnakes.html
  • 10.
  • 12.
    ¤ ¤ ! "# $ !’ ¤ &("|!) ¤ MDP Recap: the reinforcement learning objective The Anatomy of a Reinforcement Learning Problem Slide from Sergey Levine Recap: the reinforcement learning objective
  • 13.
    ¤ ¤ ¤ -> ¤ ¤ ¤ ¤ 1. 2. 3. 4. 2 Model-based RLReview improve the policy Correcting for model errors: refitting model with new data, replanning with MPC, using local models Model-based RL from raw observations: learn latent space, typically with unsupervised learning, or model &plan directly in observational space e.g., backprop through model supervised learning Even simpler… generic trajectory optimization, solve however you want • How can we impose constraints on trajectory optimization?
  • 14.
    ¤ ¤ ¤ ¤ ¤ ¤ RBF DNN ¤ ¤ ¤ ¤PILCO ¤ Guided policy search (trajectory optimization) ¤ CMA-ES Policy Search Classification Yet, it’s a grey zone… Important Extensions: • Contextual Policy Search [Kupscik, Deisenroth, Peters & Neumann, AAAI 2013], [Silva, Konidaris & Barto, ICML 2012], [Kober & Peters, IJCAI 2011], [Paresi & Peters et al., IROS 2015] • Hierarchical Policy Search [Daniel, Neumann & Peters., AISTATS 2012], [Wingate et al., IJCAI 2011], [Ghavamzadeh & Mahedevan, ICML 2003] 9 Direct Policy Search Value-Based RL Evolutionary Strategies, CMA-ES Episodic REPS Policy Gradients, eNAC Actor Critic, Natural Actor Critic Model-based REPS PS by Trajectory Optimization Q-Learning, Fitted Q LSPIPILCO Advantage Weighted Regression Conservative Policy Iteration Model-Based Policy Search Methods 85 Learn dynamics model from data-set + More data efficient than model-free methods + More complex policies can be optimized • RBF networks [Deisenroth & Rasmussen, 2011] • Time-dependent feedback controllers [Levine & Koltun, 2014] • Gaussian Processes [Von Hoof, Peters & Nemann, 2015] • Deep neural nets [Levine & Koltun, 2014][Levine & Abbeel, 2014] Limitations: - Learning good models is often very hard - Small model errors can have drastic damage on the resulting policy (due to optimization) - Some models are hard to scale - Computational Complexity
  • 15.
    PILCO ¤ PILCO (probabilisticinference for learning control) [Deisenroth+ 11] ¤ ¤ ¤ RBF ¤ 1. 2. ¤ ¤ 3. Greedy Policy Updates: PILCO [Deisenroth & Rasmussen 2011] Model Learning: • Use Bayesian models which integrate out model uncertainty Gaussian Processes • Reward predictions are not specialized to a single model Internal Stimulation: • Iteratively compute • Moment matching: deterministic approximate inference Policy Update: • Analytically compute expected return and its gradient • Greedily Optimize with BFGS 88 Greedy Policy Updates: PILCO [Deisenroth & Rasmussen 2011] Model Learning: • Use Bayesian models which integrate out model uncertainty Gaussian Processes • Reward predictions are not specialized to a single model Internal Stimulation: • Iteratively compute • Moment matching: deterministic approximate inference Policy Update: • Analytically compute expected return and its gradient • Greedily Optimize with BFGS 88 Greedy Policy Updates: PILCO [Deisenroth & Rasmussen 2011] Model Learning: • Use Bayesian models which integrate out model uncertainty Gaussian Processes • Reward predictions are not specialized to a single model Internal Stimulation: • Iteratively compute • Moment matching: deterministic approximate inference Policy Update: • Analytically compute expected return and its gradient • Greedily Optimize with BFGS 88 Greedy Policy Updates: PILCO [Deisenroth & Rasmussen 2011] Model Learning: • Use Bayesian models which integrate out model uncertainty Gaussian Processes • Reward predictions are not specialized to a single model Internal Stimulation: • Iteratively compute • Moment matching: deterministic approximate inference Policy Update: • Analytically compute expected return and its gradient • Greedily Optimize with BFGS 88 Greedy Policy Updates: PILCO [Deisenroth & Rasmussen 2011] Model Learning: • Use Bayesian models which integrate out model uncertainty Gaussian Processes • Reward predictions are not specialized to a single model Internal Stimulation: • Iteratively compute • Moment matching: deterministic approximate inference Policy Update: • Analytically compute expected return and its gradient • Greedily Optimize with BFGS 88 What’s the problem? backprop backprop backprop • Similar parameter sensitivity problems as shooting methods • But no longer have convenient second order LQR-like method, because policy parameters couple all the time steps, so no dynamic programming • Similar problems to training long RNNs with BPTT • Vanishing and exploding gradients • Unlike LSTM, we can’t just “choose” a simple dynamics, dynamics are chosen by nature
  • 16.
    Guided Policy Searchvia trajectory optimization ¤ ¤ ¤ trajectory optimization ¤ DNN trajectory optimization+ guided policy search [Levine+ 14]
  • 17.
    CMA-ES ¤ Model-based 1 ¤Evolution Strategy ES ¤ ¤ ¤ ¤ CMA-ES ( ¤ ¤ ¤ 1. 2. 3. 2 http://yuki-koyama.hatenablog.com/entry/2017/01/20/172109
  • 18.
    ¤ ¤ [Gu+ 16] ¤etc. ¤ ¤ ¤
  • 19.
    ¤ ¤ 1980 Feed-forwardneural networks FNN ¤ 1990 RNN -> ¤ RNN ¤ “Making the World Differentiable” [Schmidhuber, 1990] ¤ RNN RNN
  • 20.
    ¤ ¤ Learning deepdynamical models from image pixels [Wahlström+ 14] From Pixels to Torques: Policy Learning with Deep Dynamical Models [Wahlstrom+ 15] ¤ deep dynamical model DDM ¤
  • 21.
    VAE ¤ ! ";$ ¤ ¤ " ¤ ¤ Variational autoencoder VAE [Kingma+ 13] [Rezende+ 14] ¤ " % &'(%|") " ~ !,("|%) % ~ !(%) &' % " = .(%|/ " , 12 (")) !, " % = ℬ("|/ " )
  • 22.
    VAE ¤ ! "~$" ! ¤ ¤ ! (a) Learned Frey Face manifold (b) Learned MNIST manifold Figure 4: Visualisations of learned data manifold for generative models with two-dimensional latent space, learned with AEVB. Since the prior of the latent space is Gaussian, linearly spaced coor- dinates on the unit square were transformed through the inverse CDF of the Gaussian to produce values of the latent variables z. For each of these values z, we plotted the corresponding generative p✓(x|z) with the learned parameters ✓. [Kingma+ 13]
  • 23.
    VAE ¤ VAE ¤ ¤ GAN ¤disentangle ¤ ¤ ¤ β-VAE[Higgins+ 17] ¤ ¤ [Burgess+ 18]
  • 24.
  • 25.
  • 26.
    ¤ ¤ 3 ¤ VisionModel V ¤ Memory RNN M ¤ Controller C V M 26
  • 27.
    Vision Model V ¤2D Variational Autoencoder VAE ¤ 27
  • 28.
    MDN-RNN M ¤ M!" !"#$ ¤ %(!"#$|(", !", ℎ") ¤ ( ℎ RNN ¤ !"#$ ¤ M MDN-RNN[Graves + 13, Ha+ 17] ¤ RNN ¤ ¤ Ha 28
  • 29.
  • 30.
  • 31.
    Controller (C) Model ¤ ¤C ¤ ! RNN ℎ ¤ ¤ CMA-ES ¤ 1 867 31
  • 32.
    ¤ V MC 32 h z C
  • 33.
  • 34.
    V M ¤ VAEV ¤ V ! M ¤ " ¤ 34
  • 35.
  • 36.
  • 37.
    ¤ ¤ OpenAI Gymleaderboard ¤ RGB ¤ 37
  • 38.
  • 39.
    2 VizDoom ¤ VizDoomDoom ¤ ¤ 750 39
  • 40.
    ¤ M ¤ !"#$%(!%) 2 ¤ ( )%*+, !%*+ -%, )%, ℎ%) ¤ C 40
  • 41.
  • 42.
  • 43.
  • 44.
    ¤ MDN-RNN ¤ CM ¤ ! ¤ 44
  • 45.
    ¤ ¤ ¤ ¤ Learning ToThink[Schmidhuber+ 15] 1. M C 2. 3. M M C 4. 2 ¤ 1 ¤ 2 ¤ curiosity ¤ 45
  • 46.
  • 47.
    ¤ ¤ MDN-RNN VAE ¤VAE ¤ ¤ ¤ Friston ¤ Wahlström M V ¤ VRNN[Chung+ 15] 47
  • 48.
    Friston ¤ ¤ !"($) ¤ ¤ ¤ https://en.wikipedia.org/wiki/Free_energy_principle 164 第9 章 考察 ると，内部モデルは生成モデルによって実現される． 内部モデルを機械学習における生成モデルと捉え，行動と結びつけた枠組で有名なのが Friston による自由エネルギー原理（free-energy principle） [Friston 10] である．自由エネル ギー原理では，生物学的なシステムが内部状態の自由エネルギーを最小化することによって秩 序を維持していると考えている． 状態 x*8 と潜在変数 z を持つ生成モデル pθ(x, z) を考えて，近似分布を qφ(z) とする． また，負の周辺尤度の上界である変分自由エネルギー（負の変分下界）を F(x; φ, θ) = −Eqφ(z)[log p(x, z)] + H[qφ(z)] とする．自由エネルギー原理では，内部パラメータ φ と行動 a は，（変分）自由エネルギーを最小化するように更新すると考える． ˆφ = arg min φ F(x; φ, θ), ˆa = arg min a F(x; φ, θ). なお，ここでの arg mina は，自由エネルギーが最小になるような x を選ぶ行動 a を取るとい うことである．また，生成モデルのパラメータ θ については，上記の更新を一定数繰り返した 後に更新する． 自由エネルギー原理では，入力は単純に状態 x として考えられている．ある状態 x を受け 取ったときに内部状態が更新され，その後生成モデルを元に，自由エネルギーが最小になる ような状態 x を選ぶ行動 a が取られる．しかし実際には，外界からの刺激は五感を通じてマ ルチモーダル情報として得られるため，自由エネルギーは複数のモダリティ x や w を含んだ 164 ると，内部モデルは生成モデルによって実現される． 内部モデルを機械学習における生成モデルと捉え，行動と結びつけ Friston による自由エネルギー原理（free-energy principle） [Friston 10 ギー原理では，生物学的なシステムが内部状態の自由エネルギーを最小化 序を維持していると考えている． 状態 x*8 と潜在変数 z を持つ生成モデル pθ(x, z) を考えて，近似分 また，負の周辺尤度の上界である変分自由エネルギー（負の変分下 −Eqφ(z)[log p(x, z)] + H[qφ(z)] とする．自由エネルギー原理では，内部 a は，（変分）自由エネルギーを最小化するように更新すると考える． ˆφ = arg min φ F(x; φ, θ), ˆa = arg min a F(x; φ, θ). なお，ここでの arg mina は，自由エネルギーが最小になるような x を選 うことである．また，生成モデルのパラメータ θ については，上記の更新 後に更新する． 自由エネルギー原理では，入力は単純に状態 x として考えられている 取ったときに内部状態が更新され，その後生成モデルを元に，自由エネ ような状態 x を選ぶ行動 a が取られる．しかし実際には，外界からの刺 第 9 章 考察 デルは生成モデルによって実現される． を機械学習における生成モデルと捉え，行動と結びつけた枠組で有名なのが 自由エネルギー原理（free-energy principle） [Friston 10] である．自由エネル ，生物学的なシステムが内部状態の自由エネルギーを最小化することによって秩 いると考えている． 潜在変数 z を持つ生成モデル pθ(x, z) を考えて，近似分布を qφ(z) とする． 辺尤度の上界である変分自由エネルギー（負の変分下界）を F(x; φ, θ) = x, z)] + H[qφ(z)] とする．自由エネルギー原理では，内部パラメータ φ と行動 自由エネルギーを最小化するように更新すると考える． ˆφ = arg min φ F(x; φ, θ), ˆa = arg min a F(x; φ, θ). の arg mina は，自由エネルギーが最小になるような x を選ぶ行動 a を取るとい ．また，生成モデルのパラメータ θ については，上記の更新を一定数繰り返した ． ギー原理では，入力は単純に状態 x として考えられている．ある状態 x を受け 内部状態が更新され，その後生成モデルを元に，自由エネルギーが最小になる 164 第 9 章 考察 ると，内部モデルは生成モデルによって実現される． 内部モデルを機械学習における生成モデルと捉え，行動と結びつけた枠組で有名なのが Friston による自由エネルギー原理（free-energy principle） [Friston 10] である．自由エネル ギー原理では，生物学的なシステムが内部状態の自由エネルギーを最小化することによって秩 序を維持していると考えている． 状態 x*8 と潜在変数 z を持つ生成モデル pθ(x, z) を考えて，近似分布を qφ(z) とする． また，負の周辺尤度の上界である変分自由エネルギー（負の変分下界）を F(x; φ, θ) = −Eqφ(z)[log p(x, z)] + H[qφ(z)] とする．自由エネルギー原理では，内部パラメータ φ と行動 a は，（変分）自由エネルギーを最小化するように更新すると考える． ˆφ = arg min φ F(x; φ, θ), ˆa = arg min a F(x; φ, θ). なお，ここでの arg mina は，自由エネルギーが最小になるような x を選ぶ行動 a を取るとい うことである．また，生成モデルのパラメータ θ については，上記の更新を一定数繰り返した 後に更新する． 自由エネルギー原理では，入力は単純に状態 x として考えられている．ある状態 x を受け 取ったときに内部状態が更新され，その後生成モデルを元に，自由エネルギーが最小になる ような状態 x を選ぶ行動 a が取られる．しかし実際には，外界からの刺激は五感を通じてマ ルチモーダル情報として得られるため，自由エネルギーは複数のモダリティ x や w を含んだ
  • 49.
    LeCun Y LeCun How MuchInformation Does the Machine Need to Predict? “Pure” Reinforcement Learning (cherry) The machine predicts a scalar reward given once in a while. A few bits for some samples Supervised Learning (icing) The machine predicts a category or a few numbers for each input Predicting human-supplied data 10 10,000 bits per sample→ Unsupervised/Predictive Learning (cake) The machine predicts any part of its input for any observed part. Predicts future frames in videos Millions of bits per sample (Yes, I know, this picture is slightly offensive to RL folks. But I’ll make it up)
  • 50.
    ¤ ¤ C ¤ ¤ PredNet[Lotter+ 16] ¤
  • 51.
  • 52.