Download to read offline
![Free Energy＝精度 + 複雑度
= −𝐸 𝑞(𝑧|𝑥)[log 𝑝 𝜃 𝑥 𝑧 ] + 𝐷 𝐾𝐿[𝑞(𝑧|𝜇)||𝑝 𝜃 𝑧 ]𝐹 𝑥, 𝜇
𝑧
𝑥
𝜇
：Hidden or external states
：Sensory states
：Internal states(ex. zの平均、分散)
精度 複雑度](https://image.slidesharecdn.com/wbahackathon2-170222142857/85/Wba-hackathon2_-_-6-320.jpg)
![Variational Autoencoderの式
参考：http://qiita.com/skitaoka/items/64eab1d6c09a189d5841
log 𝑃 𝜃 𝑥
= log 𝑞(𝑧|𝑥)
𝑝 𝜃(𝑥, 𝑧)
𝑞(𝑧|𝑥)
𝑑𝑧
= 𝑞 𝑧 𝑥 log
𝑝 𝜃(𝑥, 𝑧)
𝑞(𝑧|𝑥)
𝑑𝑧 + 𝐷 𝐾𝐿[𝑞(𝑧|𝑥)||𝑝 𝜃 𝑧 𝑥 ]
𝑝 𝜃(𝑧|𝑥) ：真の潜在変数の事後分布
𝑞(𝑧|𝑥) ：𝑝 𝜃(𝑧|𝑥)の近似分布（Neural Networkで表現）
log 𝑃 𝜃 𝑥 ：対数尤度。これを最大化する𝜃を見つけ出したい
下界 = 𝐿(𝑥) 真の分布と近似誤差の差
𝐿 𝑥
= 𝑞 𝑧 𝑥 log
𝑝 𝜃 𝑥, 𝑧
𝑞 𝑧 𝑥
𝑑𝑧
= 𝐸 𝑞(𝑧|𝑥)[log 𝑝 𝜃 𝑥 𝑧 ] − 𝐷 𝐾𝐿[𝑞(𝑧|𝑥)||𝑝 𝜃 𝑧 ]
・・・①](https://image.slidesharecdn.com/wbahackathon2-170222142857/85/Wba-hackathon2_-_-51-320.jpg)
![Free Energyの式
= −𝐸 𝑞(𝑧|𝑥)[log 𝑝 𝜃 𝑥 𝑧 ] + 𝐷 𝐾𝐿[𝑞(𝑧|𝜇)||𝑝 𝜃 𝑧 ]
𝐹 𝑥, 𝜇 = 𝐸 𝑞(𝑧|𝑥)[− log 𝑝 𝜃(𝑥, 𝑧)] − 𝐻[𝑞(𝑧|𝜇)]
参考：https://en.wikipedia.org/wiki/Free_energy_principle
Energy Entropy
・・・②
𝑧
𝑥
𝜇
：Hidden or external states
：Sensory states
：Internal states 𝑧
𝑥
𝜇
𝑎
World In Brain](https://image.slidesharecdn.com/wbahackathon2-170222142857/85/Wba-hackathon2_-_-52-320.jpg)
![両者は同じもの
𝐿 𝑥 = 𝐸 𝑞(𝑧|𝑥)[log 𝑝 𝜃 𝑥 𝑧 ] − 𝐷 𝐾𝐿[𝑞(𝑧|𝑥)||𝑝 𝜃 𝑧 ]
①より ②より
𝐹(𝑠, 𝜇) = −𝐸 𝑞(𝑧|𝑥)[log 𝑝 𝜃 𝑥 𝑧 + 𝐷 𝐾𝐿[𝑞(𝑧|𝜇)||𝑝 𝜃 𝑧 ]
−𝐿 𝑥 = −𝐸 𝑞 𝑧 𝑥 [log 𝑝 𝜃 𝑥 𝑧 ] + 𝐷 𝐾𝐿[𝑞(𝑧|𝑥)||𝑝 𝜃 𝑧 ]
−𝐿 𝑥 = −𝐸 𝑞 𝑧 𝑥 [log 𝑝 𝜃 𝑥 𝑧 ] + 𝐷 𝐾𝐿[𝑞(𝑧|𝜇)||𝑝 𝜃 𝑧 ]
観測された値でInternal statesを代用
正規分布と仮定
• Free Energy 𝐹(𝑠, 𝜇)は最小化、変分下界𝐿(𝑥)は最大化。𝐹 𝑠, 𝜇 = −𝐿(𝑥)よりやっていることも同じ。
• 𝐿(𝑥)の確率関数はニューラルネットによる近似](https://image.slidesharecdn.com/wbahackathon2-170222142857/85/Wba-hackathon2_-_-53-320.jpg)
![[DL Hacks] Deterministic Variational Inference for RobustBayesian Neural Netw...](https://cdn.slidesharecdn.com/ss_thumbnails/adobepdffile2-190628001736-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]The Neural Process Family−Neural Processes関連の実装を読んで動かしてみる−](https://cdn.slidesharecdn.com/ss_thumbnails/20190415dlhacks-190422075753-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Attentive neural processes](https://cdn.slidesharecdn.com/ss_thumbnails/attentiveneuralprocesses-181225051145-thumbnail.jpg?width=640&height=640&fit=bounds)
落合 Wba hackathon2_成果報告_最終版
- 1.
- 2.
- 3.
- 4.
- 5. Free Energy Principleby K.Friston
- 6. Free Energy＝精度 +複雑度 = −𝐸 𝑞(𝑧|𝑥)[log 𝑝 𝜃 𝑥 𝑧 ] + 𝐷 𝐾𝐿[𝑞(𝑧|𝜇)||𝑝 𝜃 𝑧 ]𝐹 𝑥, 𝜇 𝑧 𝑥 𝜇 ：Hidden or external states ：Sensory states ：Internal states(ex. zの平均、分散) 精度 複雑度
- 7. Internal state 𝜇 =arg min 𝐹(𝑥, 𝜇) 予測誤差を最小化するよう 内部パラメータを学習 （通常の生成モデル学習） 𝜇
- 8. Internal state Action(Attention) 𝜇 =arg min 𝐹(𝑥, 𝜇) 𝑎 = arg min 𝐹(𝑥, 𝜇) 予測誤差を最小化するよう 内部パラメータを学習 （通常の生成モデル学習） 予測誤差を最小化する行動 を生成 予測＝注目 (Active Inference) 𝜇 𝑎
- 9.
- 10. Free Energy Principle= Variational Autoencoder • Variational Autoencoder(VAE)は変分ベイズをニューラルネッ トで表現したもの • 変分ベイズではFree Energyを最小化している • Free Energyを内部パラメータ調節で最小化するNetwork ＝Variational Autoencoder • 今回の目標：Active InferenceをVAEに追加 • Active Inference=Free Energyを最小化する動きを生成す ること
- 11. 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑥′𝑥′ 𝑒𝑛 𝑧 𝑑𝑒 FC 𝑥′ 𝑎𝑥 𝑒𝑛 𝑧 𝑑𝑒 FC 𝑥′ 𝑎𝑥 t=0 t=1 layer=0 layer=1 Active Inference Network 𝑎 𝑧 𝑥 FC 𝑑𝑒 𝑒𝑛 𝑥′ Action Hidden state State(Bottom up) State(expect) Action Network Encoder Network Decoder Network Probabilistic
- 12. 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑥′𝑥′ 𝑒𝑛 𝑧 𝑑𝑒 FC 𝑥′ 𝑎𝑥 𝑒𝑛 𝑧 𝑑𝑒 FC 𝑥′ 𝑎𝑥 t=0 t=1 layer=0 layer=1 Active Inference Network 𝑎 𝑧 𝑥 FC 𝑑𝑒 𝑒𝑛 𝑥′ Action Hidden state State(Bottom up) State(expect) Action Network Encoder Network Decoder Network Probabilistic 今回作成範囲
- 13. 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑥′𝑥′ 𝑒𝑛 𝑧 𝑑𝑒 FC 𝑥′ 𝑎𝑥 𝑒𝑛 𝑧 𝑑𝑒 FC 𝑥′ 𝑎𝑥 t=0 t=1 layer=0 layer=1 Active Inference Network 𝑎 𝑧 𝑥 FC 𝑑𝑒 𝑒𝑛 𝑥′ Action Hidden state State(Bottom up) State(expect) Action Network Encoder Network Decoder Network Probabilistic Variational Autoencoder
- 14. 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑥′𝑥′ 𝑒𝑛 𝑧 𝑑𝑒 FC 𝑥′ 𝑎𝑥 𝑒𝑛 𝑧 𝑑𝑒 FC 𝑥′ 𝑎𝑥 t=0 t=1 layer=0 layer=1 Active Inference Network 𝑎 𝑧 𝑥 FC 𝑑𝑒 𝑒𝑛 𝑥′ Action Hidden state State(Bottom up) State(expect) Action Network Encoder Network Decoder Network Probabilistic Action
- 15.
- 16. 環境 エージェント MNIST画像を並べた 56x56ピクセルの空間 (トーラス状に回り込み) 着目領域 28x28ピクセル 着目領域内の画像 着目領域の 相対移動方向 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑥′ dx= -1 or 1, dy=-1 or 1 ピクセル単位の移動
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30. 考察 • 予測誤差を最小化するため一箇所で振動 • 理由 •環境が固定、かつ行動の外乱なし • 予測誤差は最小化ではなく一定の値になるよう行動を決 めるべき？ • 予測誤差が少なすぎる⇨退屈 • 予測誤差が高すぎる⇨不安 • 報酬、トップダウン信号が必要
- 31. •すごい： Free EnergyPrincipleを大規模化可能な 形で実装 •おもろい：制御への応用可能性（後述） •脳っぽい：Free Energy Principleは脳の実験 データによる裏付けも出始めている
- 32.
- 33.
- 34.
- 35. 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑥′𝑥′ 𝑒𝑛 𝑧 𝑑𝑒 FC 𝑥′ 𝑎𝑥 𝑒𝑛 𝑧 𝑑𝑒 FC 𝑥′ 𝑎𝑥 t=0 t=1 layer=0 layer=1 Active Inference Network 𝑎 𝑧 𝑥 FC 𝑑𝑒 𝑒𝑛 𝑥′ Action Hidden state State(Bottom up) State(expect) Action Network Encoder Network Decoder Network Probabilistic 作成予定範囲
- 36.
- 37. 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑥′𝑥′ 𝑒𝑛 𝑧 𝑑𝑒 FC 𝑥′ 𝑎𝑥 𝑒𝑛 𝑧 𝑑𝑒 FC 𝑥′ 𝑎𝑥 t=0 t=1 layer=0 layer=1 Active Inference Network 𝑎 𝑧 𝑥 FC 𝑑𝑒 𝑒𝑛 𝑥′ Action Hidden state State(Bottom up) State(expect) Action Network Encoder Network Decoder Network Probabilistic 探索対象の画像を入力、ボトムアップ計算
- 38. 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑒𝑛 𝐼 𝑥 𝑧 𝑑𝑒 FC 𝑎 𝑥′𝑥′ 𝑒𝑛 𝑧 𝑑𝑒 FC 𝑥′ 𝑎𝑥 𝑒𝑛 𝑧 𝑑𝑒 FC 𝑥′ 𝑎𝑥 t=0 t=1 layer=0 layer=1 Active Inference Network 𝑎 𝑧 𝑥 FC 𝑑𝑒 𝑒𝑛 𝑥′ Action Hidden state State(Bottom up) State(expect) Action Network Encoder Network Decoder Network Probabilistic 上位層のzを固定し、ボトムアップとトップダウン信号を流す
- 39. Active Inference Networkのイメージ layer0 layer1 layer2 layer3 InBrain World sensor ゴム紐
- 40. Active Inference Networkのイメージ layer0 layer1 layer2 layer3 InBrain World sensor
- 41. Active Inference Networkのイメージ layer0 layer1 layer2 layer3 InBrain World sensor
- 42. Active Inference Networkのイメージ layer0 layer1 layer2 layer3 InBrain World sensor
- 43. Active Inference Networkのイメージ layer0 layer1 layer2 layer3 InBrain World sensor
- 44. Active Inference Networkのイメージ layer0 layer1 layer2 layer3 InBrain World sensor
- 45. Active Inference Networkのイメージ layer0 layer1 layer2 layer3 InBrain World sensor
- 46. Active Inference Networkのイメージ layer0 layer1 layer2 layer3 InBrain World sensor
- 47.
- 48.
- 49. キーワード • Free EnergyPrinciple • Predictive Coding • Policy Gradient(action の強化学習で使用) • Variational Autoencoder • 変分ベイズ • 変分下界 • エントロピー
- 50. 環境、ライブラリ • Python 2.7 •Chainer 1.15.0.1
- 51. Variational Autoencoderの式 参考：http://qiita.com/skitaoka/items/64eab1d6c09a189d5841 log 𝑃𝜃 𝑥 = log 𝑞(𝑧|𝑥) 𝑝 𝜃(𝑥, 𝑧) 𝑞(𝑧|𝑥) 𝑑𝑧 = 𝑞 𝑧 𝑥 log 𝑝 𝜃(𝑥, 𝑧) 𝑞(𝑧|𝑥) 𝑑𝑧 + 𝐷 𝐾𝐿[𝑞(𝑧|𝑥)||𝑝 𝜃 𝑧 𝑥 ] 𝑝 𝜃(𝑧|𝑥) ：真の潜在変数の事後分布 𝑞(𝑧|𝑥) ：𝑝 𝜃(𝑧|𝑥)の近似分布（Neural Networkで表現） log 𝑃 𝜃 𝑥 ：対数尤度。これを最大化する𝜃を見つけ出したい 下界 = 𝐿(𝑥) 真の分布と近似誤差の差 𝐿 𝑥 = 𝑞 𝑧 𝑥 log 𝑝 𝜃 𝑥, 𝑧 𝑞 𝑧 𝑥 𝑑𝑧 = 𝐸 𝑞(𝑧|𝑥)[log 𝑝 𝜃 𝑥 𝑧 ] − 𝐷 𝐾𝐿[𝑞(𝑧|𝑥)||𝑝 𝜃 𝑧 ] ・・・①
- 52. Free Energyの式 = −𝐸𝑞(𝑧|𝑥)[log 𝑝 𝜃 𝑥 𝑧 ] + 𝐷 𝐾𝐿[𝑞(𝑧|𝜇)||𝑝 𝜃 𝑧 ] 𝐹 𝑥, 𝜇 = 𝐸 𝑞(𝑧|𝑥)[− log 𝑝 𝜃(𝑥, 𝑧)] − 𝐻[𝑞(𝑧|𝜇)] 参考：https://en.wikipedia.org/wiki/Free_energy_principle Energy Entropy ・・・② 𝑧 𝑥 𝜇 ：Hidden or external states ：Sensory states ：Internal states 𝑧 𝑥 𝜇 𝑎 World In Brain
- 53. 両者は同じもの 𝐿 𝑥 =𝐸 𝑞(𝑧|𝑥)[log 𝑝 𝜃 𝑥 𝑧 ] − 𝐷 𝐾𝐿[𝑞(𝑧|𝑥)||𝑝 𝜃 𝑧 ] ①より ②より 𝐹(𝑠, 𝜇) = −𝐸 𝑞(𝑧|𝑥)[log 𝑝 𝜃 𝑥 𝑧 + 𝐷 𝐾𝐿[𝑞(𝑧|𝜇)||𝑝 𝜃 𝑧 ] −𝐿 𝑥 = −𝐸 𝑞 𝑧 𝑥 [log 𝑝 𝜃 𝑥 𝑧 ] + 𝐷 𝐾𝐿[𝑞(𝑧|𝑥)||𝑝 𝜃 𝑧 ] −𝐿 𝑥 = −𝐸 𝑞 𝑧 𝑥 [log 𝑝 𝜃 𝑥 𝑧 ] + 𝐷 𝐾𝐿[𝑞(𝑧|𝜇)||𝑝 𝜃 𝑧 ] 観測された値でInternal statesを代用 正規分布と仮定 • Free Energy 𝐹(𝑠, 𝜇)は最小化、変分下界𝐿(𝑥)は最大化。𝐹 𝑠, 𝜇 = −𝐿(𝑥)よりやっていることも同じ。 • 𝐿(𝑥)の確率関数はニューラルネットによる近似
- 54. Free Energy Principle= Variational Autoencoder • Variational Autoencoder(VAE)は変分ベイズをニューラルネットで表現 したもの( http://www.asahi-net.or.jp/~fb8t-ysok/docs/vae/ ) • 変分ベイズではFree Energyを最小化している ( http://nktmemoja.github.io/jekyll/update/2016/08/20/variational- bayes.html ) • Free Energyを内部パラメータ調節で最小化するNetwork ＝Variational Autoencoder • 今回の目標：Active InferenceをVAEに追加 • Active Inference=Free Energyを最小化する動きを生成すること
- 55.
- 56. Free Energy Principleby Friston implement “Active Inference Network” ・ある状態を実現するための，行動を生成するネットワークの提案 Test ・マップ上でのナビゲーション課題 ←こいつを探したい ある特定の画像を，マップ上で探し出す