谷口忠大氏による講演 https://wba-initiative.org/20980/

1. 全脳確率的生成モデル（WB-PGM）：
世界モデルと推論に基づく汎用人工知能に向けて
Tadahiro Taniguchi
1) Professor, College of Information Science & Engineering,
Ritsumeikan University
2) Visiting General Chief Scientist, Technology Division,
Panasonic
Invited talk at
第7回全脳アーキテクチャ・シンポジウム＠Online, Zoom
12nd October 2022

2. Taniguchi, Tadahiro, et al. "A whole brain probabilistic generative model: Toward realizing cognitive
architectures for developmental robots." Neural Networks 150 (2022): 293-312.
WBAI代表
WBAI奨励賞2020 WBAI奨励賞2018
WBAI顧問

3. 経歴
– 2006: 京都大学大学院工学研究科精密工学専攻（機械系）
– 2005: 日本学術振興会特別研究員(DC)京都大学
– 2006: 日本学術振興会特別研究員(PD)京都大学
– 2008: 立命館大学情報理工学部助教
– 2010: 立命館大学情報理工学部准教授
– 2015-2016 インペリアル・カレッジ・ロンドン
客員准教授
– 2016-: 一般社団法人ビブリオバトル協会代表理事
– 2017-: 立命館大学情報理工学部教授
– 2017-: パナソニック客員総括主幹技師
(クロスアポイントメント 20%)
– 2022-: 立命館大学RARAフェロー
Tadahiro Taniguchi (谷口忠大)
僕とアリスの夏物語 人
工知能の,その先へ
(岩波科学ライブラリ)
2022/1/15
「記号創発ロボティクス」
（講談社メチエ）
2014
「コミュニケーションするロ
ボットは創れるか」
（NTT出版）2010
「心を知るための人
工知能」
（共立出版）2020
「賀茂川コミュニ
ケーション塾」
（世界思想社）2019
Email: taniguchi@ci.ritsumei.ac.jp
Twitter: @tanichu
横澤一彦・編「認知科学講座
４ 心をとらえるフレームワー
クの展開」（東京大学出版
会）2022/10/11 6章 記号創
発ロボティクス(谷口忠大)

4. 大規模言語モデル、世界モデル、基盤モデル
～自己教師付き学習からマルチモーダルAGIへ～
 Reed, Scott, et al. "A generalist agent." arXiv preprint
arXiv:2205.06175 (2022).
 Wu, Philipp, et al. "DayDreamer: World Models for Physical Robot
Learning." arXiv preprint arXiv:2206.14176 (2022).
 Google fires engineer who contended its AI technology was sentient,
By Ramishah Maruf, CNN, Updated 1745 GMT (0145 HKT) July 25,
2022, https://edition.cnn.com/2022/07/23/business/google-ai-
engineer-fired-sentient/index.html

5. 発達的知能への構成論的アプローチ [谷口 2014]
• 人間の子供は自らの身体的経験，感覚運
動情報の統合を通じて機能を獲得し，言
語を獲得し，コミュニケーションをも可
能にする．
• 実世界経験に基づく言語獲得ロボット
（AI）の実現とそれを通した人間の認知
発達の理解
谷口忠大「記号創発ロボティ
クス」（講談社メチエ）
2014
谷口忠大 「コミュニケーションす
るロボットは創れるか」（NTT出
版）2010
記号創発システムへの
構成論的アプローチ
谷口忠大「心を知るた
めの人工知能」
（共立出版）2020
谷口忠大「賀茂川コ
ミュニケーション塾」
（世界思想社）2019

6.  私たちの社会において言語などの記号シス
テムはボトムアップ的に形成されている。
 認知システムにおける内部表現のボトム
アップ的形成と社会における記号システム
の形成（記号創発システム）は、計算論
的・構成論的にモデル化されるべきである。
 また、その現象を実世界の環境で再現する
（記号創発ロボティクス）。
記号創発ロボティクス[Taniguchi+ 16, 19]
 Tadahiro Taniguchi, Takayuki Nagai, Tomoaki Nakamura, Naoto Iwahashi, Tetsuya Ogata, and Hideki Asoh,
Symbol Emergence in Robotics: A Survey, Advanced Robotics, 30(11-12) pp.706-728, 2016.
DOI:10.1080/01691864.2016.1164622
 Tadahiro Taniguchi, Emre Ugur, Matej Hoffmann, Lorenzo Jamone, Takayuki Nagai, Benjamin Rosman,
Toshihiko Matsuka, Naoto Iwahashi, Erhan Oztop, Justus Piater, Florentin Wörgötter, Symbol Emergence in
Cognitive Developmental Systems: A Survey, IEEE Transactions on Cognitive and Developmental Systems,
11(4), pp.494-516, 2019. DOI: 10.1109/TCDS.2018.2867772

7. 知能は「関数」か「全体」か？
Intelligence
 実世界で様々なタスクを行う生物（人間）の知能は感覚運動情報の自己組織化に
よって出現する存在である。
 実世界で働くロボットは単一の身体の上で様々な認知機能を統合し，適応し，タス
クを行う必要がある．
Input
 単一目的
 タスク指向
 情報処理としての知性
 自律性なし
 複数目的
 様々なタスクを一つの身体で
 感覚運動情報の自己組織化
 自律性あり
Output
Agent
(robot/human)
Visual recognition
Automatic
speech
recognition

8.  Friston, Karl, and Ping Ao. "Free energy, value, and attractors." Computational and mathematical methods in medicine 2012 (2012).
 脳の大統一理論 自由エネルギー原理とはなにか (岩波科学ライブラリー) , 乾 敏郎, 阪口 豊, (2021)
 Karl Friston, Rosalyn J. Moran, Yukie Nagai, Tadahiro Taniguchi, Hiroaki Gomi, Josh Tenenbaum, World model learning and
inference, Neural Networks, 2021,
自由エネルギー原理、予測符号化、世界モデル
Free energy principle, predictive coding, World model

9. 認知システムは内的表象に基づく
予測によって表現される
Y
z
Inference
(Inference model)
Generation
(Generative/predictive model)
Observation
Latent variable
Representation learning/ Self-supervised learning/
World modeling/ Predictive coding/ Free-energy principle

10. PCA
Image Observation
(Grand truth)
Imagination
Reconstruction
 Hafner, Danijar, et al. "Learning latent dynamics for planning from
pixels." International Conference on Machine Learning. PMLR, 2019.
 Masashi Okada, Norio Kosaka, Tadahiro Taniguchi, PlaNet of the
Bayesians: Reconsidering and Improving Deep Planning Network by
Incorporating Bayesian Inference, IROS 2020
Imagination
世界モデルのアプローチ
例）PlaNet: Recurrent State Space Model (RSSM)
鈴木雅大、深層生成モデルと世界モデル（2020/11/20版）
https://www.slideshare.net/masa_s/20201120-239349802

11. 1. 従来の制御工学における客観的物理量の計測に基づく状態空間構成で
はなく、深層学習による教師なし・自己教師付き表現空間構成
2. 潜在空間上での制御則・高次戦略の獲得
3. 実ロボットでの実タスク実現
潜在的状態空間
（ロボットと対象系のダイナミクスが反映された空間）
<World model>
マルチモーダル世界モデル（World model）
ロボット自律化AIのための潜在的構造の同定
ﾏﾙﾁﾓｰﾀﾞﾙ
観測𝑜𝑜𝑡𝑡
状態𝑠𝑠𝑡𝑡 行動𝑎𝑎𝑡𝑡
モデル予測制御=
ﾓﾃﾞﾙﾍﾞｰｽ強化/模倣学習
POMDP (部分観測ﾏﾙｺﾌ決定過程)
HAFNER, Danijar, et al. Learning latent dynamics for planning from pixels. In: International Conference on Machine Learning. PMLR, 2019.
画像情報
深度情報
力覚・触覚情報
自己感覚受容など
VAE（変分ｵｰﾄｴﾝｺｰﾀﾞ）
RSSM（再帰的状態空間ﾓﾃﾞﾙ）
Transformerなど
潜在的状態空間に基づくモデル予測制御（強化学習・模倣学習・能動学習）

12. DayDreamer: World Models for Physical
Robot Learning [Wu+ 2022]
DayDreamer: World Models for Physical Robot Learning
Danijar Hafner, https://www.youtube.com/watch?v=A6Rg0qRwTYs
Wu, Philipp, et al. "DayDreamer: World Models for Physical Robot Learning." arXiv preprint arXiv:2206.14176 (2022).
 世界モデルの代表的手法Dreamerを実ロボットで動かす。
 比較的単純なタスクに対してそれでもある程度のパフォーマンスを示す。

13. 世界モデルが拓く実ロボット産業応用
Tactile-Sensitive NewtonianVAE for High-Accuracy Industrial
Connector-Socket Insertion [Okumura+ 2022]
 世界モデルの一種であるNewtonianVAEをUSB端子挿入タ
スクに応用
 触覚情報により微妙な「持ち方」の違いを補正
 サブミリ（<1mm）でのソケット挿入を実現。
Okumura, Ryo, Nobuki Nishio, and Tadahiro Taniguchi. "Tactile-Sensitive NewtonianVAE for High-Accuracy
Industrial Connector-Socket Insertion." arXiv preprint arXiv:2203.05955 (2022). IROS 2022 accepted
日経ロボティクス 2022/10/7

14. Symbol emergence in robotics
using probabilistic generative models

15. Online spatial concept formation and lexical
acquisition: SpCoSLAM [Taniguchi+ 2017]
Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi and Tetsunari Inamura, Online Spatial Concept and Lexical Acquisition with
Simultaneous Localization and Mapping, IEEE IROS 2017
Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi, Tetsunari Inamura, Improved and scalable online learning of spatial
concepts and language models with mapping, Autonomous Robots, 2020. DOI: 10.1007/s10514-020-09905-0

16. SpCoSLAM
Map
Self location
How do they
call the
space?
Visual
information
“Third table”
“Meeting space”
Words
Cluster of
positions
How does the
space look
like>
Where is the
space?
Online learning of
Multimodal spatial concept

17. Notably, Cross-modal inference provides
"functions" to a cognitive system
Image to position:
Recalling its self-location from visual information
Position to image:
Imagining the target position visually
Speech/language to position:
Estimating the position from a user's utterance
Position to speech/language:
Telling the robot's position linguistically
Image to speech/language:
Recognizing a image representing a place
Speech/language to image:
Recalling an image represented by a word

18. Modeling cognitive systems with PGMs
and their inference is a general view
Probabilistic modeling and
inference
(Multimodal unsupervised
learning)
Supervised learning
Reinforcement
learning
Unsupervised
learning
Thomas Bayes
Multimodal UL: 𝑃(𝑥, 𝑦)
x
z
y w
Obs.
Lat.
Posterior distribution can be calculated.
𝑃 𝑦 𝑥 =
𝑃 𝑥, 𝑦
∑ 𝑃(𝑥, 𝑦)
𝑥
Agent
(robot/human)
x z y
SL: 𝑃(𝑦|𝑥)
Obs. Obs.
Lat.
Intelligence
Input Output
Control as Inference
Many modern RL algorithms can be
considered as a probabilistic
inference of future action
sequence
Inference

19. Spatial Concept-Based Navigation with Human Speech
Instructions via Probabilistic Inference [Taniguchi+ 20]
Inference
 Control as Probabilistic Inference (CoI)
 We can reformulate reinforcement
learning as Bayesian inference on
(PO)MDP.[Levince 18, Okada 20]
 SpCoNavi [Taniguchi+ 20]
 In the same way as CoI, Bayesian
inference on the PGM of SoCoSLAM can
perform path planning/navigation.
Sergey Levine, Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review,
arXiv:1805.00909 [cs.LG], 2 May, (2018) https://arxiv.org/abs/1805.00909
Masashi Okada, Norio Kosaka, Tadahiro Taniguchi, PlaNet of the Bayesians: Reconsidering and Improving
Deep Planning Network by Incorporating Bayesian Inference, IROS2020
Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi, Tetsunari Inamura, Spatial Concept-Based
Navigation with Human Speech Instructions via Probabilistic Inference on Bayesian Generative Model,
Advanced Robotics, 34(19), pp.1213-1228, 2020. DOI: 10.1080/01691864.2020.1817777
Go to "kitchen"
Discovered
lexical knowledge
Spatial concept
Planning as "inference"

20. SERKET: An Architecture for Connecting Stochastic Models
to Realize a Large-Scale Cognitive Model [Nakamura+ 18]
Nakamura T, Nagai T and Taniguchi T, SERKET: An Architecture for Connecting Stochastic Models to Realize a
Large-Scale Cognitive Model. Front. Neurorobot. 12:25. (2018) doi: 10.3389/fnbot.2018.00025
Taniguchi, T., Nakamura, T., Suzuki, M. et al. Neuro-SERKET: Development of Integrative Cognitive System
Through the Composition of Deep Probabilistic Generative Models. New Gener. Comput. 38, 23–48 (2020).
https://doi.org/10.1007/s00354-019-00084-w
 Connecting cognitive modules developed as probabilistic generative models and
letting them work together as a single unsupervised learning system.
 Having inter-module communication of probabilistic information and
guaranteeing theoretical consistency to some extent.
 Neuro-SERKET supports deep generative models, i.e., VAE, as well.

21. Taniguchi, T., Nakamura, T., Suzuki, M. et al. Neuro-SERKET: Development of Integrative Cognitive System
Through the Composition of Deep Probabilistic Generative Models. New Gener. Comput. 38, 23–48 (2020).
https://doi.org/10.1007/s00354-019-00084-w
Example: unsupervised categorization of image and speech
[Taniguchi+ 2020]

22. 産業・サービスロボティクスのための汎用人工知能
（従来の全脳アーキテクチャアプローチへの問い）
 教師あり学習ベースのディープラーニングは各モジュールに対してラベル
データを人手で用意して事前にトレーニングをする．
 ところが実質的に各モジュールが環境依存，タスク依存，ポストプロセス依
存になるため，一般的なモジュールを先に作って対応することが難しい．
→膨大な再コンフィギュレーションに関わる人的コスト．（例： 異なるタス
クや環境になるとすぐに新しい物体クラスが現れる．同じ言葉の意味が工場
によって違う．ハンドリングで気をつけないといけない特徴量が異なる．）
Vision 1
Knowledge-
base Controller
Speech
Motor
Vision 2
Planning
Language
model
認知アーキテクチャの例のイメージ
Label Label
Label
Program Program Label
Label
各環境においてオンライン・オンサイトで複数の認知モジュール間を跨いで
ロボットの認知アーキテクチャを全体最適化させていくフレームワークが必要

23. A whole brain probabilistic generative model
(WB-PGM): Toward realizing cognitive architectures for
developmental robots [Taniguchi+ 2022]
Tadahiro Taniguchi, Hiroshi Yamakawa, Takayuki Nagai, Kenji Doya, Masamichi Sakagami, Masahiro
Suzuki, Tomoaki Nakamura, Akira Taniguchi, A whole brain probabilistic generative model: Toward
realizing cognitive architectures for developmental robots, Neural Networks, 2022

24. 新学術領域「人工知能と脳科学の対照と融合」(2016-2021)
領域代表・銅谷賢治
視覚や聴覚といった個別のモダリティ
その神経系による処理にとどまらず，
脳の構造に学び，マルチモーダルかつ全脳
的な認知アーキテクチャを構成する方法論
に関する議論へと発展．
実世界で作動し発達し続ける真のAGIに向けて

25. WB-PGMの２つのポイント
① Brain-inspired AI
② PGM-based cognitive architecture

26. Extension of BRA-driven development [Yamakawa+ 2021]
 Yamakawa, Hiroshi. "The whole brain architecture approach: Accelerating the development of
artificial general intelligence by referring to the brain." Neural Networks 144 (2021): 478-495.
 Taniguchi, Akira, Ayako Fukawa, and Hiroshi Yamakawa. "Hippocampal formation-inspired
probabilistic generative model." Neural Networks 151 (2022): 317-335.
Brain
architecture
PGM

27. Achievements of WB-PGM-based approach
Taniguchi, Akira, Ayako Fukawa, and Hiroshi Yamakawa. "Hippocampal formation-inspired probabilistic generative model." Neural
Networks (2022).
A. Taniguchi, M. Muro, H. Yamakawa, T. Taniguchi, Brain-inspired Probabilistic Generative Model for Double Articulation Analysis
of Spoken Language, ICDL 2022

28. (Example) Current prototype of WB-PGM
[Miyazawa+ 2019]
Miyazawa, K., Aoki, T., Horii, T., & Nagai, T. (2019). Integration of multiple generative modules for robot
learning. In Workshop on deep probabilistic generative models for cognitive architecture in robotics.
Miyazawa K, Horii T, Aoki T, Nagai T. Integrated Cognitive Architecture for Robot Learning of Action and
Language. Front Robot AI. 2019;6:131. Published 2019 Nov 29. doi:10.3389/frobt.2019.00131

29. 確率的生成モデルによる世界モデルの学習と
クロスモーダル推論による知能の表現
(World model learning and inference)
29
Sign
Agent 1 Agent 2 Agent K
Communication
(Sampling and acceptance)
Inference
Representation
learning
Collective representation learning
Internal
representation
Observation
Decomposition
Inference
Inference
Communication is Probabilistic Inference
Action/Planning is Probabilistic Inference
Perception/Categorization
is Probabilistic Inference
Intelligence as
"probabilistic inference"
Friston, K., Moran, R. J., Nagai, Y., Taniguchi, T., Gomi, H., & Tenenbaum, J. (2021).
World model learning and inference. Neural Networks, 144, 573-590.

30. 実世界で生き抜く、
認知システムの創成に向けて
横澤一彦・編「認知科学講座４
心をとらえるフレームワークの展開」
（東京大学出版会）2022/10/11
6章 記号創発ロボティクス(谷口忠大)
谷口忠大「僕とアリスの夏物語 人工知
能の,その先へ」
(岩波科学ライブラリ) 2022/1/15

31. まとめと展望
まとめ
 脳に学び確率的生成モデルに基づき全脳の認知アーキテ
クチャの構成を目指すWB-PGMのアプローチについて紹
介した．
 いくつかのWB-PGMのアプローチに基づく仮説生成とモ
デル構築の事例について紹介した．
展望
 WB-PGMのアプローチはフレームワークとして明らかに
なったが，その開発自体は今後の課題である．多くの研
究者や開発者と協調しての研究開発推進が期待される．
興味を持ってくださる方は，山川さんか僕かWBAIの
どちらかに声をかけてください！！
 神経科学知見からBrain Information Flow(BIF)を構築する。
 BIFから仮説的コンポーネント図(HCD)やPGMを設計する。
 HCDやPGMに基づいて実装と計算機実験を行う

32. Information
イラストで学ぶ人工知能概論
改訂第2版, 講談社, 2020
僕とアリスの夏物語 人工知能の,その先へ
岩波書店, 2022年1月発売
http://ai.tanichu.com
公式サイト
【無料】講義資料・講義動画配信中
記号創発ロボティクス
講談社, 2014
心を知るための人工知能
共立出版, 2020
賀茂川コミュニケーション塾
世界思想社, 2019
イラストで学ぶロボット工学
講談社, 2017
立命館大学 情報理工学部 谷口忠大（代表： secretary@em.ci.ritsumei.ac.jp ）
Contact
Funding
Amazon 著者ページ https://amzn.to/3bkPW3i

33. APPENDIX

34. Relationship between unsupervised
learning and self-supervised learning
 自己教師つき学習の代表的手法の一つであるSimSiamはマルチモーダル変分
オートエンコーダ（Multimodal VAE）の亜種として解釈できる。
 VI-SimSiamとして不確実さのモデリングも含めて拡張。SimSiamに対して各
種タスクで優位。また不確実性を陽に捉えられる。
Nakamura, Hiroki, Masashi Okada, and Tadahiro Taniguchi. "Self-Supervised Representation Learning as
Multimodal Variational Inference." arXiv preprint arXiv:2203.11437 (2022). (MIRU 2022 Long oral)
※自己教師付き学習は理論的には教師なし学習の看板付替え、もしくはサブセット（by 谷口）

35. 大規模言語データをモデリングすることの
人文社会科学的合理性
集合知的意味での"言語表現"への表現学習
 大規模言語モデルは分布意味論
（distributional semantics）の行き着く先。
• Word2Vecが印象づけた統計からの統語・
意味(Syntactic-Semantic)の関係性をより
徹底的に吸い出す。
• 人文社会科学における記号学などが議論
してきたことを腕力でやっている。
 記号創発システム論の視点から
• 私たちの言語が集合的な予測符号化によ
り成り立っているならば、語られた言語
の関係性には想像するよりも多くの実世
界の構造情報が埋め込まれている。
谷口忠大、"現代の人工知能と「言葉の意味」。そして記号創
発システム。 ", REPRE:表象文化論学会ニュースレター、Vol.45,
https://www.repre.org/repre/vol45/special/taniguchi/

36. T. Tangiuchi, D. Mochihashi, T. Nagai, S. Uchida, N. Inoue, I. Kobayashi, T. Nakamura, Y. Hagiwara, N. Iwahashi & T. Inamura,
Survey on frontiers of language and robotics, Advanced Robotics, 33(15-16), 700-730, 2019. DOI: 10.1080/01691864.2019.1632223
Survey on Frontiers of Language and Robotics
Vision Language Navigation (VLN) を始め
としたEmbodied AI*関連の研究が盛り上
がっているが、実世界での意味作用を光学
的に議論するLanguage and Robotics（言語
とロボティクス）の研究が言語学と人工知
能にとって重要なフロンティアとなる。
*注：Embodied AIといいつつ実世界の身体はない

37. Symbol Emergence in Cognitive
Developmental Systems: a Survey
[Taniguchi+ 2018]
Tadahiro Taniguchi, Emre Ugur, Matej Hoffmann, Lorenzo Jamone, Takayuki Nagai, Benjamin Rosman, Toshihiko Matsuka, Naoto
Iwahashi, Erhan Oztop, Justus Piater, Florentin Wörgötter, Symbol Emergence in Cognitive Developmental Systems: a Survey,
IEEE Transactions on Cognitive and Developmental Systems, 2018.
Shonan Meeting: NO.092: Cognitive Development and
Symbol Emergence in Humans and Robots, Shonan Village
Center, October 3 - 7, 2016