(These slides are written in Japanese) 2020年2月20日に開催された第14回汎用人工知能研究会で話したものと同じ資料です。

1. 人間の記号化機能の
一考察
SIG-AGI-014-03
2020年2月20日
岡谷 基弘

2. これからお話しすること
「思想」、「ものの考え方」の提案
以下の内容は含みません
・コンピュータシミュレーションによる実験
・計算アルゴリズムや数式

3. これからお話しすること
人間は世界をどのように記号化しているか
を提案します
今日の話の
位置付け
数理、深層学習 哲学、心理学
GQN
TD-VAE
「世界モデル」の話をしますが・・・

4. 目次
１ 人間機能の考察
２ 世界の記号化
2-1. 「生データ」から「意味」へ
2-2. 「意味」の時系列的連続
2-3. マクロな「世界モデル」と意識
３ まとめ

5. １ 人間機能の考察
知的機能に的を絞って考えると、
３つの機能を持つと考えられる
① 外界の認識
② ①に対する価値の定義
③ ②の価値に基づく予測と方策決定

6. １ 人間機能の考察
知的機能に的を絞って考えると、
３つの機能を持つと考えられる
① 外界の認識
② ①に対する価値の定義
③ ②の価値に基づく予測と方策決定
世界の記号化
欲求
予測と方策決定と感情
詳細に議論

7. １ 人間機能の考察
「世界モデル」とは
環境からの限られた情報を元に，環境のモデルを学習
によって内部的に構築する枠組み
GQN：Generative Query Network
参考：https://www.slideshare.net/masa_s/ss-199311999
ある視点の画像をもとに、別の視点の画像を予測する
既存の研究例
人間の「世界モデル」の構築方法を考察
TD-VAE：Temporal Difference Variational Auto-Encoder
時系列での抽象化を行うVAEを提案

8. １ 人間機能の考察
人間がどのように「世界モデル」を構築しているかの前提
情報
世界モデル構築
前提①：人間の脳にインプットされた情報のみから構築している
前提②：人間の脳にインプットされる情報は感覚器官等から得たもの。
つまり、体内の器官が生成したものか、
体外の情報をセンシングする感覚器官が取得したもの。
例）筋肉疲労感
例）画像、食感、触覚

9. １ 人間機能の考察
人間がどのように「世界モデル」を構築しているかの前提
情報
世界モデル構築
前提①：人間の脳にインプットされた情報のみから構築している
前提②：人間の脳にインプットされる情報は感覚器官等から得たもの。
つまり、体内の器官が生成したものか、
体外の情報をセンシングする感覚器官が取得したもの。
例）筋肉疲労感
例）画像、食感、触覚
人間は、感覚器官等による体内の情報
のみから「世界モデル」を構築してい
る。
感覚器官をすべて統合したマルチモー
ダルな「世界モデル」が必要

10. 目次
１ 人間機能の考察
２ 世界の記号化
2-1. 「生データ」から「意味」へ
2-2. 「意味」の時系列的連続
2-3. マクロな「世界モデル」と意識
３ まとめ

11. ２ 世界の記号化
我々は感覚器官（センサー）情報から世界をどう認識しているのか
目
耳
鼻
口
皮膚
・・・画像の時系列的刺激
・・・音響の時系列的刺激
・・・特定の化学物質による時系列的刺激
・・・味覚などの時系列的刺激
・・・圧力、温度などの時系列的刺激
その他体内 ・・・内受容感覚の時系列的刺激

12. ２ 世界の記号化
【提案】
人間にとっての「意味」とは・・・
「各感覚器官等を次元とする多次元の超立体」
として定義可能なのではないか
time
Intensity
・
・
・
・・・
時系列刺激 ニューロンの伝達
刺激種を軸とする
多次元超立体
部分的に取り
出してクラス
タリング

13. 目次
１ 人間機能の考察
２ 世界の記号化
2-1. 「生データ」から「意味」へ
2-2. 「意味」の時系列的連続
2-3. マクロな「世界モデル」と意識
３ まとめ

14. 感覚器官の生データはどのようにして「意味」になるのか
音声認識の例
生波形
※参考 谷口忠大, 「記号創発ロボティクス」, 講談社選書メチエ, (2014)

15. 感覚器官の生データはどのようにして「意味」になるのか
音声認識の例
生波形
どこで区切るか(分節するか)
を教師なし学習。似たもの
をクラスタリング
※参考 谷口忠大, 「記号創発ロボティクス」, 講談社選書メチエ, (2014)

16. 感覚器官の生データはどのようにして「意味」になるのか
音声認識の例
音素表現 w aw a at sh i in n g e n d e s u
生波形
※参考 谷口忠大, 「記号創発ロボティクス」, 講談社選書メチエ, (2014)

17. 感覚器官の生データはどのようにして「意味」になるのか
音声認識の例
音素表現 w aw a at sh i in n g e n d e s u
生波形
個々の要素には「意味」を
持たない、音素表現を得る
※参考 谷口忠大, 「記号創発ロボティクス」, 講談社選書メチエ, (2014)

18. 感覚器官の生データはどのようにして「意味」になるのか
音声認識の例
音素表現 w aw a at sh i in n g e n d e s u
生波形
どこで区切るか(組み合わせて
分節するか)を教師なし学習
※参考 谷口忠大, 「記号創発ロボティクス」, 講談社選書メチエ, (2014)

19. 感覚器官の生データはどのようにして「意味」になるのか
音声認識の例
単語表現 わたし は にんげん です
音素表現 w aw a at sh i in n g e n d e s u
生波形

20. 感覚器官の生データはどのようにして「意味」になるのか
音声認識の例
単語表現 わたし は にんげん です
音素表現 w aw a at sh i in n g e n d e s u
生波形
生波形
分節、クラスタリング
個々の要素には「意味」を持たない、音素表現
音素表現
組み合わせ＆分節
「意味」を持つ最小表現：単語
参考：Tadahiro Taniguchi, et al, “Nonparametric Bayesian Double Articulation Analyzer for Direct Language Acquisition from Continuous Speech Signals”, IEEE Transactions on Cognitive
and Developmental Systems, Vol.8 (3), pp. 171-185 .(2016)

21. 感覚器官の生データはどのようにして「意味」になるのか
音声認識の例
単語表現 わたし は にんげん です
音素表現 w aw a at sh i in n g e n d e s u
生波形
生波形 個々の要素には「意味」を持たない、音素表現
音素表現
組み合わせ＆分節
「意味」を持つ最小表現：単語
二重分節構造
分節、クラスタリング

22. 感覚器官の生データはどのようにして「意味」になるのか
仮説
目
耳
鼻
口
皮膚
・・・画像の時系列的刺激
・・・音響の時系列的刺激
・・・特定の化学物質による時系列的刺激
・・・味覚などの時系列的刺激
・・・圧力、温度などの時系列的刺激
その他体内 ・・・内受容感覚の時系列的刺激
すべての感覚器官の情報は二重分節構造を取っているのではないか。
つまり、生データ→意味を持たない最小要素(「モーダル素」*1と呼称)に分節し、
モーダル素を組み合わせて意味を構成する。
*1 モーダル素という呼称は私が作ったので一般的用語ではありません

23. 感覚器官の生データはどのようにして「意味」になるのか
仮説
目
耳
鼻
口
皮膚
・・・画像の時系列的刺激
・・・音響の時系列的刺激
・・・特定の化学物質による時系列的刺激
・・・味覚などの時系列的刺激
・・・圧力、温度などの時系列的刺激
その他体内 ・・・内受容感覚の時系列的刺激
すべての感覚器官の情報は二重分節構造を取っているのではないか。
つまり、生データ→意味を持たない最小要素(「モーダル素」*1と呼称)に分節し、
モーダル素を組み合わせて意味を構成する。
*1 モーダル素という呼称は私が作ったので一般的用語ではありません
視覚モーダル素
聴覚モーダル素（音素を含む）
嗅覚モーダル素
味覚モーダル素
触覚モーダル素
内受容感覚モーダル素

24. 感覚器官の生データはどのようにして「意味」になるのか
仮説
目
耳
鼻
口
皮膚
・・・画像の時系列的刺激
・・・音響の時系列的刺激
・・・特定の化学物質による時系列的刺激
・・・味覚などの時系列的刺激
・・・圧力、温度などの時系列的刺激
その他体内 ・・・内受容感覚の時系列的刺激
すべての感覚器官の情報は二重分節構造を取っているのではないか。
つまり、生データ→意味を持たない最小要素(「モーダル素」*1と呼称)に分節し、
モーダル素を組み合わせて意味を構成する。
*1 モーダル素という呼称は私が作ったので一般的用語ではありません
視覚モーダル素
聴覚モーダル素（音素を含む）
嗅覚モーダル素
味覚モーダル素
触覚モーダル素
内受容感覚モーダル素
刺激種を軸とする
多次元超立体
聴覚モーダル素
モーダル素を軸と
そのカテゴリとす
る多次元超立体
＝意味

25. 目次
１ 人間機能の考察
２ 世界の記号化
2-1. 「生データ」から「意味」へ
2-2. 「意味」の時系列的連続
2-3. マクロな「世界モデル」と意識
３ まとめ

26. 生データ→意味の後
刺激種を軸とする
多次元超立体
モーダル素を軸と
そのカテゴリとす
る多次元超立体
＝意味
聴覚モーダル素
生波形生波形生波形生波形
意味① 意味② 意味③ 意味④ ・・・
・・・
時間(sec)
各軸がモーダ
ル素から構成
される多次元
超立体

27. 意味を多数集めたもの：STORY と定義
生波形生波形生波形生波形
意味① 意味② 意味③ 意味④ ・・・
・・・
時間(sec)
各軸がモーダ
ル素から構成
される多次元
超立体
STORY
* STORYは特殊な意味で用いています

28. STORYを多数集めたもの：Big STORY と定義
STORY Ⅰ STORY Ⅱ STORY Ⅲ STORY Ⅳ ・・・
意味 A 意味 B 意味 C
・・・
時間 (sec)
意味 D 意味 E 意味 F
・・・
時間 (sec)
意味 G 意味 H 意味 I
・・・
時間 (sec)
意味 J 意味 K 意味 L
・・・
時間 (sec)
縮約
大ストーリー；
「分」や「時間」、「年」などの時
間軸をカテゴリとして含む縮約表現。
「意味」と次元の軸を共有
* 大ストーリーを作るための要素は任意の記憶されているSTORYと意味と想定。STORY同士は時間的に連続している必要はない

29. ここまでのまとめ
生波形
モーダル
素表現
w aw a at sh i in n g e n d e s u
モーダル
素表現
w aw a at sh i in n g e n d e s uモーダル
素表現
w aw a at sh i in n g e n d e s uモーダル
素表現
各軸がモーダル素から構成され
る多次元超立体
意味

30. ここまでのまとめ２
意味の時系列
的連続
時間(sec)
STORY
STORYSTORYSTORYSTORY
大ストーリー；
「分」や「時間」、「年」などの時
間軸をカテゴリとして含む縮約表現。
「意味」と次元の軸を共有

31. 例示 自然言語に割り当てられているもの
意味
STORY
「意味」や「STORY」には自然言語が割り当てられることがある
・・・
・・・
熱い、四角etc
飲む、見るetc
Big STORY ・・・ 宗教、学業、研究会etc
* STORYとBig STORYの境目は曖昧です。何十年も演算し続けてきた人間（大人）は、かなりの経験情報を縮約していて、ほとんど大ストーリーになっていると
考えています。
自然言語は、圧倒的多数がBig STORYに対して与えられる
つまり、時間軸を内包した表現を用いることが多いということになる

32. 目次
１ 人間機能の考察
２ 世界の記号化
2-1. 「生データ」から「意味」へ
2-2. 「意味」の時系列的連続
2-3. マクロな「世界モデル」と意識
３ まとめ

33. 予測としての反実仮想的なBig STORY
意味の時系列
的連続
時間(sec)
STORY
STORYSTORYSTORYSTORY
大ストーリー；
「分」や「時間」、「年」などの時
間軸をカテゴリとして含む縮約表現。
「意味」と次元の軸を共有
任意のストーリーと大ストーリーを組み合わせれば、
予測としての大ストーリーも構築できるのでは？

34. 予測としての反実仮想的なBig STORY
意味の時系列
的連続
時間(sec)
STORY
STORYSTORYSTORYSTORY
大ストーリー；
「分」や「時間」、「年」などの時
間軸をカテゴリとして含む縮約表現。
「意味」と次元の軸を共有
STORYの組み合わせ：人間の「世界モデル」
任意のストーリーと大ストーリーを組み合わせれば、
予測としての大ストーリーも構築できるのでは？

35. 「世界モデル」を利用した方策の決定
価値
現在 未来
STEP１：
1分後、1日後、1年後などの任意の未来に価値が高まる「大ストーリー」を構想
価値 の軸を考える
例）お金持ちになりたい

36. 「世界モデル」を利用した方策の決定
記憶中のストーリー
STORY Ⅰ
STORY Ⅱ
STORY Ⅲ
STORY Ⅳ
・
・
・
価値
現在 未来
STORY 2892
STORY 10282
STORY 7866
STORY 4590
STORY 23
STORY 570
STORY 4975
STORY 21069
STORY 17443
STORY 190
STORY 2566
STORY 7430
STORY 5934
STORY 3436
STEP２：
現在からそこに至るストーリーを記憶のストックから最適配置する
価値 の軸を考える
例）勉強して起業して大企業に売却して・・・
大ストーリーを含む

37. 「世界モデル」を利用した方策の決定
記憶中のストーリー
STORY Ⅰ
STORY Ⅱ
STORY Ⅲ
STORY Ⅳ
・
・
・
価値
過去 未来
STORY 2892
STORY 10282
STORY 7866
STORY 4590
STORY 23
STORY 570
STORY 4975
STORY 21069
STORY 17443
STORY 190
STORY 2566
STORY 7430
STORY 5934
STORY 3436
価値 の軸を考える
STEP３：
都度想定したストーリーと現実との調整を実施
例）大企業で勤め続けるのも悪くないかも・・・
現在

38. 「世界モデル」を利用した方策の決定
記憶中のストーリー
STORY Ⅰ
STORY Ⅱ
STORY Ⅲ
STORY Ⅳ
・
・
・
価値
過去 未来
STORY 2892
STORY 10282
STORY 7866
STORY 4590
STORY 23
STORY 570
STORY 4975
STORY 21069
STORY 17443
STORY 190
STORY 2566
STORY 7430
STORY 5934
STORY 3436
価値 の軸を考える
STEP４：
新たな大ストーリーを構築
例）大企業で勤め続けつつ副業で稼ごう！
現在

39. 「世界モデル」を利用した方策の決定
記憶中のストーリー
STORY Ⅰ
STORY Ⅱ
STORY Ⅲ
STORY Ⅳ
・
・
・
価値
過去 未来
STORY 2892
STORY 10282
STORY 7866
STORY 4590
STORY 23
STORY 570
STORY 4975
STORY 21069
STORY 17443
STORY 190
STORY 2566
STORY 7430
STORY 5934
STORY 3436
価値 の軸を考える
STEP４：
新たな大ストーリーを構築
例）大企業で勤め続けつつ副業で稼ごう！
現在
このような「年単位」での最適方策を予測し調整する機能： 意識

40. 目次
１ 人間機能の考察
２ 世界の記号化
2-1. 「生データ」から「意味」へ
2-2. 「意味」の時系列的連続
2-3. マクロな「世界モデル」と意識
３ まとめ

41. 聴覚モーダル素
まとめ
人間の記号化機能について、二重分節構造をベースに５段階の表現を提案
感覚器官
センシングデータ
（生データ）
モーダル素
表現
モーダル素を軸とそのカテゴリ
とする多次元超立体
意味
聴覚モーダル素
STORY
意味の時系列的連続
時間軸をカテゴリとして含
む縮約表現。「意味」と次
元の軸を共有
大ストーリー
STORYSTORYSTORYSTORY
予測大ストーリー
(事前分布)
記憶と予測大ストーリーの修正
(パラメータの記憶と事後分布の取得)
観測された「意味」
意識：予測大ストーリー(世界モデル)構成とその調整機構
1分後、1時間後、1年後など
STORYSTORYSTORYSTORY

42. END

43. Appendix 大脳皮質のコラム構造との関係
http://kazoo04.hatenablog.com/entry/agi-ac-4
生データ
モーダル素
意味
ストーリー
大ストーリー
【対応関係】？
最上位層にも意味を与えていない無意識層がある？ デ
フォルト・モード・ネットワークでは大ストーリー間の
共通要素などを探索している？？
無
意
識
意
識
？

44. Appendix 大ストーリーのdecodingによる情報再生(メタ認知)
意味の時系列
的連続
時間(sec)
STORYSTORYSTORYSTORY
特定のモーダル素にAttentionのようなことをすれば、
「頭の中で歌を再生したり」、「頭の中で発話を想像したり」
できる：メタ認知
感覚器官に入力がなくとも、
入力を再生できる？
これによって、再帰的に大ス
トーリーを構築、修正可能な
のか・・・？
decoding

45. Appendix 人間の汎化能力との関係
これまで機械学習、深層学習で扱ってきた
データは画像、動画、距離情報、(数値と
しての)自然言語が多い。
対して、人間は、著しく多い触覚器官や体
性感覚、味覚等も同時に「ベイズ的に」学
んでいる。
また、人間は「パターンを見つけることに
喜びを見つける」ようにできているらしい
（出典忘れました・・・）。
つまり、人間は、生まれてから全身の知覚
を使って、「世界のパターン」をひたすら
ベイズ的に学び続けてきたことになる。
モーダル素の多次元軸上に意味を蓄積して
いく過程で、「世界のパターン」が多様体
として見いだされているのではないか。
この宇宙には何らかのパターンが存在し、
そのパターンを見出すような仕組みを人間
は持っているのかもしれない。
そのパターンを脳内に持っているからこそ、
多様な問題に対して、極めて効率的かつ高
速に対応できるのかもしれない。
聴覚モーダル素
「世界のパターン」が多次元空
間上の多様体としてベイズ的に
見いだされているのではない
か？

46. 価値計算の補足
記憶中のストーリー
STORY Ⅰ
STORY Ⅱ
STORY Ⅲ
STORY Ⅳ
・
・
・
価値
現在 未来
STORY 2892
STORY 10282
STORY 7866
STORY 4590
STORY 23
STORY 570
STORY 4975
STORY 21069
STORY 17443
STORY 190
STORY 2566
STORY 7430
STORY 5934
STORY 3436
投資におけるNPV(Net Present Value)のように、現在における価値を計算する必要がある
投資におけるNPV(Net Present Value)の割引率は常にプラスで、未来の100円は現在価値では
常に100円未満と考えられるが、人間の価値の割引率は、利益か恐怖かなど属性に応じて異なる
正負どちらの値も取りうる「割引率」となっていると考えられる。
NPV
人間のNPV計算式を見出すためには実験と計算論的モデルを組み合わせて知見を蓄積していく
必要がある。もしかすると、この価値計算の異常で精神疾患を説明できるかもしれない。
すべてのストーリーの
現在価値の合計