Representations are base of intelligent process in AI and is grounded to the outside world. In old days, they are designed by hand, but they are learned from data in today. So, we need the new technical base for handling learned representations. We need to understand and to formulate them. We need to study construction / learning method and utilization method. I started to call this field Representation Engineering. Theoretical foundation of this field will be such as categorical theory, algorithm information theory, ontology. Research will be advance by referring cognitive science / neuroscience etc.

1. NPO法人 全脳アーキテク
チャ・イニシアチブ
電気通信大学 大学院
情報システム学研究科
山川宏
学習された表現を飼いならす
−表現工学の勃興−
玉川大学
脳科学研究所
産総研AIRC
慶應義塾大学SFC
深層学習の先にあるもの
– 記号推論との融合を目指して（２）
株式会社 ドワンゴ
ドワンゴ人工知能研究所
2019年3月5日
13:45-14:10
Hiroshi Yamakawa, Taming learned representations
- Rise of representation engineering -, March, 2019

2. 概要
深層学習の普及により知的システムが扱う表
現が、人手による設計から学習で獲得されるもの
に変化してきている。
そこで学習された多様な表現をどう扱ってゆく
べきかについていくつかの観点から議論したい。
深層学習の先にあるもの2

3. 表現工学 (Representation Engineering)とは(案)
• 深層学習の進展により、表現が人手による設計
から学習で獲得されるものになり、その技術的
基盤が必要になってきた。
• 知的処理において有用な、外界に接地した表現
一般について、それ自体の理解と定式化、
さらに、データから獲得する表現の構築／学習
方法や活用方法などの研究を行う。
• 圏論などの数学的基盤をもち、認知科学／神経
科学などを参考として研究を進める分野。
深層学習の先にあるもの3

4. 知能における表現
知能とは、観測された外界の事物に対して、知識を用いて推論
を行いその結果を外界に適用する処理。
ここで知識は、表現体系上における外界の事物に接地した表示
で、かつ、外界における関係性の変化（振る舞い）を反映する表
示である。
深層学習の先にあるもの4
表示パターン
表現体系 R
実世界 W
エージェント
（表現の利用者）
蓋然性
表示 r
事物 w
観測 O
演繹
データ o
※荒川直哉・市瀬龍太郎らとの議論に基づく

5. 知能の表現に関わる５つの処理
• 表現獲得： 表示の構造を構築する(設計／学習）
• 認識： 外界の情報を表示に変換する
• 推論： 表示に対して操作を行う(システム２)
• 制御： 表示上での推論結果を外界に適用する
• 価値： 制御に対して方向性を与える
深層学習の先にあるもの5
価値
推論
制御
秩序をもつ世界
認識

6. 表現からみたAI研究史
深層学習の先にあるもの6
計算機以前 2010年以前 2010年代 2020年〜
表現獲得 人手による設計
統合した
自動化が
進む
知的シス
テム全体
の自動化
認識
人手による
表現の利用
パターン認
識
制御 ロボティクス
価値 強化学習
推論 古典的AI

7. 表現獲得の基準（モデル選択基準）
• １）システムの入出力に着目した基準
– これはタスクを良く実行できること（しばしば正解と予
測のエラー）である。
• 2） システム内部で活用する基準
– 情報の冗長性を見出し圧縮した表現を得ることで予
測性を高める
• 例： オッカムの剃刀・MDL原理・情報ボトルネックなど
深層学習の先にあるもの7

8. 表現は、記述長が小さければ良いのか？
確かに、圧縮された表現は、冗長性を見出して相互
に予測性の向上に貢献しているが、
深層学習の先にあるもの8
知的システムが世界
を認識することは、
単にデータを圧縮す
ることだけでは無い
と思う。
それは何か？？

9. 枚挙的帰納法：
個別的・特殊的な事例から
一般的・普遍的な規則・法則
を見出そうとする論理的推論
の方法のこと。
自然の斉一性原理：(D.ヒューム)
自然界で起きる出来事には、
何らかの秩序があり、
同じような条件のもとでは、
同じ現象がくりかえされる
くりかえす事例ごとに
• 同じ→比較可能
• 条件と現象→指定関係
とその等価性
(
領
域
１
)
事
例
１
(
領
域
２
)
事
例
２
変数１ 変数２
Ａ Ｂ
Ｃ
指定関係
指定関係 Ｄ
比
較
可
能
関係等
価性
比
較
可
能
整列構造
帰納法のための整列構造
深層学習の先にあるもの9

10. 本来、「表現」したいことは何か？
• 外界の事物における関係性が非
内部表現に反映し（可換性）
• 関係の振る舞いが、内部表現に
おける振る舞いとして自然に再
現できる（自然変換（α）)
深層学習の先にあるもの10
a
b
関係
りんごを、様々な方向から見る（振る舞い） 振る舞い(α)
内部表現
a
b
外界
a Fa
b Fb
f F f可換性
関係
振る舞い(α)
※図の一部は、「Bartosz Milewski, It’s All About Morphisms, November 17, 2015」より
※帰納的概念操作研究会における西郷甲矢人らとの議論に基づく

11. 望ましい表現の圏論からの解釈
深層学習の先にあるもの11
a
b
関係
（射）
圏
振る舞い(α)
関手F
関手G
自然変換
自然変換
振る舞いに応じた自然変換が存在することが重要
→逆に言えば、表現は自然変換で特徴づけられるのでは
内部表現外界 内部表現外界
※知的システムは外界の実在を直接は感知できない
※図の一部は、「Bartosz Milewski, It’s All About Morphisms, November 17, 2015」より
※帰納的概念操作研究会における西郷甲矢人らとの議論に基づく

12. 参考： 観測値からの等価な関係の発見
深層学習の先にあるもの12
#1〜#8の系列（系列）から〈#1, #2, #3〉と〈#8, #7, #5〉という二つの組を取
り出し、この二つの組にメタ関係があるかどうかを検証する。この例では、青、
赤、黒の３つの部分列が酷似しているため、等価なメタ関係と見なす。
等価性構造抽出は、観測値に含まれる等価な関係を見出す。
これは内部表現における自然変換の発見に関わるであろう。
等価性構造抽出のイメージ

13. 良い自然変換とは何かを考える？
振る舞いに対応する自然変換(α)の評価基準
1. タスクに利用される／自己説明的
2. 相互排他的
3. 利用頻度が高い（共用される）
例として、自然数という数学的構造へは、様々な「数えるとい
う操作」からの関手を持つ利用度が高い表現である。
4. 記述量が短い
変換はアルゴリズムであり、それが短いほどよい
→ Algorithmic information theory に関連
深層学習の先にあるもの13

14. 現状のVAEでのDisentangle
深層学習の先にあるもの14
自己説明と相互排他的な振る舞い（部分圏）の組
み合わせで説明しようとする試みである。
• 結合空間
独立要因による表現
• 統合空間
圧縮された表現
Factor1
Factor2
Emily Denton - Unsupervised
Learning of Disentangled
Representations from Video -
Creative AI meetup, Sep 1, 2017
Disentangled

15. 圏論からの認識論の検討１：「実在の仮説」の提案
• 前提
– 知的システムが扱えるのは、観測で得られる値と、それ
を変換して得られる内部表現上での表示
• 疑問
– 私達は、外界に存在する本質的に同じ実在を、様々な
角度から見ているという感じがある。
• 自然変換に基づく実在の仮説
– 良い自然変換を通じて対応付しうる関係が存在するほ
ど、実在(クオリア)を認識しうる。
深層学習の先にあるもの15

16. 圏論からの認識論の検討２：「間主観性の仮説」の提案
• 前提
– (人間を含む)知的システムが学習を通じて獲得する内部
表現には任意性がある。
• 疑問
– しかし、異なる複数の知的システムが実在を共有してい
るように感じられる間主観性が存在する。
• 自然変換の共有に基づく間主観性の仮説
– 場を共有する他の知的システムから見ても自然変換で
繋がれた関手の集合という意味においては、同様である。
• 二体の知的システムの間でカメラ信号を入れ替えるような実験
を行っても、外界の実在に対する、様々な説明は一致しうる。
深層学習の先にあるもの16

17. 抽象化（変換）に関わる３側面
1. 関係の振る舞い(自然変換に対応)を残す部分
・ 多様である
2. 関係の振る舞いを捨象するが、状態を符号化
する部分
・ 画一的（記号的）←単純な情報圧縮に関連
3. 完全に無視する部分
深層学習の先にあるもの17

18. 「関係の振る舞い」を抽象化する階層性
深層学習の先にあるもの18
認識システム全体としては、
階層を上がるほどに多様な
抽象的な表現（痩せた圏）
が形作られる。
（e.x. モノの数を数える）
※帰納的概念操作研究会における西郷甲矢人らとの議論に基づく
階層の下位で捨象した振る舞いは、上位に伝わらないであろう

19. 表現工学へ
深層学習の先にあるもの19

20. 表現工学に関連する学術領域
• 数学： 圏論(Category theory)など
• アルゴリズム情報理論(Algorithmic information
theory )
• 記号接地(Symbol grounding)／認識論
(Epistemology)
• 対称性(Symmetry)／普遍性(Invariance)／メトリック
(Metric)
• 転移学習(Transfer learning)／類推(Analogy)
• オントロジー(Ontology)
• 認知科学(Cognitive science)／神経科学
(Neuroscience)との接点
深層学習の先にあるもの20

21. 神経科学に学ぶ：空間座標系と脳領域との関係
深層学習の先にあるもの21
座標系 脳領域
網膜中心座標
系
外側膝状体、上丘、視
床枕、V1、V2、V3、V4
、LIP、FEF
眼球中心座標
系
MIP、PRR、LIP、V3A
頭部/身体中心
座標系
VIP、V6A、LIP
身体部位中心
座標系
VIP、被殻、F4
物体中心座標
系
7a、AIP、F5
外界中心座標
系
LIP、内側頭頂葉、後部
帯状回皮質や脳梁膨大
部後部領域、海馬
脳は、外部環境または対象物を認知し、適応的行
動・運動を生成する。そのための外部環境は、２次
元ないし３次元空間として、空間内や身体上のどこ
かを原点とした空間座標系として脳内に表現される。
この座標系は、身体上や外部環境内など異なる場所
に原点を持つものが複数存在し、それらは並列的に
階層的に処理される。
出展： 脳科学事典「座標系」より
おそらく座標系毎に、それを支える不変性等がある

22. 認知科学に学ぶ： 類似性と構造整列
• 存在論上の距離が異なる名詞ペアの共通性と差異性
を被験者がリストアップ (Markmanら,1993)
• “共通性”と“構造整列可能な差異”の数は，存在論木
上の二つの名詞間の距離が開くと減少．
• “構造整列不可能な差異”は“共通性”と関係しない．
モノ・コト
有形
生物 非生物
動物 植物 家具 乗り物 出来事 プロセス 認知 感情
外的事象 内的事象
無形
深層学習の先にあるもの22

23. おわりに
• 深層学習の普及により知的システムが扱う表現が、
人手による設計から学習で獲得されるものに変化
• こうした表現を扱う技術基盤/構築論が必要
• 表現工学(Representation Engineering)へ
知的処理で有用な、外界に接地した表現一般に対して
– 表現自体の理解と定式化
– 表現のデータから構築／学習方法
– そうした表現の活用方法（概念操作）
– 圏論やアルゴリズム情報理論などの理論的基盤
– 認知科学／神経科学などを参考とする
深層学習の先にあるもの23
圏論に関わるご議論頂いた帰納的概念操作研究会の皆様に感謝いたします
“algorithm category
theory”とでも呼ぶべき
方向に発展するかも。

24. 関連情報
• ワークショップ「圏論による認知モデリングの可能性」, 長浜バイオ大学,
2019年1月17日. http://bit.ly/2tVGVEJ
• Irina Higgins, et. al . , Towards a Definition of Disentangled
Representations, NeurIPS, 2018, https://arxiv.org/abs/1812.02230
• メタ関係発見（研究紹介）, WBA Wiki, http://bit.ly/2u2GzvL
• NaotsuguTsuchiya, ShigeruTaguchic, Hayato Saigo, Using category
theory to assess the relationship between consciousness and integrated
information theory, Neuroscience Research, 2016.
https://doi.org/10.1016/j.neures.2015.12.007
• RyotaKanai, NaotsuguTsuchiya, Qualia, Current Biology, 2012.
https://doi.org/10.1016/j.cub.2012.03.033
• 種村 剛, 間主観性, http://bit.ly/2tXyYi2
• 物自体, Wikipedia, http://bit.ly/2tZgeiv
深層学習の先にあるもの24