Downloaded 22 times
Uploaded byThe Whole Brain Architecture Initiative
Rise of Representation Engineering
Representations are base of intelligent process in AI and is grounded to the outside world. In old days, they are designed by hand, but they are learned from data in today. So, we need the new technical base for handling learned representations. We need to understand and to formulate them. We need to study construction / learning method and utilization method. I started to call this field Representation Engineering. Theoretical foundation of this field will be such as categorical theory, algorithm information theory, ontology. Research will be advance by referring cognitive science / neuroscience etc.
More Related Content
![[DL輪読会]近年のエネルギーベースモデルの進展](https://cdn.slidesharecdn.com/ss_thumbnails/energybasedmodel-200124020855-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Temporal Abstraction in NeurIPS2019](https://cdn.slidesharecdn.com/ss_thumbnails/20191115-191112082849-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to Rise of Representation Engineering
![[DL輪読会]相互情報量最大化による表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/20190913iwasawa-190913002312-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Deep Learning 第15章 表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/deeplearning15-180601023904-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]It's not just size that maters small language models are also few sho...](https://cdn.slidesharecdn.com/ss_thumbnails/itsnotjustsizethatmaterssmalllanguagemodelsarealsofew-shotlearners-210910034516-thumbnail.jpg?width=640&height=640&fit=bounds)
More from The Whole Brain Architecture Initiative
Rise of Representation Engineering
- 1. NPO法人 全脳アーキテク チャ・イニシアチブ 電気通信大学 大学院 情報システム学研究科 山川宏 学習された表現を飼いならす −表現工学の勃興− 玉川大学 脳科学研究所 産総研AIRC 慶應義塾大学SFC 深層学習の先にあるもの –記号推論との融合を目指して（２） 株式会社 ドワンゴ ドワンゴ人工知能研究所 2019年3月5日 13:45-14:10 Hiroshi Yamakawa, Taming learned representations - Rise of representation engineering -, March, 2019
- 2.
- 3. 表現工学 (Representation Engineering)とは(案) •深層学習の進展により、表現が人手による設計 から学習で獲得されるものになり、その技術的 基盤が必要になってきた。 • 知的処理において有用な、外界に接地した表現 一般について、それ自体の理解と定式化、 さらに、データから獲得する表現の構築／学習 方法や活用方法などの研究を行う。 • 圏論などの数学的基盤をもち、認知科学／神経 科学などを参考として研究を進める分野。 深層学習の先にあるもの3
- 4.
- 5. 知能の表現に関わる５つの処理 • 表現獲得： 表示の構造を構築する(設計／学習） •認識： 外界の情報を表示に変換する • 推論： 表示に対して操作を行う(システム２) • 制御： 表示上での推論結果を外界に適用する • 価値： 制御に対して方向性を与える 深層学習の先にあるもの5 価値 推論 制御 秩序をもつ世界 認識
- 6. 表現からみたAI研究史 深層学習の先にあるもの6 計算機以前 2010年以前 2010年代2020年〜 表現獲得 人手による設計 統合した 自動化が 進む 知的シス テム全体 の自動化 認識 人手による 表現の利用 パターン認 識 制御 ロボティクス 価値 強化学習 推論 古典的AI
- 7. 表現獲得の基準（モデル選択基準） • １）システムの入出力に着目した基準 – これはタスクを良く実行できること（しばしば正解と予 測のエラー）である。 •2） システム内部で活用する基準 – 情報の冗長性を見出し圧縮した表現を得ることで予 測性を高める • 例： オッカムの剃刀・MDL原理・情報ボトルネックなど 深層学習の先にあるもの7
- 8.
- 9. 枚挙的帰納法： 個別的・特殊的な事例から 一般的・普遍的な規則・法則 を見出そうとする論理的推論 の方法のこと。 自然の斉一性原理：(D.ヒューム) 自然界で起きる出来事には、 何らかの秩序があり、 同じような条件のもとでは、 同じ現象がくりかえされる くりかえす事例ごとに • 同じ→比較可能 • 条件と現象→指定関係 とその等価性 ( 領 域 １ ) 事 例 １ ( 領 域 ２ ) 事 例 ２ 変数１変数２ Ａ Ｂ Ｃ 指定関係 指定関係 Ｄ 比 較 可 能 関係等 価性 比 較 可 能 整列構造 帰納法のための整列構造 深層学習の先にあるもの9
- 10. 本来、「表現」したいことは何か？ • 外界の事物における関係性が非 内部表現に反映し（可換性） • 関係の振る舞いが、内部表現に おける振る舞いとして自然に再 現できる（自然変換（α）) 深層学習の先にあるもの10 a b 関係 りんごを、様々な方向から見る（振る舞い）振る舞い(α) 内部表現 a b 外界 a Fa b Fb f F f可換性 関係 振る舞い(α) ※図の一部は、「Bartosz Milewski, It’s All About Morphisms, November 17, 2015」より ※帰納的概念操作研究会における西郷甲矢人らとの議論に基づく
- 11. 望ましい表現の圏論からの解釈 深層学習の先にあるもの11 a b 関係 （射） 圏 振る舞い(α) 関手F 関手G 自然変換 自然変換 振る舞いに応じた自然変換が存在することが重要 →逆に言えば、表現は自然変換で特徴づけられるのでは 内部表現外界 内部表現外界 ※知的システムは外界の実在を直接は感知できない ※図の一部は、「Bartosz Milewski,It’s All About Morphisms, November 17, 2015」より ※帰納的概念操作研究会における西郷甲矢人らとの議論に基づく
- 12. 参考： 観測値からの等価な関係の発見 深層学習の先にあるもの12 #1〜#8の系列（系列）から〈#1, #2,#3〉と〈#8, #7, #5〉という二つの組を取 り出し、この二つの組にメタ関係があるかどうかを検証する。この例では、青、 赤、黒の３つの部分列が酷似しているため、等価なメタ関係と見なす。 等価性構造抽出は、観測値に含まれる等価な関係を見出す。 これは内部表現における自然変換の発見に関わるであろう。 等価性構造抽出のイメージ
- 13. 良い自然変換とは何かを考える？ 振る舞いに対応する自然変換(α)の評価基準 1. タスクに利用される／自己説明的 2. 相互排他的 3.利用頻度が高い（共用される） 例として、自然数という数学的構造へは、様々な「数えるとい う操作」からの関手を持つ利用度が高い表現である。 4. 記述量が短い 変換はアルゴリズムであり、それが短いほどよい → Algorithmic information theory に関連 深層学習の先にあるもの13
- 14. 現状のVAEでのDisentangle 深層学習の先にあるもの14 自己説明と相互排他的な振る舞い（部分圏）の組 み合わせで説明しようとする試みである。 • 結合空間 独立要因による表現 • 統合空間 圧縮された表現 Factor1 Factor2 EmilyDenton - Unsupervised Learning of Disentangled Representations from Video - Creative AI meetup, Sep 1, 2017 Disentangled
- 15. 圏論からの認識論の検討１：「実在の仮説」の提案 • 前提 – 知的システムが扱えるのは、観測で得られる値と、それ を変換して得られる内部表現上での表示 •疑問 – 私達は、外界に存在する本質的に同じ実在を、様々な 角度から見ているという感じがある。 • 自然変換に基づく実在の仮説 – 良い自然変換を通じて対応付しうる関係が存在するほ ど、実在(クオリア)を認識しうる。 深層学習の先にあるもの15
- 16. 圏論からの認識論の検討２：「間主観性の仮説」の提案 • 前提 – (人間を含む)知的システムが学習を通じて獲得する内部 表現には任意性がある。 •疑問 – しかし、異なる複数の知的システムが実在を共有してい るように感じられる間主観性が存在する。 • 自然変換の共有に基づく間主観性の仮説 – 場を共有する他の知的システムから見ても自然変換で 繋がれた関手の集合という意味においては、同様である。 • 二体の知的システムの間でカメラ信号を入れ替えるような実験 を行っても、外界の実在に対する、様々な説明は一致しうる。 深層学習の先にあるもの16
- 17. 抽象化（変換）に関わる３側面 1. 関係の振る舞い(自然変換に対応)を残す部分 ・ 多様である 2.関係の振る舞いを捨象するが、状態を符号化 する部分 ・ 画一的（記号的）←単純な情報圧縮に関連 3. 完全に無視する部分 深層学習の先にあるもの17
- 18.
- 19.
- 20. 表現工学に関連する学術領域 • 数学： 圏論(Categorytheory)など • アルゴリズム情報理論(Algorithmic information theory ) • 記号接地(Symbol grounding)／認識論 (Epistemology) • 対称性(Symmetry)／普遍性(Invariance)／メトリック (Metric) • 転移学習(Transfer learning)／類推(Analogy) • オントロジー(Ontology) • 認知科学(Cognitive science)／神経科学 (Neuroscience)との接点 深層学習の先にあるもの20
- 21.
- 22. 認知科学に学ぶ： 類似性と構造整列 • 存在論上の距離が異なる名詞ペアの共通性と差異性 を被験者がリストアップ(Markmanら,1993) • “共通性”と“構造整列可能な差異”の数は，存在論木 上の二つの名詞間の距離が開くと減少． • “構造整列不可能な差異”は“共通性”と関係しない． モノ・コト 有形 生物 非生物 動物 植物 家具 乗り物 出来事 プロセス 認知 感情 外的事象 内的事象 無形 深層学習の先にあるもの22
- 23. おわりに • 深層学習の普及により知的システムが扱う表現が、 人手による設計から学習で獲得されるものに変化 • こうした表現を扱う技術基盤/構築論が必要 •表現工学(Representation Engineering)へ 知的処理で有用な、外界に接地した表現一般に対して – 表現自体の理解と定式化 – 表現のデータから構築／学習方法 – そうした表現の活用方法（概念操作） – 圏論やアルゴリズム情報理論などの理論的基盤 – 認知科学／神経科学などを参考とする 深層学習の先にあるもの23 圏論に関わるご議論頂いた帰納的概念操作研究会の皆様に感謝いたします “algorithm category theory”とでも呼ぶべき 方向に発展するかも。
- 24. 関連情報 • ワークショップ「圏論による認知モデリングの可能性」, 長浜バイオ大学, 2019年1月17日.http://bit.ly/2tVGVEJ • Irina Higgins, et. al . , Towards a Definition of Disentangled Representations, NeurIPS, 2018, https://arxiv.org/abs/1812.02230 • メタ関係発見（研究紹介）, WBA Wiki, http://bit.ly/2u2GzvL • NaotsuguTsuchiya, ShigeruTaguchic, Hayato Saigo, Using category theory to assess the relationship between consciousness and integrated information theory, Neuroscience Research, 2016. https://doi.org/10.1016/j.neures.2015.12.007 • RyotaKanai, NaotsuguTsuchiya, Qualia, Current Biology, 2012. https://doi.org/10.1016/j.cub.2012.03.033 • 種村 剛, 間主観性, http://bit.ly/2tXyYi2 • 物自体, Wikipedia, http://bit.ly/2tZgeiv 深層学習の先にあるもの24
Editor's Notes
- #7 計算機の出現以前では、明示的でも非明示的な知識のいずれでも、人が上記の４つの処理のすべてを担っていた。 計算機出現後の20世紀においては、認識を自動化するパターン認識技術、認識結果に基づき人が設計した推論に基づいて行動を生成するロボティクス技術、推論のみを自動化する人工知能技術に分かれて研究が進展した。 2010年台にはいり、推論に用いる表現の自動獲得(つまり、表現獲得)が可能になってきた。このため、認識-推論-実行を一気通貫させた形での自動化が可能になりつつある。
- #12 April 7, 2015 Natural Transformations Posted by Bartosz Milewski under Category Theory, Functional Programming, Haskell, Programming November 17, 2015 It’s All About Morphisms
- #14 近年の深層学習(VAE)で議論されているDisentanglement手法は、自身の情報を排他的な振る舞い（部分圏）の組み合わせで説明しようとする試みである。 自然変換の良さはどのように評価すべきか おそらく自然変換の記述長が短いほど、実感がある。 最小化されるほど、そこにクオリアが感じられると言えそうである。つまり、一般的な事物の有り様に整合的な形で、ある事物が存在しているときにときに私達はそこにクオリアを感じられるということである。
- #15 近年の深層学習(VAE)で議論されているDisentanglement手法は、自身の情報を排他的な振る舞い（部分圏）の組み合わせで説明しようとする試みである。 自然変換の良さはどのように評価すべきか おそらく自然変換の記述長が短いほど、実感がある。 最小化されるほど、そこにクオリアが感じられると言えそうである。つまり、一般的な事物の有り様に整合的な形で、ある事物が存在しているときにときに私達はそこにクオリアを感じられるということである。
- #24 "algorithm category theory"
- #25 Volume 22, Issue 10, 22 May 2012, Pages R392-R396 Primer Author links open overlay panel RyotaKanai,NaotsuguTsuchiya, Qualia, Current Biology, 2012. https://doi.org/10.1016/j.cub.2012.03.033