進化したWBAアプローチの現在@第5回WBAシンポジウム： 山川宏
•
0 likes•297 views
当法人では、ハッカソンなどの経験を通じて全脳アーキテクチャの開発方法論を開拓してきた。現在は、脳のメゾスコピックレベルのアーキテクチャについての解剖学的構造・生理学的現象・計算機能の仮説に関する神経科学的知見の要約した全脳参照アーキテクチャ(WBRA)というデータの蓄積を進めている。 今後は、それを起点として、ソフトウエアの生物学的妥当性を評価しつつ、機械学習のモジュールを開発し、それをマージすることで、全脳アーキテクチャ・アプローチからのシステム開発を進めようとしている。 第5回全脳アーキテクチャシンポジウム「見えてきた人工知能研究の本丸」 第1部発表資料 https://wba-initiative.org/16844/
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 進化したWBAアプローチの現在@第5回WBAシンポジウム： 山川宏
More from The Whole Brain Architecture Initiative
More from The Whole Brain Architecture Initiative (20)
進化したWBAアプローチの現在@第5回WBAシンポジウム： 山川宏
- 4. 子供の知能から進展する近年のAI 第 回全脳アーキテクチャシンポジウム54 未来状態を想像する学習を通じて世界モデルを 獲得し、それを利用して初見の物体を操作でき るようになる学習ロボットシステム(2017) https://www.youtube.com/watch?v=Li_vZVpiFSA 乳児の 学習を 再現 Ebert, F., Finn, C., Lee, A. X., & Levine, S. (2017). Self-Supervised Visual Planning with Temporal Skip Connections. In arXiv [cs.RO]. arXiv. http://arxiv.org/abs/1710.05268
- 5. ２つの知能からみたAI史とその完成見通し 第 回全脳アーキテクチャシンポジウム55 1956 2014 20XX年19961976 計 算 機 が 生 ま れ た 時 代 記号AI (大人の知能) ・知識を組合せて利用 ・記号AIで早くから発展 二 つ の 知 能 が 実 装 可 能 に 機械学習AI (子供の知能): ・データから知識を獲得 ・機械学習AIで近年に発展 人 間 の よ う な 汎 用 AI の 完 成 へ 二 つ の 知 能 を 統 合 す る
- 6. 機械学習AI 人工知能におけるシステム１とシステム２ 第 回全脳アーキテクチャシンポジウム5 デ ー タ 優れた予測／問題解決能力 知 識 学習: データから知識を獲得する システム２: 知識を流動 的に組合せて利用する システム１: 状況に応じて 知識を利用する 6
- 7. 機械学習AI 記号AI . 人工知能におけるシステム１とシステム２ 第 回全脳アーキテクチャシンポジウム5 デ ー タ 優れた予測／問題解決能力 知 識 学習: データから知識を獲得する システム２: 知識を流動 的に組合せて利用する システム１: 状況に応じて 知識を利用する 7
- 8. 常識と創造：各システムにおける課題 第 回全脳アーキテクチャシンポジウム5 デ ー タ 優れた予測／問題解決能力 知 識 学習: データから知識を獲得する システム２: 知識を流動的 に組合せて利用する システム１: 状況に応じて知 識を利用する 常識 現状で利用で きる知識のレ パートリーは 不十分 創造 知識を柔軟に 活用するため の技術は未だ 未成熟 8 常識の拡大 様々な常識が データ蓄積に 応じて次第に 実現される 創造の実現 少数のサブ課 題の科学的解 明がなされ実 装が進む
- 9. 汎用性のための創造（システム２） 第 回全脳アーキテクチャシンポジウム5 データが少ない状況で有益な仮説を生成することで、設計時 の想定を超えた未知状況等でも問題を解決できる汎用知能 知識を柔軟に組合せ(再利用)して創造を行う機構 9 9 タスク タスク タスク タスク 知識 知識 知識 知識 知識 ※ 脳では、概ね標準化された新皮質領野上の知識を連携 汎用 知能
- 10. 創造に迫ろうとする神経科学の研究例 第 回全脳アーキテクチャシンポジウム510 [Lewis, 2018] How memory replay in sleep boosts creative problem solving 新皮質と海馬の連携により、Non-REM睡眠はルールを抽象化し、 REM睡眠の再生は新しい連想を促進するという仮説モデル
- 11. 統合 システム１・システム２の連携を含めいか なるアーキテクチャ上で諸技術統合するか 統合：AI開発の最終段階に残される課題 第 回全脳アーキテクチャシンポジウム5 デ ー タ 優れた予測／問題解決能力 知 識 学習: データから知識を獲得する システム２: 知識を流動的 に組合せて利用する システム１: 状況に応じて知 識を利用する 11 一般のソフト 開発設計論は 汎用目的技術 には不適
- 12. 統合において脳から学ぶことの有効性 第 回全脳アーキテクチャシンポジウム512 • 知能についての統一的な理論が不在である間は、AGIシステ ムの開発は限定されたタスク集合へのチューニングとなる • システムを構成する技術の組合せ（つまり、アーキテクチャ） は多様であり、チューニングだけで未知タスクにも対応でき る汎用知能へとつながる開発ディレクションは困難 • 人の知能を支える脳アーキテクチャに近づければ、人と同程 度のAGIシステムを実現できる見込みがある • よって、AGIが完成するか、優れた理論が現れるまでは、合 意しうるガイドとして脳アーキテクチャを参照するのが有効 脳に似せることは、汎用AIにとって必須で はないが、実現までの良いガイドになる
- 15. 脳型知能の構築には何を参照するのが有用か 第 回全脳アーキテクチャシンポジウム5 参照が有用な粒度を決めるにあたって： 粗すぎると脳のような情報処理に制約できない 詳細すぎると構築や計算等のコストが増大する 知的処理に明らかに貢献する「メゾスコピックレ ベルの脳アーキテクチャ(構造・現象)」を参照！ 注： 脳の他の特徴や要素を参照することも有益でありうるが、 知能構築を加速するためにそれら全てを網羅する必要はない。 15
- 16. 脳アーキテクチャを参照する粒度の下限 uniformCircuit： ＝ 参照の下限 ＝神経科学： 均一なニューロン(サブ)タイプ集団 ＝計算論的： 同一種類の信号の起点 ＝ソフトウエア： コンポーネントの引数名 第 回全脳アーキテクチャシンポジウム516 Uniform Circuit 1 送信元のニューロン・(サブ) タイプを、シナプスの生化学 的な特徴から区別しうる 送信側ニューロン 受信側ニューロン Uniform Circuit 2 軸索
- 17. Uniform Circuitで記述される知的処理 第 回全脳アーキテクチャシンポジウム517 他の対応例 • CNN → 視覚野腹側路 • MLP → 小脳 大脳基底核の神経回路強化学習(Actor-Criticモデル) (Takahashi, Y., Schoenbaum, G., & Niv, Y. , 2008) Uniform Circuits • 状態価値：V → Ventral striatum • TD誤差 → VTA, SNc • Action: a → Dorsolateral striatum
- 24. 全脳参照アーキテクチャ(WBRA)の概要 第 回全脳アーキテクチャシンポジウム524 uniform circuit コネクション 環境： ありうる様々なタスク サーキット WBRAは脳全体のメゾスコピックレベルのアーキテクチャを記述す る静的参照モデルである。構造は部品(circuit)および部品間の結合 (connection)である。それに機能仮説(計算機能、信号の意味)が付 与されている。必要に応じて、生理学的現象も付与される。 ＋計算機能 ＋計算機能 ＋信号の意味
- 26. 機械学習を脳のように統合する開発手法 WBRAが駆動する全脳アーキテクチャ開発 第 回全脳アーキテクチャシンポジウム5 WBRAとの比較により生 物学的妥当性を評価する WBRAに基づく特定のタ スク毎の開発 WBRAにガイドされたコ ンポーネントのマージ (Brain-inspired Refactoring) 全脳参照アーキテクチャ (WBRA) 脳のメゾスコピックレベルの情報フロー構造上に 機能仮説や現象を付与した参照モデル 脳らしく作成する 脳らしくマージする 脳らしさを評価する 26 脳に制約された設計空間内で、脳型AGIの解を探索するアーキテクチャ探索 機能仮説の不足部分に ついては、SCID法を用 いて仮説構築する 文献やデータから構 造・現象の事実と機能 仮説を収集する 記述形式(BIF)を策定。 さらに、データベース 上で共有／統合する 脳の何を学ぶか いかに知識を得るか いかに不足を補うか WBRA活用WBRA作成 脳らしい 組合せを 見つける
- 29. WBRAを利用した開発 【WBRA活用】 第 回全脳アーキテクチャシンポジウム529 脳の真実 神経科学の論文・データ 科学 構築 全脳参照アーキテクチャ(WBRA) 脳型ソフトウエア 開発 制約 コンポーネント図 脳型ソフトウエア 制約 コンポーネント図 脳型ソフトウエア コンポーネント図 抽出 脳らしく作成する 脳らしくマージする 脳らしさを評価する マージ 比較
- 30. WBRAに基づく特定のタスク毎の開発 第 回全脳アーキテクチャシンポジウム530 全脳参照アーキテクチャ (WBRA) コンポーネント図 (UML2.0) actuatorssensors 2B EC D 1 5 6 7 43 コンポーネントの機能: A, B, C, D, E 信号の意味： 1, 2,3,4,5,6 コネクション の意味 サーキット の機能 脳 型 ソ フ ト ウ エ ア 構築 科学 制 約 開 発 環境： ありうる様々なタスク 神経科学の真実 神経科学の論文・データ 制約を用いた設計 WBRAから特定タスクに関わるサーキット の部分構造を抽出し、その部分の構造と機 能仮説を制約として特定タスクを実現しう る機能単位の接続構造を設計する 脳らしく作成する
- 32. C D A E B F IN 1 IN 2 OUT 1 OUT 2 C D A E B F IN 1 IN 2 OUT 1 OUT 2 C D A E B F IN 1 IN 2 OUT 1 OUT 2 TASK 1 + TASK 2 A E B F IN 1 IN 2 OUT 1 OUT 2 TASK 1 の開発 A E B F IN 1 IN 2 OUT 1 OUT 2 TASK 2 の開発 A E B F IN 1 IN 2 OUT 1 OUT 2 TASK 1 + TASK 2 WBRAで制約された開発WBRAで制約しない開発 WBRAによる制約がマージを可能に 第 回全脳アーキテクチャシンポジウム532 Brain-inspired Refactoring IN 1 IN 2 OUT 1 OUT 2 TASK 1 の開発 TASK 2 の開発 WBRA 制約 マージできるマージできない 制約 A B C D F E 脳らしくマージする
- 33. 生物学的妥当性評価(WBRAへの忠実さ) 第 回全脳アーキテクチャシンポジウム533 利用場面： • ソフト全体の総合評価 （コンテスト等で活用） • アーキテクチャ探索(後述) における評価指標の一部 • コンポーネント毎の単体 テストへの利用 • マージ開発において選択 する実装の優先付け コンポーネント図とWBRAの比較に基づいて、 ソフトの生物学的妥当性（忠実さ）を評価 脳らしさを評価する 脳の真実 論文・データ 科学 構築 WBRA 脳型ソフトウエア コンポーネント図 抽出 比較
- 34. 構造・機能的な類似性による忠実度評価 第 回全脳アーキテクチャシンポジウム534 全脳参照アーキテクチャ (WBRA) コンポーネント図 (UML2.0) actuatorssensors 2B EC D 1 5 6 7 43 コンポーネントの機能: A, B, C, D, E 信号の意味： 1, 2,3,4,5,6 コネクション の意味 サーキット の機能 脳 型 ソ フ ト ウ エ ア 環境： ありうる様々なタスク 比較の観点 抽 出 比 較 脳らしさを評価する • 構造と機能の対応付け • 部分における神経活動の再現性 • 全体における能力の発揮の再現性 • 上記項目の異常系での再現性 WBRA中の部分構造とそこに付与さ れた機能仮説に対し、最も整合的な コンポーネント図をソフトから抽出 し、両者を右記の観点から比較し、 類似度／再現性から忠実度を評価
- 35. 生物学的妥当性評価の萌芽的な例 第 回全脳アーキテクチャシンポジウム535 動物のような常識をもつ知能を目 指す「Animal-AI Olympics 」で は、大きな脳器官の単位で、構造 と機能の対応づけて生物学的妥当 性を評価し、WBA賞を授与。 サーキット(WBRA) コンポーネント（コンポーネント図） 視覚野 畳み込みニューラルネットワーク(CNN) 基底核 PPOモデルでの Actor-Critic 前庭皮質 自己中心的速度入力 海馬台 訪れた場所の地図 運動野 PPOモデルでのアクター出力 http://aaitestbed.us-west-2.elasticbeanstalk.com/AAI/ (c.f. https://wba-initiative.org/3728/ ) 脳らしさを評価する
- 36. Functionally General Biologically Plausible Computationally Simple 脳型AGIのためのGPS基準 第 回全脳アーキテクチャシンポジウム536 https://wba-initiative.org/3516/ , 2019.6.15 統合された同一の システムで、多様 なタスクを解決で きる能力を評価 脳に似た生物学的に 妥当なメカニズムを 高く評価 再利用性の高い簡潔な メカニズムで実現され ていることを評価 Biologically Plausible 脳らしさを評価する
- 37. 設計空有間の広さ 2020 2025 20XX 脳型AGIの 完成 year 脳型AGIを完成させるアーキテクチャ探索 第 回全脳アーキテクチャシンポジウム5 WBRAで制約さ れた設計空間 脳型 AGI 最大で3000個程度 のuniformCircuitが がなす設計空間 アーキテク チャ探索 脳に制約された脳型AGIの設計空間の大きさを、 探索能力が超えた直後に、それは完成するだろう AGIとして機能 する設計空間 脳による 制約 37 忠実度評価の自動化が必要 脳らしい 組合せを 見つける
- 39. 機械学習を脳のように統合する開発手法 WBRAが駆動する全脳アーキテクチャ開発 第 回全脳アーキテクチャシンポジウム5 WBRAとの比較により生 物学的妥当性を評価する WBRAに基づく特定のタ スク毎の開発 WBRAにガイドされたコ ンポーネントのマージ (Brain-inspired Refactoring) 全脳参照アーキテクチャ (WBRA) 脳のメゾスコピックレベルの情報フロー構造上に 機能仮説や現象を付与した参照モデル 脳らしく作成する 脳らしくマージする 脳らしさを評価する 39 脳に制約された設計空間内で、脳型AGIの解を探索するアーキテクチャ探索 機能仮説の不足部分に ついては、SCID法を用 いて仮説構築する 文献やデータから構 造・現象の事実と機能 仮説を収集する 記述形式(BIF)を策定。 さらに、データベース 上で共有／統合する 脳の何を学ぶか いかに知識を得るか いかに不足を補うか WBRA活用WBRA作成 脳らしい 組合せを 見つける
- 40. 全脳参照アーキテクチャ(WBRA)の概要 第 回全脳アーキテクチャシンポジウム540 uniform circuit コネクション 環境： ありうる様々なタスク サーキット WBRAは脳全体のメゾスコピックレベルのアーキテクチャを記述す る静的参照モデルである。構造は部品(circuit)および部品間の結合 (connection)である。それに機能仮説(計算機能、信号の意味)が付 与されている。必要に応じて、生理学的現象も付与される。 ＋計算機能 ＋計算機能 ＋信号の意味 脳の何を学ぶか
- 41. WBRAの記述形式としてのBIF WBRAに記述すべきメゾスコピックレベルの脳アー キテクチャを規定するBrain Information Flow(BIF)形式を策定。uniformCircuitsを記述の下 限として、脳から学ぶべき範囲を規定した。 • 解剖学的構造：階層化された情報フロー図 • サーキット： 脳の部分回路をノードとする • コネクション： 同一種の信号を出力する神経 集団であるuniformCircuitを起点としたリンク • 機能仮説(functionalityのアノテーション) • サーキットに付与される機能仮説 • コネクションで伝えられる信号の意味 第 回全脳アーキテクチャシンポジウム541 脳の何を学ぶか
- 42. Circuit Connection Property only for uniform Circuits Brain Information Flow(BIF)形式の策定 第 回全脳アーキテクチャシンポジウム5 Terminal [sensor] Terminal [actuator] Circuit Circuit Circuit Circuit Circuit Legend Uniform circuit Connection Circuit modType size reference functionality hasPart implementation reference size functionality morphology transmitter taxon labels inputCircuit outputCircuit taxon transmitter uniformCircuit 起点の階層的なサーキットから構成される情報フロー図 42 脳の何を学ぶか
- 43. 共有と再利用を促進するBIFデータベース 第 回全脳アーキテクチャシンポジウム543 脳の何を学ぶか Mei Sasaki, Naoya Arakawa, Hiroshi Yamakawa, Construction of a whole brain reference architecture (WBRA), International Symposium on Artificial Intelligence and Brain Science, Poster No. 31, 2020.
- 44. WBRA設計時の生物学的妥当性(適切度) 下記観点から、WBRAの記述の適切度を評価 • 認定性 – 記述された構造と機能仮説が、（原則）査読付 き論文等における論旨として認定されている • 簡潔さ – 知能に無関係な複雑さが導入されていない • 原則として、Uniform circuit以上の粗レベルを記述 • 機能的一貫性 – 機能仮説が（階層的記述も含めて）全体として 一貫し、タスク解決能力に繋がっている 第 回全脳アーキテクチャシンポジウム544 脳の何を学ぶか
- 45. • 全てのサーキット：最大3000個程度 – Allen Instituteが定義した脳器官リストを用いれば、 uniformCircuitは概ね網羅 (必要なら追加） • 全てのコネクション(有無と概数を知りたい) – uniformCircuit i 毎の、 他のCicuit jへの投射数を概算 nij = Ni ✕ rij • uniformCircuit iにおいて – nij : Circuit j への結合の数 – Ni : 結合の総数 → ニューロン数で近似する – rij : Circuit jへの投射比率 → 結合強度データを利用 ※ヒトでの見積もりに必要なデータは未だ不足 WBRAの基盤となる解剖学的構造情報の収集 第 回全脳アーキテクチャシンポジウム545 Blue Brain Cell Atlas (マウス) Allen Mouse Brain Connectivity Atlas ※網羅性は不十分 いかに知識を得るか i Circuits j j -1 j+1 Uniform Circuits Ni=6 nij=3
- 46. WBRAに付与する機能仮説の収集 第 回全脳アーキテクチャシンポジウム546 Output eventually comes from uniform circuits 研究が進んだ領域は文献から得やすい 大脳基底核の調査例 いかに知識を得るか
- 47. WBRA コンポーネント図(C) 広範に機能仮説を構築できるSCID法で補う 第 回全脳アーキテクチャシンポジウム547 脳の真実 神経科学の論文・データ 科学 構築 構造(と現象) コンポーネント図(B) 機能の 付与 制約 コンポーネント図 (A) 脳内で必須の機能を、様々なコンポーネント図に分解し、 構造(と現象)に最も整合する図上の機能を仮説として付与 SCID法 ： 構造に制約されたインターフェ イス分解法 Structure-Constrained Interface Decomposition method （WBAIが編み出した手法） 神経科学知見と 不整合な図を演 繹的に棄却、 残った図の機能 仮説を付与 必須の 機能 いかに不足を補うか 機能仮説
- 48. コンポーネント図 (UML2.0)コンポーネント図 (UML2.0) SCID法における機能と意味の対応付け 第 回全脳アーキテクチャシンポジウム548 全脳参照アーキテクチャ (WBRA) コンポーネント図 (UML2.0) actuators 2B EC D 1 5 6 7 43 コンポーネントの機能: A, B, C, D, E 信号の意味： 1, 2,3,4,5,6 コネクション の意味 サーキット の機能 構造の制約 機能の 付与 サーキット コネクション sensors 環境： ありうる様々なタスク いかに不足を補うか 神経科学知見と不整合な図を演繹的に 棄却、残った図の機能仮説を付与
- 49. SCID法の利点 (機能仮説構築のために) 第 回全脳アーキテクチャシンポジウム549 脳型AIの開発では、機能仮説の網羅性が求められる 方法 SCID法 一般的な方法 機能付与 の主要な 手がかり 構造と必須機能(能力) (※神経現象は適宜利用） ・センサ／アクチュ エータに近い or ・行動と関連する神経 現象（報酬、場所細胞等） 適用範囲 脳のほぼ全域 （メゾスコピックな構造が 既知な範囲） 有力な現象的な手がか りがある範囲に限定さ れやすい 機能仮説 の性質 計算機能に即しており 開発につなげやすい 現象の解釈であるため、 開発には距離がある。 いかに不足を補うか
- 50. SCID法による機能仮説構築の研究例 1. Fukawa, A., Aizawa, T., Yamakawa, H., & Yairi, I. E. (2020). Identifying Core Regions for Path Integration on Medial Entorhinal Cortex of Hippocampal Formation. Brain Sciences, 10(1). 2. Yamakawa H.:, Attentional Reinforcement Learning in the Brain, New Generation Computing, 2020. 3. Yamakawa H.:, Revealing the computational meaning of neocortical interarea signals. Frontiers in Computational Neuroscience, Vol.14, No.74 (2020) 4. 山川宏, 布川絢子, 矢入郁子, 意識周辺アーキテクチャの仕様検討, 電子情報 通信学会 ニューロコンピューティング研究会, NC2019-115, March, 2020. 5. 布川絢子 , 矢入郁子, 山川宏, 脳の注意機能を担う前障(claustrum)の内部機 構, 人工知能学会第15回汎用人工知能研究会, SIG-AGI-015-06, 2020.8.29. 6. 田和辻可昌・荒川直哉・山川宏, 脳幹視覚系神経核における抑制と加算機能に 関する仮説の提案 ～ BIF形式に基づく滑動性追従眼球運動と衝動性眼球運動 の統一的記述 ～, 信学技報, 2020-10-MBE-NC-NLP-CAS, NC, 2020年10月 29日 11:40発表予定 第 回全脳アーキテクチャシンポジウム550 いかに不足を補うか
- 51. WBRA管理者に望まれる態度 WBRA管理者は、それを用いた開発を通じた 構成論的検証により、脳の真実に接近できる 可能性を高められるよう振る舞う。具体的に は、内容（実験事実・機能仮説）の登録にあ たり以下に留意する。 • 中立性 – 登録内容の選択において中立的であること。 • 多様性 – 一定以上の適切度をもつ内容は、相互に矛盾点 があっても併記する。 第 回全脳アーキテクチャシンポジウム551
- 53. コンポーネント図(UML2.0) コンポーネント図(UML2.0) 汎用であるが故に難解：なぜ２つの図が必要か 第 回全脳アーキテクチャシンポジウム5 53 タスク タスク タスク タスク 知識 知識 知識 知識 知識 全脳参照アーキテクチャ(WBRA) コンポーネント図(UML2.0) 2B EC D 1 5 6 7 43 脳のメゾスコピックレベルの情報フロー構 造上の任意のサーキットに機能仮説や現象 を付与したモデル 呼び出し関係がインターフェースとして整備 された機能単位が接続された構造を示す図 特定タスクに対 応する、機能的 に連携した知識 の部分グラフ ※ 脳では新皮質領野上の知識の動的連携 汎用 知能 全てのタスクに 関わる情報フ ロー上に様々な アノテーション がなされる 特定タスク毎に 一貫した機能 の分解 フロー構造上に、 ありうる機能を 網羅的に記述
- 55. 本講演のまとめ • AGIの完成に必要な技術の「統合」のために、脳を 参照するのは有望。 • 個人では全貌を把握し難い脳全体の知見を参照し つつ、機械学習を統合するソフト開発手法が必要。 • 我々が推進するWBAアプローチでは、脳のメゾス コピック・レベルのアーキテクチャを参照する。 – uniformCircuitより粗い粒度での構造記述の上に機能仮 説を付与したWBRAをBIF形式で構築 • このレベルでの設計複雑さは、自動車の設計と同程度 – WBRAを活用して、脳型ソフトを実装・マージ・評価 – 脳型AGIの設計空間の大きさを、探索能力が超えた直後に、 それは完成する(全脳アーキテクチャの臨界点)。 • 到達条件：洗練されたWBRA、潤沢な計算リソース、効率的な アーキテクチャー探索 第 回全脳アーキテクチャシンポジウム555