全脳アーキテクチャ実現への長き道のりをいかに支えるのか

全脳アーキテクチャ実現への
長き道のりをいかに支えるのか
− WBAIが目指すべき姿とは −
2015年7月5日
ドワンゴ人工知能研究所
山川宏

CONFIDENTIAL MATERIAL / RESTRICTED ACCESSCONFIDENTIAL MATERIAL / RESTRICTED ACCESS
山川宏の略歴ｰ脳科学とAI ｰ
1989 年東大・理・物理修士課程修了．1992 年東大・工・電子博士課程修了．工博．
同年(株) 富士通研入社後，センサフュージョン，RWCP 参加．現在ドワンゴAIラボ
• 機械学習、認知アーキテクチャー，教育ゲーム、ニューロコンピュータ，バイオイ
ンフォマティクス，汎用人工知能，将棋プロジェクト等に従事．
• 人工知能学会副編集長，電子情報通信学会，日本認知科学会，日本神経回路
学会, 各会員．
シンギュラリティを語る会
山川ら，階層化砂時計型
ニューラルネットによる自律
的な内部表現獲得, 1995
Autoencoder の階層化も試みた
1
CITTA
(認識に基づく知的処理アーキテクチャ)

特別企画：「シンギュラリティの時代：人を超えゆく知性とともに」
企画者：山川宏・我妻広明・吉田倫子
 特別講演「われ敗れたり，されど」米長邦雄
 シンギュラリティの挑戦ニール・ジェイコブステイン
 知性について問い直すエリザベス・チャーチル
 討論「シンギュラリティの論点：人間の知性vs. コンピュータ」
パネリスト：ウィリアム・ダットン・ニール・ジェイコブスティン・エリザベス・チャーチ
ル・飯田弘之・前野隆司
 第1 部シンギュラリティの起源：人間はなぜ人工知能をつくろうとしたのか
 第2 部意味：人間の脳とコンピュータの違い
 第3 部未来：人間とコンピュータの共進化
 総括「東洋の知と西洋の知が生み出す弁証法的ダイナミズム」野
中郁次郎
 AGI-12 & AGI Impact: 汎用人工知能に関わる二つの国際会議の
報告山川宏
2 シンギュラリティを語る会
人工知能学会
誌, Vol. 28 No.
3 (2013 年5月)

ドワンゴ人工知能研究所
3
生き残りのための
選択肢を増やしておく
研究方針：
• 基礎研究（直近のビジネス貢献でない）
• 成果は学会発表等を通じて随時公開
• 開発ソフトはApacheライセンスで公開，

ドワンゴAIラボの研究「全脳アーキテクチャ」
 言語発達と理解の計算モデル
 構造化された知識表現を獲得する深層学習を開発して，AIの基本的
問題である，記号接地問題にチャレンジする．
 創造性の基礎となる等価性の研究
 事物の間に等価な関係性を見出す機能は，科学技術や芸術における
，発明／発見／創作等の類推や不変性の獲得において本質的な役
割を果たす
 海馬−嗅内皮質の計算モデル：
 脳において，統合的かつ動的な外界認識をおこなう海馬の計算機能
を，急増する神経科学知見を利用して構成論的に解明する．
4
研究にご興味がある方はご一方下さい(就職・ポスドク等)． ailab-info@dwango.co.jp

１．汎用人工知能(AGI)とは

汎用人工知能 (AGI: Artificial General Intelligence)
現実的な特化型AI
 個別の領域において知
的に振る舞う
 既に人以上の能力が数
多く実用化されている．
例えば
 コンピュータ将棋/チェス
 Googleカー(自動運転)
 医療診断
目指す汎用人工知能（
AGI)
 異なる領域で多様で複雑な
問題を解決する知能
 設計時の想定を超えた新しい
問題を解決できる．
 自己理解／自律的自己制御
 AIの当初目的であるが，そ
の問題の難しさのため取り
組みは少ない．
専門性を学習する専門性を設計する
6

汎用人工知能(AGI)研究が目指す知能とは
Wozniak Test (スティーブン・ウォズニアック, 2007)
知能ロボットは，家かアパートのドアに置かれ，呼
び鈴かノッカーを見つけて鳴らすか，戸をトントン叩く．
ドアの応対では，自分が何者かを主人に説明し，招
待されたら入る．
家に入ったロボットは，台所に向かい，コーヒーを作
る必需品および装備の場所を見つけ、世帯主の趣味
にコーヒーを入れて、別室の人物にサーブする．
このタスクにおいて，ロボットは主人に質問すること
は許されるが，物理的な補助は行われない．
7

汎用化のために必要なこと
How do learners learn
what they need to know
to make learning possible?
学習者は，
”学習を可能とするための知識”を
どのように学ぶのだろうか．
(Joshua B. Tenenbaum,” How to Grow a Mind,” 2011より)
8
この能力を「領域知識学習」と呼びたいと思う(山川)

汎用人工知能
領域知識学習
一般事前知識
領域知識学習が特化型AIからAGIへの架け橋に
9
特化型AI (学習有り)
機械学習(のこれまでの主流)
領域知識領域知識
特化型AI (学習無し)
ルールルールルールルール
実行
デ
ー
タ
領域の広がり
設
計
す
る
知
識
の
汎
用
化
が
進
む

人工知能が汎用化した場合に得られる価値
 一般目的技術(General Purpose Technology)としての強み
 汎用技術がコスト面で特化技術より優位になりえる
• 例えば，パソコンはワープロを駆逐した
 例外に対する強さ
 ものごとを多面的に捉えるように知識を獲得することで，例外や想定外の状
況に対して柔軟に対処できる可能性が高まる．
• サバイバル能力を必要とする，物理空間で独立したエージェントには特に必要
 ジェネラリストAIが台頭する
 人間とのインタフェースを担うエージェントや，多くの特化型AIを統括管理する
ためには，広く浅い知識を持つジェネラリストAIが利用されるであろう．
10

領域知識学習を実現している大脳新皮質
一様な機構で，多様な機能を獲得
→ 領域知識学習を実現しているはず
→ 深層学習が実現した表現獲得
11
・身体運動的知能
・言語的知能
・論理数学的知能
・音楽的知能
・対人的知能
・内省的知能
・空間的知能
図の出典： http://bio1152.nicerweb.com/Locked/media/ch48/48_27HumanCerebralCortex.jpg

長年の課題：一般物体認識を深層学習が実現
なぜ難しかったのか
• 外界データからは解釈
できない
• 高次概念と結びつける
こともできない
• 脳活動を観測しても解
釈しがたい．

人工ニューラルネットが絵を描く(Google, 2015, June, 17)
13

AIが突破すべき課題の本質は一体化している
14
汎用性
現状の”Narrow
AI”に不足．
領域知識の学習
能力が必要に
表現獲得
知識獲得ボトル
ネックを解消．(深
層学習等)でデー
タから自動獲得
AI基本問題
記号接地
問題
フレーム
問題

深層学習の成功は、
機械学習においては
平凡なインベンションであるが、
人工知能にとっては
クリティカルなイノベーションである．
(山川，2014年6月)

深層学習
なぜ今，人工知能が再興しようとしているのか
残
る
課
題
は
知
識
表
現
獲
得
だ
っ
た
突
破
さ
れ
つ
つ
あ
る
既存の特化型AI
人を超えるケース増加
※技術的成熟を示唆
AIの基本問題
・フレーム問題
・記号接地問題
脳型アーキテクチャ
大脳新皮質の計算モ
デル化が最難関だった
人工知能の
再興
昔は(1960年台)，コンピュータは人間より賢くなると思っていた
• 脳は、基本的に電気信号＋化学変化による普通の情報処理
• 普通の情報処理なら，プログラムとして書き下せるはずである
16

２．AGIを実現するための
全脳アーキテクチャ・アプローチ

最速でAGIを実現しうる「全脳アーキテクチャ」とは
脳全体のアーキテクチャに学び
人間並みの汎用人工知能を創る(工学)
AI脳
① 脳の各器官を
機械学習モ
ジュールとして
開発
② それらモジュー
ルを統合して
アーキテクチャ
を構築
全脳アーキテクチャ(WBA)のアプローチ
http://www.sig-agi.org/wba/
18

全脳アーキテクチャ(WBA)の中心仮説
脳はそれぞれよく定義しうる(アルゴリズムに書き下しう
る)機能を持つ(一部未知を含む)機械学習器が一定のや
り方で組み合わされる事で機能を実現しており，
それを真似て人工的に構成された出来る限り高い
粒度での(抽象度の高い)機械学習器を組み合わせる事
で人間並みかそれ以上の能力を持つ汎用の知能機械
を構築可能である．
（補足：学習を行わない情報処理も脳を真似て適宜組み合わ
せるものとする）
19

How to Build a Unintelligible Intelligence
 本質は，人が設計しきれないシステムを作ること．
 脳全体は複雑すぎて，人間には理解しきれない
• 理解して設計するというアプローチは限界に達している
 深層学習はどうであったか？
 計算量の大部分は学習(構造の探索)に用いられる
 探索空間を削減するために脳に学んだ制約も利用している
• 階層構造，スパース性，などなど
 WBAは，深層学習の成功体験を脳全体への拡大する
 神経科学知見も上手に制約化して，探索空間を削減したい
詳細な全脳シミュレーションは，まだまだ時間を要する
• 時空間分解能が高いスキャナーの出現を待つ必要がある
• シミュレーションの粒度をあげると実行だけになる（学習の計算量をとれない）
20

人間レベル
汎用人工知能
頭脳勝負のWBA研究：加速するキーは仮説の生成と検証
21
仮説検証２
神経科学知見から見て，
大局的には否定されない．
専門家の集積が大事
仮説生成
神経科学・認知科学・
AIの知見をヒントに
研究者が考え，洗練．
仮説検証１
計算機により具体的
に実装できる．
積み重なりつつある
神経科学的の知見
脳はガイド：手が届き
さえすれば，必ずしも
生物学的な真実との
一致性は追求しない．
専門家の集積が，良質の仮説の構築・検証・洗練サイクルを加速

脳をガイドとするWBAアプローチの優位点
伝統的
AIの
課題
脳をガイ
ドとする
WBAの
優位点
多様な認知アーキ
テクチャがバラバラ
に開発されてきた
【統合の指針】
機械学習をアー
キとして統合す
る指針として利
用する．
難しい問題(表現
獲得など)は先送
りされ続けた
【未解決課題の
ヒント】残された
課題についてヒ
ントを得られる．
Narrow AIなので，
問題領域毎にア
タックする必要
【汎用技術志向】
汎用知能を支え
る新皮質から領
域知識学習を学
べる．
WBAにおいて，脳はガイド：
「生物学的な真実との一致性」は
目的ではなく手段
22

日本人研究者のポテンシャルを活かせるWBA
 WBAアプローチで対抗できる理由
 日本には，関連分野において，潜在的に有能な研究者多い
 頭脳勝負となるWBAは，物量勝負が得意な米国のお家芸ではない
 必要な脳科学知見は公開され続ける公算が高い（医学発展を支えるため）
※研究を加速する要因は頭脳の結集
23

多様な専門家の協業が必要
機械学習開発者プロダクト
デザイナー
認知科学者
認知アーキテクト
神経科学者
Marrの3階層
モジュール群
長期
記憶
作業
記憶
強化学
習
新皮質
扁桃核
他者推
定
計画
サービ
スロ
ボット
モジュール
実装機能
計算理論(認知機能) アルゴリズムと表現神経回路実装
神経科
学的性
質
認知科学
的性質
情動
認知ビッグ
データ
解析
海馬
基底核
Deep
Learning
Q-
learning
SLAM
機械学習器ライブラリ製品
認知アーキテク
チャ
神経科学的知見
ロボット
サイエンティ
スト
認識
RNN
WBAには複数分野の連携が必要
BriCA 脳型計算基盤ソフトウエア
24

現実的な困難さに立ち向かうためのWBAI
WBAの実現は技術的に有望と信ずるが，以下の困難がある．
→ 逆にこうした困難を緩和/克服できれば強みになる
 汎用技術は工学的に性能評価しづらい：目的が多様なので
 作りこみにより特化技術で成果を上げたい誘惑にかられる
 アピーリングなグランドチャレンジを設定しづらい
 生物からの学びが足枷となり，統合システムとして性能出しづらい
 計算論的神経科学者のキャリア形成
 計算論に立ち入るより，実験結果を説明する方が成果にしやすい
 工学者の憂鬱
 脳を勉強するのはキツイ：どこまで勉強する必要があるのか？
汎用技術を
評価する枠
組みの検討
研究課題の，
要素への分
解を進める
キャリアパス
を支えうる
財源の獲得
脳の情報処
理を理解で
きる導入カリ
キュラム
25

NPO全脳アーキテクチャ・イニシアティブ（WBAI)
 基本的な意義と活動
 長期継続：完成時期（2030以降）に向けた継続的な目標堅持
 公益性：研究成果を論文などで公開（ソフトウェアはアパッチライセンス）
 関連分野連携： AIを軸に神経科学，認知科学，機械学習等分野の交流促進
 人材育成：シニアから若手中堅への伝承により，次の勝負どころに備える
 基礎研究： WBAの標準的な基盤となるプラットフォーム等の構築
汎用技術の評価方法等の研究しやすい環境づくり
 啓蒙活動：次第に隠蔽されうる最先端AI技術の透明化により，
人々が AIと歩む未来を創出する素地を醸成する
 主な公益事業
 人材育成：勉強会，ハッカソン，分野連携カリキュラム(神経科学，認知科学，機械学習）
 基礎研究：複数の機械学習を脳的に協同で統合するためのソフト・プラットフォーム
26

脳型計算コア基盤ソフトウエア: BriCA
結集に向けた全脳アーキにおける機械学習
【参考図： An Engineering Diagram of the Brain, 2008
http://interstitiality.net/BD/brainEngDiagram.html】
27
深層学習
(松尾)
/BESOM
(一杉)
(山川，2015),
(上田, 2015),
大森隆司
中村政義
@ドワンゴ

第一回WBAIハッカソン(2015年9月）
若手を中心に5日間で複合機械学習器を作成する
 エントリー例(アイディアソンで10件の応募中8件が合格)
• RNNを用いた手話翻訳システム
• 深層学習を利用したスタイリッシュなクソコラ自動生成装置の開発
• 新皮質に学んだ深層学習器の分解と再構築
28
 スケジュール
 5月6日アイディア・エントリー説明会
 6月15日：企画書提出締め切り
 6月末：結果発表
 ７月初旬〜：ハッカソン・エントリー期間
【一般募集追加】
• （メンター決定、メンバ確定、企画書の修正）
 8月1日以降：準備期間
• 必要に応じてチームごとにプレミーティング。
 9月19日~23日：慶應日吉協生館
全脳アーキテクチャ・ハッカソン開催
委員長
板谷琴音
慶応SFC修士

複合機械学習器としてのWBAI
 機械学習を組み合わせる研究例が増えている
 Composition:
• 例：キャプション生成 CNN＋RNN
シンギュラリティを語る会29
 課題など
 学習干渉問題：複数の学習器の，学習結果が予期しない影響を与える
 学習カリキュラム：上記問題を回避するための学習スケジュールの研究
 Hybrid:
• Deep Q: CNN＋Q学習

全脳アーキテクチャ若手の会 (２０１４年夏〜)
ヒトを超えた「知能」を目指して
（WBAなどの）．．研究には、神経科学、機械学習などの
専門知識が必要ですが、両方の知見を把握し、統合して
研究に応用できる若手研究者はまだ少ないと考えられま
す。そこで、将来このような研究を本格的に行いたいと志
す若手の間で、関連分野の勉強に関する情報交換、人
材交流を行うことを目的とする、「全脳アーキテクチャ勉
強会若手の会」を設立いたしました。脳型人工知能は、
人類最後の発明になるだろうと言われている技術です。
 機械学習の勉強会を月一回程度で実施中．
 全脳アーキテクチャハッカソンを企画中

NPO全脳アーキテクチャ・イニシアティブ（WBAI)
運営体制
総会
理事会
運営委員会
人材育成委員会
研究戦略委員会
広報委員会
管理委員会
若手の会
理事
代表：山川宏
副代表：松尾豊
副代表：高橋恒一
幹事：佐藤健
顧問：
銅谷賢治
北野宏明
冨田勝
一般会員：
個人が対象
入会金無料，年会費1000円
後日募集開始
賛助会員：
一口8万円／年より
 ※受付中

シンギュラリティ

シンギュラリティの起きる時期の予測
33
予測を行った年
予測された年
2012
2012
Singularity Institute, “How We’re Predicting AI – or Failing To,” 2012

テクノロジカル・シンギュラリティ(技術的特異点)
技術／知識レベル
時間主役交代
AIが自身をプログラミングする創造性を得るにはまだ時間を要しそう
Singularity以前
ヒトによる設計が
律速段階
Human
Design
AI
Design
Techn
ology
Singularity以降
創造的AIが自己再帰的な
知識発展の循環が起こる
創造的
AI
Design
Techn
ology
従来の傾向に基づく技術の進歩予測が通用しなくなる時点
recursively self-
improved AI
34

人間レベルのAIのインパクトはなにか
プラス面(チャンス)：
制御できれば，いかなる範
囲の目標であっても、十分
高度な知性を使用すること
で、より迅速に達成できる
可能性がある．
癌の治療法：それを治療す
る方法を理解できるくらい
賢くなる
経済の安定化：達成する方
法を理解できるくらい賢くな
る
マイナス面(リスク)
制御不能になれば私の社会や
価値を大きく破壊しうる
危険な利用
• 犯罪的なAI，軍事AI，中毒をも
たらすようなAI
職業の問題
• ネオ・ラッダイト運動
人工知能の「心」の問題
• 人の尊厳，AIへの感情移入
暴走
AIの人類に対する影響は「核」以上ともいわれている．

AGIインパクトに備えるHELPS観点での議論
Humanity：人間性（哲学）
Economics：経済学
Legal：法学
Political：政治学
Social：社会学
36
技術者だけで多様なAGIインパクトの問題（HELPS）には対応
できないため，関連する諸分野との連携は必須である．

Our Final Invention (J. Barrat, 2013) の訳本
人を超えた人工知能によって
生ずるリスクについて正面から
取材した，フリーのテレビプロデ
ューサーによる書籍．
この分野における主導的な専
門家の話を，整理している．
（2015年6月に訳本が出版）
37

ナイーブな報酬設計から生じうるAI暴走リスク
 強化学習：知的エージェントの価値観を自律的に生成する技術
＝手段を目的化する
 Friendly AI （エリエゼル・ユドカウスキー）
 人類に対して，悪い影響でなく良い影響をおよぼすAI
 AIの四つの衝動（スティーブ・オモアンドロ）
 効率性，自己保存，資源獲得，創造性
山川宏，強化学習に基づく知能システム：価値体系を利用した
パターン処理型知能マシンの検討, 東京大学博士論文，1992.

AI生態系（EcSIA)としての望ましい未来社会とは
技術的特異点の到来時期は正確に予測できないが，その着地点として
望むべく社会全体の未来像は持つべきであろう．その上で現在の社会から
未来像に向かって円滑なプロセスを設計し制御したほうが良さそうだ．
私が思う，望ましい未来像とは「万人の幸福」と「人類の存続」の両立を
目指し，その間のトレードオフを緩和を目指すものである．
この世界では，共有財産としての多様な人工知能と，時に拡張された人
類によって生態系が形成される．私はこれをEcSIA(Ecosystem of Shared
Intelligent Agents )と呼ぶことにした．
EcSIAは大自然の如く複雑広大で，人類はそれを完全には理解し把握で
きないまでも緩やかに制御する．そしてEcSIA が生み出す恵みや富は（例
えばベーシック・インカムのような形で）万人に分配される．
（山川, 2015年７月)
39

私達は人工知能と共にどう歩んでゆくべきか
 AI技術は不可逆的に進展する．
 経済的／社会的な優位性を生み出すAIへの投資は止まらない．
 何れ到達するとはいえ，近々で人を超えるAIはできない．
 現状においてもAIは社会に浸透しておりそのインパクトは大きい
 急速に進歩するAI技術と共に繁栄するための方向性とは
 “万人の幸福”と”人類の存続”をバランスさせてメリットを高める
 AIと共に歩む未来を考える様々な活動が始まっている：
 人工知能学会倫理委員会，AIR，AI社会論研究会，など
 Future of Life Institute, Future Humanity Institute，など
 多くの人がAIを知りその影響を多面的に考える必要がある
 HELPS：人間性（哲学）、経済学、法学、政治学、社会学
40

WBAIが目指す姿について考える (山川)
 AGIを目指す技術者として，開発目標は比較的早期(2030年頃)
 公益組織として，世界で最速（もしくはそれに近い形）での達成を目指す
• 個人的には2020年代前半にAGI完成もありうると考えるが．
 影響の甚大さから，そのインパクトへの配慮は欠かせない
 その観点からは，到達時期は2030年頃に限定しているわけではない．
• より早い可能性／より遅い可能性も十分にありえる．
 技術者だけで多様なAGIインパクトの問題（HELPS）には対応できないため，
関連する諸分野との連携は必須である．
 技術面から，市民に向けた「シンギュラリティ・カウントダウン」
 人々が AIと歩む未来を創出する素地を醸成するための啓蒙活動
ご清聴ありがとうございました
41

全脳アーキテクチャ実現への長き道のりをいかに支えるのか

More Related Content

What's hot

Viewers also liked

Similar to 全脳アーキテクチャ実現への長き道のりをいかに支えるのか

全脳アーキテクチャ実現への長き道のりをいかに支えるのか