全脳アーキテクチャ勉強会第１回（松尾）

全脳アーキテクチャ勉強会第１回（松尾）
AIの未解決問題とDeep Learning 東京大学松尾豊
自己紹介 1997年 2002年 2005年 2007年東京大学工学部電子情報工学科卒業同大学院博士課程修了．石塚研究室．博士（工学）産業技術総合研究所研究員スタンフォード大学客員研究員東京大学大学院工学系研究科総合研究機構／技術経営戦略学専攻准教授専門は、Web工学、人工知能 2012年より、人工知能学会編集委員長・理事。2007年より国際WWW会議プログラム委員。WWW2014ではウェブマイニングトラックのトラックチェア。オーマ株式会社技術顧問、経営共創基盤（株）顧問、Pluga AI Asset Management 技術顧問、国立情報学研究所客員准教授、国家戦略会議叡智のフロンティア部会委員等 2
人工知能 • 人の知能をコンピュータで作りたい • コンピュータ＝人工知能 • 1956 ダートマス会議 • 1957 General Problem Solver (GPS): ハーバート・サイモン、アラン・ニューウェル • 1960-1970 定理証明システム、医療診断システム • 1980-1987 ブーム • 1987-1993 冬の時代
人工知能の分野
難しさ • • 結局、真の人工知能はできていない。「人工知能」だと言っているのは全部フェイクです。 – それはみんな（研究者は）分かっている • • 狭義の人工知能（強いAI）広義の人工知能（弱いAI、Intelligence Amplifier） • 根本的な問題 – 知識獲得のボトルネック – 知識表現の問題：フレーム問題 – シンボルグラウンディング問題 • ほとんど全部同じことを言っている。 – = 機械学習における特徴生成の問題
機械学習事例（example）素性（そせい、feature）：特徴を表す量クラス X1 X2 X3 X4 X5 … class 10 2 1.1 1.3 0 ◯ 1 1 -2.1 1.1 0 ◯ 18 4 3.9 5.5 1 △ 20 13 2.8 1.5 0 △ 2 1 -1.0 3.2 1 ◯ 23 2 10.2 2.0 0 △ … ２つのクラスを分離する曲面を見つける。（＝学習させる）いったん学習させれば、新しいデータに対し、曲面のどちら側に存在するかで、クラスを予測できる
機械学習のステップ • 機械学習の２つのステップ – – • STEP1 入力データからの特徴抽出（Feature Engineering) STEP2 学習・推論特徴抽出は大変 – – ドメイン知識や人手による試行錯誤どの値をどう使うか人工知能は、コンピュータに人間と同様の知能を実現させようという試み、その基礎技術をさす。日常語としての「人工知能」という呼び名は曖昧なものになっている。素性（feature）人工知能 2 コンピュータ 1 知能 1 同様 1 色赤高さ 5cm かさの直径 2cm 斑点あり分類／回帰 Naïve Bays, SVM, LogReg, ・・・ Naïve Bays, SVM, LogReg, ・・・
例：年収予測性別地域身長好きな色年収男東京 168 赤 250 男埼玉 176 白 700 男神奈川 183 青 1200 女東京 155 別に 400 男千葉 174 赤 180 女東京 163 緑 5000 • 年齢いれようよ • 職業も必要でしょう • 業種とかスキルとかも入れた方がいいんじゃない？なぜ人間にはそれが分かるの？経験？
MIUシステムゲーデル、エッシャー、バッハ - あるいは不思議の環』（ダグラス・ホフスタッター,
MI ①xI → xIU ②Mx→ Mxx ③III → U Simplified from original version
MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU
MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU If x = I, we get MII
MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU If x = I, we get MII If x = II, we get MIIII
MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU If x = I, we get MII If x = II, we get MIIII MIU MII MIII MIUU MIIU …
MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU If x = I, we get MII If x = II, we get MIIII MI MIU MII MII MIUU MIIU MIUIU MIUU MIIU MIUIU MIUI MIIU MIII MIIII MIIU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU ……
Q1. MI ①xI → xIU ②Mx→ Mxx ③III → U MIIU Q2. MI MU Q3. MI U
Q1. MI MIIU A. Yes. MI → ② → MII → ① → MIIU ①xI → xIU ②Mx→ Mxx ③III → U Q2. MI MU Q3. MI U
Q1. MI MIIU A. Yes. MI → ② → MII → ① → MIIU ①xI → xIU ②Mx→ Mxx ③III → U Q2. MI MU A. Yes. MI → ② → MII → ② → MIII → ③ → MU Q3. MI U
Q1. MI MIIU A. Yes. MI → ② → MII → ① → MIIU ①xI → xIU ②Mx→ Mxx ③III → U Q2. MI MU A. Yes. MI → ② → MII → ② → MIII → ③ → MU Q3. MI U A. No.
MI MIU MII MII MIUU MIIU MIUIU MIUU MIIU MIUIU MIUI MIIU MIII MIIII MIIU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUIIU MIIUIU MIIIUU MIIIIU MIIIIIU MIIIIIIU MIIIUIIIU MUU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUIIU MIIUIU MIIIUU MIIIIU MIIIIIU MIIIIIIU MIIIUIIIU MUU MIUIIIU MIIUIIU MIIIUIU MIIIIUU MIIIIIU MIIIIIIU MIIIIIIIU MIIIIIIIIU
Noの理由 • 最初のMが消えないから • これを機械学習に入れるとすると、 Mの数 Iの数 Uの数 IUの数 UUの数 … MIから生成できるか 2 1 0 0 0 … Yes 1 3 2 1 0 … No 0 2 3 0 1 … No 0 0 1 0 0 … No 1 1 0 0 0 … NO 2 1 1 0 0 … Yes
Noの理由 • 最初のMが消えないから • これを機械学習に入れるとすると、 Mの数 Iの数 Uの数 IUの数 UUの数最初にM があるか MIから生成できるか 2 1 0 0 0 0 Yes 1 3 2 1 0 1 No 0 2 3 0 1 0 No 0 0 1 0 0 0 No 1 1 0 0 0 1 NO 2 1 1 0 0 0 Yes
ツイートを分類したい • 地震が起きたことを言っているかどうか – 「揺れてる？怖い」：地震 – 「今日は勉強会だ」：それ以外 • ツイートに含まれるキーワード：53% • + 地震に関するキーワードの文脈：57% • + ツイートの長さ：73% • 要するに、地震のツイートは短い – 「地震？」「揺れた？」 • なぜ「ツイートの長さ」という特徴を入れることができるの？？？難しい問題１：機械学習で、有用な素性をなぜ人間は作り出すことができるの？
フレーム問題 • 現実世界には無限の情報量がある • コンピュータには有限の情報処理能力しかない • したがって、コンピュータに現実世界の情報を処理することは無理（例）倉庫に箱があり、箱の中にバッテリーと時限爆弾がある。この箱を持ち出すようにロボットに命令すると・・・ 1号：そのまま持ち出して爆発 2号：持ち出す方法の計算中に爆発 3号：持ち出す方法の計算方法の計算中に爆発
フレーム問題（Dennett 1984） • R1と名付けられた一台のロボットがあった。ある日、R1の予備バッテリーをしまってある部屋に時限爆弾が仕掛けられ、それはまもなく爆発するようにセットされていた。部屋には一台のワゴンがあり、バッテリーはその上にある。R1はバッテリー救出作戦を立てた。すなわち、PULLOUT（WAGON, ROOM）という行動を行えば、バッテリーを部屋から持ち出すことができると考えた。R1はただちにこれを実行した。ところが、不幸なことに爆弾もまたワゴンの上にあった。R1は爆弾がワゴンの上にあることを知っていたが、ワゴンを引っぱり出すことが、バッテリーと一緒に爆弾も持ち出すことになるということに気が付かなかった。自分が計画した行動のこの明白な帰結を見落としていたR1は、部屋の外で爆発してしまった。 • 技術者たちは考えた。ロボットは自分の行動の帰結として、自分の意図したものだけではなく、副産物についての帰結も認識できなければならない、ロボットは周囲の状況の記述を用いて自分の行動を計画するから、そのような記述から副産物についての帰結を演繹（deduce）させればよい、と。こうしたわけで、R1D1（robot-deducer）がつくられた。R1D1はR1と同じ苦境にたたされた。R1D1 も、PULLOUT（WAGON, ROOM）を考えついた。それからR1D1は、設計されたとおり、この行動の帰結を考え始めた。R1D1は、ワゴンを部屋から引っぱり出しても部屋の壁の色は変わらないということを演繹し、ワゴンを引けば車輪が回転するだろうという帰結の証明にとりかかった。そのとき爆弾は爆発した。 • 技術者たちは考えた。われわれはロボットに、関係のある（relevant）帰結と関係のない（irrelevant）帰結との区別を教えてやり、関係のないものは無視するようにさせなければならない、と。こうしたわけで、R2D1（robot-relevant-deducer：分別のある演繹ロボット）がつくられた。R2D1も例の苦境にたたされた。すると、驚いたことに、このロボットは、部屋に入ろうともせず、じっとうずくまって考えていた。設計者たちは「何かしろ」と叫んだ。R2D1は「してますよ」と答えた。「私は、無関係な帰結を探し出してそれを無視するのに忙しいんです。そんな帰結が何千とあるんです。私は、関係のない帰結を見つけると、すぐそれを無視しなければならないもののリストにのせて、……」また爆発してしまった。（例）倉庫に箱があり、箱の中にバッテリーと時限爆弾がある。この箱を持ち出すようにロボットに命令すると・・・ 1号：そのまま持ち出して爆発 2号：持ち出す方法の計算中に爆発 3号：持ち出す方法の計算方法の計算中に爆発
フレーム問題と素性 if ON(ワゴン、バッテリー） then PULLOUT(ワゴン, ルーム） if ON(ワゴン、バッテリー) & ¬ ON(バッテリー、爆弾） & ¬ ON(バッテリー、核兵器） & ¬ON(ワゴン, 天井） & …. then PULLOUT(ワゴン、ルーム) if ENTER(ロボット、ルーム） then LOCATION(ロボット、ルーム) if SING(ロボット) then … if ENTER(ロボット、トイレ） then … • • 述語や命題〜素性フレーム問題は、IF-THENルールにおける素性生成の問題難しい問題２：何を、述語や命題として書けばいいの？それを使って、どのようなルールを書いておけばいいの？なぜ人間は関係のある知識だけを使えるの？
シンボルグラウンディング問題 • シンボルグラウンディング問題とは、記号システム内のシンボルがどのようにして実世界の意味と結びつけられるかという問題。記号接地問題とも言う。(Harnard 1990) • コンピュータには、記号の「意味」が分かっていないので、記号の操作だけで知能は実現できない。シンボルを、その意味するものと結びつける（グラウンドさせる）ことが必要であり、困難である。 • 言い換えると、多くのデータの中から自律的に出現したものと、それを表すシンボルを結びつけなければいけない
Zebra = horse + stripes? • (1) Suppose the name "horse" is grounded by iconic and categorical representations, learned from experience, that reliably discriminate and identify horses on the basis of their sensory projections. • (2) Suppose "stripes" is similarly grounded. • Now consider that the following category can be constituted out of these elementary categories by a symbolic description of category membership alone: • (3) "Zebra" = "horse" & "stripes” • What is the representation of a zebra? It is just the symbol string "horse & stripes." But because "horse" and "stripes" are grounded in their respective iconic and categorical representations, "zebra" inherits the grounding, through its grounded symbolic representation. In principle, someone who had never seen a zebra (but had seen and learned to identify horses and stripes) could identify a zebra on first acquaintance armed with this symbolic representation alone (plus the nonsymbolic -- iconic and categorical -- representations of horses and stripes that ground it).
シンボルグラウンディング問題 • シンボルグラウンディング問題とは、記号システム内のシンボルがどのようにして実世界の意味と結びつけられるかという問題。記号接地問題とも言う。(Harnard 1990) • コンピュータには、記号の「意味」が分かっていないので、記号の操作だけで知能は実現できない。シンボルを、その意味するものと結びつける（グラウンドさせる）ことが必要であり、困難である。難しい問題３：なぜ人間は、シマウマがシマのある馬だとわかるのか？例えば、シマのある象と聞いて、なぜ思い浮かべることができるのか？
これまでの人工知能の壁≒表現獲得の壁 • 難しい問題１：機械学習における素性生成 – 素性をどう作るの？ • 難しい問題２：フレーム問題 – ロボットが動くとどうなるかを、どう考えればいいか – = if-thenルールで書いた場合の素性をどう作るの？ • 難しい問題３：シンボルグラウンディング問題 – シマウマがシマのある馬だと、どう理解すればいいか？ – ＝素性をどう作って、それに名前（シンボル）を与えるの？結局、難しい問題は全部同じことを指しており、素性（＝表現）を、データをもとにいかに作るかという問題。
表現獲得とは何か？そもそもの世界の難しさ • 任意のものは任意の（関数）の組み合わせでできる • 無限に探索すれば、いつか良いものができる – 将棋でも、創薬でも、生物でも、会社でも。 • ただ、それをいかに「速く」見つけるか – 組み合わせをいかに効率的に探索するか。
深いアーキテクチャが重要な理由 • 浅すぎる階層では表現できない関数もある。
AIの古典的な論理で言うと • 理論的には、kの深さで表される関数は、k-1の深さで表そうとすると、指数的な数の要素が必要になることもある。 • 論理回路 – すべてのBoolean Functionは、２階層で表現できる。ANDのORか、 ORのANDか。 – disjunctive normal form, conjunctive normal form – (x1∧x2∧¬x3）∨(¬x1∧x2∧x3）∨(x1∧¬x2∧x3） – (¬x1∨¬x2∨¬x3）∧ (¬x1∨x2∨x3）∧ (x1∨¬x2∨x3）∧…
インデックスとしての表現 • 表現と計算量にはトレードオフがある。 – マッカーシーらの論理主義者達はフレーム問題を記述の量減らしと狭くとらえたため，かえって処理の量を増やしてしまっている(有限のアルゴリズムがあればよいとするようだ)。記述の量と処理の量はトレードオフである。そのため双方を考慮しなければいけない。（松原 1990) • ある程度「汎用的に」使えるように、データをあらかじめ加工しておく。 – 検索におけるインデックス作り • 途中までやって、中間表現として、おいておく。 – 例えば「シマ」という概念：いろいろな表現の生成に使える。 – 料理で言うと、魚の切り身とか、肉の薄切りとか • この「途中までやっておく」という処理ができれば、表現獲得の問題が（だいぶ）解決できる！
脳と深いアーキテクチャ • 哺乳類の脳は、深いアーキテクチャで、入力が複数の抽象化のレベルで表現される。 • ここでいうアーキテクチャの深さとは、非線形な関数のレベルの数である。 • 研究者達は、長年、深い多層のニューラルネットワークを訓練しようとして来たが、2006年までは成功しなかった。２、３層でよい結果はでても、それ以上になると結果は悪くなった。 • 2006年にHintonらは、Deep Belief Network (DBN)を提案した。2006年以来、多くの学習問題、回帰問題、次元削減、textureやmotionのモデル化、情報検索やロボット、自然言語処理、協調フィルタリング等でよい結果を示した。 Deep Learningがまさに、中間表現を作る仕組み！というわけで、Deep Learningやばい！（みんなが言ってるからやばいのではない。）
Deep Learningの取り組み • • • 人工知能の50年来の画期的なブレークスルー多段のニューラルネットワーク素性を作り出す。「気づき」日経ビジネス2013年4月15日号
普通の手書き文字認識 Yuta Kikuchiさんの資料：http://kiyukuta.github.io/2013/09/28/casualdeeplearning4nlp.html
Back Propagation
Auto-encoder • 入力と出力が同じ • すると、中間のノードは、「入力を圧縮して復元」することになる。
Auto-encoderで得られる表現
“Deep”にした場合
Deep Learningの展開 • DBN • Auto-encoder – Sparse autoencoder – Denoising autoencoder – …. • 関数をどのようなものを使うか – Sigmoid – Max – Rectifier • ロバスト性を入れる – さまざまなdropout 次回、詳しい講演があります。
DLの実績 • ILSVRC2012 • 他のコンペティションでも圧勝
DL関連の国際会議 • • • ICLR: International Conference on Learning Representations（今年から） ICML: International Conference on Machine Learning NIPS: Neural Information Processing Systems Conference DL関連のニュース • • • • Google Brain：Hinton先生と学生をGoogleが買収 Microsoftが音声認識をDLに置き換える BaiduがシリコンバレーにDeep Learningの研究所を作る FBに人工知能研究所設立: NY大のYann LeCun教授
さきがけ提案書 2008 従来手法 Multi-task learning (Amit et al. ICML’07) Latent Semantic Indexing等語のベクトル Andoらの方法 (ICML07, NIPS06等) 共通素性潜在的トクピッ共通素性与えられたクラス／タスク語補助問題（語の予測問題）予測対象を自動成する生とての語し提案手法：予測の構造とてのネッワークしト個々の語が他の語を予測する。共通素性が、再び予測対象とて補助問題が成さしれる。生
博士論文2002
5. 高次特徴の言語によるバインディングシンボルグラウンディング 4. 行為を介しての抽象化 → 名詞だけでなく動詞（その様態としての形容詞や副推論・オントロジー 1. 画像 → 画像特徴の抽象化 2. 観測したデータ（画像＋音声＋圧力センサー＋…） → マルチモーダルな抽象化プランニング 3. 自分の行動に関するデータ＋観測したデータ → 行為と帰結の抽象化身体性 6. バインディングされた言語データの大量の入力言語 → さらなる抽象化、言語理解、自動
超知能の実現に向けて • 何がこの先にあるか – 行動と観測のデータ入力 – 概念と言語ラベルのグラウンディング – 大量の言語表現の入力 – … • （今の段階で言語やっても、うまくいかないと思います。） • 人工知能で唯一難しかった問題（表現の獲得）に、突破の糸口が見えた • 「なぜ、できないの？できて当たり前」という当初の仮説に帰るべき • ディープラーニング：大脳新皮質 • 脳の各構造をどのように作っていけばよいか？
最後に（宣伝） Deep Learning（深層学習）解説記事人工知能学会誌で全7回絶賛掲載中！ 2013年5月号第１回ディープボルツマンマシン入門、安田宗樹 2013年7月号第２回多層ニューラルネットワークによる深層表現の学習、麻生英樹 2013年9月号第３回大規模Deep Learning（深層学習）の実現技術、岡野原大輔 2013年11月号第４回画像認識のための深層学習、岡谷貴之いま、人工知能学会の会員になると、2013年5月号のバックナンバーから送られてきます！

全脳アーキテクチャ勉強会第１回（松尾）

Check these out next

全脳アーキテクチャ勉強会第１回（松尾）

Recommended

More Related Content

Viewers also liked(13)

Recently uploaded(20)