Your SlideShare is downloading. ×
0
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
全脳アーキテクチャ勉強会 第1回(松尾)
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

全脳アーキテクチャ勉強会 第1回(松尾)

9,270

Published on

第1回 全能アーキテクチャ勉強会の松尾部分の講演です。 …

第1回 全能アーキテクチャ勉強会の松尾部分の講演です。

Published in: Technology
2 Comments
53 Likes
Statistics
Notes
  • 第2回の全能アーキテクチャ勉強会は2014年1月30日です.
    詳しくは,
    http://atnd.org/event/E0023316
    を御覧ください.
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • 第1回全脳アーキテクチャ勉強会は2013年12月19日に,
    100名近くの方々が参加し大盛況のうちに終了しました.

    現在,これに関連するFacebook上のグループを解説しています.
    また,講演資料が公開されています.

    ・Facebook グループ: 全脳アーキテクチャ -whole brain architecture-
    https://www.facebook.com/groups/whole.brain.architecture/


    ・勉強会開催の主旨説明(一杉裕志)
    http://staff.aist.go.jp/y-ichisugi/brain-archi/20131219wba-shusi.pdf

    ・AIの未解決問題とDeep Learning(松尾豊)
    http://www.slideshare.net/yutakamatsuo/ss-29407641?from_search=3

    ・脳の主要な器官の機能とモデル(一杉裕志)
    http://staff.aist.go.jp/y-ichisugi/brain-archi/20131219model.pdf

    ・脳を参考として人レベルAIを目指す最速の道筋(山川宏)
    http://www.slideshare.net/HiroshiYamakawa/2013-1219ss
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
No Downloads
Views
Total Views
9,270
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
273
Comments
2
Likes
53
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. AIの未解決問題とDeep Learning 東京大学 松尾 豊
  • 2. 自己紹介 1997年 2002年 2005年 2007年 東京大学工学部電子情報工学科卒業 同大学院博士課程修了.石塚研究室.博士(工学) 産業技術総合研究所 研究員 スタンフォード大学客員研究員 東京大学 大学院工学系研究科総合研究機構/技術経営戦略学 専攻 准教授 専門は、Web工学、人工知能 2012年より、人工知能学会 編集委員長・理事。2007年より国際WWW会 議プログラム委員。WWW2014ではウェブマイニングトラックのトラック チェア。 オーマ株式会社技術顧問、経営共創基盤(株)顧問、Pluga AI Asset Management 技 術顧問、国立情報学研究所客員准教授、国家戦略会議 叡智のフロンティア部会委員等 2
  • 3. 人工知能 • 人の知能をコンピュータで作りたい • コンピュータ=人工知能 • 1956 ダートマス会議 • 1957 General Problem Solver (GPS): ハーバート・サイモン、アラン・ ニューウェル • 1960-1970 定理証明システム、医療診断システム • 1980-1987 ブーム • 1987-1993 冬の時代
  • 4. 人工知能の分野
  • 5. 難しさ • • 結局、真の人工知能はできていない。 「人工知能」だと言っているのは全部フェイクです。 – それはみんな(研究者は)分かっている • • 狭義の人工知能(強いAI) 広義の人工知能(弱いAI、Intelligence Amplifier) • 根本的な問題 – 知識獲得のボトルネック – 知識表現の問題:フレーム問題 – シンボルグラウンディング問題 • ほとんど全部同じことを言っている。 – = 機械学習における特徴生成の問題
  • 6. 機械学習 事例(example) 素性(そせい、feature):特徴を表す量 クラス X1 X2 X3 X4 X5 … class 10 2 1.1 1.3 0 ◯ 1 1 -2.1 1.1 0 ◯ 18 4 3.9 5.5 1 △ 20 13 2.8 1.5 0 △ 2 1 -1.0 3.2 1 ◯ 23 2 10.2 2.0 0 △ … 2つのクラスを分離する曲面を見つける。(=学習させ る) いったん学習させれば、新しいデータに対し、 曲面のどちら側に存在するかで、クラスを予測でき る
  • 7. 機械学習のステップ • 機械学習の2つのステップ – – • STEP1 入力データからの特徴抽出(Feature Engineering) STEP2 学習・推論 特徴抽出は大変 – – ドメイン知識や人手による試行錯誤 どの値をどう使うか 人工知能は、コン ピュータに人間と同様 の知能を実現させよう という試み、その基礎 技術をさす。日常語と しての「人工知能」と いう呼び名は曖昧なも のになっている。 素性(feature) 人工知能 2 コンピュータ 1 知能 1 同様 1 色 赤 高さ 5cm かさの直径 2cm 斑点 あり 分類/回帰 Naïve Bays, SVM, LogReg, ・・・ Naïve Bays, SVM, LogReg, ・・・
  • 8. 例:年収予測 性別 地域 身長 好きな色 年収 男 東京 168 赤 250 男 埼玉 176 白 700 男 神奈川 183 青 1200 女 東京 155 別に 400 男 千葉 174 赤 180 女 東京 163 緑 5000 • 年齢いれようよ • 職業も必要でしょう • 業種とかスキルとかも 入れた方がいいんじゃない? なぜ人間には それが分かるの? 経験?
  • 9. MIUシステム ゲーデル、エッシャー、バッハ - あるいは不思議の環』(ダグラス・ホフスタッター,
  • 10. MI ①xI → xIU ②Mx→ Mxx ③III → U Simplified from original version
  • 11. MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU
  • 12. MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU If x = I, we get MII
  • 13. MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU If x = I, we get MII If x = II, we get MIIII
  • 14. MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU If x = I, we get MII If x = II, we get MIIII MIU MII MIII MIUU MIIU …
  • 15. MI ①xI → xIU ②Mx→ Mxx ③III → U If x = M, we get MIU If x = I, we get MII If x = II, we get MIIII MI MIU MII MII MIUU MIIU MIUIU MIUU MIIU MIUIU MIUI MIIU MIII MIIII MIIU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU ……
  • 16. Q1. MI ①xI → xIU ②Mx→ Mxx ③III → U MIIU Q2. MI MU Q3. MI U
  • 17. Q1. MI MIIU A. Yes. MI → ② → MII → ① → MIIU ①xI → xIU ②Mx→ Mxx ③III → U Q2. MI MU Q3. MI U
  • 18. Q1. MI MIIU A. Yes. MI → ② → MII → ① → MIIU ①xI → xIU ②Mx→ Mxx ③III → U Q2. MI MU A. Yes. MI → ② → MII → ② → MIII → ③ → MU Q3. MI U
  • 19. Q1. MI MIIU A. Yes. MI → ② → MII → ① → MIIU ①xI → xIU ②Mx→ Mxx ③III → U Q2. MI MU A. Yes. MI → ② → MII → ② → MIII → ③ → MU Q3. MI U A. No.
  • 20. MI MIU MII MII MIUU MIIU MIUIU MIUU MIIU MIUIU MIUI MIIU MIII MIIII MIIU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUIIU MIIUIU MIIIUU MIIIIU MIIIIIU MIIIIIIU MIIIUIIIU MUU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUIIU MIIUIU MIIIUU MIIIIU MIIIIIU MIIIIIIU MIIIUIIIU MUU MIUIIIU MIIUIIU MIIIUIU MIIIIUU MIIIIIU MIIIIIIU MIIIIIIIU MIIIIIIIIU
  • 21. Noの理由 • 最初のMが消えないから • これを機械学習に入れるとすると、 Mの数 Iの数 Uの数 IUの数 UUの数 … MIから生成 できるか 2 1 0 0 0 … Yes 1 3 2 1 0 … No 0 2 3 0 1 … No 0 0 1 0 0 … No 1 1 0 0 0 … NO 2 1 1 0 0 … Yes
  • 22. Noの理由 • 最初のMが消えないから • これを機械学習に入れるとすると、 Mの数 Iの数 Uの数 IUの数 UUの数 最初にM があるか MIから生成 できるか 2 1 0 0 0 0 Yes 1 3 2 1 0 1 No 0 2 3 0 1 0 No 0 0 1 0 0 0 No 1 1 0 0 0 1 NO 2 1 1 0 0 0 Yes
  • 23. ツイートを分類したい • 地震が起きたことを言っているかどうか – 「揺れてる?怖い」:地震 – 「今日は勉強会だ」:それ以外 • ツイートに含まれるキーワード:53% • + 地震に関するキーワードの文脈:57% • + ツイートの長さ:73% • 要するに、地震のツイートは短い – 「地震?」「揺れた?」 • なぜ「ツイートの長さ」という特徴を入れることができるの??? 難しい問題1: 機械学習で、有用な素性をなぜ人間は作り出すことができる の?
  • 24. フレーム問題 • 現実世界には無限の情報量がある • コンピュータには有限の情報処理能力しかない • したがって、コンピュータに現実世界の情報を処理することは無理 (例) 倉庫に箱があり、箱の中にバッテリーと時限爆弾がある。 この箱を持ち出すようにロボットに命令すると・・・ 1号: そのまま持ち出して爆発 2号: 持ち出す方法の計算中に爆発 3号: 持ち出す方法の計算方法の 計算中に爆発
  • 25. フレーム問題(Dennett 1984) • R1と名付けられた一台のロボットがあった。ある日、R1の予備バッテリーをしまってある部屋に時限爆弾が仕掛けられ、それはまも なく爆発するようにセットされていた。部屋には一台のワゴンがあり、バッテリーはその上にある。R1はバッテリー救出作戦を立て た。すなわち、PULLOUT(WAGON, ROOM)という行動を行えば、バッテリーを部屋から持ち出すことができると考えた。R1はただ ちにこれを実行した。ところが、不幸なことに爆弾もまたワゴンの上にあった。R1は爆弾がワゴンの上にあることを知っていたが、 ワゴンを引っぱり出すことが、バッテリーと一緒に爆弾も持ち出すことになるということに気が付かなかった。自分が計画した行動 のこの明白な帰結を見落としていたR1は、部屋の外で爆発してしまった。 • 技術者たちは考えた。ロボットは自分の行動の帰結として、自分の意図したものだけではなく、副産物についての帰結も認識できな ければならない、ロボットは周囲の状況の記述を用いて自分の行動を計画するから、そのような記述から副産物についての帰結を演 繹(deduce)させればよい、と。こうしたわけで、R1D1(robot-deducer)がつくられた。R1D1はR1と同じ苦境にたたされた。R1D1 も、PULLOUT(WAGON, ROOM)を考えついた。それからR1D1は、設計されたとおり、この行動の帰結を考え始めた。R1D1は、ワゴ ンを部屋から引っぱり出しても部屋の壁の色は変わらないということを演繹し、ワゴンを引けば車輪が回転するだろうという帰結の 証明にとりかかった。そのとき爆弾は爆発した。 • 技術者たちは考えた。われわれはロボットに、関係のある(relevant)帰結と関係のない(irrelevant)帰結との区別を教えてやり、関 係のないものは無視するようにさせなければならない、と。こうしたわけで、R2D1(robot-relevant-deducer:分別のある演繹ロボッ ト)がつくられた。R2D1も例の苦境にたたされた。すると、驚いたことに、このロボットは、部屋に入ろうともせず、じっとうずく まって考えていた。設計者たちは「何かしろ」と叫んだ。R2D1は「してますよ」と答えた。「私は、無関係な帰結を探し出してそれ を無視するのに忙しいんです。そんな帰結が何千とあるんです。私は、関係のない帰結を見つけると、すぐそれを無視しなければな らないもののリストにのせて、……」また爆発してしまった。 (例) 倉庫に箱があり、箱の中にバッテリーと時限爆弾がある。 この箱を持ち出すようにロボットに命令すると・・・ 1号: そのまま持ち出して爆発 2号: 持ち出す方法の計算中に爆発 3号: 持ち出す方法の計算方法の 計算中に爆発
  • 26. フレーム問題と素性 if ON(ワゴン、バッテリー) then PULLOUT(ワゴン, ルーム) if ON(ワゴン、バッテリー) & ¬ ON(バッテリー、爆弾) & ¬ ON(バッテリー、核兵器) & ¬ON(ワゴン, 天井) & …. then PULLOUT(ワゴン、 ルーム) if ENTER(ロボット、ルーム) then LOCATION(ロボット、ルーム) if SING(ロボット) then … if ENTER(ロボット、トイレ) then … • • 述語や命題 〜 素性 フレーム問題は、IF-THENルールにおける素性生成の問題 難しい問題2: 何を、述語や命題として書けばいいの? それを使って、どのようなルールを書いておけばいいの? なぜ人間は関係のある知識だけを使えるの?
  • 27. シンボルグラウンディング問題 • シンボルグラウンディング問題とは、記号システム内のシンボルが どのようにして実世界の意味と結びつけられるかという問題。記号 接地問題とも言う。(Harnard 1990) • コンピュータには、記号の「意味」が分かっていないので、記号の 操作だけで知能は実現できない。シンボルを、その意味するものと 結びつける(グラウンドさせる)ことが必要であり、困難である。 • 言い換えると、多くのデータの中から自律的に出現したものと、そ れを表すシンボルを結びつけなければいけない
  • 28. Zebra = horse + stripes? • (1) Suppose the name "horse" is grounded by iconic and categorical representations, learned from experience, that reliably discriminate and identify horses on the basis of their sensory projections. • (2) Suppose "stripes" is similarly grounded. • Now consider that the following category can be constituted out of these elementary categories by a symbolic description of category membership alone: • (3) "Zebra" = "horse" & "stripes” • What is the representation of a zebra? It is just the symbol string "horse & stripes." But because "horse" and "stripes" are grounded in their respective iconic and categorical representations, "zebra" inherits the grounding, through its grounded symbolic representation. In principle, someone who had never seen a zebra (but had seen and learned to identify horses and stripes) could identify a zebra on first acquaintance armed with this symbolic representation alone (plus the nonsymbolic -- iconic and categorical -- representations of horses and stripes that ground it).
  • 29. シンボルグラウンディング問題 • シンボルグラウンディング問題とは、記号システム内のシンボルが どのようにして実世界の意味と結びつけられるかという問題。記号 接地問題とも言う。(Harnard 1990) • コンピュータには、記号の「意味」が分かっていないので、記号の 操作だけで知能は実現できない。シンボルを、その意味するものと 結びつける(グラウンドさせる)ことが必要であり、困難である。 難しい問題3: なぜ人間は、シマウマがシマのある馬だとわかるのか? 例えば、シマのある象と聞いて、なぜ思い浮かべることができる のか?
  • 30. これまでの人工知能の壁≒表現獲得の壁 • 難しい問題1:機械学習における素性生成 – 素性をどう作るの? • 難しい問題2:フレーム問題 – ロボットが動くとどうなるかを、どう考えればいいか – = if-thenルールで書いた場合の素性をどう作るの? • 難しい問題3:シンボルグラウンディング問題 – シマウマがシマのある馬だと、どう理解すればいいか? – = 素性をどう作って、それに名前(シンボル)を与えるの? 結局、難しい問題は全部同じことを指しており、 素性(=表現)を、データをもとにいかに作るかという問題。
  • 31. 表現獲得とは何か? そもそもの世界の難しさ • 任意のものは任意の(関数)の組み合わせでできる • 無限に探索すれば、いつか良いものができる – 将棋でも、創薬でも、生物でも、会社でも。 • ただ、それをいかに「速く」見つけるか – 組み合わせをいかに効率的に探索するか。
  • 32. 深いアーキテクチャが重要な理由 • 浅すぎる階層では表現できない関数もある。
  • 33. AIの古典的な論理で言うと • 理論的には、kの深さで表される関数は、k-1の深さで表 そうとすると、指数的な数の要素が必要になることもあ る。 • 論理回路 – すべてのBoolean Functionは、2階層で表現できる。ANDのORか、 ORのANDか。 – disjunctive normal form, conjunctive normal form – (x1∧x2∧¬x3)∨(¬x1∧x2∧x3)∨(x1∧¬x2∧x3) – (¬x1∨¬x2∨¬x3)∧ (¬x1∨x2∨x3)∧ (x1∨¬x2∨x3)∧…
  • 34. インデックスとしての表現 • 表現と計算量にはトレードオフがある。 – マッカーシーらの論理主義者達はフレーム問題を記述の量減らしと狭くと らえたため, かえって処理の量を増やしてしまっている(有限のアルゴリズ ムがあればよいとするようだ)。 記述の量と処理の量はトレードオフである。 そのため双方を考慮しなければいけない。(松原 1990) • ある程度「汎用的に」使えるように、データをあらかじめ加工してお く。 – 検索におけるインデックス作り • 途中までやって、中間表現として、おいておく。 – 例えば「シマ」という概念:いろいろな表現の生成に使える。 – 料理で言うと、魚の切り身とか、肉の薄切りとか • この「途中までやっておく」という処理ができれば、表現獲得の問題 が(だいぶ)解決できる!
  • 35. 脳と深いアーキテクチャ • 哺乳類の脳は、深いアーキテクチャで、入力が複数の抽象化のレベルで 表現される。 • ここでいうアーキテクチャの深さとは、非線形な関数のレベルの数であ る。 • 研究者達は、長年、深い多層のニューラルネットワークを訓練しようと して来たが、2006年までは成功しなかった。2、3層でよい結果はでて も、それ以上になると結果は悪くなった。 • 2006年にHintonらは、Deep Belief Network (DBN)を提案した。2006年以来、 多くの学習問題、回帰問題、次元削減、textureやmotionのモデル化、情 報検索やロボット、自然言語処理、協調フィルタリング等でよい結果を 示した。 Deep Learningがまさに、中間表現を作る仕組み! というわけで、Deep Learningやばい! (みんなが言ってるからやばいのではない。)
  • 36. Deep Learningの取り組み • • • 人工知能の50年来の画期的なブレークスルー 多段のニューラルネットワーク 素性を作り出す。「気づき」 日経ビジネス2013年4月15日号
  • 37. 普通の手書き文字認識 Yuta Kikuchiさんの資料:http://kiyukuta.github.io/2013/09/28/casualdeeplearning4nlp.html
  • 38. Back Propagation
  • 39. Auto-encoder • 入力と出力が同じ • すると、中間の ノードは、「入力 を圧縮して復元」 することになる。
  • 40. Auto-encoderで得られる表現
  • 41. “Deep”にした場合
  • 42. Deep Learningの展開 • DBN • Auto-encoder – Sparse autoencoder – Denoising autoencoder – …. • 関数をどのようなものを使うか – Sigmoid – Max – Rectifier • ロバスト性を入れる – さまざまなdropout 次回、詳しい講演があります。
  • 43. DLの実績 • ILSVRC2012 • 他のコンペティションでも圧勝
  • 44. DL関連の国際会議 • • • ICLR: International Conference on Learning Representations(今年から) ICML: International Conference on Machine Learning NIPS: Neural Information Processing Systems Conference DL関連のニュース • • • • Google Brain:Hinton先生と学生をGoogleが買収 Microsoftが音声認識をDLに置き換える BaiduがシリコンバレーにDeep Learningの研究所を作る FBに人工知能研究所設立: NY大のYann LeCun教授
  • 45. さきがけ提案書 2008 従来手法 Multi-task learning (Amit et al. ICML’07) Latent Semantic Indexing等 語のベクト ル Andoらの方法 (ICML07, NIPS06等) 共通素性 潜在的ト ク ピッ 共通素性 与えられたクラス /タ スク 語 補助問題( 語の予測問題) 予測対象 を自動 成する 生 と ての語 し 提案手法: 予測の構造と てのネッ ワーク し ト 個々の語が他の語を予測する。 共通素性が、 再び予測対象と て補助問題が 成さ し れる。 生
  • 46. 博士論文2002
  • 47. 5. 高次特徴の言語による バインディング シンボルグラウンディング 4. 行為を介しての抽象化 → 名詞だけでなく動詞 (その様態としての形容詞や副 推論・オントロジー 1. 画像 → 画像特徴の抽象化 2. 観測したデータ(画像+音声+圧力センサー+…) → マルチモーダルな抽象化 プランニング 3. 自分の行動に関するデータ + 観測したデータ → 行為と帰結の抽象化 身体性 6. バインディングされた言語データの大量の入力 言語 → さらなる抽象化、言語理解、自動
  • 48. 超知能の実現に向けて • 何がこの先にあるか – 行動と観測のデータ入力 – 概念と言語ラベルのグラウンディング – 大量の言語表現の入力 – … • (今の段階で言語やっても、うまくいかないと思います。) • 人工知能で唯一難しかった問題(表現の獲得)に、突破の糸口が見 えた • 「なぜ、できないの?できて当たり前」という当初の仮説に帰るべ き • ディープラーニング:大脳新皮質 • 脳の各構造をどのように作っていけばよいか?
  • 49. 最後に(宣伝) Deep Learning(深層学習) 解説記事 人工知能学会誌で 全7回 絶賛掲載中! 2013年5月号 第1回 ディープボルツマンマシン入門、安田 宗樹 2013年7月号 第2回多層ニューラルネットワークによる深層表現 の学習、麻生 英樹 2013年9月号 第3回 大規模Deep Learning(深層学習)の実現技術、 岡野原 大輔 2013年11月号 第4回 画像認識のための深層学習、岡谷 貴之 いま、人工知能学会の会員になると、2013年5月号の バックナンバーから送られてきます!

×