Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
人間の思考、機械の思考 
-- IT技術者のための機械による知能研究入門 
@maruyama097 
丸山不二夫
It’s not who has the best algorithm that wins. 
It’s who has the most data. 
--- Andrew Ng
我思う。故に、我あり。 
--- デカルト 
かみあわない
はじめに 
 「機械は人間のように考えることは可能か?」という問題 
を考えてみよう。そうした能力をもつと皆が認める機械は、 
現状では存在しないので、こうした問いかけに、ただちに 
肯定的に答えることは出来ない。 
 ただ、問題を、「機械...
はじめに 
 小論の前半では、「知能研究」への、いくつかのアプロー 
チを紹介した。「人間の思考、機械の思考」の問題は、IT 
技術・コンピュータサイエンスに閉じている訳ではない。 
様々の領域から、多様なアプローチが行われている。 
 小...
Agenda 
 「賢い」機械たちの登場 
 生物と人間と機械の進化 
 人間の脳へのアプローチ 
 ニューラル・ネットワークのアプローチ 
 言語能力へのアプローチ 
 大規模システムと検索の変化 
 機械とネットワークに「知識...
「賢い」機械たちの登場
http://bit.ly/1v9dHvz
方向指示が、すぐ目の前に
思った事を、何でも聞いてみる
しゃべった事を、他の言葉に翻訳する
質問しなくても、答えてくれる
顔認証 
ビデオhttp://bit.ly/1rmKe0A 資料http://bit.ly/1mrZ8m0
http://www.clarifai.com/
Google 自動運転車 
https://www.youtube.com/watch?v=EoHa0PgeSho
Google Car 
https://www.youtube.com/watch?v=EoHa0PgeSho
運転自動化の取り組み 
 ベンツ: 
https://www.youtube.com/watch?v=u5NDv1cyjiA 
 Audi: 
https://www.youtube.com/watch?v=YSfijL7pkyI 
 ト...
https://www.youtube.com/watch?v=6KRjuuEVEZs
インターフェースの進化 
キーボードとマウス 
タッチ・スクリーン 
音声入力 
現在は、まだ萌芽的なものだが、 
いずれ、自然言語による音声入 
力が、人間と人間の意図を理解 
出来る「知能」をもったマシンとの 
インターフェースの中心となる...
生物と人間と機械の進化 
 生物の知能 
 人間の知能の発展 
 機械の誕生と進化
生物と機械との 
問題解決のスタイルの違い 
 進化が作り上げた生物と人間が発明した機械と 
では、問題解決のスタイルに大きな違いがある。 
空を飛ぶという同じ目標に、生物の進化による飛 
行能力の獲得と人間による飛行機の発明は、違 
うアプ...
 「知能」へのアプローチも、生物と機械とでは異な 
る可能性は高い。ただ、こうした問題に決着がつ 
いている訳ではない。
生物の知能 
 感覚・知覚・記憶・認知の能力 
 感覚・運動の能力 
 コミュニケーションの能力
生物の知能 
 人間だけが「知能」を持つ訳ではない。多くの生き物が、 
感覚・知覚・記憶・認知の能力を持っている。 
 人間の思考能力もこれらの感覚・知覚・記憶・認知の能力 
の土台の上に構築されている。 
 多くの生き物は、こうした感覚...
視覚の誕生と発展 
 生物の最も高度な知覚の器官は「眼」である。視 
覚は、今から5億年以上前のカンブリア紀に大き 
な進化を遂げたという。 
 捕食者として当時の生態系の頂点に立ったアノマ 
カリスは立派な眼を持っていた。視覚に生物学的 ...
多くの生物は目を持っている 
ゲーリングによる目の遺伝子Pax-6の発見 
https://www.brh.co.jp/seimeishi/journal/012/ss_1.html
人間の知能の発展 
機械の誕生と進化 
人間の知能を飛躍的に発展させたのは、30万年前に 
獲得した言語能力だった。それをを土台として、三千 
年前に文字を、15世紀半ばには印刷技術を発明し、 
20世紀初頭から、様々のメディアを発達させた。 ...
言語能力
文字
文字
メディア
機械
機械 
http://socserv.mcmaster.ca/econ/ugcm/3ll3/ure/PhilosophyManufactures.pdf
機械
コンピュータ
コンピュータ
インターネット
「機械の思考」という 
時、我々が思い浮か 
べる機械は、コンピュ 
ータやロボットであっ 
て時計ではない。 
人間の「知能」は、 
生物学的基礎を持つ。 
ただ、人間の「知識」 
は、非生物学的な 
メディア(教育・書籍・ 
ネット等)によ...
人間の脳へのアプローチ 
「知能」については、人間の脳は、いまだ機械 
の知能の理想とすべきモデルである。脳研究 
は、「人間の思考、機械の思考」研究の中心 
分野である。
脳のニューロンの 
コンピュータ・グラフィックス
20nm
脳は、1mm立方に 
5万個のニューロンを含み、 
一つのニューロンは 
6千個のシナプスをもつ。
大脳新皮質には、 
100億のニューロンと 
60兆個のシナプスがある! 
現時点で、最も集積度の 
高いチップの一つ 
NVIDIAのGK110は 
71億トランジスタ
クラゲだって神経はある 
http://www.tmd.ac.jp/artsci/biol/textlife/neuron.htm 
「神経系の起源と進化」 
http://bit.ly/1qR2Dmq
新しい研究手法
非侵襲的な脳のモニター技術の進歩 
 脳の血流を、MRIやCTよりもはるかに正確に、か 
つリアルタイム(200ms間隔)に、観察する新技 
術。カーボン・ナノチューブを血液に注入して、そ 
れが発する近赤外線領域の蛍光波長を見る。 
htt...
DNAシークエンサーの進歩 
 最初のヒトゲノムの解析には、10年と30億ドル 
かかった。 
 2010年までには、ヒトゲノムの解析は、一ヶ月以 
内で3万ドルで出来るようになった。 
 今では、ヒトゲノムの解析は、数日で4000ドル以...
脳研究のプロジェクト 
 Blue Brain Project 
 EU Human Brain Project 
 NIH Human Connectome Project 
 US BRAIN Initiative
Blue Brain Project 
Henry Markram 
 “I wanted to model the brain because 
we didn’t understand it.” 
 “The best way to f...
http://seedmagazine.com/content/article/out_of_the_blue/P1/
ネズミの脳
http://seedmagazine.com/content/article/out_of_the_blue/P1/
http://seedmagazine.com/content/article/out_of_the_blue/P2/
http://seedmagazine.com/content/article/out_of_the_blue/P2/}
EU Human Brain Project 
2013年10月10年間で総額約12億ユーロ
EU Human Brain Project 
https://www.humanbrainproject.eu/
EU Human Brain Project 
ビジョン 
 人間の脳を理解することは、21世紀の科学が 
直面している最も偉大な挑戦の一つである。 
もしも、我々が、それに対して立ちあがること 
が出来るならば、我々は、我々を人間にして 
...
EU Human Brain Project 
中心的な戦略目標 
 未来のニューロサイエンス 
遺伝子から行動に至る、生物学的器官のすべてのレベルを 
貫いて、健康な脳と病気の脳についてのデータと知識を統合 
した、人間の脳の統一された複数...
EU Human Brain Project 
中心的な戦略目標 
 未来の医療 
複数レベルの臨床データに基づいて、客観的で生物学的に 
基礎付けられた、神経症と精神病のマップを開発する。この 
マップを利用して、脳の病気の分類と診断を行い...
EU Human Brain Project 
批判ECへの公開質問状
脳研究をめぐる「対立」の構図 
認知科学vs 脳科学、トップダウンvs ボトムアップ 
 発端は、来年度のプロジェクトの予算配分で、認知科学的 
なアプローチの予算が、ばっさりと切られたことにあるらし 
い。それに反発した研究者のグループが、...
NIH 
Human Connectome Project 
2010年10月40億円の賞金 
http://www.nih.gov/news/health/sep2010/nimh-15.htm
NIH 
Human Connectome Project 
http://www.humanconnectomeproject.org/
US BRAIN Initiative NIHのも 
とで、12年間で4,500億円投資する 
2014/06/05 http://1.usa.gov/1pIIhvx
US BRAIN Initiative 
研究目的 
 異なる脳細胞のタイプを同定し、それへの実験的 
なアクセスを与えて、健康と疾患におけるそれぞ 
れの役割を決定する。 
 シナプスから脳全体にいたるまでの異なる精度で、 
脳の回路図を...
US BRAIN Initiative 
研究目的 
 神経活動の大規模なモニタリングの改良された 
方法を開発・適用して、脳機能の動的な描像を生 
み出す。 
 神経回路の動的な働きを変更する精細な干渉 
ツールによって、脳活動から行動へ...
US BRAIN Initiative 
研究目的 
 新しい理論的なデータ解析ツールの開発を通じて、 
精神過程の生物学的基礎の理解の為の概念的 
な基礎理論を生み出す。 
 人間の脳を理解しその障害を扱う為の革新的な 
技術を開発する。...
US BRAIN Initiative 
倫理規定 
 神経科学研究の倫理的含意を考慮すること。 
 NIHと納税者と、応用・臨床分野の基礎的な神経 
科学者のコミュニティに対する説明責任を果たす 
ことを保証するメカニズムを作り出すこと。
ニューラル・ネットワークのアプローチ 
脳全体のモデルではなく、神経回路網をモデ 
ルとしたNeural Network(NN)をコンピュー 
タ上に構成し、機械に学習能力を与えようとい 
う試み。 
現在、活発に研究が行われており、大きな成 ...
Geoffrey Hinton Andrew Ng
NN & Deep Learningの 
Lecture Note 
Geoffrey Hinton 
“Neural Networks for Machine Learning” 
http://www.cs.toronto.edu/~tij...
何が出来るのか? 
Binary Classification
何が出来るのか? 
Binary Classification
何が出来るのか? 
?
何が出来るのか? 
複数のラベルの割り当て 
この写真には、どのようなラベルを付ければいいだろうか?
人間によるラベル付け
何が出来るのか? 
Unsupervised Feature Learning (UFL) 
我々が関心を持つ対象のクラスの特徴を、もっともよく記述 
するのは何か? 
「空」はイメージした? 
「雪」でもいい 
「森林」でもいい
何が出来るのか? 
Unsupervised Feature Learning (UFL) 
これらの対象に、共通するものは何か? 
アルゴリズムが、いくつかの「特徴」を返す。
LeNetによる手書き文字認識 
http://yann.lecun.com/exdb/lenet/
ノイズがあっても読み取れる
機械による細胞のがん化の判定 
 自然な細胞死と悪性ガン腫瘍と細胞の壊死を、 
人間より正確に判定するという。 
“LEARNING INVARIANT FEATURES OF 
TUMOR SIGNATURE” 
http://cs.sta...
Andrew Ngらの新しい知覚研究と 
Googleの協力 
“Building High-level Features Using Large 
Scale Unsupervised Learning” 
Jeff Dean & Andre...
 我々は、ラベル付けされていないデータだけから、高レベ 
ルの、クラスに固有の特徴を検出することが出来るかとい 
う問題を考察した。例えば、ラベル付けされていないイ 
メージだけから、顔の検出が可能かという問題である。 
 この問題に答える...
 我々は、このネットワークを、1000台のマシン(16,000コ 
ア)のクラスター上で、並行計算モデルと非同期SGDを 
使って、三日間訓練した。 
 広く受け入れられているように見える直観に反して、我々 
の実験結果は、顔であるかそうで...
The architecture and parameters 
in one layer of our network.
Face 
no Face 
これが、一千万個の画像 
データから、16,000コア 
のマシンが三日間かけて 
抽出した「人間の顔」のイ 
メージらしい。子供の絵に 
似ているのが面白い。
「Googleの猫」 
http://bit.ly/1rSRzHq
Now You Can Build Google’s $1M 
Artificial Brain on the Cheap 
 On Monday, he’s publishing a paper that 
shows how to bui...
IBMのSyNAPSEチップ 
 ニューラル・ネットワークのハードウェアの進化では、 
今年8月に発表されたIBMのSyNAPSEチップが 
興味深い。“New IBM SyNAPSE Chip Could 
Open Era of Vast...
旧モデル(256Neurons)の 
SyNAPSEチップ
DARPA SyNAPSE Program 
 DARPAは、SyNAPSE Programを展開し、積極 
的な資金援助を行っている。 
http://www.artificialbrains.com/darpa-synapse-progr...
Andrew Ngらは、機械だけの力で諸特徴を 
学習するアルゴリズムを研究している。Google 
もそれに協力し、現在は、量子コンピュータの 
応用の最も活発な分野の一つになっている。
Unsupervised Feature Learning 
and Deep Learning 
2011年Andrew Ng 
http://icml2011speechvision.files.wor 
dpress.com/2011/0...
言語能力へのアプローチ 
 Cartesian Linguistic : Chomsky 
 Bio/Gene Linguistic : Fischer 
 Power of Data : Google 
 Deep Learning ...
Cartesian Linguistic
言語学からのアプローチ
Chomskyの観察 
Cartesian Linguistic 
 言語能力は、デカルトのいうように、人間という類 
を、人間以外の動物と区別するものである。 
 人間の言語能力の最大の特徴は、その創造性。 
いままで聞いたこともしゃべっ...
無限性Recursion 
 I ate a banana 
 I know I ate a banana 
 I think I know I ate a banana 
 I declare I think I know I ate...
The Faculty of Language: 
What Is It, Who Has it, 
and How Did It Evolve? 
http://www.chomsky.info/ 
articles/20021122.pdf...
Bio/Gene Linguistic
言語能力に関係する遺伝子の発見 
Simon Fisher 
http://bit.ly/1oCw2AI
マックス・プランク研究所 
"Language and Genetics" 
 より根本的なレベルで、発話と言語は、人間であ 
る条件の諸特徴、我々人類という種の中心的な 
諸相を定義している。 
 ただ、我々は、遺伝子が言語に対応出来る脳...
言語能力に関係する遺伝子FOXP2 
 Simon E. Fisherらによって発見された人間の 
言語能力に関係する遺伝子FOXP2 は、は虫類 
にも鳥類にも存在する。面白いことに、FOXP2は 
鳥のさえずりやコウモリの音響定位の能力と...
言語能力に関係する遺伝子FOXP2 
 ゴリラやチンパンジーと人間のFOXP2はアミノ酸 
配列で2カ所違っているだけ。(ネズミとは3カ所 
違う) この変化は、約30万年前におきたという。 
ネアンデルタール人のFOXP2は僕らと同じだと ...
Power of Data 
Googleの言語へのアプローチ 
Ben Jai “What’s Google Doing” から 
http://life.math.ntu.edu.tw/sites/ 
life.math.ntu.edu.t...
データの力 
 これまでの知見 
 計算パワーが増大するにつれて、以前には実際には 
計算することができなかった問題が解けるようになる。 
 新しい知見 
 データの量が増大するにつれて、以前には解けなかっ 
た問題が解けるようになる!...
「スペル訂正」の古典的方法論 
 語彙集/辞書を利用する(〜10万語程度) 
 語彙集の中で見つからなかった語に、「ミススペ 
ル」のフラグをたてる 
 認識されなかった語から、「編集距離」の近い語 
達を、候補として提示する。 
 編...
「スペル訂正」の課題 
 「スペル訂正の」こうしたやり方は、Web上では、 
多くの問題にぶつかることになる 
 検索の多くは、固有名である。しかし、固有名は、 
語彙集にはほとんどのっていない 
 例えば、よく使われている、ワープロソフ...
Web上での「スペル訂正」 
 “britney spears”のような、ポピュラーな名前で 
も、間違ったスペルで検索する。 
 実際の例。800以上もあった。 
 britney spears 
 brittany spears 
...
Learning From Data
Google流の「スペル訂正」 
 Webをコンテキスト語彙集として利用し、ミススペ 
ルを、Webの文脈上での利用に基づいて見つけ 
る。 
 語のスペルの、確率的なモデルを構築し、語彙集 
をWebでの語の使用に適合させると、より豊かな...
応用: 自動機械翻訳 
 目標: 異なる言語間のテキストの、高品質な 
自動変換を提供する 
 元のテキストがいかなる言語であっても、 
Web上の全てのテキスト・データを、アクセス 
可能なものにすることが出来る 
 長い期間を要する、...
アプローチ: 統計的機械翻訳 
 機械翻訳では、不確実さのもとで、決定を行う必 
要がある。(例えば、いかにして、あるフレーズを 
他のフレーズに変換するのか?) 
 目標: 最良で、理想的には最適な決定を行う 
 一般理論: 
 翻訳...
自動評価尺度BLEUについては 
http://bit.ly/1mqGN94
自動評価尺度BLEUについては 
http://bit.ly/1mqGN94
サイズが問題か? 
 機械学習の訓練に利用されている、ニュース 
のコーパスが2倍になれば、BLEAUで測定し 
た翻訳の精度は、~0.5%程度向上する。 
 4倍で1%、16倍で2%、64倍で3%、 
256倍で4%、1024倍で5% ?
Google? 
 「スペル訂正」でのGoogleのアプローチは、正しいと思う。 
データがパワーだという新しい認識も、その限りでは正し 
いものだ。 
 ただ、「統計的機械翻訳」のアプローチは、正しくないと思 
う。現実にも、Google...
Deep Learningによる 
言語学習モデル 
人間の知覚が、単一の学習アルゴリズムで説 
明出来るという仮説は正しいように見える。 
もっと強い主張は、言語の習得を含めて、全 
ての学習アルゴリズムが同型であるという主 
張である。
ニューラル・ネットを使った単語選択 
 {to, two, too}という言葉は、発音はよく似てい 
る。今、次の文の下線部に、先の三つの単語{to, 
two, too}から、一つ選んで文章を作るという問 
題を考えよう。 
For bre...
It’s not who has the best algorithm that wins. 
It’s who has the most data. 
http://bit.ly/1qKh8ro 
横軸が対数のグラフ 
10億
ニューラルネットによる文章の学習 
 GoogleのIlya Sutskeverは、文字数が5億文 
字にものぼるテキストを長い時間をかけて 
Recurrent Neural Nets に学習させ、次の 
ページのような文章を生成することが...
"An example of what recurrent neural nets 
can now do (to whet your interest!) " 
 It is less favorable to the good boy f...
"An example of what recurrent neural nets 
can now do (to whet your interest!) " 
 while he was giving attention to the s...
言語能力へのアプローチをめぐっては、 
合理論と経験論の違いが際立つ
大規模システムと検索の変化
He who controls the graph, 
controls the world.
2000年代 
大規模データ処理の第一世代の開始 
 現代のITの中核的な技術の一つは、大規模分散 
システムによる大規模データの処理技術である。 
「世界中の情報を検索可能にする」というミッショ 
ンを掲げたGoogleの、Webスケールの...
2010年代 
大規模データ処理の第二世代への転化 
 モバイル・デバイスSNSの爆発的な普及を背景と 
して、2010年ごろ、バッチ処理からリアルタイム 
処理への大規模データ処理の大きな転換が始ま 
る。 
 Googleのシステムの転...
ソーシャル・グラフと 
大規模グラフデータ処理 
 こうした変化の口火を切ったのは、個人とモバイ 
ルをターゲットとして、「世界をもっとつながったも 
のに」を会社のミッションとするFacebookの躍進 
だった。2010年4月に公開された...
検索の変化 
--- 文字列の検索から知識の検索へ 
2010年に行われた技術的転換は、バッチか 
らリアルタイムへの進化だけではなく、データ 
の量への注目からデータの質的なグラフ構造 
への注目を特質とする大規模データ処理の第 
二世代の開...
検索と大規模知識グラフデータ 
 ただ、この2010年の技術的転換の意味を、検索 
の分野で「知識グラフ」の探索として、明確に定式 
化したのは、2012年5月のGoogleの 
Knowledge Graphであった。 
 この動きに、F...
Google Knowledge Graph 
新しい検索の三つの特徴 
 正しい「もの」を見つける。(Find the right 
thing) 
 最良の要約を得る。(Get the best 
summary) 
 さらに深く、さ...
Facebook Graph Search 
リンクではなく、答えを与える 
 「Facebookが現在行っているこれら全てのこと 
より、ずっと面白いのは、人々に彼らが望むグラ 
フのどんな断片でも得ることが出来るパワーと 
ツールを与える...
MS Bing Snapshot/Satori 
検索は現実の世界の反映 
 Bingでは、我々は検索はwebのページを指す青 
いリンク以上のものであるべきだと信じている。 
我々はまた検索は現実の世界の反映であるべき 
だと信じている。 ...
「知識グラフ」に対する関心 
 「知識グラフ」に対する関心は、次のようなより長期 
的な課題の実現と結びついている。 
 自然言語を用いたインターフェース 
 知識とそれをハンドルする能力の機械への移転 
 生物の多様な認知能力と学習能...
Facebook 
next 10-year plans 
「Graph Searchは、ほとんど動かない」 
2013年1月30日 
Interview with Business Week 
http://www.businessweek....
Facebookの10年計画 
1. 高度にパーソナライズ化されたターゲット広告を 
ニュースフィードに配信し、ユーザーあたりの平均 
の収入と利益幅を大幅に増加させる 
2. ユニークな経験を配信し、巨大なFacebookの 
データハブに接...
検索の現状と未来 
2013年10月23日 
Pubcon Las Vegas 2013 
Keynote Talk With Matt Cutts 
http://www.youtube.com/watch?v=K7JhnW 
HbwnE 
...
Moonshot Changes 
 Knowledge Graph: 文字列ではなく物事。 
質問の背後に実際にあるものを知る 
 Voice search: ますます改良されている 
 Conversational search: 代...
Hummingbirdでの検索 
 質問を行っているのなら、それは、自然言語での 
質問かもしれないし、そこには必要ではない言葉 
が含まれているかもしれない。 
「愛しのテキサスの首府は?」 
 Hummingbirdは、重要な言葉を切り...
検索の未来 
未来の大きな流れ 
 機械学習: 検索をする人に、如何にしたらもっと大きな価 
値を与えられるかを解き明かす試みを、続けていこうとし 
ている 
 モバイル: 2011年のYouTubeの携帯電話からのトラ 
フィックは6%だ...
広告の変化と「知的な機械」 
 GoogleやFacebookの知識検索に対する関心は、直接 
的には、モバイルと個人に対して(両者はほとんど同義で 
ある)最適のタイミングで最適の広告を配布するというビ 
ジネス上の動機でドライブされている...
検索とグラフをめぐる主要な出来事 
 2010/04/21 Facebook Open Graph公開 
 2010/06/01 Schmidt 自己批判 
 2010/06/08 Google Caffeine投入 
 2010/06...
検索とグラフをめぐる主要な出来事 
 2012/06/16 Google Knowledge Graph 
 2013/01/15 Facebook Search Graph 
 2013/03/21 Microsoft Satori 
...
機械とネットワークに 
「知識」を持たせる試み 
 Google Knowledge Graph 
 機械は、どのように「知識」を獲得するのか? 
 IBM Watson
Knowledge Graph 
--- Freebaseの構造
Freebaseの基本的なコンセプト 
 Topic 
 Type 
 Property 
 Domain 
 ID
topic
Types = “is-a” 
 Person 
 Location 
 Business 
 Movie 
 TV show 
 Fictional 
character 
 Winery 
 Automobile model...
Properties = “has-a” 
PersonのProperty 
 gender 
 date of birth 
 place of birth 
 profession 
 nationality 
 ethnici...
Freebaseの基本的なコンセプト 
Topics 
 Graph: データはグラフとして格納される。 
グラフのnode は、/type/object で定義され、 
グラフのedgesは、/type/link で定義される。 
 To...
Freebaseの基本的なコンセプト 
TypeとProperty 
 topicは、いろいろな観点からみることが出来る。 
例えば 
 Bob Dylan was a song writer, singer, performer, 
bo...
Freebaseの基本的なコンセプト 
TypeとProperty 
 それぞれのtypeは、そのtypeに固有のpropertyを持つ。 
例えば、 
 The music artist type contains a property ...
Freebaseの基本的なコンセプト 
DomainとID 
 propertyがtypeでまとめられるように、typeはdomain 
にまとめられる。domainにはIDが与えられる。例えば、 
 /business is the ID...
Freebaseの基本的なコンセプト 
Compound Value Types 
 複数のフィールドを持つType。 
 例えば、populationというCompound Value Typeの 
Valueは、number of pe...
Freebaseでの検索
“Blue bottle”の検索の例 
import json 
import urllib 
api_key = open(".api_key").read() 
query = 'blue bottle' 
service_url = 'h...
検索のオプションとfiltering 
paramsにfilterを追加 
 query: "gore" 
query: "gore" lang: "fr" 
query: "gore" lang: "de” 
 filter: "(all...
Search Output 
 Find entities named "Blade Runner" and return 
their contributors 
filter=(all name{phrase}:"Blade Runner...
検索結果の例 
{ 
"status": "200 OK", 
"result": [ 
{ 
"mid": "/m/02mjmr", 
"id": "/en/barack_obama", 
"name": "Barack Obama", 
"...
{ 
"status": "200 OK", 
"result": [ 
{ 
"mid": "/m/02mjmr", 
"id": "/en/barack_obama", 
"name": "Barack Obama", 
"notable"...
"name": "Michelle Obama", 
"/people/person/date_of_birth": { 
"/people/person/date_of_birth": [ 
"1964-01-17" 
] 
} 
} 
] ...
Data Dump 
Data Dumpは、Freebaseのデータのダウ 
ンロード可能なバージョンである。 
https://developers.google.com/freebase/dat 
a?hl=ja
Freebase Triples 
 Total triples: 1.9 billion 
 Updated: Weekly 
 Data Format: N-Triples RDF 
 License: CC-BY 
 22 GB...
機械は、どのように 
「知識」を獲得するのか?
情報の2つのタイプ 
 ネットワーク上の情報には、大雑把に言って2つのタイプ 
がある。一つは、典型的には個人と個人のコミュニケー 
ションで用いられる、基本的に共時的なメッセージ達と、も 
う一つは、時間を超えて累積されることを望む、通時的...
ネットワーク上での知識の集積 
 ネットワークこそが、集合的で累積的な知識の担い手であ 
るべきだという意識は、新しいものである。 
 Googleの検索システムの変化の方向も、こうした意識の 
変化を反映し、同時に、こうした変化を後押しす...
Semantic Web / 
HTML5 Microdata 
最終更新2012/06/29 
http://www.whatwg.org/specs/web-apps/ 
current-work/ 
multipage/microdata...
HTMLでの表現(ラベルなし) 
<section> 僕の名前は、丸山不二夫です。 
クラウド大学大学院の客員教授をしています。 
友達は、僕のことマルと呼んでいます。 
僕のホームページは、 
<a href=“http://cloud.ac...
Web上の情報 
HTMLでの表現(ラベルなし) 
表示から人間が読み取れる、いろいろな情報が含まれている。 
<section> 僕の名前は、丸山不二夫です。 
クラウド大学大学院の客員教授をしています。 
友達は、僕のことマルと呼んでいます...
<section itemscope itemtype="http://data-vocabulary.org/Person"> 
僕の名前は、 
<span itemprop=“name”>丸山不二夫</span>です。 
<span ite...
Ontology / Taxsonomy ? 
 Semantic Webで、Ontology(存在論)という古めかし 
い言葉が使われたのは、面倒な「コトバの意味」を扱うの 
を避けて、「客観的」な「存在の関係」に意味を還元した 
かったの...
Ontology / Taxsonomy ? 
 誰が、タグ付けを行うのか? それは人間である。それは、 
Crowd Computingの応用としては面白いが、典型的な 
教師付きの学習である。Deep Learningが、画像の認 
識で...
Facebook Open Graph 
「今日のウェブは、さまざまページの間に張ら 
れた無構造でランダムなリンクによって成り 
たっています。Open Graph(オープンググラ 
フ)は人々の間の関係を構造化します。」 
Zuckerbe...
Objectのマークアップ 
<meta property="fb:app_id" 
content="YOUR_APP_ID" /> 
<meta property="og:type" 
content="recipebox:recipe" ...
Retrieving Objects 
GET /{object-instance-id} 
GET https://graph.facebook.com/1015012577744568 
{ 
"id": "1015012577744568...
Built-in Object Types 
 Article 
 Blog 
 Book 
 Profile (External) 
 Movie 
 TV Episode 
 TV Show 
 Video 
 Websi...
<html> 
<head prefix="og: http://ogp.me/ns# fb: http://ogp.me/ns/fb# 
book: http://ogp.me/ns/book#"> 
<meta property="fb:a...
<html> 
<head prefix="og: http://ogp.me/ns# fb: http://ogp.me/ns/fb# 
video: http://ogp.me/ns/video#"> 
<meta property="fb...
Built-in Action Types 
 Like - Any Object Type 
 Follow - Profile 
 Listen - Song 
 Read - Article 
 Watch - Video, M...
機械の「知識」獲得の新しい流れ 
人間が、言語能力を土台として、書籍・メディア・イン 
ターネット等、生物とは異なるやり方で知識獲得・集積 
の方法を作り出したように、機械は、人間とは異なる 
やり方で、お互いコミュニケーションを始め、独自のス...
Gooogle 
Actions in the Inbox 
Schema.orgのマークアップをe-mailに埋め 
込む技術。Google Nowで使われている。 
https://developers.google.com/gmail/a...
Adding structured data 
to the email 
<html> 
<head> 
<title>Did you enjoy Google Cafe?</title> 
</head> 
<body> 
<p> 
Dea...
<html> 
<head> 
<title>Did you enjoy Google Cafe?</title> 
</head> 
<body> 
<script type="application/ld+json"> 
{ 
"@cont...
"encoding": { 
"url": "http://schema.org/Encoding/UrlEncoded" 
}, 
"method": "http://schema.org/HttpRequestMethod/POST", 
...
Google Now 
Flight Reservation
<script type="application/ld+json"> 
{ 
"@context": "http://schema.org", 
"@type": "FlightReservation", 
"reservationNumbe...
"departureAirport": { 
"@type": "Airport", 
"name": "San Francisco Airport", 
"iataCode": "SFO" 
}, 
"departureTime": "201...
Google Now 
Flight Reservation
<script type="application/ld+json"> 
{ 
"@context": "http://schema.org", 
"@type": "FlightReservation", 
"reservationNumbe...
"departureTime": "2017-03-04T20:15:00-08:00", 
"arrivalAirport": { 
"@type": "Airport", 
"name": "John F. Kennedy Internat...
Google Now 
Hotel Reservation
<script type=“application/ld+json”> 
{ 
“@context”: “http://schema.org”, 
“@type”: “LodgingReservation”, 
“reservationNumb...
Android 
Advertising ID 
「2014年8月1日から、Play ストアにアップ 
ロードされたすべての更新や新着アプリには、 
広告目的で使用する端末ID として広告ID 
(端末で利用可能な場合)を使用する必要が 
あり...
Using the Advertising ID 
 The advertising ID is a unique but 
user-resettable string identifier that lets 
ad networks a...
Using the Advertising ID 
 Users can reset their advertising ID at 
any time, right from the Ads section of 
the Google S...
Android 広告ID の使用 
 Google Play 開発者サービスバージョン4.0 
では、広告と分析のプロバイダが使用する新しい 
API とID が導入されました。このAPI とID を 
使用するための規約は以下のとおりです。...
Android 広告ID の使用 
 ユーザーの選択を優先: リセットする際にユーザーの明 
示的な同意なしに、新しい広告ID を以前の広告ID や 
以前の広告ID からのデータにリンクしてはいけません。 
さらに、ユーザーの[インタレスト...
Android 広告ID の使用 
 ユーザーに対する透明性: 広告ID の収集と使用、その 
規約への同意について、法的に適切なプライバシー通知 
でユーザーに公開する必要があります。 
 利用規約の遵守: 広告ID はその利用規約を遵守...
IBM Watson 
質問応答システム 
"Getting started with the API" 
http://ibm.co/1t1X0lN
Watsonのシステム構成
Watsonがシステムに 
POSTする質問の例。自然言語! 
 「深い自然言語の構築や、機械学習やランキン 
グ・アルゴリズム等のコアな技術力の必要なしに、 
企業は、Watsonの認知能力を企業のアプリ 
ケーションに埋め込むことが出来る...
IBM Watsonの働き 
"Science behind Watson" 
https://developer.ibm.com/watson/docs/vid 
eos/science-behind-watson/
構文解析 
first person name .. IS hero 
文章の論理構造 
same author 
Step 1 Question Analysis
文章の論理構造から 
仮説を立てる 
Missing link finding 
book previous = 三銃士? 
Step 2 hero = アラミス? 
Hypothesis Generation
文章の論理構造から 
仮説を立てる 
Missing link finding 
hero = ダルタニアン?
Step 3 
Hypothesis & Evidence Scoring 
仮説を事実と突き 
合わせて検証し、 
あるものは棄却し 
あるものはスコア 
を付けて残す。
参照される事実は 
このように自然言語 
で記述されている。
Step 4 
Final Merging & Ranking 
いくつかの指標で 
総合的に評価する
最終的に、「ダルタニアン」が選ばれる
マルゼミ「人間の思考、機械の思考」 
、次の要領で第三回マルゼミを開催します 
 日時: 10月7日19:00~ 
 場所: KDDI 渋谷ヒカリエオフィス34階 
 定員: 40名 
 申込: 9月30日12:00〜 
 登壇者: ...
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
人間の思考、機械の思考
Upcoming SlideShare
Loading in …5
×

人間の思考、機械の思考

3,054 views

Published on

マルレク2014-2015 9月

Published in: Technology

人間の思考、機械の思考

  1. 1. 人間の思考、機械の思考 -- IT技術者のための機械による知能研究入門 @maruyama097 丸山不二夫
  2. 2. It’s not who has the best algorithm that wins. It’s who has the most data. --- Andrew Ng
  3. 3. 我思う。故に、我あり。 --- デカルト かみあわない
  4. 4. はじめに  「機械は人間のように考えることは可能か?」という問題 を考えてみよう。そうした能力をもつと皆が認める機械は、 現状では存在しないので、こうした問いかけに、ただちに 肯定的に答えることは出来ない。  ただ、問題を、「機械は部分的には人間のような知的な振 る舞いを行うことは可能か?」に大幅にゆるめると、我々 は”Yes!”と答えることが出来る。  そこでは、現代のIT技術の進歩が大きな役割を果たして いる。そうした「賢い機械」の出現が、近い未来のITの利 用シーンを大きく変えることは確実である。IT技術者が、 「人間の思考、機械の思考」に関心をもつ必要性は、ます ます大きくなると思う。
  5. 5. はじめに  小論の前半では、「知能研究」への、いくつかのアプロー チを紹介した。「人間の思考、機械の思考」の問題は、IT 技術・コンピュータサイエンスに閉じている訳ではない。 様々の領域から、多様なアプローチが行われている。  小論の後半では、ITの領域にフォーカスして、現代の大 規模分散システムと、それが検索と広告を通じてグローバ ルに張り巡らしたネットワークが、「知識」を扱い始めようと していることに注目した。いわば、「ネットの知性」とも言う べきものが生まれ始めているのかもしれない。  動物(人間を含む)の知覚・運動能力について、機械でそ れを実現することは、十分に可能だろう。人間の言語能力 の解明が、我々人間にとっても、機械にとっても、今後の 大きな課題となろう。
  6. 6. Agenda  「賢い」機械たちの登場  生物と人間と機械の進化  人間の脳へのアプローチ  ニューラル・ネットワークのアプローチ  言語能力へのアプローチ  大規模システムと検索の変化  機械とネットワークに「知識」を持たせる試み
  7. 7. 「賢い」機械たちの登場
  8. 8. http://bit.ly/1v9dHvz
  9. 9. 方向指示が、すぐ目の前に
  10. 10. 思った事を、何でも聞いてみる
  11. 11. しゃべった事を、他の言葉に翻訳する
  12. 12. 質問しなくても、答えてくれる
  13. 13. 顔認証 ビデオhttp://bit.ly/1rmKe0A 資料http://bit.ly/1mrZ8m0
  14. 14. http://www.clarifai.com/
  15. 15. Google 自動運転車 https://www.youtube.com/watch?v=EoHa0PgeSho
  16. 16. Google Car https://www.youtube.com/watch?v=EoHa0PgeSho
  17. 17. 運転自動化の取り組み  ベンツ: https://www.youtube.com/watch?v=u5NDv1cyjiA  Audi: https://www.youtube.com/watch?v=YSfijL7pkyI  トヨタ: https://www.youtube.com/watch?v=of9-zKSLBUA  日産: https://www.youtube.com/watch?v=mYnIcTquLN Y  ホンダ: https://www.youtube.com/watch?v=UGlrq1atZM4
  18. 18. https://www.youtube.com/watch?v=6KRjuuEVEZs
  19. 19. インターフェースの進化 キーボードとマウス タッチ・スクリーン 音声入力 現在は、まだ萌芽的なものだが、 いずれ、自然言語による音声入 力が、人間と人間の意図を理解 出来る「知能」をもったマシンとの インターフェースの中心となるの だと思う。
  20. 20. 生物と人間と機械の進化  生物の知能  人間の知能の発展  機械の誕生と進化
  21. 21. 生物と機械との 問題解決のスタイルの違い  進化が作り上げた生物と人間が発明した機械と では、問題解決のスタイルに大きな違いがある。 空を飛ぶという同じ目標に、生物の進化による飛 行能力の獲得と人間による飛行機の発明は、違 うアプローチをとった。  人間が、鳥の真似をして空を飛ぼうという試みは、 うまく行かなかった。飛行機という機械を発明して、 人間は初めて空を自由に飛べるようになった。
  22. 22.  「知能」へのアプローチも、生物と機械とでは異な る可能性は高い。ただ、こうした問題に決着がつ いている訳ではない。
  23. 23. 生物の知能  感覚・知覚・記憶・認知の能力  感覚・運動の能力  コミュニケーションの能力
  24. 24. 生物の知能  人間だけが「知能」を持つ訳ではない。多くの生き物が、 感覚・知覚・記憶・認知の能力を持っている。  人間の思考能力もこれらの感覚・知覚・記憶・認知の能力 の土台の上に構築されている。  多くの生き物は、こうした感覚・知覚の能力を運動能力と 結び付けている。脳や神経は、「考える」より前に、まず、 そうした能力の担い手として進化してきた。そして、多くの 動物は、考えることを始める。  また、少なくない生き物が、コミュニケーション能力を持っ ている。
  25. 25. 視覚の誕生と発展  生物の最も高度な知覚の器官は「眼」である。視 覚は、今から5億年以上前のカンブリア紀に大き な進化を遂げたという。  捕食者として当時の生態系の頂点に立ったアノマ カリスは立派な眼を持っていた。視覚に生物学的 な(視覚神経的な)共通の基礎があるのは当然の ことだと思う。  機械学習の最も基本的なモデルは視覚だといっ ていいと思う。
  26. 26. 多くの生物は目を持っている ゲーリングによる目の遺伝子Pax-6の発見 https://www.brh.co.jp/seimeishi/journal/012/ss_1.html
  27. 27. 人間の知能の発展 機械の誕生と進化 人間の知能を飛躍的に発展させたのは、30万年前に 獲得した言語能力だった。それをを土台として、三千 年前に文字を、15世紀半ばには印刷技術を発明し、 20世紀初頭から、様々のメディアを発達させた。 機械が一般に普及するのは、18世紀の産業革命以 後だが、機械の新たな進化が加速したのは、この数 十年のあいだである。コンピュータとネットワークは、 機械のあり方を一新した。
  28. 28. 言語能力
  29. 29. 文字
  30. 30. 文字
  31. 31. メディア
  32. 32. 機械
  33. 33. 機械 http://socserv.mcmaster.ca/econ/ugcm/3ll3/ure/PhilosophyManufactures.pdf
  34. 34. 機械
  35. 35. コンピュータ
  36. 36. コンピュータ
  37. 37. インターネット
  38. 38. 「機械の思考」という 時、我々が思い浮か べる機械は、コンピュ ータやロボットであっ て時計ではない。 人間の「知能」は、 生物学的基礎を持つ。 ただ、人間の「知識」 は、非生物学的な メディア(教育・書籍・ ネット等)によって 拡張される。
  39. 39. 人間の脳へのアプローチ 「知能」については、人間の脳は、いまだ機械 の知能の理想とすべきモデルである。脳研究 は、「人間の思考、機械の思考」研究の中心 分野である。
  40. 40. 脳のニューロンの コンピュータ・グラフィックス
  41. 41. 20nm
  42. 42. 脳は、1mm立方に 5万個のニューロンを含み、 一つのニューロンは 6千個のシナプスをもつ。
  43. 43. 大脳新皮質には、 100億のニューロンと 60兆個のシナプスがある! 現時点で、最も集積度の 高いチップの一つ NVIDIAのGK110は 71億トランジスタ
  44. 44. クラゲだって神経はある http://www.tmd.ac.jp/artsci/biol/textlife/neuron.htm 「神経系の起源と進化」 http://bit.ly/1qR2Dmq
  45. 45. 新しい研究手法
  46. 46. 非侵襲的な脳のモニター技術の進歩  脳の血流を、MRIやCTよりもはるかに正確に、か つリアルタイム(200ms間隔)に、観察する新技 術。カーボン・ナノチューブを血液に注入して、そ れが発する近赤外線領域の蛍光波長を見る。 http://bit.ly/1yFaP98
  47. 47. DNAシークエンサーの進歩  最初のヒトゲノムの解析には、10年と30億ドル かかった。  2010年までには、ヒトゲノムの解析は、一ヶ月以 内で3万ドルで出来るようになった。  今では、ヒトゲノムの解析は、数日で4000ドル以 下で出来る。  DNAシーケンサーのコスト・パフォーマンスは、コ ンピュータでのMooreの法則よりも速いスピード で向上しているという。個人が、ゲノムを解析する 時代が始まろうとしている。
  48. 48. 脳研究のプロジェクト  Blue Brain Project  EU Human Brain Project  NIH Human Connectome Project  US BRAIN Initiative
  49. 49. Blue Brain Project Henry Markram  “I wanted to model the brain because we didn’t understand it.”  “The best way to figure out how something works is to try to build it from scratch.”
  50. 50. http://seedmagazine.com/content/article/out_of_the_blue/P1/
  51. 51. ネズミの脳
  52. 52. http://seedmagazine.com/content/article/out_of_the_blue/P1/
  53. 53. http://seedmagazine.com/content/article/out_of_the_blue/P2/
  54. 54. http://seedmagazine.com/content/article/out_of_the_blue/P2/}
  55. 55. EU Human Brain Project 2013年10月10年間で総額約12億ユーロ
  56. 56. EU Human Brain Project https://www.humanbrainproject.eu/
  57. 57. EU Human Brain Project ビジョン  人間の脳を理解することは、21世紀の科学が 直面している最も偉大な挑戦の一つである。 もしも、我々が、それに対して立ちあがること が出来るならば、我々は、我々を人間にして いるものが何であるかについて深い洞察を得 て、革命的なコンピュータ技術を構築し、脳の 異常に対して新しい治療法を開発出来るだろ う。今日、初めて、現代のICT技術が、こうした 目標を到達可能なものにしている。
  58. 58. EU Human Brain Project 中心的な戦略目標  未来のニューロサイエンス 遺伝子から行動に至る、生物学的器官のすべてのレベルを 貫いて、健康な脳と病気の脳についてのデータと知識を統合 した、人間の脳の統一された複数レベルでの理解を達成する。 こうして、脳を理解する基本的な方法論として、シリコン上で の実験を確立する。  未来のコンピューティング 脳の回路とコンピュータの原理に基づいて、新しいニューロコ ンピュータとニューロロボットの技術を開発する。脳のシミュ レーション、ロボットと自律的なシステムコントロール、その他 のデータを大量に利用するアプリケーションの為にスーパー コンピュータの技術を開発する。
  59. 59. EU Human Brain Project 中心的な戦略目標  未来の医療 複数レベルの臨床データに基づいて、客観的で生物学的に 基礎付けられた、神経症と精神病のマップを開発する。この マップを利用して、脳の病気の分類と診断を行い、これらの病 気のモデルを構成する。シリコン上での実験を利用して、脳の 病気の原因を理解し、新薬やその他の治療法を開発する。神 経症と精神病に対して、個人化された医療を確立する。
  60. 60. EU Human Brain Project 批判ECへの公開質問状
  61. 61. 脳研究をめぐる「対立」の構図 認知科学vs 脳科学、トップダウンvs ボトムアップ  発端は、来年度のプロジェクトの予算配分で、認知科学的 なアプローチの予算が、ばっさりと切られたことにあるらし い。それに反発した研究者のグループが、150名の連名 で、欧州委員会に公開質問状を提出した。  対立の根底にあるのは、脳研究でのアプローチの違い。 Henry Markramら主流派は、ニューロンとシナプスの数 学的モデルに基づいて脳全体のモデルをボトムアップに 作り上げようというアプローチ。一方、反対派は、脳研究 には、認知科学の知見に基づいたトップダウンのリバー ス・エンジニア的なアプローチが必要だという。  「鳥の羽の全てをシミュレーションしたとしても、鳥が空を 飛べることを解明出来ないのと同じことだ」
  62. 62. NIH Human Connectome Project 2010年10月40億円の賞金 http://www.nih.gov/news/health/sep2010/nimh-15.htm
  63. 63. NIH Human Connectome Project http://www.humanconnectomeproject.org/
  64. 64. US BRAIN Initiative NIHのも とで、12年間で4,500億円投資する 2014/06/05 http://1.usa.gov/1pIIhvx
  65. 65. US BRAIN Initiative 研究目的  異なる脳細胞のタイプを同定し、それへの実験的 なアクセスを与えて、健康と疾患におけるそれぞ れの役割を決定する。  シナプスから脳全体にいたるまでの異なる精度で、 脳の回路図を作り出す。
  66. 66. US BRAIN Initiative 研究目的  神経活動の大規模なモニタリングの改良された 方法を開発・適用して、脳機能の動的な描像を生 み出す。  神経回路の動的な働きを変更する精細な干渉 ツールによって、脳活動から行動へのリンクを付 ける。
  67. 67. US BRAIN Initiative 研究目的  新しい理論的なデータ解析ツールの開発を通じて、 精神過程の生物学的基礎の理解の為の概念的 な基礎理論を生み出す。  人間の脳を理解しその障害を扱う為の革新的な 技術を開発する。その為に、統合された脳研究の ネットワークを作り出し、それをサポートする。  新しいテクノロジーと他の目的で生み出された概 念的なアプローチを統合して、健康と疾患におい て、神経活動の動的なパターンが、どのようにし て、認識・感情・知覚・行動に変換されるのかを発 見する。
  68. 68. US BRAIN Initiative 倫理規定  神経科学研究の倫理的含意を考慮すること。  NIHと納税者と、応用・臨床分野の基礎的な神経 科学者のコミュニティに対する説明責任を果たす ことを保証するメカニズムを作り出すこと。
  69. 69. ニューラル・ネットワークのアプローチ 脳全体のモデルではなく、神経回路網をモデ ルとしたNeural Network(NN)をコンピュー タ上に構成し、機械に学習能力を与えようとい う試み。 現在、活発に研究が行われており、大きな成 果が上がっている。視覚・聴覚の分野では、 ほぼ独壇場といっていい。
  70. 70. Geoffrey Hinton Andrew Ng
  71. 71. NN & Deep Learningの Lecture Note Geoffrey Hinton “Neural Networks for Machine Learning” http://www.cs.toronto.edu/~tijmen/csc321/ http://www.cs.toronto.edu/~hinton/csc2535/lectu res.html Andrew Ng “Machine Learning” https://class.coursera.org/ml-007/lecture http://cs229.stanford.edu/materials.html
  72. 72. 何が出来るのか? Binary Classification
  73. 73. 何が出来るのか? Binary Classification
  74. 74. 何が出来るのか? ?
  75. 75. 何が出来るのか? 複数のラベルの割り当て この写真には、どのようなラベルを付ければいいだろうか?
  76. 76. 人間によるラベル付け
  77. 77. 何が出来るのか? Unsupervised Feature Learning (UFL) 我々が関心を持つ対象のクラスの特徴を、もっともよく記述 するのは何か? 「空」はイメージした? 「雪」でもいい 「森林」でもいい
  78. 78. 何が出来るのか? Unsupervised Feature Learning (UFL) これらの対象に、共通するものは何か? アルゴリズムが、いくつかの「特徴」を返す。
  79. 79. LeNetによる手書き文字認識 http://yann.lecun.com/exdb/lenet/
  80. 80. ノイズがあっても読み取れる
  81. 81. 機械による細胞のがん化の判定  自然な細胞死と悪性ガン腫瘍と細胞の壊死を、 人間より正確に判定するという。 “LEARNING INVARIANT FEATURES OF TUMOR SIGNATURE” http://cs.stanford.edu/~quocle/InvariantLearningISBI12. pdf
  82. 82. Andrew Ngらの新しい知覚研究と Googleの協力 “Building High-level Features Using Large Scale Unsupervised Learning” Jeff Dean & Andrew Y. Ng et al 2012年7月 http://arxiv.org/pdf/1112.6209.pdf&embed ded=true
  83. 83.  我々は、ラベル付けされていないデータだけから、高レベ ルの、クラスに固有の特徴を検出することが出来るかとい う問題を考察した。例えば、ラベル付けされていないイ メージだけから、顔の検出が可能かという問題である。  この問題に答える為に、我々は、9層からなるローカルに 疎に結合した、プーリングとローカルなコントラストの正規 化の機能を備えた自動エンコーダを、大規模な画像デー タセット(モデルは10億のコネクションを持ち、データセット は、インターネットからダウンロードした200x200ピクセ ルの一千万個のイメージからなる)上で訓練した。
  84. 84.  我々は、このネットワークを、1000台のマシン(16,000コ ア)のクラスター上で、並行計算モデルと非同期SGDを 使って、三日間訓練した。  広く受け入れられているように見える直観に反して、我々 の実験結果は、顔であるかそうでないかのラベルをイメー ジにつける必要なしに、顔の検出が可能であることを明ら かにした。  コントロールの実験では、この特徴の検出は、変換だけで なく、拡大や画面外への回転に対しても、頑健であること を示した。
  85. 85. The architecture and parameters in one layer of our network.
  86. 86. Face no Face これが、一千万個の画像 データから、16,000コア のマシンが三日間かけて 抽出した「人間の顔」のイ メージらしい。子供の絵に 似ているのが面白い。
  87. 87. 「Googleの猫」 http://bit.ly/1rSRzHq
  88. 88. Now You Can Build Google’s $1M Artificial Brain on the Cheap  On Monday, he’s publishing a paper that shows how to build the same type of system for just $20,000 using cheap, but powerful, graphics microprocessors, or GPUs. It’s a sort of DIY cookbook on how to build a low-cost neural network. http://www.wired.com/2013/06/andrew_ng/ GPUを利用した、NNのコモディティ化
  89. 89. IBMのSyNAPSEチップ  ニューラル・ネットワークのハードウェアの進化では、 今年8月に発表されたIBMのSyNAPSEチップが 興味深い。“New IBM SyNAPSE Chip Could Open Era of Vast Neural Networks” http://ibm.co/1q0jU81
  90. 90. 旧モデル(256Neurons)の SyNAPSEチップ
  91. 91. DARPA SyNAPSE Program  DARPAは、SyNAPSE Programを展開し、積極 的な資金援助を行っている。 http://www.artificialbrains.com/darpa-synapse-program
  92. 92. Andrew Ngらは、機械だけの力で諸特徴を 学習するアルゴリズムを研究している。Google もそれに協力し、現在は、量子コンピュータの 応用の最も活発な分野の一つになっている。
  93. 93. Unsupervised Feature Learning and Deep Learning 2011年Andrew Ng http://icml2011speechvision.files.wor dpress.com/2011/06/visionaudio.pdf
  94. 94. 言語能力へのアプローチ  Cartesian Linguistic : Chomsky  Bio/Gene Linguistic : Fischer  Power of Data : Google  Deep Learning : Sutskever
  95. 95. Cartesian Linguistic
  96. 96. 言語学からのアプローチ
  97. 97. Chomskyの観察 Cartesian Linguistic  言語能力は、デカルトのいうように、人間という類 を、人間以外の動物と区別するものである。  人間の言語能力の最大の特徴は、その創造性。 いままで聞いたこともしゃべったことも無い、まっ たく新しい文章を、理解し発話出来る。  有限個の単語から無限の文を生成出来る。  言語の獲得には、可能な文型を全てカバーする 大量のデータが必要な訳ではない。  人間には、全ての人間に共通の生物学的基礎を 持つ、「普遍文法」と「言語獲得装置」とも言うべき ものが、生まれつき備わっている。
  98. 98. 無限性Recursion  I ate a banana  I know I ate a banana  I think I know I ate a banana  I declare I think I know I ate a banana  What do you declare I think I know I ate?  This is the banana I declare I think I know I ate  There are more bananas I declare I think I know I ate than bananas that still grow on the tree  This is the cat that caught the rat that ate the cheese that... http://bit.ly/1uc4Taj
  99. 99. The Faculty of Language: What Is It, Who Has it, and How Did It Evolve? http://www.chomsky.info/ articles/20021122.pdf 言語のRecursionの能力は、 数の概念の形成能力とも結 びついている。ハトは、3以上 の数を区別出来ない。サルは、 個別の数を個別に学ぶが、 人間の子のように一般化出来 ない。
  100. 100. Bio/Gene Linguistic
  101. 101. 言語能力に関係する遺伝子の発見 Simon Fisher http://bit.ly/1oCw2AI
  102. 102. マックス・プランク研究所 "Language and Genetics"  より根本的なレベルで、発話と言語は、人間であ る条件の諸特徴、我々人類という種の中心的な 諸相を定義している。  ただ、我々は、遺伝子が言語に対応出来る脳を いかにして構成出来るのかについては、いまだ、 ほとんど何も知っていない。また、我々に最も近 い親類たちでさえも、この領域では、人間の能力 にかなうことが、全く出来ないように見えるのは何 故かについても、ほとんど何も知らない。 http://www.mpi.nl/departments/language-and-genetics
  103. 103. 言語能力に関係する遺伝子FOXP2  Simon E. Fisherらによって発見された人間の 言語能力に関係する遺伝子FOXP2 は、は虫類 にも鳥類にも存在する。面白いことに、FOXP2は 鳥のさえずりやコウモリの音響定位の能力とも関 係しているらしい。 http://bit.ly/1tgaQ5o
  104. 104. 言語能力に関係する遺伝子FOXP2  ゴリラやチンパンジーと人間のFOXP2はアミノ酸 配列で2カ所違っているだけ。(ネズミとは3カ所 違う) この変化は、約30万年前におきたという。 ネアンデルタール人のFOXP2は僕らと同じだと 言う。
  105. 105. Power of Data Googleの言語へのアプローチ Ben Jai “What’s Google Doing” から http://life.math.ntu.edu.tw/sites/ life.math.ntu.edu.tw/files/ Fall-2006-Campus-Talk-TW.pdf
  106. 106. データの力  これまでの知見  計算パワーが増大するにつれて、以前には実際には 計算することができなかった問題が解けるようになる。  新しい知見  データの量が増大するにつれて、以前には解けなかっ た問題が解けるようになる!  それは単に、より堅実な解法を得るというだけの 問題ではない  少数のデータで考えると失敗するように見える方法が、 巨大な量のデータのもとでは、うまくいくことがある。
  107. 107. 「スペル訂正」の古典的方法論  語彙集/辞書を利用する(〜10万語程度)  語彙集の中で見つからなかった語に、「ミススペ ル」のフラグをたてる  認識されなかった語から、「編集距離」の近い語 達を、候補として提示する。  編集距離は、通常は、一方の語から他方の語に 変換する為に必要な、変更・追加・消去・変更を 要する文字の数で、測定・定義される
  108. 108. 「スペル訂正」の課題  「スペル訂正の」こうしたやり方は、Web上では、 多くの問題にぶつかることになる  検索の多くは、固有名である。しかし、固有名は、 語彙集にはほとんどのっていない  例えば、よく使われている、ワープロソフトでは、 “Kofi Annan”(元の国連事務総長)は、スペルミ スになる。提案される訂正は、”KokiAnna” (誰?)  Web上で使われる言葉の集合は、標準的な語彙 集より遥かに大きく、かつ、定期的に変化する
  109. 109. Web上での「スペル訂正」  “britney spears”のような、ポピュラーな名前で も、間違ったスペルで検索する。  実際の例。800以上もあった。  britney spears  brittany spears  brittney spears  britany spears  britny spears  briteny spears  britteny spears  briney spears  brittny spears  brintey spears
  110. 110. Learning From Data
  111. 111. Google流の「スペル訂正」  Webをコンテキスト語彙集として利用し、ミススペ ルを、Webの文脈上での利用に基づいて見つけ る。  語のスペルの、確率的なモデルを構築し、語彙集 をWebでの語の使用に適合させると、より豊かな スペル訂正のモデルが出来る。  Googleを使った場合の例  “Kofi Annan”は、スペルミスではない  “Kofee Annan” は、“Kofi Annan” に訂正される  “Kofee Shop” は、“Coffee Shop” に訂正される  コンテキストがキーである。
  112. 112. 応用: 自動機械翻訳  目標: 異なる言語間のテキストの、高品質な 自動変換を提供する  元のテキストがいかなる言語であっても、 Web上の全てのテキスト・データを、アクセス 可能なものにすることが出来る  長い期間を要する、挑戦的なAIの問題  しかし、沢山のデータは、実際に役に立つ!
  113. 113. アプローチ: 統計的機械翻訳  機械翻訳では、不確実さのもとで、決定を行う必 要がある。(例えば、いかにして、あるフレーズを 他のフレーズに変換するのか?)  目標: 最良で、理想的には最適な決定を行う  一般理論:  翻訳の統計モデルを構築する  最適な決定を行う決定理論を利用する
  114. 114. 自動評価尺度BLEUについては http://bit.ly/1mqGN94
  115. 115. 自動評価尺度BLEUについては http://bit.ly/1mqGN94
  116. 116. サイズが問題か?  機械学習の訓練に利用されている、ニュース のコーパスが2倍になれば、BLEAUで測定し た翻訳の精度は、~0.5%程度向上する。  4倍で1%、16倍で2%、64倍で3%、 256倍で4%、1024倍で5% ?
  117. 117. Google?  「スペル訂正」でのGoogleのアプローチは、正しいと思う。 データがパワーだという新しい認識も、その限りでは正し いものだ。  ただ、「統計的機械翻訳」のアプローチは、正しくないと思 う。現実にも、Googleは、それだけで機械翻訳を実装し てはいないだろう。  人間が、言語を習得する過程も、こうしたモデルには合致 していない。我々は、Google的感覚からすると、少数の 文を経験するだけで、正しい意味のある文を無限に生成 する能力を獲得する。もっとも、機械と人間が、同じアルゴ リズムに従う必要はないのだが。
  118. 118. Deep Learningによる 言語学習モデル 人間の知覚が、単一の学習アルゴリズムで説 明出来るという仮説は正しいように見える。 もっと強い主張は、言語の習得を含めて、全 ての学習アルゴリズムが同型であるという主 張である。
  119. 119. ニューラル・ネットを使った単語選択  {to, two, too}という言葉は、発音はよく似てい る。今、次の文の下線部に、先の三つの単語{to, two, too}から、一つ選んで文章を作るという問 題を考えよう。 For breakfast I ate _____eggs. 正解は、もちろんtwoである。多くの人は、two以 外だと文法的に正しくないし、意味が通らないと 考えるだろう。  ところが、ニューロ・ネットを使った、単語選択の 考え方は、それとは異なる。沢山の用例を調べて、 同じようなものがあれば、それを選ぶ。
  120. 120. It’s not who has the best algorithm that wins. It’s who has the most data. http://bit.ly/1qKh8ro 横軸が対数のグラフ 10億
  121. 121. ニューラルネットによる文章の学習  GoogleのIlya Sutskeverは、文字数が5億文 字にものぼるテキストを長い時間をかけて Recurrent Neural Nets に学習させ、次の ページのような文章を生成することができた。 http://bit.ly/1qN5Pes
  122. 122. "An example of what recurrent neural nets can now do (to whet your interest!) "  It is less favorable to the good boy for when to remove her bigger. In the show’s agreement unanimously resurfaced. The wild pasteured with consistent street forests were incorporated by the 15th century BE. In 1996 the primary rapford undergoes an effort that the reserve conditioning, written into Jewish cities, sleepers to incorporate the .St Eurasia that activates the population. Mar??a Nationale, Kelli, Zedlat-Dukastoe, Florendon, Ptu’s thought is. To adapt in most parts of North America, the dynamic fairy Dan please believes, the free speech are much related to the http://bit.ly/1qN5Pes
  123. 123. "An example of what recurrent neural nets can now do (to whet your interest!) "  while he was giving attention to the second advantage of school building a 2-for-2 stool killed by the Cultures saddled with a halfsuit defending the Bharatiya Fernall ’s office . Ms . Claire Parters will also have a history temple for him to raise jobs until naked Prodiena to paint baseball partners , provided people to ride both of Manhattan in 1978 , but what was largely directed to China in 1946 , focusing on the trademark period is the sailboat yesterday and comments on whom they obtain overheard within the 120th anniversary , where ...... http://bit.ly/1qN5Pes
  124. 124. 言語能力へのアプローチをめぐっては、 合理論と経験論の違いが際立つ
  125. 125. 大規模システムと検索の変化
  126. 126. He who controls the graph, controls the world.
  127. 127. 2000年代 大規模データ処理の第一世代の開始  現代のITの中核的な技術の一つは、大規模分散 システムによる大規模データの処理技術である。 「世界中の情報を検索可能にする」というミッショ ンを掲げたGoogleの、Webスケールの検索技 術の実現がこうした時代の幕を開いた。21世紀 の始まりとその時期は、ほぼ等しい。  クローリングで収集した膨大なページへのイン デックス付けとPageRankの計算が、Webス ケールのデータ処理の中心だったのだが、そうし た処理は、MapReduceを用いたバッチ処理で 行われていた。
  128. 128. 2010年代 大規模データ処理の第二世代への転化  モバイル・デバイスSNSの爆発的な普及を背景と して、2010年ごろ、バッチ処理からリアルタイム 処理への大規模データ処理の大きな転換が始ま る。  Googleのシステムの転換については、丸山の「大規模分 散システムの現在--- GFS, MapReduce, BigTableは、 どう進化したか」を参照されたい。 https://drive.google.com/file/d/0B04ol8GVySU ueWQ2dkZUSFFETlk/edit?usp=sharing
  129. 129. ソーシャル・グラフと 大規模グラフデータ処理  こうした変化の口火を切ったのは、個人とモバイ ルをターゲットとして、「世界をもっとつながったも のに」を会社のミッションとするFacebookの躍進 だった。2010年4月に公開されたFacebookの Open Graphは、「ソーシャル・グラフ=大規模 グラフデータ」処理の重要性に多くの人の目を向 けさせた。  Googleの対応も興味深い。2010年6月、前述 の検索インデキシングのリアルタイム化を実現し たCaffeinの投入と同じ日に、大規模グラフデー タ処理のエンジンPregelを発表する。
  130. 130. 検索の変化 --- 文字列の検索から知識の検索へ 2010年に行われた技術的転換は、バッチか らリアルタイムへの進化だけではなく、データ の量への注目からデータの質的なグラフ構造 への注目を特質とする大規模データ処理の第 二世代の開始を意味するものである。
  131. 131. 検索と大規模知識グラフデータ  ただ、この2010年の技術的転換の意味を、検索 の分野で「知識グラフ」の探索として、明確に定式 化したのは、2012年5月のGoogleの Knowledge Graphであった。  この動きに、FacebookはSearch Graph (2013年1月)で、Microsoftは Satori/Trinity(2013年3月)で、ただちに追 走を開始する。
  132. 132. Google Knowledge Graph 新しい検索の三つの特徴  正しい「もの」を見つける。(Find the right thing)  最良の要約を得る。(Get the best summary)  さらに深く、さらに広く。(Go deeper and broader) GoogleのKnowledge Graphについては、2012年7月12日の クラウド研究会での丸山の資料「Googleの新しい検索技術 Knowledge Graphについて」を参照されたい。 https://drive.google.com/file/d/ 0B04ol8GVySUuUFUtbWcxNFlHY3c/edit?usp=sharing
  133. 133. Facebook Graph Search リンクではなく、答えを与える  「Facebookが現在行っているこれら全てのこと より、ずっと面白いのは、人々に彼らが望むグラ フのどんな断片でも得ることが出来るパワーと ツールを与える事である。」  「Graph Searchは、正確な検索をすれば、ある 一つの答えを与えるようにデザインされている。 答えを与えるかもしれない複数のリンクではな い。... 例えば、Graph Searchに「サンフランシ スコに住んでいる私の友達は誰?」と質問出来 る。」 http://techcrunch.com/2013/01/15/ facebook-announces-its-third-pillar-graph-search/
  134. 134. MS Bing Snapshot/Satori 検索は現実の世界の反映  Bingでは、我々は検索はwebのページを指す青 いリンク以上のものであるべきだと信じている。 我々はまた検索は現実の世界の反映であるべき だと信じている。  Snapshotの基礎にある技術は、我々を取り巻く世界を、 単に「人、場所、物」といったものの集まりとしてだけでは なく、これらのものの関係として、深く理解することを目的 にデザインされた。Bingのエンジニアリング・チームの中 では、この技術は、理解を意味する日本語の「悟り (Satori)」と呼ばれていた。 http://www.bing.com/blogs/site_blogs/b/search/ archive/2013/03/21/satorii.aspx
  135. 135. 「知識グラフ」に対する関心  「知識グラフ」に対する関心は、次のようなより長期 的な課題の実現と結びついている。  自然言語を用いたインターフェース  知識とそれをハンドルする能力の機械への移転  生物の多様な認知能力と学習能力の理解  人間の言語能力の理解  学習する機械  楽観的に語るならば、我々は、こうした課題を解決 する時代の入り口に、さしかかっているのかもしれ ない。
  136. 136. Facebook next 10-year plans 「Graph Searchは、ほとんど動かない」 2013年1月30日 Interview with Business Week http://www.businessweek.com/articles/201 4-01-30/facebook-turns-10-the-mark-zuckerberg- interview#p4
  137. 137. Facebookの10年計画 1. 高度にパーソナライズ化されたターゲット広告を ニュースフィードに配信し、ユーザーあたりの平均 の収入と利益幅を大幅に増加させる 2. ユニークな経験を配信し、巨大なFacebookの データハブに接続する主要なスポークとして、スタ ンドアロンのアプリを確立する 3. 多様な人工知能サービスを可能とするSearch Graphで、伝統的な検索を凌駕する 4. たえず安価になり、より機能的なデバイスとデー タセンターをインターネットにもたらす http://www.dnaindia.com/scitech/report-mark-zuckerberg-unveils-facebook- s-next-10-year-plans-1958538
  138. 138. 検索の現状と未来 2013年10月23日 Pubcon Las Vegas 2013 Keynote Talk With Matt Cutts http://www.youtube.com/watch?v=K7JhnW HbwnE http://www.bruceclay.com/blog/2013/10/m att-cutts-pubcon-las-vegas-keynote/
  139. 139. Moonshot Changes  Knowledge Graph: 文字列ではなく物事。 質問の背後に実際にあるものを知る  Voice search: ますます改良されている  Conversational search: 代名詞を考える  Google Now: 質問をしなくても、次のステップ を先読みする  Deep learning: 神経回路網を学習する為に、 数千のコンピュータが利用されている
  140. 140. Hummingbirdでの検索  質問を行っているのなら、それは、自然言語での 質問かもしれないし、そこには必要ではない言葉 が含まれているかもしれない。 「愛しのテキサスの首府は?」  Hummingbirdは、重要な言葉を切り出して、そ の言葉にもっと知的に点数を加えるという方向へ の一つのステップである。 Hummingbirdは、Googleの最新の検索エンジン 2013年9月26日発表 http://insidesearch.blogspot.jp/2013/09/fift een-years-onand-were-just-getting.html
  141. 141. 検索の未来 未来の大きな流れ  機械学習: 検索をする人に、如何にしたらもっと大きな価 値を与えられるかを解き明かす試みを、続けていこうとし ている  モバイル: 2011年のYouTubeの携帯電話からのトラ フィックは6%だった。2012年には、それは25%になり、 2014年にはYouTubeのトラフィックの40%を占めると予 想されている。もし、モバイルについての戦略を明確に 持っていないのなら、それについて考えた方がいい。  社会性/主体性/著作権: 自分が何者であるかを知ること。 主体性は大きな違いを生み出しうる。人々が耳を傾ける 人物であるという事は、長期間続くシグナルである。
  142. 142. 広告の変化と「知的な機械」  GoogleやFacebookの知識検索に対する関心は、直接 的には、モバイルと個人に対して(両者はほとんど同義で ある)最適のタイミングで最適の広告を配布するというビ ジネス上の動機でドライブされている。それは、現代のIT 企業間の競争のもっとも中心的な分野である。  モバイルと個人に対する「最適の広告」を「最適の情報」と 読み替えると、現在進行中の技術的変化の特質がよく理 解出来ると思う。それは、無理な読み替えではない。両者 は、同じ技術を共有しているからだ。人間が望むことを理 解し、必要な情報を与えてくれる機械。  検索では機械は受動的だが、広告では機械は能動的に 人間に働きかける。機械が主体的に考え始めるのなら、 広告での競争は最大の「淘汰圧」の一つになるだろう。
  143. 143. 検索とグラフをめぐる主要な出来事  2010/04/21 Facebook Open Graph公開  2010/06/01 Schmidt 自己批判  2010/06/08 Google Caffeine投入  2010/06/08 Google Pregel Paper SIGMOD 2010  2011/09/21 Google Google+スタート  2012/02/06 Apache Giraph 0.1 incubating  2012/06/16 Google Knowledge Graph
  144. 144. 検索とグラフをめぐる主要な出来事  2012/06/16 Google Knowledge Graph  2013/01/15 Facebook Search Graph  2013/03/21 Microsoft Satori  2013/06/26 Microsoft Trnity  2013/08/15 Facebook Trillon Edges Giraph  2013/09/26 Google Hammingbird
  145. 145. 機械とネットワークに 「知識」を持たせる試み  Google Knowledge Graph  機械は、どのように「知識」を獲得するのか?  IBM Watson
  146. 146. Knowledge Graph --- Freebaseの構造
  147. 147. Freebaseの基本的なコンセプト  Topic  Type  Property  Domain  ID
  148. 148. topic
  149. 149. Types = “is-a”  Person  Location  Business  Movie  TV show  Fictional character  Winery  Automobile model  Airport  Travel destination  Ingredient  Mountain  Cause of death  Political party
  150. 150. Properties = “has-a” PersonのProperty  gender  date of birth  place of birth  profession  nationality  ethnicity  parents  children  religion  education  employment history  ... and more
  151. 151. Freebaseの基本的なコンセプト Topics  Graph: データはグラフとして格納される。 グラフのnode は、/type/object で定義され、 グラフのedgesは、/type/link で定義される。  Topics: Freebaseは、people, places, things のよ うな現実世界の実体について3,900万のtopicを持って いる。topicのtypeの例。  Physical entities, e.g., Bob Dylan, the Louvre Museum, the Saturn planet  Artistic/media creations, e.g., The Dark Knight (film), Hotel California (song)  Classifications, e.g., noble gas, Chordate  Abstract concepts, e.g., love
  152. 152. Freebaseの基本的なコンセプト TypeとProperty  topicは、いろいろな観点からみることが出来る。 例えば  Bob Dylan was a song writer, singer, performer, book author, and film actor;  Leonardo da Vinci was a painter, a sculptor, an anatomist, an architect, an engineer, ...;  Love is a book subject, film subject, play subject, poetry subject, ...;  Freebaseのtopicには、任意の数のtypeを割り当てるこ とが出来る。Bob Dylanのtopicには、song writer, singer, performer, book author、film actor といっ たtypeが割り当てられる。
  153. 153. Freebaseの基本的なコンセプト TypeとProperty  それぞれのtypeは、そのtypeに固有のpropertyを持つ。 例えば、  The music artist type contains a property that lists all the albums that Bob Dylan has produced as well as all the music instruments he was known to play;  The book author type contains a property that lists all the books Bob Dylan has written or edited, as well as his writing school of thoughts or movement;  Typeは、Propertyのコンテナーと考えていい。
  154. 154. Freebaseの基本的なコンセプト DomainとID  propertyがtypeでまとめられるように、typeはdomain にまとめられる。domainにはIDが与えられる。例えば、  /business is the ID of the Business domain  /music - the Music domain  /film - the Film domain  /medicine - the Medicine domain  それぞれのtypeもIDを持つ。例えば、  /music/album is the ID of the (Music) Album type, belonging in the Music domain  /film/actor - the Actor type in the Film domain  /medicine/disease - the Disease type in the Medicine domain
  155. 155. Freebaseの基本的なコンセプト Compound Value Types  複数のフィールドを持つType。  例えば、populationというCompound Value Typeの Valueは、number of peopleとdateという、二つの フィールドを持つ。
  156. 156. Freebaseでの検索
  157. 157. “Blue bottle”の検索の例 import json import urllib api_key = open(".api_key").read() query = 'blue bottle' service_url = 'https://www.googleapis.com/freebase/v1/search' params = { 'query': query, 'key': api_key } url = service_url + '?' + urllib.urlencode(params) response = json.loads(urllib.urlopen(url).read()) for result in response['result']: print result['name'] + ' (' + str(result['score']) + ')'
  158. 158. 検索のオプションとfiltering paramsにfilterを追加  query: "gore" query: "gore" lang: "fr" query: "gore" lang: "de”  filter: "(all name:gore alias:gore type:/people/person)”  filter: "(all (not name:gore) alias:gore type:/people/person)”  query: "gore" type: "/people/person”  query "john" filter: "(all type:/people/person /people/person/nationality:"Canada")"
  159. 159. Search Output  Find entities named "Blade Runner" and return their contributors filter=(all name{phrase}:"Blade Runner") &output=(contributor)  Find US Presidents and return their date of birth as well as their spouses' date_of_birth: filter=(all type:/government/us_president) &output=(/people/person/date_of_birth (/people/marriage/spouse /people/person/date_of_birth))
  160. 160. 検索結果の例 { "status": "200 OK", "result": [ { "mid": "/m/02mjmr", "id": "/en/barack_obama", "name": "Barack Obama", "notable": { "name": "US President", "id": "/government/us_president" }, "lang": "en", "score": 31.618755, "output": { "/people/person/date_of_birth": { "/people/person/date_of_birth": [ "1961-08-04"
  161. 161. { "status": "200 OK", "result": [ { "mid": "/m/02mjmr", "id": "/en/barack_obama", "name": "Barack Obama", "notable": { "name": "US President", "id": "/government/us_president" }, "lang": "en", "score": 31.618755, "output": { "/people/person/date_of_birth": { "/people/person/date_of_birth": [ "1961-08-04" ] }, "/people/marriage/spouse": { "/people/marriage/spouse": [ { "mid": "/m/025s5v9",
  162. 162. "name": "Michelle Obama", "/people/person/date_of_birth": { "/people/person/date_of_birth": [ "1964-01-17" ] } } ] }, "/people/marriage/spouse": { "/people/marriage/spouse": [ { "mid": "/m/025s5v9", "name": "Michelle Obama", "/people/person/date_of_birth": { "/people/person/date_of_birth": [ "1964-01-17" ] } } ] } } },
  163. 163. Data Dump Data Dumpは、Freebaseのデータのダウ ンロード可能なバージョンである。 https://developers.google.com/freebase/dat a?hl=ja
  164. 164. Freebase Triples  Total triples: 1.9 billion  Updated: Weekly  Data Format: N-Triples RDF  License: CC-BY  22 GB gzip 250 GB uncompressed
  165. 165. 機械は、どのように 「知識」を獲得するのか?
  166. 166. 情報の2つのタイプ  ネットワーク上の情報には、大雑把に言って2つのタイプ がある。一つは、典型的には個人と個人のコミュニケー ションで用いられる、基本的に共時的なメッセージ達と、も う一つは、時間を超えて累積されることを望む、通時的な メッセージ達である。  この2つのタイプの区別は、コトバと文字の分離に起源を もつ古いものだが、2つの型の情報のいずれもが、我々に 取っては、本質的に重要なものである。  コミュニケーションの媒体は変わっても、個人間のコミュニ ケーションの本質は大きく変わっていないように見える。た だ、集合的で蓄積的な知のあり方は、グローバルなネット ワークという新しいメディアの登場によって、大きく変わる 可能性はある。
  167. 167. ネットワーク上での知識の集積  ネットワークこそが、集合的で累積的な知識の担い手であ るべきだという意識は、新しいものである。  Googleの検索システムの変化の方向も、こうした意識の 変化を反映し、同時に、こうした変化を後押しするものに なるのかもしれない。  次のセクションでは、ネットワーク上に、構造化された知的 な情報を蓄積しようという、いくつかの試みを見ることにし よう。ただ、おそらくは、いずれもプリミティブなものである。  根本的には、「データの蓄積」といったレベルの抽象では 不十分で、コトバにしろ、文字にしろ、我々の言語能力自 体の理解が、次の飛躍には不可欠なのである。我々は、 そのことに気付きつつある。
  168. 168. Semantic Web / HTML5 Microdata 最終更新2012/06/29 http://www.whatwg.org/specs/web-apps/ current-work/ multipage/microdata.html#encoding-microdata
  169. 169. HTMLでの表現(ラベルなし) <section> 僕の名前は、丸山不二夫です。 クラウド大学大学院の客員教授をしています。 友達は、僕のことマルと呼んでいます。 僕のホームページは、 <a href=“http://cloud.ac.jp/~maruyama097”> マルのページ</a>です。 僕は、北海道の稚内市富岡5-9-1に住んでいます。 </section>
  170. 170. Web上の情報 HTMLでの表現(ラベルなし) 表示から人間が読み取れる、いろいろな情報が含まれている。 <section> 僕の名前は、丸山不二夫です。 クラウド大学大学院の客員教授をしています。 友達は、僕のことマルと呼んでいます。 僕のホームページは、 <a href=“http://cloud.ac.jp/~maruyama097”> マルのページ</a>です。 僕は、北海道の稚内市富岡5-9-1に住んでいます。 </section> ただ、これらの情報を、機械に 抽出させるのは難しい。
  171. 171. <section itemscope itemtype="http://data-vocabulary.org/Person"> 僕の名前は、 <span itemprop=“name”>丸山不二夫</span>です。 <span itemprop=“affiliation”>クラウド大学大学院</span>の <span itemprop=“title”>客員教授</span>をしています。 友達は、僕のこと <span itemprop=“nickname”>マル</span>と呼んでいます。. 僕のホームページは、 <a href="http://cloud.ac.jp/~maruyama097" itemprop="url"> マルのページ</a>です。 <section itemprop="address" itemscope itemtype="http://data-vocabulary.org/Address"> 僕は、 <span itemprop=“region”>北海道</span>の <span itemprop=“locality”>稚内市</span> <span itemprop=“street-address”>富岡5-9-1</span> に住んでいます。 </section> </section> ならば、それぞれの情報にタグ付けしよう。
  172. 172. Ontology / Taxsonomy ?  Semantic Webで、Ontology(存在論)という古めかし い言葉が使われたのは、面倒な「コトバの意味」を扱うの を避けて、「客観的」な「存在の関係」に意味を還元した かったのだと思う。ただ、コトバは存在しないものを表現出 来るし、Tripletは、言語のモデルとしては、あまりに貧弱 である。  意外なことだが、中世を脱して自然科学が起こり始めた 17世紀、「普遍言語」とTaxsonomyに対する関心が大き く盛り上がったらしい。http://bit.ly/1wMVxjq 20世紀に、アリストテレスや中世のスコラ哲学流の古い 考え方であるOntologyが復活したのも、それに似ている のかもしれない。
  173. 173. Ontology / Taxsonomy ?  誰が、タグ付けを行うのか? それは人間である。それは、 Crowd Computingの応用としては面白いが、典型的な 教師付きの学習である。Deep Learningが、画像の認 識では教師なしの学習を実現したように、言語理解でも別 の発展が起こりうると思う。  別の問題もある。本来は、言語に依存しない事物の関係 を表現するはずのタグに、我々は特定の言語を固定して 使う(よく考えれば、それ以外の方法はないのだ)。たいて いは英語だが。タグが精緻化するほど、それは英語の辞 書に近づき、タグ付けは翻訳作業に近づいてくる。当たり 前に思えるかもしれないが、本当はおかしい。
  174. 174. Facebook Open Graph 「今日のウェブは、さまざまページの間に張ら れた無構造でランダムなリンクによって成り たっています。Open Graph(オープンググラ フ)は人々の間の関係を構造化します。」 Zuckerberg 2010年4月f8コンファレンス
  175. 175. Objectのマークアップ <meta property="fb:app_id" content="YOUR_APP_ID" /> <meta property="og:type" content="recipebox:recipe" /> <meta property="og:title" content="Chocolate Chip Cookies" /> <meta property="og:image" content="http://www.example.com/cookies.png" /> <meta property="og:description" content="Best Cookies on Earth!" /> <meta property="recipebox:chef" content="http://www.example.com/john_smith"/>
  176. 176. Retrieving Objects GET /{object-instance-id} GET https://graph.facebook.com/1015012577744568 { "id": "1015012577744568" "type": "recipebox:recipe", "url": "http://www.example.com/cookies.html", "description": "Best Cookies on Earth!", "title": "Chocolate Chip Cookies", "image": "http://www.example.com/cookies.png” }
  177. 177. Built-in Object Types  Article  Blog  Book  Profile (External)  Movie  TV Episode  TV Show  Video  Website
  178. 178. <html> <head prefix="og: http://ogp.me/ns# fb: http://ogp.me/ns/fb# book: http://ogp.me/ns/book#"> <meta property="fb:app_id" content="YOUR_APP_ID"> <meta property="og:type" content="book"> <meta property="og:url" content="URL of this object"> <meta property="og:image" content="URL to an image"> <meta property="og:description" content="Description of content"> <meta property="og:title" content="Name of book"> <meta property="book:release_date" content="DateTime”> <meta property="book:author" content="Who wrote this"> <meta property="book:isbn" content="ISBN Number"> <meta property="book:tag" content="keywords"> </head> <body> <!--a wonderful book --> </body> </html> Book オブジェクトの記述例
  179. 179. <html> <head prefix="og: http://ogp.me/ns# fb: http://ogp.me/ns/fb# video: http://ogp.me/ns/video#"> <meta property="fb:app_id" content="YOUR_APP_ID"> <meta property="og:type" content="video.movie"> <meta property="og:url" content="URL of this object"> <meta property="og:image" content="URL to an image"> <meta property="og:title" content="Movie title"> <meta property="og:description” content="Description of movie"> <meta property="video:release_date" content="DateTime"> <meta property="video:actor" content="URL to Profile"> <meta property="video:actor:rol content="Role in Move"> <meta property="video:duration" content="runtime in secs"> <meta property="video:director" content="URL to Profile"> <meta property="video:writer" content="URL to Profile"> <meta property="video:tag" content="keyword"> </head> <body> <!--a wonderful movie --> </body> </html> Movie オブジェクトの記述例
  180. 180. Built-in Action Types  Like - Any Object Type  Follow - Profile  Listen - Song  Read - Article  Watch - Video, Movie, TV Show, or TV Episode
  181. 181. 機械の「知識」獲得の新しい流れ 人間が、言語能力を土台として、書籍・メディア・イン ターネット等、生物とは異なるやり方で知識獲得・集積 の方法を作り出したように、機械は、人間とは異なる やり方で、お互いコミュニケーションを始め、独自のス タイルで知識の獲得を開始しているように見える。ま だ、極めてプリミティブなものだが。こうした動きは、こ れからも続くだろう。それは、機械と人間の「共生」の ためのインターフェースだ。 ここで紹介する技術は、いずれも広告に関連している。
  182. 182. Gooogle Actions in the Inbox Schema.orgのマークアップをe-mailに埋め 込む技術。Google Nowで使われている。 https://developers.google.com/gmail/action s/
  183. 183. Adding structured data to the email <html> <head> <title>Did you enjoy Google Cafe?</title> </head> <body> <p> Dear John, please rate Google Cafe between 1 and 5 stars and, optionally, add a text comment. </p> </body> </html>
  184. 184. <html> <head> <title>Did you enjoy Google Cafe?</title> </head> <body> <script type="application/ld+json"> { "@context": "http://schema.org", "@type": "Restaurant", "name": "Google Cafe", "action": { "@type": "ReviewAction", "review": { "@type": "Review", "reviewRating": { "@type": "Rating", "bestRating": "5", "worstRating": "1" } }, "handler": { "@type": "HttpActionHandler", "url": "{{ review_url }}”,
  185. 185. "encoding": { "url": "http://schema.org/Encoding/UrlEncoded" }, "method": "http://schema.org/HttpRequestMethod/POST", "requiredProperty": { "@type": "Property", "name": "review.reviewRating.ratingValue" }, "optionalProperty": { "@type": "Property", "name": "review.reviewBody" } } } } </script> <p> Dear John, please rate Google Cafe between 1 and 5 stars and, optionally, add a text comment. </p> </body> </html>
  186. 186. Google Now Flight Reservation
  187. 187. <script type="application/ld+json"> { "@context": "http://schema.org", "@type": "FlightReservation", "reservationNumber": "RXJ34P", "reservationStatus": "http://schema.org/Confirmed", "underName": { "@type": "Person", "name": "Eva Green" }, "reservationFor": { "@type": "Flight", "flightNumber": "110", "airline": { "@type": "Airline", "name": "United", "iataCode": "UA" },
  188. 188. "departureAirport": { "@type": "Airport", "name": "San Francisco Airport", "iataCode": "SFO" }, "departureTime": "2017-03-04T20:15:00-08:00", "arrivalAirport": { "@type": "Airport", "name": "John F. Kennedy International Airport", "iataCode": "JFK" }, "arrivalTime": "2017-03-05T06:30:00-05:00" } } </script>
  189. 189. Google Now Flight Reservation
  190. 190. <script type="application/ld+json"> { "@context": "http://schema.org", "@type": "FlightReservation", "reservationNumber": "RXJ34P", "reservationStatus": "http://schema.org/Confirmed", "underName": { "@type": "Person", "name": "Eva Green" }, "reservationFor": { "@type": "Flight", "flightNumber": "110", "airline": { "@type": "Airline", "name": "United", "iataCode": "UA" }, "departureAirport": { "@type": "Airport", "name": "San Francisco Airport", "iataCode": "SFO" },
  191. 191. "departureTime": "2017-03-04T20:15:00-08:00", "arrivalAirport": { "@type": "Airport", "name": "John F. Kennedy International Airport", "iataCode": "JFK" }, "arrivalTime": "2017-03-05T06:30:00-05:00" }, "airplaneSeat": "9A", "airplaneSeatClass": { "@type": "AirplaneSeatClass", "name": "Business" }, "ticketNumber": "ABC1234", "ticketToken": "qrCode:AB34" } </script>
  192. 192. Google Now Hotel Reservation
  193. 193. <script type=“application/ld+json”> { “@context”: “http://schema.org”, “@type”: “LodgingReservation”, “reservationNumber”: “abc456”, “reservationStatus”: “http://schema.org/Confirmed”, “underName”: { “@type”: “Person”, “name”: “John Smith” }, “reservationFor”: { “@type”: “LodgingBusiness”, “name”: “Hilton San Francisco Union Square”, “address”: { “@type”: “PostalAddress”, “streetAddress”: “333 O‘Farrell St”, “addressLocality”: “San Francisco”, “addressRegion”: “CA”, “postalCode”: “94102”, “addressCountry”: “US” }, “telephone”: “415-771-1400” }, “checkinDate”: “2017-04-11T16:00:00-08:00”, “checkoutDate”: “2017-04-13T11:00:00-08:00” } </script>
  194. 194. Android Advertising ID 「2014年8月1日から、Play ストアにアップ ロードされたすべての更新や新着アプリには、 広告目的で使用する端末ID として広告ID (端末で利用可能な場合)を使用する必要が あります。」 https://play.google.com/about/developer-content- policy.html#ADID
  195. 195. Using the Advertising ID  The advertising ID is a unique but user-resettable string identifier that lets ad networks and other apps anonymously identify a user. The user's advertising ID is made available to apps through APIs provided in Google Play services.
  196. 196. Using the Advertising ID  Users can reset their advertising ID at any time, right from the Ads section of the Google Settings app on their devices. From the same app, users can also opt-out of targeted advertising based on the advertising ID by setting the appropriate ad tracking preference. When the user opts-out of targeted ads, this ad tracking preference is made available to apps through a Google Play services API.
  197. 197. Android 広告ID の使用  Google Play 開発者サービスバージョン4.0 では、広告と分析のプロバイダが使用する新しい API とID が導入されました。このAPI とID を 使用するための規約は以下のとおりです。  個人を特定できる情報またはその他のID との 関連付け: 広告ID をユーザーの明示的な同意 なしに、個人を特定できる情報にリンクしたり、永 続的なデバイスID(例: SSAID、MAC アドレス、 IMEI など)に関連付けたりしてはいけません。
  198. 198. Android 広告ID の使用  ユーザーの選択を優先: リセットする際にユーザーの明 示的な同意なしに、新しい広告ID を以前の広告ID や 以前の広告ID からのデータにリンクしてはいけません。 さらに、ユーザーの[インタレストベース広告をオプトアウ ト] 設定を遵守する必要があります。ユーザーがこの設定 を有効にした場合は、広告目的でユーザーのプロフィー ルを作成したり、ユーザーをインタレストベース広告の ターゲットに設定したりするために広告ID を使用しては いけません。ただし、コンテンツターゲット広告、フリーク エンシーキャップ、コンバージョントラッキング、レポート、 セキュリティや不正行為の検出などに使用することはでき ます。
  199. 199. Android 広告ID の使用  ユーザーに対する透明性: 広告ID の収集と使用、その 規約への同意について、法的に適切なプライバシー通知 でユーザーに公開する必要があります。  利用規約の遵守: 広告ID はその利用規約を遵守する 場合にのみ使用できます。貴社のビジネスで共有する可 能性のある団体が使用する場合も同様です。2014 年8 月1 日から、Play ストアにアップロードされたすべての 更新や新着アプリには、広告目的で使用する端末ID と して広告ID(端末で利用可能な場合)を使用する必要が あります。
  200. 200. IBM Watson 質問応答システム "Getting started with the API" http://ibm.co/1t1X0lN
  201. 201. Watsonのシステム構成
  202. 202. Watsonがシステムに POSTする質問の例。自然言語!  「深い自然言語の構築や、機械学習やランキン グ・アルゴリズム等のコアな技術力の必要なしに、 企業は、Watsonの認知能力を企業のアプリ ケーションに埋め込むことが出来る」
  203. 203. IBM Watsonの働き "Science behind Watson" https://developer.ibm.com/watson/docs/vid eos/science-behind-watson/
  204. 204. 構文解析 first person name .. IS hero 文章の論理構造 same author Step 1 Question Analysis
  205. 205. 文章の論理構造から 仮説を立てる Missing link finding book previous = 三銃士? Step 2 hero = アラミス? Hypothesis Generation
  206. 206. 文章の論理構造から 仮説を立てる Missing link finding hero = ダルタニアン?
  207. 207. Step 3 Hypothesis & Evidence Scoring 仮説を事実と突き 合わせて検証し、 あるものは棄却し あるものはスコア を付けて残す。
  208. 208. 参照される事実は このように自然言語 で記述されている。
  209. 209. Step 4 Final Merging & Ranking いくつかの指標で 総合的に評価する
  210. 210. 最終的に、「ダルタニアン」が選ばれる
  211. 211. マルゼミ「人間の思考、機械の思考」 、次の要領で第三回マルゼミを開催します  日時: 10月7日19:00~  場所: KDDI 渋谷ヒカリエオフィス34階  定員: 40名  申込: 9月30日12:00〜  登壇者:  丸山不二夫「人間に出来ること」  金山博IBM東京基礎研究所 「質問応答システムWatsonの技術」  細金正隆電通サイエンスジャム 「脳の生体信号を使った感性把握ビジネス」

×