Downloaded 24 times
![29
The BigData
一般物体認識でもモデルではなくデータからのアプローチが
7900万枚の画像での学習 [Torralba et al. PAMI 2008]
20億万枚で更なる向上が [Xin-Jing Wang et al. CVPR 2010]](https://image.slidesharecdn.com/2moriwiadj-130209072947-phpapp01/85/Technology-Singularity-Face-29-320.jpg)
Uploaded byWorld IA Day Japan
データ活用からビックデータの彼方へ－技術的特異点（Technology Singularity）その二つのFace
「データ活用からビックデータの彼方へ－技術的特異点（Technology Singularity）その二つのFace」（森 正弥）
![[Uxtokyojam]2014 final public](https://cdn.slidesharecdn.com/ss_thumbnails/uxtokyojam2014finalpublic-140726105044-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
データ活用からビックデータの彼方へ－技術的特異点（Technology Singularity）その二つのFace
- 1. Data utilization towardBigData’s edge the two faces of Technology Singularity Rakuten Inc. Masaya Mori
- 2. • 森 正弥（もり まさや） • 楽天株式会社 執行役員 • 開発アーキテクチャ部 部長 • ビッグデータ部 副部長 • 楽天技術研究所 所長 • 職掌 – 開発部署のマネジメント – 研究開発の推進・統括 Masaya Mori Twitter: @emasha
- 3. ローマ神話 終わりと始まりの神 1月（January）の語源 過去と未来の間に立つ ２つの顔から明暗も示す 本講演との関わりは後ほど... Janus the godof transition: end and beginning
- 4. 4 What is BigData? 55times BigData = データ活用
- 5.
- 6. 6 Rakuten’s case BigData =データ活用 （集合知含む）
- 7. 7 1997 → 2013 創業の理念：Empowerment!日本を元気に
- 8. 8 日本の小売の特徴 じゃばら • 地方毎に特産品がある、コアな趣味を持つ人が多い • 販売者もロングテール、購入者もロングテール •常識ではかれないものが飛ぶように売れる 日本は ロングテール じゃばらドリンク
- 9.
- 10.
- 11. 11 E-Commerce Portal andMedia Ｔｒａｖｅｌ Telecommunications Securities Credit Card Professional Sports Banking E-money 楽天グループ（国内）のサービス
- 12. 12 スーパーDB •多様なビジネスがもたらす、バラエティ に富んだ、多様なデータを、ひとつの巨 大なデータウェアハウスに格納 Rakuten Super DB 多様なビジネスデータ Thatis our important core generating revenue.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20. 20 Mankind history has 2parts. BB and AB
- 21. 21 Knowledge is Power. (Modelis power.) Observing Modeling Understanding Controlling B.B.
- 22. 22 It’s revolution. Data isPower. AI creates model. A.B.
- 23.
- 24. 24 We are the99%. Occupy Wall Street. A variety of ideology A variety of belief A variety of religion
- 25.
- 26.
- 27. 27 Out of thebox ブレークスルーが必要 ビッグデータが解決の鍵に 機械学習
- 28. 28 2005年 NIST 後援 機械翻訳コンテスト アラビア語→英語 中国語→英語 グーグルチームの初参戦と勝利 高度なモデル・アルゴリズムなし 1兆2000億にのぼる語句のデータ をあてただけ TheBigData http://www.itl.nist.gov/iad/mig/tests/mt/2005/doc/mt05eval_official_results_release_20050801_v3.html
- 29. 29 The BigData 一般物体認識でもモデルではなくデータからのアプローチが 7900万枚の画像での学習 [Torralbaet al. PAMI 2008] 20億万枚で更なる向上が [Xin-Jing Wang et al. CVPR 2010]
- 30.
- 31. 31 Technology Singularity （技術的特異点） 人知（科学）をこえた問題解決の彼方へ ComplexSystemへ データ + 機械学習
- 32.
- 33.
- 34. 34 The two facesof tomorrow (1979) ジェイムズ・P・ホーガン 「人格や意志を持たないAIがなぜ人類 に対して反乱を起こすのか」という古典 的命題に対し、コンピュータ工学的に 裏付けられた合理的な解釈 ヤヌス・プロジェクト： スペースコロニーを人類社会にみたて、 AI「スパルタクス」に全制御を預けて、 妨害をしていくとどうなるかという実験
- 35.
- 36.
- 37.
- 38.
- 39.
- 40. 40 Next Step Member Rakuten Super DB Purchase Card Point Service スーパーDBとの連携基盤の検討 Hadoop基盤とスーパーDBの連携方法および環境検討に着手 extract,transform Data Matching 透 過 的 な ユ ー ザ イ ン タ フ ェ ー ス Developer Marketer Administrator User 集 約 、 ロ ー ド フ ァ イ ル コ ピ ー Access Log Search Log Docs, PDFｓ Images/videos Behavior UserProfile, Transaction
- 41.
- 42. 42 #ANPI-NLP (ANPI=安否) • Rightafter earthquake, RIT aggregated ANPI information from web and twitter. • We collaborated together with over 70 people outside of Rakuten. http://trans-aid.jp/ANPI_NLP/ •Analyze ANPI tweet •Aggregate ANPI info •Classify ANPI tweet •Matching location •Translate information
- 43.
Editor's Notes
- #4 The two faces というところにも関わっているのですが
- #6 数学者ハリ・セルダン、心理歴史学 気体分子運動論 において、個々の分子の運動は予測できないが、集団の気体ということなら平均の運動は計算できるという事の アナロジー １万２千年続いた銀河帝国。その崩壊が迫っている。 崩壊を防ぐことはできないが、その後の数万年の暗黒時代を、 1000 年に縮め、その後に強固な第二帝国を復興させることができる、と 心理歴史学とそれに基づいた組織「ファウンデーション」を設立。このシリーズはファウンデーションの人々が様々な苦難に立ち向かい、セルダン・プランの成就を目指していくストーリー。
- #13 Named “Rakuten SuperDB”. … for the growth of e-commerce.
- #16 … , we deploy it in many services of Rakuten, as you can see.
- #20 This is a graph drawn by Information Explosion project in Japan, showing the amount of digital data human kind has. You know, … . Along with this, … That is called “…”.
- #21 ビッグデータというのは違う概念である
- #24 The 3 rd is …. from RIT. Recently, ….. real world and net service everywhere, especially by using new device technologies . In this presentation, we will show some …… …. enjoy it.
- #25 わかりやすい例。
- #28 わかりやすい例。
- #29 2005 年にアメリカ国立標準技術研究所（ NIST ）後援で開催された、米国立標準技術研究所後援の機械翻訳コンテスト 難解かつ独特なアラビア語の大量の記事を、いかに正確に英文記事へと翻訳できるか、その翻訳精度の高さを競う大会このコンテストは、アラビア語を英語に。 アルゴリズムの精度を測るもので、「そこに初めて Google が参戦し圧倒的勝利を収めたのだが、 グーグルチームは、アラビア語がわかるメンバーが一人もいなかったそうです。 「彼らは、自然言語処理モデルもアルゴリズムもつくることもしなかった。何をしたかというと、単に web 上でグーグルの検索にあてただけ。大量のデータを適用したことにより、精度の高い翻訳分析ができてしまった。大量データを使えば使うほど価値を生み出し、できなかったことができるようになることが証明された結果、ビッグデータという概念が生まれ世界が注目するようになった」。そう説明するのは、楽天技術研究所の森正弥所長だ。 彼らは自然言語処理技術を使用せず、 Web 上にあるデータから言葉と言葉の関連性の距離を計算し、距離の近いものを当てはめて翻訳していくという手法をとった。これはつまり、理論がなくともデータが大量にあれば、精度の高い分析ができてしまうという世界がくることを意味した。これがビッグデータの本質であろう。」（森氏）。
- #30 わかりやすい例。
- #31 ワトソンは、アメリカ合衆国のクイズ番組「ジェパディ ! 」（ Jeopardy! ）で人間と対戦するためのコンピュータ・システムで、 2009 年 4 月に IBM により発表された [1] 。 これは 1997 年に、当時のチェス世界チャンピオンのガルリ・カスパロフに勝利した IBM のコンピュータ・システムであるディープ・ブルーに次ぐプロジェクトである。しかし、クイズ番組では自然言語で問われた質問を理解して、文脈を含めて質問の趣旨を理解し、人工知能として大量の情報の中から適切な回答を選択し、回答する必要がある。 IBM はこの技術を、将来的には医療、オンラインのヘルプデスク、コールセンターでの顧客サービスなどに活用できるとしている。 2011 年 1 月 13 日にはトーマス・ J ・ワトソン研究所でワトソンの公開と対戦デモが行われた。ワトソンは、 10 台のラックに搭載された Power Systems 750 で構成され、 2880 個の POWER7 プロセッサ・コアを搭載し、オペレーティングシステムは Linux 、処理性能は 80 テラ FLOPS(TFLOPS) で、インターネットには接続されておらず、本・台本・百科事典（ Wikipedia を含む）などの 2 億ページ分のテキストデータ（ 70GB 程度、約 100 万冊の書籍に相当）をスキャンして取り込んだ [2][3] 。 2011 年 2 月 14 日からの本対戦では、 15 日と 16 日に試合が行われ、初日は引き分け、総合ではワトソンが勝利して賞金 100 万ドルを獲得した。賞金は全額が慈善事業に寄付される [4] 。 IBM の事実上の創立者、トーマス・ワトソンより。
- #32 わかりやすい例。
- #33 わかりやすい例。
- #34 http://news.mynavi.jp/articles/2010/10/12/akara/002.html 10 年 10 月。コンピュータ将棋「あから」が女流王将のプロ棋士に勝利した。あからで使っているプログラムは、将棋初心者の化学者が開発したものだ。 ビッグデータ技術は、時には人間を上回る判断力や知性を生み出す。コンピュータ将棋「あから」で使っている Bonanza というプログラムは、過去のプロ棋士による対局の棋譜から自動的にパターンを見つけ出す。膨大な棋譜データを学習することで、盤面でどの手を指すのが最も効果的かを判断する「大局観」を自ら生み出した。結果的に、プロ棋士を負かすほどの実力を身に付けたのだ。 2010 年 4 月 2 日、情報処理学会は、会長の白鳥則郎（東北大学客員教授）名義にて「 35 年の開発の末名人に伍する力ありと情報処理学会が認める迄に強いコンピューター将棋を完成致しました」と宣言し、日本将棋連盟に挑戦状を渡した。将棋連盟はこれに対し、米長会長名義で「その度胸と不遜な態度に感服した」として挑戦状を受理。最初の対戦相手として女流の清水市代（対局決定時女流王位・女流王将の二冠）を指名した [22][23] 。 2010 年 5 月 ?7 月に、第 2 回週刊将棋アマ COM 平手戦が週刊将棋の連載として開催された。対戦相手は東京大学将棋部 5 名。それぞれ 2 回、合計 10 回対戦が行われ、棚瀬将棋が 1 敗して、コンピュータ側の 9 勝 1 敗であった。参加したコンピュータは、激指・ Bonanza Feliz ・ YSS ・棚瀬将棋・ GPS 将棋。持ち時間は 1 回目が 30 分（秒読み 60 秒）、 2 回目が 10 分（秒読み 30 秒）。 2010 年 8 月 23 日に、清水市代との対局の詳細が発表され、持ち時間はチェスクロック使用による 3 時間（ 1 分未満の考慮時間も計測される）、使い切ったあとは 1 手 1 分というマイナビ女子オープン五番勝負と同様の条件となった。また、コンピュータ側のハードウェアはクラスタなし（ Intel Xeon W3680 3.33GHz 6 コア）を中心に、 GPS 将棋が提供した東京大学のクラスタマシン（ Intel Xeon 2.80GHz 4 コア： 109 台・ Intel Xeon 2.40GHz 4 コア： 60 台・合計 169 台 676 コア）を併用する形で、ソフトウェアは「激指」「 GPS 将棋」「 Bonanza 」「 YSS 」の 4 種類のソフトが電気通信大学伊藤研究室の開発するマネージャの管制の下で多数決を行う合議制がそれぞれ採用された。このシステムは、 10 の 224 乗という、将棋の全局面数 10 の 226 乗に近い数を示す語をとって、「あから 2010 」と名付けられた。 合議制の重み付けは以下の通り。クラスタなしが合計 7.7 、クラスタありが合計 1.3 とクラスタなしを優先している。 クラスタなし - Intel Xeon W3680 3.33GHz 6 コア 激指 - 2.9 Bonanza - 1.9 GPS 将棋 - 1.0 YSS - 1.9 クラスタあり - Intel Xeon 4 コア、合計 169 台、 676 コア 激指 - 0.1 Bonanza - 0.1 GPS 将棋 - 1.0 YSS - 0.1 清水市代とあから 2010 の対局は 2010 年 10 月 11 日に東京大学工学部で指され、 86 手で後手のあから 2010 が勝利した。
- #35 ワトソンは、アメリカ合衆国のクイズ番組「ジェパディ ! 」（ Jeopardy! ）で人間と対戦するためのコンピュータ・システムで、 2009 年 4 月に IBM により発表された [1] 。 これは 1997 年に、当時のチェス世界チャンピオンのガルリ・カスパロフに勝利した IBM のコンピュータ・システムであるディープ・ブルーに次ぐプロジェクトである。しかし、クイズ番組では自然言語で問われた質問を理解して、文脈を含めて質問の趣旨を理解し、人工知能として大量の情報の中から適切な回答を選択し、回答する必要がある。 IBM はこの技術を、将来的には医療、オンラインのヘルプデスク、コールセンターでの顧客サービスなどに活用できるとしている。 2011 年 1 月 13 日にはトーマス・ J ・ワトソン研究所でワトソンの公開と対戦デモが行われた。ワトソンは、 10 台のラックに搭載された Power Systems 750 で構成され、 2880 個の POWER7 プロセッサ・コアを搭載し、オペレーティングシステムは Linux 、処理性能は 80 テラ FLOPS(TFLOPS) で、インターネットには接続されておらず、本・台本・百科事典（ Wikipedia を含む）などの 2 億ページ分のテキストデータ（ 70GB 程度、約 100 万冊の書籍に相当）をスキャンして取り込んだ [2][3] 。 2011 年 2 月 14 日からの本対戦では、 15 日と 16 日に試合が行われ、初日は引き分け、総合ではワトソンが勝利して賞金 100 万ドルを獲得した。賞金は全額が慈善事業に寄付される [4] 。 IBM の事実上の創立者、トーマス・ワトソンより。
- #36 数学者ハリ・セルダン、心理歴史学 気体分子運動論において、個々の分子の運動は予測できないが、集団の気体ということなら平均の運動は計算できるという事のアナロジー １万２千年続いた銀河帝国。その崩壊が迫っている。 崩壊を防ぐことはできないが、その後の数万年の暗黒時代を、 1000 年に縮め、その後に強固な第二帝国を復興させることができる、と 心理歴史学とそれに基づいた組織「ファウンデーション」を設立。このシリーズはファウンデーションの人々が様々な苦難に立ち向かい、セルダン・プランの成就を目指していくストーリー。
- #42 大量の学習データを正確にどうつくるかで、クラウドソーシングの利用というのがある。
- #44 あるいは、ヒューマンコンピュテーション。 クラウドソーシングと機械学習 www.geocities.jp/kashi_pong/publication/JSAI_crowds.pdf 大量の学習データを正確にどうつくるかで、クラウドソーシングの利用というのがある。