0
Big Data                                 Intelligence2012. 06. 04   / Saltlux, Inc.氏家 真/ mujike@saltlux.com
ビッグデータとは?Communicating Knowledge       1
2
3
つまり 巨大(Volume)                Big Data 急激(Velocity)   Issues                (3V) 多様(Variety)そのため、理解し、活用しきれない              ...
非構造化ビッグデータ関連のテクノロジー                可視化 統計分析    セマンティクス                     (R)            テキスト    クラウド、   機械学習     マイニング  ...
6
Webの世界で何が起きてきたか?2000          2005             2010             2015              2020 Web 1.0             Web 2.0        ...
ビッグデータインテリジェンスからのビッグバリュー        ビッグデータ分析とインテリジェンス         • ソーシャルシグナル分析 組織外部         • 競合調査         • 評判管理          • 顧客の声...
ビッグデータ分析の事例Communicating Knowledge   9
通信事業会社向けのビッグデータ分析                    10
通話履歴(CDR)を使ったソーシャルネットワーク分析                             11
モバイルソーシャルネットワーク分析事例                                                                                                       ...
ネットワーク情報からのユーザプロファイル分析  Bimodal  Normal μ1 = 38    Φ= σ1 = 4.2 w = 0.83     各年齢別(SMS/ VOICE)、(性別)、 μ2 = 13 σ2 = 2.4    (年齢...
オントロジー・ポピュレーション      レガシーデータ      レガシーデータからのオントロジーマッピング                              14
ハイブリッド推論 DL + ルール50 クラス、58 関係性、15 プロパティ、57 ルール                                15
ソーシャルリレーションシップの発見                    16
嗜好性の分析         ユーザの暗黙的な行動履歴の利用                                                             Map Business                   ...
情報モニタリング           18
情報モニタリング           19
e-ディスカバリソリューション
ナレッジネットワーク分析               21
VOC(顧客の声)分析              22
新技術の分析                   80 GB   KMS DB                                                    RESULTS                        ...
新技術の分析         24
ハイブリッド推論(Hybrid Reasoning)  強み + 強み  弱み – 弱み                     25
ハイブリッド分析 : 混合手法                 論理的推論手法                               オントロジー及びルール• 演繹的推論(Deductive Reasoning)  前提1: すべての人間...
セマンティックソーシャルメディア分析情報ネットワーク          ソーシャルネットワーク     テキスト    マイニング                  SNA (Induction/帰納法     (Deduction/演繹法) ...
Twitterに含まれるソーシャルセマンティックス             位置情報             ユーザ情報             更新履歴             ツイート内容             ツイート頻度       ...
次のブームは?
サイズは問題か?そうです、しかしサイズ自体が問題ではありません!        VS.ナレッジ・フラグメンテーション   (知識の断片化)が問題です                      30
ナレッジ・フラグメンテーション            出展:Wikipedia                           31
拡張知能とは?知能の拡張化(Augmented Brain)がもたらすもの:  • より大きな全体像の理解  • 文脈依存の知識のリアルタイムでの再    構成  • 洞察の獲得  • 予測と意思決定極めて断片的な知識の統合による実現     ...
拡張知能における注目技術Apple Siri (iPhone 4S)                             IBM Watson (Jeopardy)                         Google Voice ...
バーチャル・パーソナル・アシスタンス?バーチャル・パーソナル・アシスタントとは、下記を実現するソフトウェアシステムである • ユーザが何かを探すか、行うことを助ける(情報というよりも、   課題(タスク)に焦点) • ユーザの意向と文脈・属性(...
インテリジェント・エージェント? 自律的な主体/エンティティであり、セン  サを通して観察し、環境に応じて行動 目標の達成に向けて、その活動を指示 目標を達成するために蓄積された知識を学習し、使用            -   Russe...
日本では? Siri (Apple) しゃべってコンシェル(NTTドコモ) 音声アシスタント(Yahoo Japan) 西野ひかり(NTT西日本) etc                          36
インテリジェント・エージェント?1. Simple reflex agent      3. Model based reflex                            agent2. General learning agen...
Siri?Siri iOS上で、パーソナルアシスタントアプリ   ケーションとして機能する、インテリジ   ェントソフトウェアアシスタントかつ知   識ナビゲータSiri 自然言語UIを実装   • 質問への回答   • レコメンデーションの提...
Siriに何を頼めるか?1. サービスの代理実行  タスクの完遂に焦点2. 会話型インタフェイス  会話を通じた意図の理解3. 人的文脈認識  個人情報を学習し、応用  • リマインド                         • アラー...
Siriの技術 会話型                     サービス委任インターフェ     人的文脈認識                     (代理実行)  イス  対話と自然言語の理解  機械学習  証拠性及び確率性の推論 ...
Siriの技術の概要             41
会話ベースのインターフェイス                 42
タスクに紐付く自然言語処理                43
オントロジーによるモデル統合                 44
セマンティック・オートコンプリート                    45
汎用的タスクとドメインによる  対話モジュールの構成                 46
タスクモジュール           47
アップルによる特許申請   (230 pages)                            48
なぜSiriは過去の類似サービスと違うのか タスクに焦点何かすることを見つけ、 友達と外出し、 そして街を歩き回る、というような 人間的な結合したタ スクの集合に焦点 データの構造化に焦点Siriが特に得意とするタスクの種 類は半構造化デー...
検索(キーワード、リンク) => 行動(会話、タスク)   Yahoo!Local   『情報の紐づけ』   (地域サイト)                                       Siri                 ...
Googleも情報の紐づけ                            最新サービス:ナレッジグラフ  【1】2通り以上の解釈ができる                                【2】検索ワードに関する概要を表示 ...
Saltlux新製品:[IN2]Discovery 2     分散した情報を意味的に統合/分析 統合した画面上で、直感的に知識生態系を把握可能                世の中すべての知識の                  融合と検索 ...
Q&A   ありがとう      ございました         Big Data       Intelligence
Upcoming SlideShare
Loading in...5
×

Semantic techandbigdata(presentation)rev01

1,411

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,411
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
13
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Semantic techandbigdata(presentation)rev01"

  1. 1. Big Data Intelligence2012. 06. 04 / Saltlux, Inc.氏家 真/ mujike@saltlux.com
  2. 2. ビッグデータとは?Communicating Knowledge 1
  3. 3. 2
  4. 4. 3
  5. 5. つまり 巨大(Volume) Big Data 急激(Velocity) Issues (3V) 多様(Variety)そのため、理解し、活用しきれない 4
  6. 6. 非構造化ビッグデータ関連のテクノロジー 可視化 統計分析 セマンティクス (R) テキスト クラウド、 機械学習 マイニング NoSQL 自然言語 クローリング 情報検索 処理 (Search) 5
  7. 7. 6
  8. 8. Webの世界で何が起きてきたか?2000 2005 2010 2015 2020 Web 1.0 Web 2.0 Web 3.0 Web of Data ??Information People Big Data Intelligence ソーシャル 検索 分析 予測 ネットワーク 収集 理解 最適化 7
  9. 9. ビッグデータインテリジェンスからのビッグバリュー ビッグデータ分析とインテリジェンス • ソーシャルシグナル分析 組織外部 • 競合調査 • 評判管理 • 顧客の声(VOC)の理解 事業最適化 • ソーシャルネットワーク分析 & • リスク/危機管理 顧客満足 • ビジネスディベロップメント • eディスカバリ、内部監査 組織内部 • ナレッジマネジメント • 製品/技術革新 8
  10. 10. ビッグデータ分析の事例Communicating Knowledge 9
  11. 11. 通信事業会社向けのビッグデータ分析 10
  12. 12. 通話履歴(CDR)を使ったソーシャルネットワーク分析 11
  13. 13. モバイルソーシャルネットワーク分析事例 主な活動地域 主な居住地域 attend Profile attend • Name: Jerry Obama • Age: 12 Profile • Sex: Woman attend lives in • Name: Elizabeth Coxlives in • Age: 12 • Sex: Woman Pay for attend attend Call Profile • Name: Jane Bush • Age: 12 Call • Sex: Woman Call Call Call Profile Profile • Name: Edward Adams • Name: Nancy Obama • Age: 11 • Age: 42 Call • Sex: Woman • Sex: Woman lives in Profile Profile • Name: Tom Obama • Name: Jessica Bailey 家族 • Age: 16 友人 • Age: 13 • Sex: Man • Sex: Woman 12
  14. 14. ネットワーク情報からのユーザプロファイル分析 Bimodal Normal μ1 = 38 Φ= σ1 = 4.2 w = 0.83 各年齢別(SMS/ VOICE)、(性別)、 μ2 = 13 σ2 = 2.4 (年齢) 120 クラスのパターンを用いたPI の結果 13
  15. 15. オントロジー・ポピュレーション レガシーデータ レガシーデータからのオントロジーマッピング 14
  16. 16. ハイブリッド推論 DL + ルール50 クラス、58 関係性、15 プロパティ、57 ルール 15
  17. 17. ソーシャルリレーションシップの発見 16
  18. 18. 嗜好性の分析 ユーザの暗黙的な行動履歴の利用 Map Business Extract Classify Measure Content / Types toCDR 分析 Collect CDR Company Business Preference Preference based Service Domain Name Type on Frequency Preference Classes Classify Extract Analysis Map values to Content / URL Collect URL URL Services Extract URL property Preference Service 分析 Access Log properties Domain from URL values Classes Preference Extract Classify Indentify Content /検索ワード Collect Search Search Target Map Search Keyword to Service 分析 Search Log Preference Classes Keyword Keyword Services Preference会員カード Extract Classify Map Business Measure Content / Types to利用分析 Collect CDR Company Business Preference Preference based Service Domain Name Type on Frequency Preference 分析 Classes 暗黙的なユーザ ユーザ個人の 社会的な嗜好性発見 行動履歴の分析 嗜好性の発見 ユーザ行動履歴の分類 明示的なユーザ 個人の嗜好性の 代表的な嗜好性の 行動履歴の分析 グループ化 グループ発見
  19. 19. 情報モニタリング 18
  20. 20. 情報モニタリング 19
  21. 21. e-ディスカバリソリューション
  22. 22. ナレッジネットワーク分析 21
  23. 23. VOC(顧客の声)分析 22
  24. 24. 新技術の分析 80 GB KMS DB RESULTS ANALYSIS (インデックス) US PAT DB - Top N 100 GB - 推移分析 - 関係分析 RESULTS DB 5 GB 400 GB ANALYSIS INDEXKMS ATT. FILE PAPERS PAPER DB XML TECH. DOC DB PAT. DB TECH DOCs 10 T 10 GB 23
  25. 25. 新技術の分析 24
  26. 26. ハイブリッド推論(Hybrid Reasoning) 強み + 強み 弱み – 弱み 25
  27. 27. ハイブリッド分析 : 混合手法 論理的推論手法 オントロジー及びルール• 演繹的推論(Deductive Reasoning) 前提1: すべての人間はいずれ死ぬ 前提2: ソクラテスは人間である 結論: ソクラテスはいずれ死ぬ +• 帰納的推論(Inductive Reasoning) 前提: 太陽は今まで毎朝東から昇っている 結論: 太陽は明日も東から昇る• 外転的推論 機械学習• 類推的推論 26
  28. 28. セマンティックソーシャルメディア分析情報ネットワーク ソーシャルネットワーク テキスト マイニング SNA (Induction/帰納法 (Deduction/演繹法) ) ソーシャルメディア分析
  29. 29. Twitterに含まれるソーシャルセマンティックス 位置情報 ユーザ情報 更新履歴 ツイート内容 ツイート頻度 フォロワー数 など 28
  30. 30. 次のブームは?
  31. 31. サイズは問題か?そうです、しかしサイズ自体が問題ではありません! VS.ナレッジ・フラグメンテーション (知識の断片化)が問題です 30
  32. 32. ナレッジ・フラグメンテーション 出展:Wikipedia 31
  33. 33. 拡張知能とは?知能の拡張化(Augmented Brain)がもたらすもの: • より大きな全体像の理解 • 文脈依存の知識のリアルタイムでの再 構成 • 洞察の獲得 • 予測と意思決定極めて断片的な知識の統合による実現 32
  34. 34. 拡張知能における注目技術Apple Siri (iPhone 4S) IBM Watson (Jeopardy) Google Voice Translator
  35. 35. バーチャル・パーソナル・アシスタンス?バーチャル・パーソナル・アシスタントとは、下記を実現するソフトウェアシステムである • ユーザが何かを探すか、行うことを助ける(情報というよりも、 課題(タスク)に焦点) • ユーザの意向と文脈・属性(位置、予定、歴史)を理解(言語を 解釈)する • ユーザの代わりに作業し、複数のサービスと 情報ソースを調整 し、タスク完了を手助けする言い換えると、アシスタントはユーザが何かすることを理解し、作業することで支援してくれる (Tom Gruber, 2010) 34
  36. 36. インテリジェント・エージェント? 自律的な主体/エンティティであり、セン サを通して観察し、環境に応じて行動 目標の達成に向けて、その活動を指示 目標を達成するために蓄積された知識を学習し、使用 - Russell & Norvig 35
  37. 37. 日本では? Siri (Apple) しゃべってコンシェル(NTTドコモ) 音声アシスタント(Yahoo Japan) 西野ひかり(NTT西日本) etc 36
  38. 38. インテリジェント・エージェント?1. Simple reflex agent 3. Model based reflex agent2. General learning agent 4. Model and goal based agent 37
  39. 39. Siri?Siri iOS上で、パーソナルアシスタントアプリ ケーションとして機能する、インテリジ ェントソフトウェアアシスタントかつ知 識ナビゲータSiri 自然言語UIを実装 • 質問への回答 • レコメンデーションの提供 • ウェブサービスを活用した行為Siri 時間の経過とともにユーザの好みに適応し 結果をパーソナライズ 38
  40. 40. Siriに何を頼めるか?1. サービスの代理実行 タスクの完遂に焦点2. 会話型インタフェイス 会話を通じた意図の理解3. 人的文脈認識 個人情報を学習し、応用 • リマインド • アラームの設定. • チャットの発信. • 道案内 • 気象情報. • 株価情報. • 会議の設定. • タイマーの設定. • emailの発信. • Siriについて. • 計算. • Wolfram|Alpha, or Wikipediaからの情報 39
  41. 41. Siriの技術 会話型 サービス委任インターフェ 人的文脈認識 (代理実行) イス  対話と自然言語の理解  機械学習  証拠性及び確率性の推論  オントロジーと知識表現  計画、推論  サービスの委任・代理実行 40
  42. 42. Siriの技術の概要 41
  43. 43. 会話ベースのインターフェイス 42
  44. 44. タスクに紐付く自然言語処理 43
  45. 45. オントロジーによるモデル統合 44
  46. 46. セマンティック・オートコンプリート 45
  47. 47. 汎用的タスクとドメインによる 対話モジュールの構成 46
  48. 48. タスクモジュール 47
  49. 49. アップルによる特許申請 (230 pages) 48
  50. 50. なぜSiriは過去の類似サービスと違うのか タスクに焦点何かすることを見つけ、 友達と外出し、 そして街を歩き回る、というような 人間的な結合したタ スクの集合に焦点 データの構造化に焦点Siriが特に得意とするタスクの種 類は半構造化データを伴い、通常は 複数の条件と複数の ソースを伴います アーキテクチャに焦点 Siriは複数の先進技術をバーチャ ルアシスタントのために設計されたプラットフォームに 統合する過程の豊富な経験に基づいて構築。特にCALOプ ロジェクトにおいて、Siriはバーチャルアシスタントの構 築におけるAIの適応可能範囲に関してノウハウを蓄積 49
  51. 51. 検索(キーワード、リンク) => 行動(会話、タスク) Yahoo!Local 『情報の紐づけ』 (地域サイト) Siri タスクに焦点 データの構造化に焦点 アーキテクチャに焦点 Yelp(クチコミサイト) OpenTable etc (予約サイト) 50
  52. 52. Googleも情報の紐づけ 最新サービス:ナレッジグラフ 【1】2通り以上の解釈ができる 【2】検索ワードに関する概要を表示 検索ワードを明確化 【3】より深く広い知識の提供から、 予期せぬ発見ができる 51週刊アスキーPLUS 2012年5月17日http://weekly.ascii.jp/elem/000/000/089/89282/
  53. 53. Saltlux新製品:[IN2]Discovery 2 分散した情報を意味的に統合/分析 統合した画面上で、直感的に知識生態系を把握可能 世の中すべての知識の 融合と検索 正しい意思決定のサポート 52
  54. 54. Q&A ありがとう ございました Big Data Intelligence
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×