ビッグデータ

12,812 views

Published on

Published in: Business
0 Comments
7 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
12,812
On SlideShare
0
From Embeds
0
Number of Embeds
1,215
Actions
Shares
0
Downloads
101
Comments
0
Likes
7
Embeds 0
No embeds

No notes for slide

ビッグデータ

  1. 1. ビッグデータはマーケティングを変えるのか? 第23回JMRX勉強会 (公開用資料) 2012年 1月 株式会社 野村総合研究所 ICT・メディア産業コンサルティング部 主任コンサルタント 鈴木 良介 〒100-0005 東京都千代田区丸の内1-6-5 丸の内北口ビル
  2. 2. 「ビッグデータ」の定義・特性は何か? 1
  3. 3. ビッグデータとは何か? 本稿ではビッグデータとは、 「事業に役立つ知見を導出するための、「高解像」「高頻度生成」「非構造なものを含む多様」なデータ」 と定義する。(公的機関等による確定的な定義はない。) ① 高解像であること が付加価値に繋がる 事業への付加価値を生むよう なデータ特性を想定すると、 結果として「ビッグ」 ② 高頻度生成 リアルタイムであること が付加価値に繋がる ③ 多様・非構造であること が付加価値に繋がる 2
  4. 4. ① 高解像であること。 解像度とは同じ現象をどれだけ細かく表現することができるか、ということ。 ▼ 例えば販売促進活動のためのデータで言うと … 山田 低 高 加藤 30代男性 田中 鈴木 佐藤 3
  5. 5. ② 高頻度生成・リアルタイムであること。 月に一度の分析に基づく 今、負けているひとにマッサージ券 「おむつとビール」のような傾向把握 4
  6. 6. ③ 多様・非構造であること。 防犯カメラの 映像 基幹DB ウェブの 購買履歴は基幹DBにあるが、 購入に至るまで、 アクセスログ 購入をしなかった経緯は 基幹DBの分析だけではわからない。 5
  7. 7. 参考: 誰がビッグデータと言い始めたのか? 1997 2008 2010 John R. Mashey Nature ビッグデータ特集 英Economist誌 Chief Scientist, SGI 大量データ活用特集 その他、医療の世界における「EBM:evidence-based medicine(根拠に基づいた医療)」 や、 科学の世界における「Data Centric Science 」も関連する潮流と言える。 6
  8. 8. なぜ、このタイミングでビッグデータなのか? 7
  9. 9. 確かに振り返れば屍山血河。高度情報化社会、ユビキタス、センサーネット、と何が違うのか? なぜこのタイミングで「ビッグデータ」であるのか?  「高度情報化社会」「マルチメディア社会」「ニューメディア」  ユビキタス  ウェアラブルコンピューティング  センサーネットワーク 「BI/DMはもうこりごり!  ビジネスインテリジェンス ●●にいくら払ったと 思っているんだ!! 」  データマイニング  ライフログ  Web2.0(CGM)  ・・・2000年前半のユビキタス等とは何が違うのか? 8
  10. 10. 理由1: この10年間の「電子化・自動化」の進展により 使えるデータがたまってきたため。 2001年以降の10年間においてどのような変化があったのか? 2002年のITバブル崩壊の印象が強すぎるが、確実に電子化・自動化は進展していた。 FOMA Suica iPod サービス 2001年交通系サービス開始 FOMAサービス開始 2004年ショッピングサービス開始 iPod 第1世代 登場 GPSの標準搭載は2004年~ 当時は500円玉サイズ、 1ユニット17万円。 (今は数百円) 9
  11. 11. 理由2: 利用サイド事業者にて、IT活用の段階を 進めざるを得ない競争状態に入ったため。 「IT活用」「情報化」は一つの意味ではない。 「電子化・自動化」ができていることと、「事業に寄与する知見導出」ができていることには大きな隔たりがある。 同業種の中で「第二の壁」を越えた事業者と越えてない事業者が勝負しようとしたとき、競争力に大きな差が生ずる。 第1の壁 第2の壁 電子化・自動化 データから、 ができているか? 事業に寄与する知見が 導出できているか? 未解決群 解決群 未解決群 解決群 そ 電子化をして、本業の効率化 れ には成功したけれど、 ぞ 社内稟議は、紙とハンコがぐ るぐると社内を回る。 このステップを乗り越えた事 業れ 「書類保管費用の削減」など、 「まだまだしゃぶりつくせてい 者の 業者が、「データ活用、ビジネ 顧客情報は担当者の手帳に 情報活用とは別の面からのイ ない」「IT活用の余地はある の段 スインテリジェンスの優等生」 手書きで保存されているだけ、 ンセンティブが働き、この10 はず」という想いを抱いている。 状階 として、取り上げられる。 況に など。 年間で大きく進展。 あ る キーワードは 事 「電子化はしたけれども…」 現在は、この段階の 事業者が多い。 10
  12. 12. 理由3: ビッグデータを「取得・生成」「蓄積」「処理・分析」 するためのツールが成熟してきたため。 データを蓄積する データを把握する・収集する データを処理・分析する 処理可能な状態にする ▼大量処理の基盤 各種センサ技術の成熟 クラウドコンピューティング環境 (IaaSほか) ミドルウェアとして通信の活 用およびクラウドとの連携を 促すAndroid ▼大量に蓄積する ▼大量のデータを処理する 移動体通信 DWH NoSQL / データウェアハウス モジュールの活用 ▼データを分析可能な状態とする Scipy NumPy… 情報発信や閲覧・購買・コ ミュニケーション動態把握。 MDM (公開APIからのデータ収集) マスターデータ管理 トレーニングを重ねた 優れたアルゴリズム 二次利用可能な 可 視 統計データ等 ▼秘匿と活用の両立 化 PPDM プライバシ保護データマイニング 技 (匿名化、秘密計算、再構築計算) 術 人手による入力データや SDC 統計的開示抑制 クリックストリーム ▼ためずに、処理する(リアルタイム処理) 業務付随データ (事業者保有データ) CEP (複合イベント処理)、ストリーム・コンピューティング 11
  13. 13. 支援サイド事業者(ITベンダなど)がビッグデータに取り組む理由背景にはクラウド利用の進展がある。安さが動機となった遷移であるがゆえに、ICT市場の規模は縮小する。 クラウド利用は、ユーザ企業サイドから見た場合には、「総費用の低減」という強い魅力があるが、 サービス提供事業者サイドから見た場合には、「市場セグメントの縮小遷移」と「海外流出」を促しうる脅威となる。 その脅威は、通信事業者よりも、SIerやハードウェアベンダを直接的に襲うこととなる。 縮小移行 1 クラウド化の進展による国内事業者が コストの低減により、ICT市場は縮小する。提供する市場海外事業者が提供する市場 2 かつ、海外事業者が提供する クラウドサービスに顧客がとられ、 国内ICT市場は縮小する。 12
  14. 14. 支援サイド事業者(ITベンダなど)がビッグデータに取り組む理由クラウドは「電子化・自動化により、業務効率を上げる」というIT活用の極地。コストセンターから収益をあげていくことは、ますます厳しくなる。 情報システムのユーザー企業の多くは、クラウド利用の目的として、情報システム関連支出の低減を意図している。情報シ ステム部門は大抵の場合、「いかにすれば、現在と同等の活動を、より低いコストで実現することができるか」ということを考 えざるを得ない立場にある。 もちろん、志としては「経営と情報システムは表裏一体であり、戦略的な投資が必要である」といった掛け声を意識はするも のの、経営サイドからコスト削減を至上命題とするような指示を受ける状況はめずらしくない。 新しい事業領域としてのビッグデータビジネスを発展させるためには収益増加を目的に、コストや投資の按分を制御するこ とができる事業部門に対して付加価値を訴求するような手立てが必要ではないか? 既存ICT市場を縮小代替 総務部門 コストセンター 仮想化、クラウド化、マ する形で、個々のソ 情報システム部門 (コストカットが行動規範) ネジドサービスが訴求。 リューションは進展。 プロヒットセンター 事業部門 (適切な投資に基づく、 ビッグデータ活用? 収益拡大が行動規範) ICT業界にとっての 新たな収益源? 13
  15. 15. ビッグデータ活用の事例 14
  16. 16. “Gang of Four” 消費者の一般的なデータに関する「四強」 Google  Facebook  一般的な「興味(interest)」に関する広範なデータ。  ソーシャルグラフ・データ。  それを多くの媒体(動画、Blog、写真)などにわたっ  誰をつつけば、誰に訴求するか、ということが分かり て保有。 うる。  財布情報は持っていない。  Apple Amazon.com  消費者接点を魅力的なデバイスで押さえている。  一般的な「物品」の購買データを膨大に保有。  iTunes Storeを介して、財布情報を保有。  そもそも”Data is King”を標榜。  デジタルコンテンツを中心としたインタレストと購買実  物品のみならず、デジタルコンテンツの販売にも大き 績を保有。 く拡大。  当然にして財布情報を保有。 15
  17. 17. 「利用サイド事業者」「支援サイド事業者」の動向 ビッグデータの ビッグデータの 利用サイド 支援サイド 事業者 事業者 製造、流通、金融… 従来のITベンダ等 などの事業会社 四強以外の事業者においても、 ユニークなデータを取得・保有している 内製事業者 ケースはある。(Paypal, Twtitter等) Google, Amazon.comなどの 国内事業者でもクックパッドなどは ウェブサービス事業者等 データ外販サービス「たべみる」を実施。 彼らがビッグデータ活用を強く牽引している。 16
  18. 18. ビッグデータの活用は、事業者に対してどのような付加価値を与えるか? 将来的にどのような施策を講ずれば良いのかがわかり、事業の効率的な実施を行うことが可能となる。 具体的には次のような業務プロセスにおいて効用を得ることができる。  「製品開発」 において、どのような製品を開発することが消費者に対して訴求するのか、ということが分かる。  「販売促進」 において、誰に、何を、いつ売れば良いのかが分かる。  「保守・メンテナンス・サポート」 において、いつ、どのようなメンテナンスを行えばよいかが分かる。(総コストの低減も)  「コンプライアンス」 において、不正の予兆や、特に注視するべき事象が何であるかがわかる。  「業務基盤・社会インフラの運用」 において、全般的な性能向上・コスト削減が実現される。 17
  19. 19. 事例 Amazon Kindle Popular Highlights  パーソナライズドリコメンデーション  Amazon.comの基本思想は”Data is King.”この思想は小売  昔は、「おむつとビール」。 情報の範囲を越えて拡大中。  ITの登場により、この10年で格段に進歩したのは、「フィード  「電子書籍上でハイライトされた箇所」に関する情報をクラウド バックを個人単位で行う」こと。Amazon.comに代表される、 上に集約・共有を開始。 ECサイトでのリコメンデーションはその典型例。  Popular Highlightsは、電子書籍における「アンダーライン」情 報を集約。  先鋭的な事例としての「カジノでの引き止め」。  マーケティングや、製品開発上の活用が想定される。 GOOG-411による、音声認識アルゴリズムの洗練  スマート○○  自社の音声認識アルゴリズムを洗練させるべく、大量のデー  例: スマート・イリゲーション(水撒き) タを収集するためだけのサービス提供。 現状において世界の水の7割は農業に使われているが、その 多くが非効率に使われている。天気予報(近く雨が降るかどう かといった情報)や、各種センサーから得られるデータを活用 「世界中のクルマの情報を集めて、開発に利用する」 することにより、最適な配水を行おうとするものである  例えば、あるお客さんが買ったクルマのエンジンなどの状態 が全部、メーカー側で見える。  そうなれば、クルマの時間的な状態の変化がリアルタイムで 分かるので、問題があったらすぐに手を打てます。  クルマの性能や品質を飛躍的に向上させる仕掛け作りは、 ネットワークなしには考えられません。  「世界中のクルマの情報を集めて、開発に利用する」ことを夢 として持っています。  (出典: インターネットITS協議会) 18
  20. 20. 販売促進に関する事例南アフリカにて開発の “Dynamic Discount Solution”(DDS) は通信設備の混雑状況に基づき、リアルタイムでの割引施策を行い混雑を平準化。 トラフィックが集中する時間帯においては、料金を高くし、脆弱なインフラにおいても耐えられるよう使用を平準化する。  類似のサービスとして、”Billing and Revenue management”サービスの一環として、“Location Based Charging”の提供も行っている。 これは、2008年に開設した現地研究所(Ericsson Innovation Center in South Africa)から登場したもの。 ▼ Ericssonによる、 “Dynamic Discount Solution”(DDS) 時間帯や場所により設定される 通話料金の割引状況を示す。 参考: http://wn.com/Dynamic_Discount http://www.esato.com/board/viewtopic.php?topic=186740 19
  21. 21. 1 ここが要らなくなった わけではないが…ビッグデータ活用の類型化と具体的な事例 蓄積したデータの リアルタイムにデータを分析して 分析結果をフィードバック【ストック型】 フィードバック 【フロー型】 なにをもって「リアルタイ ム」とするかは、業種業 製品開発 スマートグリッド 態、データの利用目的 によって異なる。 系全体 への アルゴリズム改良 スマート~ フィードバック ウェブ動線、陳列棚の配置最適化 … よりリアルタイムに、 2 … よりパーソナルに、 施策を講ずる必要があると 考える傾向が強まる。 ECサイトにおけるリコメンデーション 行動ターゲティング広告 … クレジットカードの不正検知 個別 への 技術的に可能と 高速での証券取引 フィードバック なりつつあること。 … 20
  22. 22. ビッグデータとは何か? (再) ビッグデータとは、 “事業に役立つ知見を導出するための、「高解像」「高頻度生成」「多様・非構造」なデータ」” 事業実施上のニーズの変化 結果求められるデータ(ビッグデータ)の特徴 パーソナライゼーションなど 個々に施策を講じたい。 ビッグ リアルタイムに施策を講じたい。 データ 多面的な判断材料に基づいて 施策を講じたい。 21
  23. 23. ビッグデータ活用の効用を得 る上での課題は何か? 22
  24. 24. 人材不足ボトルネックはビッグデータ取扱いに関するリテラシを持つ人が不足していること。(サービスを受ける側としても、提供する側としても。)「ボトルネックは、ビッグデータの取り扱いができる・理解がある人がいないこと」?  大量のデータを見て、「なにかありそう!」とワクワクできる人はそう多くない。  300万行のデータとか見ると、気持ち悪くなってしまう人が多勢。  外注事業者とコミュニケーションできる程度のリテラシを有した人が尐なくとも社内に必要。  システムや、ツール類も重要だが、根幹は数理モデリングに関する人材不足だ。「そもそも発注したことがない。データ分析に金を払う文化が無い。」  マーケティングに関しては、電通とか博報堂に頼みやすい風土がある。 「ああ、電博に外注するのね」で稟議が通りやすい。  自社のデータを外出ししましょう、というような文化醸成も必要だろう。 出典: データ解析を業務とする各社担当者に対するNRIヒアリング結果より抜粋(2009年~2010年) 23
  25. 25. 人材不足シリコンバレーにおいても、データ解析人材の争奪戦が始まっている。 「統計学の素養があって、 “Hadoop”が使える、 優秀なやつが入れば、 すぐに年棒10万ドル出すぜ!」 2011年3月 Strata Conference 2011 今後10年間で 最もセクシーな職業は 統計家である。 2009年 Hal Varian, Google Chief Economist 24
  26. 26. プライバシ・機微データの取扱課題としての「プライバシ」 / 英国Allow社のケース Allowは消費者の個人情報売買をサポートするサービス。 Personal information like your name and address is being traded for profit every day. Now you can help stop this trade and turn your data into cash for yourself with ALLOW’s new, free service. http://www.i-allow.com/ 25
  27. 27. 誤用・不適切利用リコメンデーション機能の不適切な推薦がトラブルの原因となったケースもある。 事例  「この商品を買った人はこんな商品も買っています」  ネット通販大手アマゾン・ドット・コムでは、欲しい商品を検索すると、その説明画面に、こんな「おすすめ」商品 が表示される。ほかの利用者の購入実績などから、自動的に導き出される一覧だ。  この春、アマゾン日本版で不思議な現象が起きた。ある洗剤の商品名を検索すると、何の関係も無さそうな「お すすめ」商品が次々に現れる。薬品、家電製品用のタイマー付きコンセント、ポリ袋、そして「自殺」に関連する 書籍。  このころ、浴室などで硫化水素ガスを発生させる自殺が、各地で相次いでいた。ある洗剤と薬品を混ぜると、ガ スが発生する。そんな情報がネットで流布していた。  特定の洗剤を買った人が、混ぜるとガスを発生させるという薬品を買い、「自殺」関連書籍を買っていた――。 「おすすめ」が示していたのは、そういうことだった。アマゾンジャパンは対策をとり、現在この表示は出てこない。 出典: 2008/11/05 朝日新聞 違法ではない。有害かと尋ねられれば疑問。だが、健全な状態ではない。 26
  28. 28. 将来動向「第3の壁」と情報流通基盤事業の可能性 27
  29. 29. 計算基盤は外部提供で十分。顧客の情報を管理するべきソフトウェアも外部提供。「いっそのこと、CRMサービスに顧客情報を入れた状態で売っていただけないかな?」 IT基盤(HaaS/PaaS含む)は、情報システムを入れるた めの「器」に過ぎない。情報システム(SaaS含む)は、事 業遂行のために必要なデータを入れるための「器」に過 ぎない。 「事業遂行のために必要なデータ」は様々なレベル存在 する。  公開企業の財務情報は、ウェブで確認することが容易な、 「必要なデータ」。  ○○社情報システム部長のご趣味が鉄道写真の撮影であ ることは、営業マンが足で稼いだ、「必要なデータ」。 「いっそ、ノンコアジェネラルな情報(うちの社員が汗をか く甲斐のない情報)は、サービスとして提供してくれない かな?」という着想にいたってもおかしくはないのではな いか?  例: 現状では顧客データのどんぶりに過ぎないSFDCの CRMソフトが「もしかして… ●●興産は営業先として最 適?」とサジェスト。 28
  30. 30. 「膨大な情報」との付き合い方は、事業者ごとに大きく段階が異なる。 「膨大な情報(ビッグデータ)」の取り扱いに関する進捗は、事業者ごとにその段階が大きく異なる。 米国ではデータの「流通事業」なども、その端緒が見え始めている しかし、本領域こそが 2 情報基盤事業であるし、 今はここが 1 着手している事業者も増大中 ボリュームゾーン 第3の壁: データ活用が自社 第1の壁: 電子化・自動化 第2の壁: データが活用できる状 内に閉じてしまっていることが が不十分であることが課題 態になっていないことが課題。 課題。 未解決群 解決群 「書類保管費用の削減」など、情 電子化をして、本業の効率化に このステップを乗り越えた事業者 「情報を買ってきて、それを活かス 報活用とは別の面からのインセ は成功したけれど、「まだまだ が、「データ活用、ビジネスインテ そう」という考え方や、「自社に死テ ンティブが働き、比較的進展しつ しゃぶりつくせていない」という想 リジェンスの優等生」として、取り 蔵している情報の資本回転率がッ つある。 いを抱いている。 上げられる。 低い」という問題意識はまだまだプの しかし、「顧客情報は担当者の手 低い。概 帳に手書きで保存されているだ ここで商機を見出そうとする、況 「電子化はしたけれども…」 け」といったケースもまだまだ多 データ流通事業者が、尐しずつ い。 ではあるが登場しつつある。 29
  31. 31. データ売買の基盤サービス Infochimps Windows Azure Marketplace Data Markets 参考: Googleによる”Web-Data Exchange”サービスの計画が報じられた。 30
  32. 32. 「弊社にはビッグデータなんてございませんよ。」「死蔵あるいは、垂れ流してしまっているだけかもしれません。」 業務付随データは宝の山? 四強(Google, Amazon, FB, Apple)が持ち得ぬ、データが大量に存在する。 国内におしぼりレンタル事業者は400~500社存在する。彼らが保有する営 業データは、彼らにとっては、営業記録にすぎないかもしれない。 しかし、グルメサイトにしてみればどうだろう?精度の高い来店者数を把握 するための、極めて有用な(幾ばくかの金を払うに値する)データであるとは 考えられないだろうか。 31
  33. 33. 「ビッグデータで救え、3万人の命」社会基盤事業「SSP」を通した底上げは成立するか? 異業種間情報流通モデルの実証はできまいか? 例: “Smart Suicide Protection”  ビッグデータ活用による自殺予防がゴール。 まずは死者の自殺直前における動態データの分析から始まるだろうが、死者であるのでプライバシ に関する障壁がかなり低くなると想定される。 (Lifelogではなく、Dying Log) 米国例: “Data Mining Approaches to Suicide and Suicidal Behavior” (Washington Univ.) 32
  34. 34. まとめ 従前より「データ分析の重要性」を説きながらも看板倒れに終わったブームはいくつもあったが、 電子化・自動化が成熟したこの段階における「データ分析の重要性」は、これまでと比べても蓋 然性の高い潮流。 一般の事業者においては「製品開発」「販売促進」「保守・メンテナンス」など、多様な業務プロセ スでの効用が期待できる。 逆に効用を得ていかない限りにおいては、ビッグデータ活用を進める競合と比較して务位に置 かれる。 ITベンダ等の支援サイド事業者にとっては、電子化・自動化が究極の成熟(クラウド)に伴う市場 縮小を克服するための、新市場と言える。決して容易な市場ではないが、進出せざるを得ない。 「我社にはビッグデータはない」というのは誤解。貴社には価値がなくても、他社には価値がある データがあるかもしれない。 最大のボトルネックは人材不足。事業とITとデータリテラシに富む人材の獲得・養成が不可欠。 33

×