ビッグデータ

ビッグデータはマーケティングを変えるのか？第23回JMRX勉強会（公開用資料） 2012年 1月株式会社野村総合研究所 ICT・メディア産業コンサルティング部主任コンサルタント鈴木良介〒100-0005 東京都千代田区丸の内1-6-5 丸の内北口ビル

「ビッグデータ」の定義・特性は何か？ 1

ビッグデータとは何か？ 本稿ではビッグデータとは、「事業に役立つ知見を導出するための、「高解像」「高頻度生成」「非構造なものを含む多様」なデータ」と定義する。（公的機関等による確定的な定義はない。） ① 高解像であることが付加価値に繋がる事業への付加価値を生むようなデータ特性を想定すると、結果として「ビッグ」 ② 高頻度生成リアルタイムであることが付加価値に繋がる ③ 多様・非構造であることが付加価値に繋がる 2

① 高解像であること。 解像度とは同じ現象をどれだけ細かく表現することができるか、ということ。 ▼ 例えば販売促進活動のためのデータで言うと … 山田低高加藤 30代男性田中鈴木佐藤 3

② 高頻度生成・リアルタイムであること。月に一度の分析に基づく今、負けているひとにマッサージ券「おむつとビール」のような傾向把握 4

③ 多様・非構造であること。防犯カメラの映像基幹DB ウェブの購買履歴は基幹DBにあるが、購入に至るまで、アクセスログ購入をしなかった経緯は基幹DBの分析だけではわからない。 5

参考：誰がビッグデータと言い始めたのか？ 1997 2008 2010 John R. Mashey Nature ビッグデータ特集英Economist誌 Chief Scientist, SGI 大量データ活用特集 その他、医療の世界における「EBM:evidence-based medicine（根拠に基づいた医療）」や、科学の世界における「Data Centric Science 」も関連する潮流と言える。 6

なぜ、このタイミングでビッグデータなのか？ 7

確かに振り返れば屍山血河。高度情報化社会、ユビキタス、センサーネット、と何が違うのか？なぜこのタイミングで「ビッグデータ」であるのか？  「高度情報化社会」「マルチメディア社会」「ニューメディア」  ユビキタス  ウェアラブルコンピューティング  センサーネットワーク「BI/DMはもうこりごり！  ビジネスインテリジェンス ●●にいくら払ったと思っているんだ！！」  データマイニング  ライフログ  Web2.0（CGM）  ・・・2000年前半のユビキタス等とは何が違うのか？ 8

理由１：この10年間の「電子化・自動化」の進展により使えるデータがたまってきたため。 2001年以降の10年間においてどのような変化があったのか？ 2002年のITバブル崩壊の印象が強すぎるが、確実に電子化・自動化は進展していた。 FOMA Suica iPod サービス 2001年交通系サービス開始 FOMAサービス開始 2004年ショッピングサービス開始 iPod 第1世代登場 GPSの標準搭載は2004年～当時は500円玉サイズ、 1ユニット17万円。（今は数百円） 9

理由２：利用サイド事業者にて、IT活用の段階を進めざるを得ない競争状態に入ったため。 「IT活用」「情報化」は一つの意味ではない。 「電子化・自動化」ができていることと、「事業に寄与する知見導出」ができていることには大きな隔たりがある。 同業種の中で「第二の壁」を越えた事業者と越えてない事業者が勝負しようとしたとき、競争力に大きな差が生ずる。第１の壁第２の壁電子化・自動化データから、ができているか？事業に寄与する知見が導出できているか？未解決群解決群未解決群解決群そ電子化をして、本業の効率化れには成功したけれど、ぞ社内稟議は、紙とハンコがぐるぐると社内を回る。このステップを乗り越えた事業れ「書類保管費用の削減」など、「まだまだしゃぶりつくせてい者の業者が、「データ活用、ビジネ顧客情報は担当者の手帳に情報活用とは別の面からのイない」「IT活用の余地はあるの段スインテリジェンスの優等生」手書きで保存されているだけ、ンセンティブが働き、この１０はず」という想いを抱いている。状階として、取り上げられる。況になど。年間で大きく進展。あるキーワードは事「電子化はしたけれども…」現在は、この段階の事業者が多い。 10

理由３：ビッグデータを「取得・生成」「蓄積」「処理・分析」するためのツールが成熟してきたため。データを蓄積するデータを把握する・収集するデータを処理・分析する処理可能な状態にする ▼大量処理の基盤各種センサ技術の成熟クラウドコンピューティング環境（IaaSほか）ミドルウェアとして通信の活用およびクラウドとの連携を促すAndroid ▼大量に蓄積する ▼大量のデータを処理する移動体通信 DWH NoSQL / データウェアハウスモジュールの活用 ▼データを分析可能な状態とする Scipy NumPy… 情報発信や閲覧・購買・コミュニケーション動態把握。 MDM （公開APIからのデータ収集）マスターデータ管理トレーニングを重ねた優れたアルゴリズム二次利用可能な可視統計データ等 ▼秘匿と活用の両立化 PPDM プライバシ保護データマイニング技（匿名化、秘密計算、再構築計算）術人手による入力データや SDC 統計的開示抑制クリックストリーム ▼ためずに、処理する（リアルタイム処理）業務付随データ（事業者保有データ） CEP （複合イベント処理）、ストリーム・コンピューティング 11

支援サイド事業者（ITベンダなど）がビッグデータに取り組む理由背景にはクラウド利用の進展がある。安さが動機となった遷移であるがゆえに、ICT市場の規模は縮小する。 クラウド利用は、ユーザ企業サイドから見た場合には、「総費用の低減」という強い魅力があるが、サービス提供事業者サイドから見た場合には、「市場セグメントの縮小遷移」と「海外流出」を促しうる脅威となる。 その脅威は、通信事業者よりも、SIerやハードウェアベンダを直接的に襲うこととなる。縮小移行１クラウド化の進展による国内事業者がコストの低減により、ICT市場は縮小する。提供する市場海外事業者が提供する市場２かつ、海外事業者が提供するクラウドサービスに顧客がとられ、国内ICT市場は縮小する。 12

支援サイド事業者（ITベンダなど）がビッグデータに取り組む理由クラウドは「電子化・自動化により、業務効率を上げる」というIT活用の極地。コストセンターから収益をあげていくことは、ますます厳しくなる。 情報システムのユーザー企業の多くは、クラウド利用の目的として、情報システム関連支出の低減を意図している。情報システム部門は大抵の場合、「いかにすれば、現在と同等の活動を、より低いコストで実現することができるか」ということを考えざるを得ない立場にある。 もちろん、志としては「経営と情報システムは表裏一体であり、戦略的な投資が必要である」といった掛け声を意識はするものの、経営サイドからコスト削減を至上命題とするような指示を受ける状況はめずらしくない。 新しい事業領域としてのビッグデータビジネスを発展させるためには収益増加を目的に、コストや投資の按分を制御することができる事業部門に対して付加価値を訴求するような手立てが必要ではないか？既存ICT市場を縮小代替総務部門コストセンター仮想化、クラウド化、マする形で、個々のソ情報システム部門（コストカットが行動規範）ネジドサービスが訴求。リューションは進展。プロヒットセンター事業部門（適切な投資に基づく、ビッグデータ活用？収益拡大が行動規範） ICT業界にとっての新たな収益源？ 13

ビッグデータ活用の事例 14

“Gang of Four” 消費者の一般的なデータに関する「四強」 Google  Facebook  一般的な「興味（interest）」に関する広範なデータ。  ソーシャルグラフ・データ。  それを多くの媒体（動画、Blog、写真）などにわたっ  誰をつつけば、誰に訴求するか、ということが分かりて保有。うる。  財布情報は持っていない。  Apple Amazon.com  消費者接点を魅力的なデバイスで押さえている。  一般的な「物品」の購買データを膨大に保有。  iTunes Storeを介して、財布情報を保有。  そもそも”Data is King”を標榜。  デジタルコンテンツを中心としたインタレストと購買実  物品のみならず、デジタルコンテンツの販売にも大き績を保有。く拡大。  当然にして財布情報を保有。 15

「利用サイド事業者」「支援サイド事業者」の動向ビッグデータのビッグデータの利用サイド支援サイド事業者事業者製造、流通、金融… 従来のITベンダ等などの事業会社四強以外の事業者においても、ユニークなデータを取得・保有している内製事業者ケースはある。（Paypal, Twtitter等） Google, Amazon.comなどの国内事業者でもクックパッドなどはウェブサービス事業者等データ外販サービス「たべみる」を実施。彼らがビッグデータ活用を強く牽引している。 16

ビッグデータの活用は、事業者に対してどのような付加価値を与えるか？ 将来的にどのような施策を講ずれば良いのかがわかり、事業の効率的な実施を行うことが可能となる。 具体的には次のような業務プロセスにおいて効用を得ることができる。  「製品開発」において、どのような製品を開発することが消費者に対して訴求するのか、ということが分かる。  「販売促進」において、誰に、何を、いつ売れば良いのかが分かる。  「保守・メンテナンス・サポート」において、いつ、どのようなメンテナンスを行えばよいかが分かる。（総コストの低減も）  「コンプライアンス」において、不正の予兆や、特に注視するべき事象が何であるかがわかる。  「業務基盤・社会インフラの運用」において、全般的な性能向上・コスト削減が実現される。 17

事例 Amazon Kindle Popular Highlights  パーソナライズドリコメンデーション  Amazon.comの基本思想は”Data is King.”この思想は小売  昔は、「おむつとビール」。情報の範囲を越えて拡大中。  ITの登場により、この10年で格段に進歩したのは、「フィード  「電子書籍上でハイライトされた箇所」に関する情報をクラウドバックを個人単位で行う」こと。Amazon.comに代表される、上に集約・共有を開始。 ECサイトでのリコメンデーションはその典型例。  Popular Highlightsは、電子書籍における「アンダーライン」情報を集約。  先鋭的な事例としての「カジノでの引き止め」。  マーケティングや、製品開発上の活用が想定される。 GOOG-411による、音声認識アルゴリズムの洗練  スマート○○  自社の音声認識アルゴリズムを洗練させるべく、大量のデー  例：スマート・イリゲーション（水撒き）タを収集するためだけのサービス提供。現状において世界の水の7割は農業に使われているが、その多くが非効率に使われている。天気予報（近く雨が降るかどうかといった情報）や、各種センサーから得られるデータを活用 「世界中のクルマの情報を集めて、開発に利用する」することにより、最適な配水を行おうとするものである  例えば、あるお客さんが買ったクルマのエンジンなどの状態が全部、メーカー側で見える。  そうなれば、クルマの時間的な状態の変化がリアルタイムで分かるので、問題があったらすぐに手を打てます。  クルマの性能や品質を飛躍的に向上させる仕掛け作りは、ネットワークなしには考えられません。  「世界中のクルマの情報を集めて、開発に利用する」ことを夢として持っています。  （出典：インターネットITS協議会） 18

販売促進に関する事例南アフリカにて開発の “Dynamic Discount Solution”（DDS）は通信設備の混雑状況に基づき、リアルタイムでの割引施策を行い混雑を平準化。 トラフィックが集中する時間帯においては、料金を高くし、脆弱なインフラにおいても耐えられるよう使用を平準化する。  類似のサービスとして、”Billing and Revenue management”サービスの一環として、“Location Based Charging”の提供も行っている。 これは、2008年に開設した現地研究所(Ericsson Innovation Center in South Africa)から登場したもの。 ▼ Ericssonによる、 “Dynamic Discount Solution”（DDS）時間帯や場所により設定される通話料金の割引状況を示す。参考： http://wn.com/Dynamic_Discount http://www.esato.com/board/viewtopic.php?topic=186740 19

１ここが要らなくなったわけではないが…ビッグデータ活用の類型化と具体的な事例蓄積したデータのリアルタイムにデータを分析して分析結果をフィードバック【ストック型】フィードバック【フロー型】なにをもって「リアルタイム」とするかは、業種業製品開発スマートグリッド態、データの利用目的によって異なる。系全体へのアルゴリズム改良スマート～フィードバックウェブ動線、陳列棚の配置最適化 … よりリアルタイムに、２ … よりパーソナルに、施策を講ずる必要があると考える傾向が強まる。 ECサイトにおけるリコメンデーション行動ターゲティング広告 … クレジットカードの不正検知個別への技術的に可能と高速での証券取引フィードバックなりつつあること。 … 20

ビッグデータとは何か？（再） ビッグデータとは、 “事業に役立つ知見を導出するための、「高解像」「高頻度生成」「多様・非構造」なデータ」” 事業実施上のニーズの変化結果求められるデータ（ビッグデータ）の特徴パーソナライゼーションなど個々に施策を講じたい。ビッグリアルタイムに施策を講じたい。データ多面的な判断材料に基づいて施策を講じたい。 21

ビッグデータ活用の効用を得る上での課題は何か？ 22

人材不足ボトルネックはビッグデータ取扱いに関するリテラシを持つ人が不足していること。（サービスを受ける側としても、提供する側としても。）「ボトルネックは、ビッグデータの取り扱いができる・理解がある人がいないこと」？  大量のデータを見て、「なにかありそう！」とワクワクできる人はそう多くない。  300万行のデータとか見ると、気持ち悪くなってしまう人が多勢。  外注事業者とコミュニケーションできる程度のリテラシを有した人が尐なくとも社内に必要。  システムや、ツール類も重要だが、根幹は数理モデリングに関する人材不足だ。「そもそも発注したことがない。データ分析に金を払う文化が無い。」  マーケティングに関しては、電通とか博報堂に頼みやすい風土がある。「ああ、電博に外注するのね」で稟議が通りやすい。  自社のデータを外出ししましょう、というような文化醸成も必要だろう。出典：データ解析を業務とする各社担当者に対するNRIヒアリング結果より抜粋（2009年～2010年） 23

人材不足シリコンバレーにおいても、データ解析人材の争奪戦が始まっている。「統計学の素養があって、 “Hadoop”が使える、優秀なやつが入れば、すぐに年棒10万ドル出すぜ！」 2011年3月 Strata Conference 2011 今後10年間で最もセクシーな職業は統計家である。 2009年 Hal Varian, Google Chief Economist 24

プライバシ・機微データの取扱課題としての「プライバシ」 / 英国Allow社のケース Allowは消費者の個人情報売買をサポートするサービス。 Personal information like your name and address is being traded for profit every day. Now you can help stop this trade and turn your data into cash for yourself with ALLOW’s new, free service. http://www.i-allow.com/ 25

誤用・不適切利用リコメンデーション機能の不適切な推薦がトラブルの原因となったケースもある。 事例  「この商品を買った人はこんな商品も買っています」  ネット通販大手アマゾン・ドット・コムでは、欲しい商品を検索すると、その説明画面に、こんな「おすすめ」商品が表示される。ほかの利用者の購入実績などから、自動的に導き出される一覧だ。  この春、アマゾン日本版で不思議な現象が起きた。ある洗剤の商品名を検索すると、何の関係も無さそうな「おすすめ」商品が次々に現れる。薬品、家電製品用のタイマー付きコンセント、ポリ袋、そして「自殺」に関連する書籍。  このころ、浴室などで硫化水素ガスを発生させる自殺が、各地で相次いでいた。ある洗剤と薬品を混ぜると、ガスが発生する。そんな情報がネットで流布していた。  特定の洗剤を買った人が、混ぜるとガスを発生させるという薬品を買い、「自殺」関連書籍を買っていた――。「おすすめ」が示していたのは、そういうことだった。アマゾンジャパンは対策をとり、現在この表示は出てこない。出典： 2008/11/05 朝日新聞 違法ではない。有害かと尋ねられれば疑問。だが、健全な状態ではない。 26

将来動向「第３の壁」と情報流通基盤事業の可能性 27

計算基盤は外部提供で十分。顧客の情報を管理するべきソフトウェアも外部提供。「いっそのこと、CRMサービスに顧客情報を入れた状態で売っていただけないかな？」 IT基盤（HaaS/PaaS含む）は、情報システムを入れるための「器」に過ぎない。情報システム（SaaS含む）は、事業遂行のために必要なデータを入れるための「器」に過ぎない。 「事業遂行のために必要なデータ」は様々なレベル存在する。  公開企業の財務情報は、ウェブで確認することが容易な、「必要なデータ」。  ○○社情報システム部長のご趣味が鉄道写真の撮影であることは、営業マンが足で稼いだ、「必要なデータ」。 「いっそ、ノンコアジェネラルな情報（うちの社員が汗をかく甲斐のない情報）は、サービスとして提供してくれないかな？」という着想にいたってもおかしくはないのではないか？  例：現状では顧客データのどんぶりに過ぎないSFDCの CRMソフトが「もしかして… ●●興産は営業先として最適？」とサジェスト。 28

「膨大な情報」との付き合い方は、事業者ごとに大きく段階が異なる。 「膨大な情報（ビッグデータ）」の取り扱いに関する進捗は、事業者ごとにその段階が大きく異なる。 米国ではデータの「流通事業」なども、その端緒が見え始めているしかし、本領域こそが２情報基盤事業であるし、今はここが１着手している事業者も増大中ボリュームゾーン第3の壁：データ活用が自社第1の壁：電子化・自動化第2の壁：データが活用できる状内に閉じてしまっていることがが不十分であることが課題態になっていないことが課題。課題。未解決群解決群「書類保管費用の削減」など、情電子化をして、本業の効率化にこのステップを乗り越えた事業者「情報を買ってきて、それを活かス報活用とは別の面からのインセは成功したけれど、「まだまだが、「データ活用、ビジネスインテそう」という考え方や、「自社に死テンティブが働き、比較的進展しつしゃぶりつくせていない」という想リジェンスの優等生」として、取り蔵している情報の資本回転率がッつある。いを抱いている。上げられる。低い」という問題意識はまだまだプのしかし、「顧客情報は担当者の手低い。概帳に手書きで保存されているだここで商機を見出そうとする、況「電子化はしたけれども…」け」といったケースもまだまだ多データ流通事業者が、尐しずつい。ではあるが登場しつつある。 29

データ売買の基盤サービス Infochimps Windows Azure Marketplace Data Markets 参考： Googleによる”Web-Data Exchange”サービスの計画が報じられた。 30

「弊社にはビッグデータなんてございませんよ。」「死蔵あるいは、垂れ流してしまっているだけかもしれません。」 業務付随データは宝の山？四強（Google, Amazon, FB, Apple）が持ち得ぬ、データが大量に存在する。国内におしぼりレンタル事業者は400~500社存在する。彼らが保有する営業データは、彼らにとっては、営業記録にすぎないかもしれない。しかし、グルメサイトにしてみればどうだろう？精度の高い来店者数を把握するための、極めて有用な（幾ばくかの金を払うに値する）データであるとは考えられないだろうか。 31

「ビッグデータで救え、３万人の命」社会基盤事業「SSP」を通した底上げは成立するか？ 異業種間情報流通モデルの実証はできまいか？例： “Smart Suicide Protection”  ビッグデータ活用による自殺予防がゴール。 まずは死者の自殺直前における動態データの分析から始まるだろうが、死者であるのでプライバシに関する障壁がかなり低くなると想定される。（Lifelogではなく、Dying Log） 米国例： “Data Mining Approaches to Suicide and Suicidal Behavior” (Washington Univ.) 32

まとめ 従前より「データ分析の重要性」を説きながらも看板倒れに終わったブームはいくつもあったが、電子化・自動化が成熟したこの段階における「データ分析の重要性」は、これまでと比べても蓋然性の高い潮流。 一般の事業者においては「製品開発」「販売促進」「保守・メンテナンス」など、多様な業務プロセスでの効用が期待できる。逆に効用を得ていかない限りにおいては、ビッグデータ活用を進める競合と比較して务位に置かれる。 ITベンダ等の支援サイド事業者にとっては、電子化・自動化が究極の成熟（クラウド）に伴う市場縮小を克服するための、新市場と言える。決して容易な市場ではないが、進出せざるを得ない。 「我社にはビッグデータはない」というのは誤解。貴社には価値がなくても、他社には価値があるデータがあるかもしれない。 最大のボトルネックは人材不足。事業とITとデータリテラシに富む人材の獲得・養成が不可欠。 33

http://www.minnanomr.com	1006
http://a0.twimg.com	4
http://webcache.googleusercontent.com	2

ビッグデータ

by Shigeru Kishikawa on Feb 03, 2012

Accessibility

Categories

Upload Details

Usage Rights

3 Embeds 1,012

Statistics

ビッグデータ — Presentation Transcript