The real world use of Big Data to change business
•
4 likes•1,098 views
The real world use of Big Data to change business.
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to The real world use of Big Data to change business
Similar to The real world use of Big Data to change business (20)
More from DataWorks Summit/Hadoop Summit
More from DataWorks Summit/Hadoop Summit (20)
Recently uploaded
Recently uploaded (12)
The real world use of Big Data to change business
- 1. 1 © Hortonworks Inc. 2011 – 2016. All Rights Reserved The real world use of Big Data to change business Kimihiko Kitase, Hortonworks Japan Hiroue Harada, Gruff, Inc.
- 2. 2 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 北瀬 公彦 KIMIHIKO KITAsE http://blogs.itmedia.co.jp/kkitase @kkitase 2016年6⽉、ホートンワークスジャパンに⼊社。 ビッグデータの収集、蓄積、分析基盤製品のマーケティ ングを担当。⼊社前、⽶Data Science Dojoが開催する データサイエンティスト養成講座に参加するも、全く畑 の違う分野で悪戦苦闘。開き直って、初⼼者に優しい データの利活⽤術をお伝えしようと考えている。 facebook.com/kkitase
- 3. 3 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 4ZB DATA MOBILE DEVICES HUMAN CONTENT INTERNET OF THINGS 44ZB DATA Source: http://www.emc.com/leadership/digital-universe/2014iview/executive-summary.htm
- 4. 4 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 出所：第27回産業競争⼒会議 2016.5 政府は2016年5⽉19⽇、第27回 産業競争⼒会議を開催し、名⽬ 国内総⽣産（GDP）600兆円に向 けた成⻑戦略（「⽇本再興戦略 2016」）の素案を公表しました。 新たな有望成⻑市場の創出では、 IoT・ビッグデータ・AI・ロボッ トなどによる第４次産業⾰命の 実現で2020年には30兆円の付加 価値創出を⽬指しています。 ⽇本再興戦略2016 〜第４次産業⾰命の実現〜
- 5. 5 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 現⾏のシステムで受け⽌められますか？ Ã 課題 • データがアプリに固定化していてる • 新しいデータの受け⼊れが難しい • スケールするとコスト⾼ ビジネスの価値 クリックストリーム Webデータ Internet of Things ドキュメント、メール サーバーログ ⾳声・画像 2013年 4 Zettabytes 2020年 40 Zeta bytes 1 2 新しいデータ ERP CRM SCM 新しいデータ 既存データ 新たなデータの多くは、 Internet of Anything としてシステムとデバイス間の やり取りとして誕⽣します
- 6. 6 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 企業のIT投資動向 ほぼ横ばい
- 7. 7 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Hortonworksが提唱する「Connected Data Platforms」
- 8. 8 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Hortonworks Data Platform
- 9. 9 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 事例のご紹介
- 10. 10 © Hortonworks Inc. 2011 – 2016. All Rights Reserved データ活⽤による新規ビジネスの展開 運転傾向・⾞の使⽤環境に基づ いた柔軟な保険提案の実現 Ã Snapshot plug-in デバイスは運転の 詳細を収集 Ã Progressiveは、1000万マイル以上 の運転データを保存 (約1600万 Km） Ã Webアプリ経由で、顧客は⾃⾝の運 転詳細を⾒ることができ、安全向上 に努めることが可能 Ã Snapshotとusage-based insurance は2014年には、Progressiveに2.6 億 ドルの貢献（約273億円） Innovate Renovate Claims Notes Mining Individual Driving Histories Usage-Based Insurance (UBI) Web Log Analysis Online Ad Placement Sensor Data Ingest PREDICTIVE ANALYTICS A C T I V E A R C H I V E D A T A D I S C O V E R Y D A T A D I S C O V E R Y D A T A D I S C O V E R Y E T L O N B O A R D Safe Roads 既存データの 可視化 データ拡充 新規基盤構築 新規モデル作成 新規サービス提供
- 11. 11 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
- 12. 12 © Hortonworks Inc. 2011 – 2016. All Rights Reserved スマートメーター活⽤による 新しいマーケティング・顧客サービスの導⼊ 1.3 Million Smart Meters EDW Offload Mobile App for Customer Sites Ingest 300 GB per Day Product Cross-Sell データ活⽤による新しい 電⼒提供サービス スマートメーターによるデータ 量増加に対応した環境構築 年数回の顧客訪問（検針） →13万個のスマートメーター 数億円のDWHコスト最適化 11時間かかっていたETL処理を 45分に削減 個客に応じた新たなサービス ⾰新的サービスを主体としたビ ジネモデルに変⾰ Innovate Renovate Smart, Efficient Homes D A T A D I S C O V E R Y D A T A E N R I C H M E N T P R E D I C T I V E A N A L Y T I C S S I N G L E V I E W A C T I V E A R C H I V E E T L O N B O A R D SINGLE VIEW S I N G L E V I E W P R E D I C T I V E A N A L Y T I C S On-site customer data capture Optimized engineering schedule Tailored servicing Customer sentiment 既存環境の最 適化・可視化 データ拡充 予測分析 Data Discovery 新規サービス提供
- 13. 13 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 爆発するデータ容量に対応したサービス改善 Metadata Capture Threat Predictions Attacker Detection Unified Security Security Log Analysis Threat Archive Device Data Ingest Threat Detection Legacy Offload Data Science Speeds Time to Protection à 脅威検出時間が4時間から2秒に à 防御回数が5000倍に à 10ペタバイト以上のデータを 使って機械学習した結果、脅威 予測が可能に à AmbariとCloudbreakを使ってク ラスターを管理 Innovate Renovate Digital Security PREDICTIVE ANALYTICS E T L O N B O A R D D A T A D I S C O V E R Y D A T A D I S C O V E R Y D A T A D I S C O V E R Y E T L O N B O A R D E T L O N B O A R D A C T I V E A R C H I V E P R E D I C T I V E A N A L Y T I C S S I N G L E V I E W Proactive Safeguards 増え続けるセキュリティ攻撃 に対応した新規基盤及び サービスレベルの改善 既存データの ⾒える化及び データ拡充 既存システム のオフロード コスト最適化 新規モデル作成 新規データ活⽤ 新規サービス提供
- 15. わたしについて
- 40. 市場について
- 46. 実務について
- 50. 事業モニタリング環境改善
- 52. ①データ内容が標準化されていない
- 53. RAG SalesforceHadoop マネジメント 集客 統括 企画 パートナー エンジニア 営業 Hadoop RNN Oracle SiteCatalyst Adobe データ データ
- 54. RAG SalesforceHadoop マネジメント 集客 統括 企画 パートナー エンジニア 営業 Hadoop RNN Oracle SiteCatalyst Adobe データ データ
- 55. RAG SalesforceHadoop マネジメント 集客 統括 企画 パートナー エンジニア 営業 Hadoop RNN Oracle SiteCatalyst Adobe データ データ
- 56. RAG SalesforceHadoop マネジメント 集客 統括 企画 パートナー エンジニア 営業 Hadoop RNN Oracle SiteCatalyst Adobe データ データ
- 57. RAG SalesforceHadoop マネジメント 集客 統括 企画 パートナー エンジニア 営業 Hadoop RNN Oracle SiteCatalyst Adobe データ データ
- 61. ①データ内容を標準化 ✔
- 62. RAG SalesforceHadoop マネジメント 集客 統括 企画 パートナー エンジニア 営業 Hadoop RNN Oracle SiteCatalyst Adobe データ データ
- 66. ②データ活⽤が⾼速化されていない
- 67. RAG Hadoop マネジメント 集客 企画 パートナー エンジニア 営業 Hadoop RNN データ データ Salesforce 統括 Oracle SiteCatalyst Adobe
- 81. ②データ活⽤を⾼速化 ✔
- 87. RAG Hadoop マネジメント 集客 企画 パートナー エンジニア 営業 Hadoop RNN データ データ Salesforce 統括 Oracle SiteCatalyst Adobe
- 98. テーマ 評価指標 下期⽬標 施策 施策の成果額（売上・コスト改善）×関与度＝貢献額(円) ― 施策数 4本 分析 意思決定の⼤きさ（⾦額効果）×関与度＝貢献額(円) ― 意思決定の⼤きさ（影響組織）×関与度＝貢献度(pt) 分析提供数 10本 運⽤ 意思決定の⼤きさ（⾦額効果）×関与度＝貢献額(円) ― 意思決定の⼤きさ（影響組織）×関与度＝貢献度(pt) ― 基盤 基盤構築は①②③の前提となるので評価はしない ― ① ② ③ ④
- 99. 関与度 考え⽅ 事例 １％ ビジネス検討のための集計依頼に対応 バックログ依頼 （スポット） ５％ 抽出データ要件定義とデータ整形と運⽤設計 メジャメント シート 20％ 分析モデル・マネジメントツール作成と利⽤部⾨への導⼊・ 展開 （VBAなどのツール開発を含む） CA求職者モニ タリングシート 仮説設定から利⽤部⾨に伴⾛し、分析モデルの導⼊と展開 Nプロためスタ ⾼度なデータ分析モデル構築を伴った意思決定⽀援 DB横断差配 50％ 施策の全体設計に対するデータディレクションを含む コンサルティング業務 採⽤成功⽅程式 分析のレポーティングについて蹴り出しから 抽出・集計・分析・計算・成型業務までの⼀貫着⼿ ―
- 100. 影響組織 考え⽅ 事例 １pt 営業⼈員やMPの対象⼈数⼀⼈当たりへの貢献 バックログ依頼 （スポット） ５pt G配下のユニットやチームへの貢献 メジャメント シート改善 20pt G全体への本格導⼊、業務フローへの装着完了 CA求職者モニ タリングシート 100pt 部全体への業務⽀援、部署の戦略に係る意思決定⽀援業務 ― 500pt 統括部への業務⽀援、部署の戦略に係る意思決定⽀援業務 採⽤成功⽅程式 1000pt 本部への業務⽀援、部署の戦略に係る意思決定⽀援業務 ―
- 101. 採⽤⽅程式Suiteを使った提案/使わなかった提案で KPI：推薦数純増 を追う。 付属的に、事業側KPI推薦網羅率50%の引き上げ、決定数＝決定額の純増を ⽬標とする。 【試算上換⾦化売上】 課題ヒアリング、プロセスデータの分析によりスコープ／⽬標設定。 ツール開発の実装・現場導⼊⽀援のすべての⼯程に関与する。 概要 DSGの関与 第2営業統括部利⽤組織 換⾦価値30.59億成果額 事業貢献額 = 施策の成果額or利⽤組織 × 関与度 施策の成果額：推薦純増30.59億円 × 50%250Pt = ※2営決定数1981件への推薦網羅率7％UP＋新規推薦ゼロ求⼈4,000件/⽉中55%の条件緩和成功の合算 ※決定率は2営実績の1.95%/決定単価は2営実績123.3万で試算 × 50%15.29億円 = 対象組織：統括部500pt
- 103. ③戦⼒構想を可視化すること
- 105. 専⾨組織型 1年間、分析だけをして報酬をもらっている独⽴採算 情報システム部内へ組織を異動、事業接点を強める 基盤の改善や、業務⽀援ツールなどは関わらない 総研系 データサイエンス センター 本社 ガス事業部 リビング 事業部 情報システム部 事業接点事業接点 分社型 ビジネス R&Dライン メリット 専⾨組織のため分析⼒は⾼い デメリット チームの提供機能は分析のみで基盤や運⽤連携薄い
- 110. HR RAG RIND ①_受注データ ・窓口別 ・RC A組織別 ・商品別 ・・・等 C ALIB C ALIB SC ②_2_求職者データ ・エントリー実績 ・属性 ・紹介案件実績 ・決定実績 ・・・等 ②-1_受注データ ・窓口別 ・RC A組織別 ・求人別 ・進捗（プロセス）別 ・・・等 カスタマ ④_サイト訪問者データ ・流入経路 ・流入者属性（PC 、スマホ、etc) ・回遊ログ ・イベントC VR ・・・等 HAD O O P クライアント ③_ ・会員ステータス（属性含む） ・求人検索履歴 ・会員アクションデータ（応募、説明会等のイベント申込みログ） ・決定実績 ・・・等 ※現時点では、RNNサービスログがメイン。 斡旋データは今後接続強化予定 Level4 ・すべてのビュー、マスタについて熟知 している。 -各データ項目の定義 -更新タイミング -例外事項 Level3 ・自身の業務に使用するビューについ て熟知している。 -各データ項目の定義 -更新タイミング -例外事項 Level2 ・ビューの種類について概ね理解して いる。 -ビューとは何か -ビューの種類 -ビュー含まれる情報 Level1 ・Rindにどのような事業データが格納さ れているか知っている。 -システム概要 -接続方法 -接続に関しての最低限のルール ・基本的な操作ができる。 -テーブルリンクの設定 -Excelエクスポート -既存ツールや既に組まれているクエ リの更新 ・単一テーブルからデータを抽出でき る。 -テーブル、クエリの作成 -データ項目、抽出条件の設定 ・複数テーブルを組み合わせてデータを 抽出できる。 -システム概要 -接続方法 -接続に関しての最低限のルール ・汎用性のあるデータ抽出ツール作成 できる。 -レポート、フォームの作成 -マクロ、VBAの作成 Level1 Level2 Level3 Level4 ルール ツール 目標スコア 領域企画 RN N R T ①RIN D 2.00 2.00 2.00 ②C ALIB 3.00 1.00 2.00 ③H adoop 1.33 1.67 1.50 ④SC 1.00 2.00 1.50 現状 領域企画 RN N R T ①RIN D 2.00 2.00 2.00 ②C ALIB 3.00 1.00 2.00 ③H adoop 1.33 1.67 1.50 ④SC 1.00 1.00 1.00 G AP 領域企画 RN N R T ①RIN D 0.00 0.00 0.00 ②C ALIB 0.00 0.00 0.00 ③H adoop 0.00 0.00 0.00 ④SC 0.00 -1.00 -0.50 データマップ スキルマップ スキルスコア
- 111. HR RAG RIND ①_受注データ ・窓口別 ・RC A組織別 ・商品別 ・・・等 C ALIB C ALIB SC ②_2_求職者データ ・エントリー実績 ・属性 ・紹介案件実績 ・決定実績 ・・・等 ②-1_受注データ ・窓口別 ・RC A組織別 ・求人別 ・進捗（プロセス）別 ・・・等 カスタマ ④_サイト訪問者データ ・流入経路 ・流入者属性（PC 、スマホ、etc) ・回遊ログ ・イベントC VR ・・・等 HAD O O P クライアント ③_ ・会員ステータス（属性含む） ・求人検索履歴 ・会員アクションデータ（応募、説明会等のイベント申込みログ） ・決定実績 ・・・等 ※現時点では、RNNサービスログがメイン。 斡旋データは今後接続強化予定
- 113. 【領域企画統括部 Hadoopスキルマップ】 ル ル Level4 商品全体の業務において必 要なデータの在り処、デー タの保持⽅法、各データの 意味についても熟知してい る。 具体例： Nプロ実績集計の要件定義から、 各施策に必要な検証データの集 計、⽅針設計について主体的に 動くことができる Level3 ⾃⾝のG業務に必要なデー タ保持⽅法、抽出⽅法につ いて、Gの中⼼となって実 動・⽅針設計できる。 具体例： スカウトオファーの時系列実績 データや カスタマ属性毎のスカウトオ ファー実績 取得について、要件定義から実 働できる ⼭⽥ 太郎 ⼭⽥ 太郎 ⼭⽥ 太郎 ⼭⽥ 太郎 Level2 ⾃分の担当業務と紐づいて いるデータのありかを知っ ている 具体例： Ｎプロオファーのアクション データ、 SKS検索軸に使われるカスタマ 属性データの取得元を知ってい る かもめ 花⼦ ⼭⽥ 太郎 かもめ 花⼦ かもめ 花⼦ ⼭⽥ 太郎 ⼭⽥ 太郎 Level1 事業プロセスとHadoop データのつながりを知って いる 具体例： 事業ログのうち、 Ｎプロ系のアクションデータや Salesforceデータが連携されて いることを知っている かもめ 花⼦ かもめ 花⼦ かもめ 花⼦ かもめ 花⼦ ・ログインしてHQL記述を要さ ない範囲の操作ができる。 ・単⼀スキーマからデータを抽 出できる。 ・複数スキーマを組み合わせて データを抽出できる。 ・他Gに提供できるレベルのロ ジック構築・データ抽出ができ る。 Level1 Level2 Level3 Level4 ツール 企画G 企画G
- 114. 【領域企画統括部 Hadoopスキルマップ】 ル ル Level4 商品全体の業務において必 要なデータの在り処、デー タの保持⽅法、各データの 意味についても熟知してい る。 具体例： Nプロ実績集計の要件定義から、 各施策に必要な検証データの集 計、⽅針設計について主体的に 動くことができる Level3 ⾃⾝のG業務に必要なデー タ保持⽅法、抽出⽅法につ いて、Gの中⼼となって実 動・⽅針設計できる。 具体例： スカウトオファーの時系列実績 データや カスタマ属性毎のスカウトオ ファー実績 取得について、要件定義から実 働できる Level2 ⾃分の担当業務と紐づいて いるデータのありかを知っ ている 具体例： Ｎプロオファーのアクション データ、 SKS検索軸に使われるカスタマ 属性データの取得元を知ってい る Level1 事業プロセスとHadoop データのつながりを知って いる 具体例： 事業ログのうち、 Ｎプロ系のアクションデータや Salesforceデータが連携されて いることを知っている ・ログインしてHQL記述を要さ ない範囲の操作ができる。 ・単⼀スキーマからデータを抽 出できる。 ・複数スキーマを組み合わせて データを抽出できる。 ・他Gに提供できるレベルのロ ジック構築・データ抽出ができ る。 Level1 Level2 Level3 Level4 ツール 集客G 集客G 企画G 企画G 開発 G 開発G 統括G 統括G 事業開 発 事業開 発
- 115. 目標スコア 領域企画 RN N G N プロ企画G RAN G 斡旋開発G 集客編集G R T R T R T R T R T R T ①RIN D 2.00 2.00 2.00 2.00 2.00 2.00 2.00 2.00 2.00 2.00 2.00 2.00 ②C ALIB 3.00 1.00 2.00 1.00 1.00 1.00 2.56 2.00 2.28 1.00 1.00 1.00 ③H adoop 1.33 1.67 1.50 1.00 1.00 1.00 2.57 2.00 2.29 1.20 1.60 1.40 1.00 1.00 1.00 1.63 2.38 2.00 ④SC 1.00 2.00 1.50 1.43 2.00 1.71 0.00 0.00 0.00 1.40 1.80 1.60 1.17 1.33 1.25 2.13 3.38 2.75 現状 領域企画 RN N G N プロ企画G RAN G 斡旋開発G 集客編集G R T R T R T R T R T R T ①RIN D 2.00 2.00 2.00 2.00 2.00 2.00 2.00 2.00 2.00 2.00 2.00 2.00 ②C ALIB 3.00 1.00 2.00 1.00 1.00 1.00 2.56 2.00 2.28 1.00 1.00 1.00 ③H adoop 1.33 1.67 1.50 1.00 1.00 1.00 1.43 1.43 1.43 1.00 1.20 1.10 1.00 1.00 1.00 1.38 1.50 1.44 ④SC 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 1.20 1.60 1.40 1.00 1.00 1.00 1.75 2.50 2.13 G AP 領域企画 RN N G N プロ企画G RAN G 斡旋開発G 集客編集G R T R T R T R T R T R T ①RIN D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 ②C ALIB 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 ③H adoop 0.00 0.00 0.00 0.00 0.00 0.00 -1.14 -0.57 -0.86 -0.20 -0.40 -0.30 0.00 0.00 0.00 -0.25 -0.88 -0.56 ④SC 0.00 -1.00 -0.50 -0.43 -1.00 -0.71 0.00 0.00 0.00 -0.20 -0.20 -0.20 -0.17 -0.33 -0.25 -0.38 -0.88 -0.63
- 116. 最後に