Downloaded 32 times
データマネジメント2014
- 1. 1 © Talend2014 © Talend 2014 ビッグデータ統合でビジネスが変わる ～データ活用のオープンソース戦略～ Talend株式会社 マーケティングディレクター 寺澤慎祐
- 2. 2 © Talend2014 ビッグデータ インテグレーション によってビジネスは 変わるのか？ ビッグデータ インテグレーション は難しいのか？ マスターデータ マネジメントって どうやればいいの？ データクレンジングって 簡単じゃないの？ データ統合って これまでのツールで 十分じゃないの？
- 3. 3 © Talend2014 ビッグデータインテグレーションを得意とするTalend オープン ! オープンイノベーション n OSSを使ったオープンイノ ベーションで先進技術へ 迅速に対応 n 45000人のコミュニティ n 1500名のテスター ! オープンビジネス n 500以上のアダプター n 多くのベンダーと協業 豊富な実績 ! 2000万ダウンロード ! 100万人のユーザー数 ! 4400社の導入 注目成長企業 ! 年率128%成長 ! オープンソース企業で 売上高が２位に ! フォレスターリサーチ においても有望企業に I DATA
- 4. 4 © Talend2014 Mission ビッグデータインテグレーションのリーダーであるTalendは、 場所、時間、方法に関係なく、データに価値を与えユーザ企業の 成長を支援します。
- 5. 5 © Talend2014 データで勝つ ! ジェネラル・マネージャーであるビリー・ビーン率いるメジャーリーグ、オー クランド・アスレチックスは、ヤンキーズやレッドソックスに比べて予算が少 なく、有力選手を次々に引き抜かれる。 ! ビリー・ビーンは、後に「セイバー・メトリクス」として知られる、統計データに 基づく意思決定である。 ! ビリー・ビーンは、経験あるスカウトの意見に耳を貸さずに、あくまでも客観 的に「チームの勝ち数に貢献する選手は誰か」という観点から選手を起用 ! 野球界であまり重視されていなかった出塁率などの統計値に基づいて選 手を起用。 ! 怪我その他の理由で他チームから重視されておらず年俸の低い選手でも、 出塁率が高ければチームに招く ! アスレチックスは少ない予算のまま、黄金時代を築く
- 6. 6 © Talend2014 データライブラリ (18-24PB) 気象データ 衛星写真 森林伐採データ 分析システム 地球表面を１キロ毎 にメッシュに区分 メッシュごとに150の パラメータ設定 分析結果 発電量予測 設置面積、環境配慮メンテナンス計画 出力のみならず様々な条件を満たす 最適な立地場所を抽出 • 本社：デンマーク、創業：１９４５年、 • 事業：風力発電機の設計・製造・販売で世界最大手 • 実績：６７カ国、４５０００機 • ビッグデータ活用：設置場所の提案 • ビッグデータ分析技術：Hadoop • Hadoop利用効果：３週間から１５分へ • ビジネス効果：タイムリーな提案による競争力の維持 ビッグデータを活用して、顧客である風力発電 事業者の収益を極大化する目的から、顧客に とって最適な風力発電機の設置場所を提案 （出典）総務省「ICT分野の革新が我が国社会経済システムに及ぼすインパクトに係る調査研究」（平成25年） ビッグデータで勝つ
- 7. 7 © Talend2014 （出典）総務省「ICT分野の革新が我が国社会経済システムに及ぼすインパクトに係る調査研究」（平成25年） 契約者全体の 運転状況と事故 状況 契約者の運転状況 運転日時、場所、 速度、急ブレーク頻度 リスク判定 ロジック 契約者別 リスク判定 リスクに 応じた 保険料設定 ■本社：米国 ■事業：自動車保険会社 ■サービス名：Snapshot（自動保険料算出設定サービス） ■ビジネス背景 • インターネット上で販売される安価な保険により、各社一層の差別化 が必要だった ■ビジネス効果 • 安全運転を行う利用者にとって非常に割安な自動車保険が適用 • 高リスク層も納得の保険料設定で、運転が変われば保険料も変わる • 数年間で全米の自動車保険業界で第3位に躍進 • 利用ベース自動車保険（UBI：Usage-based Insurance）の提供に際し ては、競合他社の事業展開は遅れ気味 • 結果的に同社の「一人勝ち状態」 ビッグデータを活用して、顧客毎の最適な保険料を設定 することで、顧客もROGRESSIVEもお得 データ蓄積 モデル構築 ６ヶ月間のデータ ビッグデータで勝つ
- 8. 8 © Talend2014 Talendを使ったデータドリブン経営の実践事例 ! データ n ５年分の通話明細記録 n 顧客データ ! 課題 n 通話明細記録と顧客データを統合して様々なことを分 析したい n 分析インフラ（Oracle）の価格が高すぎる ! 解決した技術 n Hadoop、Talend ! ボーダフォンのチャレンジ n 通話明細記録と顧客情報の統合によるシングル ビューの実現 n 精緻なデータ分析によるトレンドの解析 高価で不能だった分析が 安くなることで可能になった
- 9. 9 © Talend2014 Talendを使ったデータドリブン経営の実践事例 ! データ n 融資企業のデータ n 市場データ、社会リスクのデータ ! 課題 n 金融当局指導により、融資を増やさなければならないが、銀 行としてリスクのある先には貸せない・・・。 n 「要注意」「」破綻懸念」等に分類された融資先に本当は宝の 山がないか ! 解決した技術 n Hadoop、Talend ! 成果：ALM（Asset Liability Management)の最適化 n 収益、信用リスク、コスト（人件費、IT費用、固定費など）をリ アルタイムに把握し、営業などの効率化を図る n 収益の計算 n 信用リスク計算 n コスト計算 融資先をリスクではなく機会と 捉えることで経営を最適化
- 10. 10 © Talend2014 citiのALMを使ったデータドリブン経営 利息による収益 信用リスク コスト 意思決定 アクション ITコスト 国際情勢 不動産コスト 人件費 景気指数 債権リスク 為替 株式市況 利息収入 シナリオ ALM Profit ALM Time
- 11. 11 © Talend2014 ビッグデータって これまでは得られなかったデータで社内外の活動から発生 非構造化データ 動画データ 音声データ ドキュメントデータ テキストデータ SNSデータ ゲノムデータ クリックストリーム 行動データ センサーデータ GPS ETC 生体 株価 為替 これまでも得てきたデータで社内の活動から発生 構造化データ 販売データ 会計データ 顧客データ 物流データ プロモーションデータ 質の良い 質の良い 「量」もいいけど「質」もね
- 12. 12 © Talend2014 経営者が知りたい５つのこと 現在の実力 もっとも 売れている商品 将来性 今後、売り上げが 伸びる商品 確実性 何かがあると 必ず売れる商品 着実性、安定性 いつも一定して 売れる商品 一過性、断続性 ときどき よく売れる商品
- 13. 13 © Talend2014 データ分析が経営にもたらすもの ! 起きることを想定し最適な打ち手をしたい（指示的データ分析） n モデル化された事象に対してシミュレーション（仮説の導入）を 実施して、売上に繋がる打ち手、顧客満足に繋がる打ち手、コ スト削減につながる打ち手を実施する ! 何が起きるか知りたい（予測的データ分析） n データマイニングは、過去データからの兆候を見つけ出し、デー タサイエンティストは、過去データからモデルを導かなければな らない n 統計解析手法を使って、起きることを予想する ! 何が起きたが知りたい（説明的データ分析） n データマイニングは、データから何かの兆候を見つけられる。 n 自動化できにくい n ストーリー、仮説、想像力が必要
- 14. 14 © Talend2014 ビッグデータインテグレーションが重要な理由 ! データ量が多ければ、良い情報と良いインテリジェンスが ! データの種類が多ければ、良い情報と良いインテリジェンスが ! データの品質がよければ、良い情報と良いインテリジェンスが ヒト カネ 情報モノ 【データ】 細かく分かれた個々の現 象や定量的な特性で、そ れだけではまだ何を意味 するのか分からない種類 の「情報」。 データが集まると、何らか の意味を持つようになる。 【インテリジェンス】 「情報」を分析、評価したもの。 情報に分析、評価して洞察しない 限り、インテリジェンスではない。 【情報】 データの種類が数多くあるな かで、それらの種類ごとに集め て、いくつもの意味を持った 「情報」を収集すると、次の段 階となる分析、評価が行える。 ! データがうまく統合されると、より良い情報とより良いインテリジェンスが
- 15. 15 © Talend2014 データ 収集 データ 分析 意思 決定 アク ション データ 種類 データ 品質 データキュレーター 多くのデータセットの中から、役に立つものを選び出し、必要ならば修復し、分析アルゴリズムにかける。 データのフォーマットや単位系の変換、データ項目の意味の関連付けなど、目的に応じて、どのデータに、ど のような前処理やクレンジングを施して使うかを決定して実施する データサイエンティスト 「統計学的要素」、「IT要素」、「業務要素」の全ての能力を備え、データを収集し、アクセスして、分析することで ビジネスに活かせる知見を引き出す能力の持ち主。データ処理や統計に関する基本的な知識に加えて、デー タの裏にある真実を見抜く力、一見まったく関係のないデータを組み合わせるときに何かを発見する力、仮説 やストーリーを想定できるスキルが欠かせない。 アルゴ リズム 様々なデータを統合して経営をドライブする
- 16. 16 © Talend2014 インテリジェンスを得るのにはデータ < アルゴリズム・アプローチ データ・アプローチ
- 17. 17 © Talend2014 Business Intelligence 現在の（ビッグ）データ活用はというと？ 購買行動に影響を 与える外部データ ETL 販売データ 商品データ 購買行動に 影響を与える 内部データ 各種データ 天候、景気 イベント、競合商品 購買までの行動 クリックストリーム 店内行動分析 DWH データ マート BigData 顧客データ 他システム、経営行動 意思決定 SFA CRM 物流 調達 その他 新規顧客 獲得 顧客満足度 向上 仮説の検証、インサイト データ分析、モデル作成、 アルゴリズム作成、統計解析 売上アップ コストダウン
- 18. 18 © Talend2014 MITスローンスクール Andrew Mcafee ビッグデータの時代における 経営者に求められる資質は、 正しい答えを考えることではなく、 正しい質問をすることだ
- 19. 19 © Talend2014 ビッグデータ統合によって インテリジェンスを得ることは重要ですが、 インテリジェンスを使うことも重要です。
- 20. 20 © Talend2014 Big Data Talendが推奨するこれからのビッグデータ活用 購買行動に影響を 与える外部データ 販売データ 商品データ 購買行動に 影響を与える 内部データ 各種データ 天候、景気 イベント、競合商品 購買までの行動 クリックストリーム 店内行動分析 顧客データ 他システム、経営行動 SFA/CRM 新規顧客獲得 顧客満足度向上 ビッグデータ インテグレーション基盤 Business Intelligence レポート 活動指示 データ分析結果、モデル、ルール アルゴリズム、統計解析結果 売上アップ コストダウン
- 21. 21 © Talend2014 データ分析はプロセスであり、データ統合はオートメーション技術 ! データ分析は、特定のイベントではない ! データ分析は、スナップショットにおける傾向分析ではない ! データ分析は、組織における意思決定の補助手段 ! データ分析は、定型的なモデル作りです ! データ分析は、データの収集から意思決定までのプロセスです データ統合とは、データの収集から意思決定までのプロセスを、 次の一手まで繋げて、オートメーション化する技術
- 22. 22 © Talend2014 ビッグデータインテグレーションのキーワード プログラマブル ! 分析結果、ビジネスルー ル、モデル、アルゴリズム をプログラムする Talend Studio オートメーション ! 分析結果、ビジネスルー ル、モデル、アルゴリズム をプログラムし、次のシ ステムへデータを渡す ! 情報をインテリジェンスに 変換して渡す ! 予め決められたアクショ ンを適宜実行する 「スナップショット」に 「リアルタイム」を追加 ! スナップショットデータだ けではなく、ストリームさ れるリアルタイムなデー タも対象にする ! スナップショットデータと リアルタイムデータを適 宜にデータ収集
- 23. 23 © Talend2014 Talendだから実現できる４つの要素 圧倒的なスピード 多様性への対応 ビッグデータプラットホームの対応 ビッグデータの取り扱い スモール＆クイック
- 24. 24 © Talend2014 Talendのデータインテグレーションを簡単に説明すると・・・ Talend Studio 稼働環境 DATA INPUT DATA OUTPUT cloud
- 25. 25 © Talend2014 圧倒的なスピード： Hadoopネイティブ対応 ! Talend Studioで生成されたJARファイルがJRE、MapReduce、YARN上でネイ ティブに動作 ! DIエンジン、データクレンジングが圧倒的なパフォーマンスを発揮 ! ビッグデータインテグレーションを分散環境のパフォーマンスで実施できる jar File Java SE CPU 5.2 競合他社 プログラム OS CPU YARN jar File Map Reduce Java SE 分散環境 CPU 5.4 jar File jar File jar File Map Reduce Java SE 分散 環境 CPU 5.3 jar File
- 26. 26 © Talend2014 No SQL DB Hadoop 分散処理における先進技術 API API API 開発者 ビッグデータ取り扱い：容易に取り扱えるツール ! NO SQL DB、Hadoop、分散処理技術へのアクセスは簡単ではない ! Hadoop処理への期待は高まりつつあるが、Hadoop/MapReduceを使えるエ ンジニアが不足 ! Talendは先進技術へのAPIを用意することで、NO SQL DB、Hadoop、分散処 理技術を容易に活用できる環境を提供
- 27. 27 © Talend2014 ビッグデータ取り扱い：容易に取り扱えるツール Redshift No SQL DB Hadoop Technology インメモリーDB、DWH
- 28. 28 © Talend2014 多様性への対応：５００以上のコンポーネント ! Talendとコミュニティで開発されたデータソースへのコンポーネントが500以上用意 ! 対応していないデータソースへのコンポーネントはオープンソースで提供されている SDKにて開発 稼働環境 DATA INPUT DATA OUTPUT YARN Map Reduce Java SE 500 cloud
- 29. 29 © Talend2014 スモール＆クイック：ライセンスモデル Bertrand Diard Co-Founder and CSO Fabrice Bonan Co-Founder and CPO CPU、コア、インスタンス コネクター数 データ量 利用者数 エンジニア マーケッター 経営企画、MD
- 30. 30 © Talend2014 Talendだから実現できる４つの要素を支えるもの
- 31. 31 © Talend2014 ４つの要素を支えるものはオープン OSSであるが故に情報ソース へのコンポーネントが豊富 （500以上） オープンイノベーションによ るコミュニティの支持により コードの信頼性が高い コード生成型モデルであるた めコードがオープンであり 透明性がある オープンイノベーションであり、 ソースコード生成型であるた め、先進技術（分散処理環 境）への対応が早い コミュニティメンバーに使って 頂くことを第一にした利用者 単位でのライセンス 利用者年間サブスクリプショ ンライセンスモデルはクラウ ドモデルやOSSモデルに近い コミュニティ ソースコード イノベーション ビジネス オープン コミュニティ Talendの特長
- 32. 32 © Talend2014 Talendはテクノロジーベンダーです Partner Product SOLUTION
- 33. 33 © Talend2014 Talendはデータソースと等距離なベンダーです SYSTEM
- 34. 34 © Talend2014 Talendは矢印ベンダー 日立ソリューションズ、IT LeadersのWebサイトより 矢印のご用命は、
- 35. 35 © Talend2014 Thankswww.jp.talend.com