Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
2016/10/26
マイクロフォーカス株式会社
技術部 マネージャ
光富 良裕
日本オラクル株式会社
クラウド・テクノロジー事業統括
ビジネス推進部 担当マネージャ
大橋 雅人
成功事例に学べ!
これからの時代のビッグデータ活用最新ベストプラクティス
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
• 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明する
ものです。また、情報提供を唯一の目的とするものであり、いかなる契約
にも組み込むことはできません。以下の事項は、マテリアルやコード、機
能を提供することをコミットメント(確約)するものではないため、購買決定
を行う際の判断材料になさらないで下さい。オラクル製品に関して記載さ
れている機能の開発、リリースおよび時期については、弊社の裁量により
決定されます。
2
OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。
文中の社名、商品名等は各社の商標または登録商標である場合があります。
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
ビッグデータ
ビッグデータの本質
全量性
3
データ量が重要ではない、点の情報から線・面の情報への変革が重要
属
性
の
厚
み
データ量のカバレッジ
1年100% ~0秒 1秒 1分 1時間 1日 1ヶ月
リアルタイム性
データ活用のタイミング
従来ユーザー属性
行動パターン
行動文脈
感性・意識
従来
ビッグデータ
2015/11/27
経済産業省 産業構造審議会・新産業構造部会
ヤフー チーフストラテジーオフィサー 安宅和人氏
資料を参考に作成
0%
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
• 顧客体験価値の向上
• 新規ビジネスモデル創出
• 業務オペレーション改善
• 効率の向上
収益向上
付加価値・
差別化
リスク低減
コスト削減
自動化
• リモート監視・操作
• 運用保守の自動化
• 故障予知
• 資源の稼働率向上
• 安全、及び、セキュリティ
• 顧客分析、顧客満足度向上
• マーケティングや、広告
• 製品開発
• テレマティクス
• 医療、及び、健康増進
• 防犯、防災減災、テロ対策
ステークホルダー
にとっての価値
ビッグデータ活用の目的
4
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Open World 2016:お客様 事例
データを集約し、顧客の真の姿を捉まえる
5
Energy Australia 様
• 250万世帯に電力を供給する、オーストラリア
最大級の電力会社(発電、小売)
• 「選ばれる電力会社」のために顧客基盤を
強化( 2014年Oracle Industry Summit にてご講演)
– CRM統合
– 顧客接点のデジタル化、セルフサービス分析化
– スマートメータ導入、メーターデータ管理
• 競争激化を勝ち抜くための分析基盤を構築
– 数百のデータマートとデータベースを集約
– 顧客情報+電力使用状況+顧客行動
– 180億のレコードを、2000名スタッフ、250万顧客
が分析可能に
CRM(法人)
事業部門
一般顧客情報
メーターデータ
電力使用状況
天気
アプリ
コールセンター
各種レポート
Discovery Advanced
Analytics
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Open World 2016:お客様 事例
データの民主化により、新事業の収益を生み出す
6
Telefónica様
• スペインおよびラテンアメリカで最大の
通信事業、世界第5位のプロバイダ
• 事業展開に伴って増えるODSおよびDWHの
CAPEX/OPEXの削減と、ビッグデータ対応
– DWHのコンソリデーション、リアルタイム対応
– BIツールの統一とOSS活用によるコスト削減
– データの民主化、分析の柔軟性向上
• 効果
– 営業分析の迅速化 2日オンライン
– ネットワーク設備投資の優先度を明確化
– パーソナライズリコメンデーションによる収益拡大
– Hadoopと組み合わせ、コストを1/3に
新事業による
オンラインデータ
OSS/BSS
各事業部
データ分析
DWH+ODS+Big Data
CRM
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
ビッグデータ活用のためのインフラ観点でのポイント
7
「手段」が「目的」とならないために
データを集約する
データ活用の幅を広げる
テクノロジーの恩恵を
活用する
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
成功のポイントはデータベースとの共存にあり!
Oracle Big Data Management System
データの特性や活用目的にあわせ、最適なテクノロジーを組み合わせる
8
データ蓄積
基盤
DatabaseHadoop NoSQL
・最適なデータ蓄積基盤で
データ活用
言語
データ活用
エンジン
SQL REST PythonGraphRnode.js Java
Machine
Learning
Graph
Engine
SQL
Engine
・使いなれたツールやスキルで
・すべてのデータを
・活用に最適なエンジンでSpark
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
業務
アプリケーション
オペレーショナル
レポーティング
RDBMS
成功のポイントはデータベースとの共存にあり!
HadoopとRDBMSの強みを組み合わせる
データの特性や活用目的にあわせ、最適なテクノロジーを組み合わせる
ソーシャル
メディア
IoT
73°
Big Data
Management System
Hadoop
アナリティクス
• Hadoopの特長
– Schema-On-Readによる柔軟性
• 格納時にデータスキーマの考慮不要、
利用時に定義
• レイアウトが変わるデータに向いている
– 高速なデータ加工・編集・集計処理
• 並列分散処理システム
• Sparkなどの豊富なエコシステム
– 低いバイト単価
• ストレージコストの低下の恩恵
9
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
成功のポイントはデータベースとの共存にあり!
Oracle Big Data Management System
データ量にとらわれず、新たなテクノロジーの恩恵をどう活用するか
目的
パターン・データ
特性
Hadoop DWH/Database
バッチ処理・
データ加工
バッチ処理と
生データ保持
ETL処理、生データ 処理後データ
データ
分析
データ密度・
データ価値
低い 高い
フォーマット
変更頻度
多い 少ない
粒度 細かい 粗い
参照頻度 少ない 多い
SAS 高速化基盤
センサーデータ、
ログデータ、GPSデータ、SNS等
既存のRDBMS内のデータ
(マスターデータ/
トランザクションデータ)
明細データ サマリデータ
経年データ アクティブデータ
10
バッチ処理・データ加工
前の生データ
ETL処理・データ加工後の
データ
SAS アナリティクス高速化基盤
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
お伝えしたい要点を支える製品・機能・サービス
オラクルが提供するHadoopソリューション
11
Hadoop活用の障壁を下げる HadoopとRDBMSを密連携させる
環境構築・運用・管理を
もっと簡単に、早く、安く
Oracle
Big Data Appliance
両者間のデータ移動を
もっと早く
Oracle
Big Data Connectors
もっと多くの人にデータを
開放する
Oracle
Big Data SQL
HadoopからDBのデータを使う
Oracle Table Access
for Hadoop and Spark
もっと簡単に有益な
データを見つけだす
Oracle
Big Data Discovery
ライフサイクルを見越した
データ管理をする
Copying Oracle Tables
to Hadoop
Hadoop上での処理を
もっと簡単に構築する
Oracle
Data Integrator
他システムと密に連携する
Oracle’s
Big Data Integration
ビッグデータ環境をセキュアなクラウド環境で実行する Oracle Big Data Cloud
Hadoopのアプライアンス製品のご提供1
HadoopとOracle DBとの連携を強化するソフトウェアのご提供2
ビッグデータ活用環境をクラウド上でご提供3
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Appliance X6-2
2016/5 Forrester調査:事前最適化されたHadoopシステムで、7ベンダー中、No1を獲得
エンタープライズ向け
ビッグデータ活用環境
信頼性
TCO削減
コスト
• 安価な価格(手組に比べ
45%コスト削減 **)
• 構築期間の短縮(手組に
比べ35%短縮**+)
• コマンド一つでパッチ
適用、運用コスト削減
処理の高速化
スピード
• 事前最適化
(手組より20%高速*)
• Map Reduce高速化の
ための独自機能
(Perfect Balance)
• ノード間の高速連携
( Inifiniband40Gb/sec)
• 効果に併せて、柔軟に
段階的に拡張可能
• エンタープライズを想定
したセキュリティ機能
• ベストプラクティスによる
事前調整、テスト済
• H/WからS/Wまでの一元サポートと、 Oracle Enterprise Managerによる一元管理
• HadoopとRDBMの利点を活かしたビッグデータ活用基盤の構築
*Intel公開のWhite Paperより:http://www.oracle.com/ocom/groups/public/%40otn/documents/webcontent/2745435.pdf
*第三者機関ESG調査による、旧来機X5-2での比較: http://www.oracle.com/us/technologies/big-data/eng-systems-for-big-data-esg-wp-2852701.pdf
環境構築・運用・管理を
もっと簡単に、早く、安く
Oracle
Big Data Appliance
12
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data SQL
13
Smart Scan
クエリをExadataの
ストレージサーバーにオフロード
Storage Index
クエリに必要な
データブロックのみをスキャン
SQL一つで、
必要なデータが
高速にセキュアに返される
Smart Scan
クエリをBig Data Applianceの
データノードにオフロード
Storage Index
クエリに必要な
データブロックのみをスキャン
Predicate Pushdown
Hadoopが得意な処理を、
Hadoop側で実施ン
SQL
必要データ
のみ移動
SQL
Hadoop Oracle Database 12c
ビッグデータの活用をよりシンプルに、しかも迅速に、そしてセキュアに
既存のアプリ、ツール、スキル
そのままで全てのデータがクエリ可能
もっと多くの人に
データを開放する
Oracle
Big Data SQL
Hive
metadata
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
ユースケース 製造業
製造業におけるトレーサビリティ、原因分析、予兆分析
14
• 生産条件データをHadoopへ、ERPデータはRDBMSへ
• SQLの標準関数であるパターンマッチングを活用
• 類似生産条件が発生した製品、該当ロット、顧客先、
担当営業、担当サービス員の特定
– 不具合が起きる前の点検・交換サービスによる
顧客満足度の向上
– サービス員作業計画作成、二度手間の省略、
非計画サポートの削減
• 新たなアラートしきい値の設定
– 将来の歩留り向上
– 問題発生前の予兆、早期発見
製造業での活用例既存アプリケーション
BOM 製造/
MES
サービス 出荷機器ログ MES
Hadoop RDBMS
ロット特定
関連する
生産条件
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
ユースケース 製造業
製造業におけるトレーサビリティ、原因分析、予兆分析
15
• 生産条件データをHadoopへ、ERPデータはRDBMSへ
• SQLの標準関数であるパターンマッチングを活用
• 類似生産条件が発生した製品、該当ロット、顧客先、
担当営業、担当サービス員の特定
– 不具合が起きる前の点検・交換サービスによる
顧客満足度の向上
– サービス員作業計画作成、二度手間の省略、
非計画サポートの削減
• 新たなアラートしきい値の設定
– 将来の歩留り向上
– 問題発生前の予兆、早期発見
製造業での活用例
ロット特定/
作業指示
類似パターン
の発見
既存アプリケーション
BOM 製造/
MES
サービス 出荷機器ログ MES
Hadoop RDBMS
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data SQL機能
Copying Oracle Tables to Hadoop
データライフサイクルを見越した低コストでのデータ管理
Hadoop Oracle
Database 12c
Oracle Big Data SQL
直近12ヶ月分
のデータ
13ヶ月目
以降のデータ
ライフサイクルを見越した
データ管理をする
Copy to Hadoop
• 使用頻度の高いデータを
Oracle Databaseに保持
• 過去データをHadoop上に
安価に保持、分析可能に
• 既存アプリケーションそのまま
全てのデータにSQLでクエリ
SQL
16
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
国内事例
国内事例を3つご紹介
Oracle Confidential – Internal/Restricted/Highly Restricted 17
SCREEN
ONLY
もっと多くのお客様に
ご活用いただくために
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 18
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Appliance + Asakusa Framework
バッチ処理も、分析も。エンタープライズのすべてのHadoop活用に対応
19
Oracle Big Data Appliance
・高性能・高信頼なHadoop環境
・導入、運用コストの削減
・独自高速化機能、Big Data SQL
をはじめとする分析機能
Asakusa Framework
・基幹業務向け分散バッチ
開発フレームワーク
・Hadoop上の開発を容易かつ、高速化
・Oracle機能のための拡張機能
+
お届けする価値
導入の短期化、コストとリスクの低減1
運用、追加開発の短期化、コストとリスクの低減2
バッチ処理の高速化と、新たなビッグデータ分析を両立3
エンタープライズでの豊富な実績 エンタープライズでの豊富な実績
光富 良裕
マイクロフォーカス株式会社
技術部 マネジャー
成功事例に学べ! これからの時代のビッグデータ
活用最新ベストプラクティス
~Micro Focus サブセッション~
COBOL バッチアプリケーションへ Hadoop 適用
COBOL バッチアプリケーションへ Hadoop 適用
C
O
B
O
L
※:[参考]The Micro Focus Academic Program
http://academic.microfocus.com/index.asp
►1959 年の誕生以後、金融業界を始めと
した多くの企業アプリケーションで利用
►現在も Fortune 500 のうち 9 割の企業が
日々利用するシステムで稼動※
►特にバッチアプリケーションでの活用多
+
Oracle
Big Data Appliance
適用
オープン環境における COBOL の主要ベンダー
である Micro Focus と協業し、実現性を検証
本日は、
►このソリューション実現に
必要なテクノロジー
►見込まれる効果について
直接 Micro Focus より紹介
2016/11/22 開催の COBOL Forum では
更に COBOL 寄りの観点から紹介します。
http://www.microfocus.co.jp/cobolforum2016/
www.microfocus.com
© 2016 Micro Focus. All Rights Reserved.
本スライドに記載の会社名・製品名は、各社の商標または登録商標です。
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Discovery
Data Lab:データ分析前の1000本ノックをいかにアジャイルに迅速に繰り返すか
23
多種多様なデータの
把握、理解
信頼されたユーザーへ
データの公開
アジャイルかつ迅速な
試行錯誤
試行錯誤のための
サンドボックス環境
もっと簡単に有益な
データを見つけだす
Oracle
Big Data Discovery
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Discovery
24
Data Lab:直感的なUI画面でデータ分析前の1000本ノックをアジャイルに迅速に繰り返す
1.Hadoop上のデータ
を可視化、タグ付け
2.データの値特性、
品質、分析価値
有無を可視化
3.データの因果関係、
説明変数のシミュ
レーションと把握
4.次の分析のために
データ加工
もっと簡単に有益な
データを見つけだす
Oracle
Big Data Discovery
↓
機械学習、BI分析へ
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
機械学習/R言語でビッグデータを分析
Hadoop上でもOracle Database上でも。データを移動せずに
25
Oracle Database
R
Hadoop
Big Data
SQL
Oracle R Enterprise
(ORE)
R Client
SQL Developer
SQLアプリケーション
SQL Client
SQL
R
Oracle R Advanced
Analytics for Hadoop
R Client
センサーデータ、
ログデータ、etc
マスターデータ、
トランザクションデータ、etc
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 26
さらなるビッグデータの活用へ
空間/位置情報分析(Spatial)とネットワーク分析(Graph)
DigitalGlobe 様
• 商用衛星による高解像度の
衛星画像を販売提供
• 数百万平方kmもの広大な
範囲の画像情報の分析
• 顧客へのSLA遵守のため空間
検索の大幅な機能向上実現
オーストリア連邦鉄道 様
• 鉄道の維持、管理、建設、
計画の最適化が課題
• 路線網80億以上の点データ
格納と処理を実施
• 既存のベクトルデータ基盤上
のLiDARデータを可視化
ネットワーク分析 活用例
• 「2つ以上のモノと関係性」を、
ノード(頂点)とエッジ(枝)で表現
• 参照系と演算系の両方の処理に
対応可能なプロパティグラフ
• 例:ある不正取引と同様の取引
パターンをする預金口座は?
経路探索
配線図上の建物同士
の到達可能性や最短
距離を計算
異常検出
不正取引と同様の
取引パターンのある
預金口座を検索
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
Cloud
27
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
広がるビッグデータ活用環境の選択肢
28
お客様データセンター
購入
お客様による管理
専有環境
Big Data Appliance
お客様データセンター
サブスクリプション
オラクルが管理
専有環境
近日リリース予定
Big Data Cloud Machine
Oracle Cloud
サブスクリプション
オラクルが管理
専有環境
Big Data Cloud Service
近日リリース予定
Big Data Cloud Service
– Compute Edition
Oracle Cloud
サブスクリプション
フルマネージド
共有環境
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
近日リリース予定: Cloud at Customer
Oracle Big Data Cloud Machine
29
特徴
• オラクルがハードウェアを所有
• Hadoopのクラウド環境をお客様データセンター内に
• Oracle Big Data Cloud Serviceと同じ構成
– Oracle が管理、事前テスト済
– スモールスタート、シームレスに拡張可能
• オラクルが Big Data Infrastructure を管理
– お客様は Cloud Tools を利用して、
Hadoop クラスタのデプロイ/管理を実施
利点
• 高パフォーマンス
• セキュアな環境
• 包括的なソフトウェアを含有
Copyright © 2016, Oracle and/or its affiliates. All rights reserved.
Summary
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
ビッグデータ活用のためのテクノロジー観点でのポイント
31
「手段」が「目的」とならないために。成功の肝となるのはデータマネジメント
データを集約する
データ活用の幅を広げる
テクノロジーの恩恵を
活用する
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 32
Oracle Digitalは、オラクル製品の導入をご検討いただく際の総合窓口。
電話とインターネットによるダイレクトなコニュニケーションで、どんなお問い合わせにもすばやく対応します。
もちろん、無償。どんなことでも、ご相談ください。
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
技術情報
• SlideShare
– Big Data Hadoopソリューション
• OracleのHadoopソリューションご紹介
• Oracle Big Data Cloud Serviceのご紹介
• Oracle Cloudで始める、DBエンジニアのためのHadoop超入門(db tech showcase2016)
• OracleとHadoop連携の勘所 (Oracle DBA &Developers Day2016資料)
– Oracle Advanced Analytics
• Oracle Data Miner Tutorial (Data Miner のセットアップ、表データの加工とモデル構築)
• Oracle R Enterprise(Oracle R Enterprise のセットアップ、Oracle R Enterprise の使い方)
– Oracle R Advanced Analytics for Hadoop
• Oracle R Advanced Analytics for Hadoop利用方法
oracle4engineer
33
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
• 事前設定済のオラクルビッグデータ製品の最新バージョンを
インストール作業の必要なく、すぐに利用可能
• OTNサイトから無料でダウンロード
• サンプルデータ込、自己学習のための動画、
デモスクリプトも公開
• RDBMS、Hadoop、NoSQL、R、Spatial, Graph、
興味のある製品から、ビッグデータ活用の全体フローまで
お好きな製品をローカルの仮想マシン環境上で
• 自己学習環境としてぜひお試しください
*自己学習用のサポート対象外製品です
*使用にあたっては、 License Agreementをよくお読みになり、同意の上、ご利用ください
*OTN Communityのフォーラムにも技術ディスカッションのスレッドがございます
https://community.oracle.com/community/database/big_data
オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます!
Oracle Big Data Lite Virtual Machine のご紹介
ダウンロード先:http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html
34
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 35
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 36
成功事例に学べ! これからの時代のビッグデータ活用最新ベストプラクティス [Oracle Cloud Days Tokyo 2016]

成功事例に学べ! これからの時代のビッグデータ活用最新ベストプラクティス [Oracle Cloud Days Tokyo 2016]

  • 1.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | 2016/10/26 マイクロフォーカス株式会社 技術部 マネージャ 光富 良裕 日本オラクル株式会社 クラウド・テクノロジー事業統括 ビジネス推進部 担当マネージャ 大橋 雅人 成功事例に学べ! これからの時代のビッグデータ活用最新ベストプラクティス
  • 2.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | • 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明する ものです。また、情報提供を唯一の目的とするものであり、いかなる契約 にも組み込むことはできません。以下の事項は、マテリアルやコード、機 能を提供することをコミットメント(確約)するものではないため、購買決定 を行う際の判断材料になさらないで下さい。オラクル製品に関して記載さ れている機能の開発、リリースおよび時期については、弊社の裁量により 決定されます。 2 OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。 文中の社名、商品名等は各社の商標または登録商標である場合があります。
  • 3.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | ビッグデータ ビッグデータの本質 全量性 3 データ量が重要ではない、点の情報から線・面の情報への変革が重要 属 性 の 厚 み データ量のカバレッジ 1年100% ~0秒 1秒 1分 1時間 1日 1ヶ月 リアルタイム性 データ活用のタイミング 従来ユーザー属性 行動パターン 行動文脈 感性・意識 従来 ビッグデータ 2015/11/27 経済産業省 産業構造審議会・新産業構造部会 ヤフー チーフストラテジーオフィサー 安宅和人氏 資料を参考に作成 0%
  • 4.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | • 顧客体験価値の向上 • 新規ビジネスモデル創出 • 業務オペレーション改善 • 効率の向上 収益向上 付加価値・ 差別化 リスク低減 コスト削減 自動化 • リモート監視・操作 • 運用保守の自動化 • 故障予知 • 資源の稼働率向上 • 安全、及び、セキュリティ • 顧客分析、顧客満足度向上 • マーケティングや、広告 • 製品開発 • テレマティクス • 医療、及び、健康増進 • 防犯、防災減災、テロ対策 ステークホルダー にとっての価値 ビッグデータ活用の目的 4
  • 5.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | Oracle Open World 2016:お客様 事例 データを集約し、顧客の真の姿を捉まえる 5 Energy Australia 様 • 250万世帯に電力を供給する、オーストラリア 最大級の電力会社(発電、小売) • 「選ばれる電力会社」のために顧客基盤を 強化( 2014年Oracle Industry Summit にてご講演) – CRM統合 – 顧客接点のデジタル化、セルフサービス分析化 – スマートメータ導入、メーターデータ管理 • 競争激化を勝ち抜くための分析基盤を構築 – 数百のデータマートとデータベースを集約 – 顧客情報+電力使用状況+顧客行動 – 180億のレコードを、2000名スタッフ、250万顧客 が分析可能に CRM(法人) 事業部門 一般顧客情報 メーターデータ 電力使用状況 天気 アプリ コールセンター 各種レポート Discovery Advanced Analytics
  • 6.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | Oracle Open World 2016:お客様 事例 データの民主化により、新事業の収益を生み出す 6 Telefónica様 • スペインおよびラテンアメリカで最大の 通信事業、世界第5位のプロバイダ • 事業展開に伴って増えるODSおよびDWHの CAPEX/OPEXの削減と、ビッグデータ対応 – DWHのコンソリデーション、リアルタイム対応 – BIツールの統一とOSS活用によるコスト削減 – データの民主化、分析の柔軟性向上 • 効果 – 営業分析の迅速化 2日オンライン – ネットワーク設備投資の優先度を明確化 – パーソナライズリコメンデーションによる収益拡大 – Hadoopと組み合わせ、コストを1/3に 新事業による オンラインデータ OSS/BSS 各事業部 データ分析 DWH+ODS+Big Data CRM
  • 7.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | ビッグデータ活用のためのインフラ観点でのポイント 7 「手段」が「目的」とならないために データを集約する データ活用の幅を広げる テクノロジーの恩恵を 活用する
  • 8.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | 成功のポイントはデータベースとの共存にあり! Oracle Big Data Management System データの特性や活用目的にあわせ、最適なテクノロジーを組み合わせる 8 データ蓄積 基盤 DatabaseHadoop NoSQL ・最適なデータ蓄積基盤で データ活用 言語 データ活用 エンジン SQL REST PythonGraphRnode.js Java Machine Learning Graph Engine SQL Engine ・使いなれたツールやスキルで ・すべてのデータを ・活用に最適なエンジンでSpark
  • 9.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | 業務 アプリケーション オペレーショナル レポーティング RDBMS 成功のポイントはデータベースとの共存にあり! HadoopとRDBMSの強みを組み合わせる データの特性や活用目的にあわせ、最適なテクノロジーを組み合わせる ソーシャル メディア IoT 73° Big Data Management System Hadoop アナリティクス • Hadoopの特長 – Schema-On-Readによる柔軟性 • 格納時にデータスキーマの考慮不要、 利用時に定義 • レイアウトが変わるデータに向いている – 高速なデータ加工・編集・集計処理 • 並列分散処理システム • Sparkなどの豊富なエコシステム – 低いバイト単価 • ストレージコストの低下の恩恵 9
  • 10.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | 成功のポイントはデータベースとの共存にあり! Oracle Big Data Management System データ量にとらわれず、新たなテクノロジーの恩恵をどう活用するか 目的 パターン・データ 特性 Hadoop DWH/Database バッチ処理・ データ加工 バッチ処理と 生データ保持 ETL処理、生データ 処理後データ データ 分析 データ密度・ データ価値 低い 高い フォーマット 変更頻度 多い 少ない 粒度 細かい 粗い 参照頻度 少ない 多い SAS 高速化基盤 センサーデータ、 ログデータ、GPSデータ、SNS等 既存のRDBMS内のデータ (マスターデータ/ トランザクションデータ) 明細データ サマリデータ 経年データ アクティブデータ 10 バッチ処理・データ加工 前の生データ ETL処理・データ加工後の データ SAS アナリティクス高速化基盤
  • 11.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | お伝えしたい要点を支える製品・機能・サービス オラクルが提供するHadoopソリューション 11 Hadoop活用の障壁を下げる HadoopとRDBMSを密連携させる 環境構築・運用・管理を もっと簡単に、早く、安く Oracle Big Data Appliance 両者間のデータ移動を もっと早く Oracle Big Data Connectors もっと多くの人にデータを 開放する Oracle Big Data SQL HadoopからDBのデータを使う Oracle Table Access for Hadoop and Spark もっと簡単に有益な データを見つけだす Oracle Big Data Discovery ライフサイクルを見越した データ管理をする Copying Oracle Tables to Hadoop Hadoop上での処理を もっと簡単に構築する Oracle Data Integrator 他システムと密に連携する Oracle’s Big Data Integration ビッグデータ環境をセキュアなクラウド環境で実行する Oracle Big Data Cloud Hadoopのアプライアンス製品のご提供1 HadoopとOracle DBとの連携を強化するソフトウェアのご提供2 ビッグデータ活用環境をクラウド上でご提供3
  • 12.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Appliance X6-2 2016/5 Forrester調査:事前最適化されたHadoopシステムで、7ベンダー中、No1を獲得 エンタープライズ向け ビッグデータ活用環境 信頼性 TCO削減 コスト • 安価な価格(手組に比べ 45%コスト削減 **) • 構築期間の短縮(手組に 比べ35%短縮**+) • コマンド一つでパッチ 適用、運用コスト削減 処理の高速化 スピード • 事前最適化 (手組より20%高速*) • Map Reduce高速化の ための独自機能 (Perfect Balance) • ノード間の高速連携 ( Inifiniband40Gb/sec) • 効果に併せて、柔軟に 段階的に拡張可能 • エンタープライズを想定 したセキュリティ機能 • ベストプラクティスによる 事前調整、テスト済 • H/WからS/Wまでの一元サポートと、 Oracle Enterprise Managerによる一元管理 • HadoopとRDBMの利点を活かしたビッグデータ活用基盤の構築 *Intel公開のWhite Paperより:http://www.oracle.com/ocom/groups/public/%40otn/documents/webcontent/2745435.pdf *第三者機関ESG調査による、旧来機X5-2での比較: http://www.oracle.com/us/technologies/big-data/eng-systems-for-big-data-esg-wp-2852701.pdf 環境構築・運用・管理を もっと簡単に、早く、安く Oracle Big Data Appliance 12
  • 13.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | Oracle Big Data SQL 13 Smart Scan クエリをExadataの ストレージサーバーにオフロード Storage Index クエリに必要な データブロックのみをスキャン SQL一つで、 必要なデータが 高速にセキュアに返される Smart Scan クエリをBig Data Applianceの データノードにオフロード Storage Index クエリに必要な データブロックのみをスキャン Predicate Pushdown Hadoopが得意な処理を、 Hadoop側で実施ン SQL 必要データ のみ移動 SQL Hadoop Oracle Database 12c ビッグデータの活用をよりシンプルに、しかも迅速に、そしてセキュアに 既存のアプリ、ツール、スキル そのままで全てのデータがクエリ可能 もっと多くの人に データを開放する Oracle Big Data SQL Hive metadata
  • 14.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | ユースケース 製造業 製造業におけるトレーサビリティ、原因分析、予兆分析 14 • 生産条件データをHadoopへ、ERPデータはRDBMSへ • SQLの標準関数であるパターンマッチングを活用 • 類似生産条件が発生した製品、該当ロット、顧客先、 担当営業、担当サービス員の特定 – 不具合が起きる前の点検・交換サービスによる 顧客満足度の向上 – サービス員作業計画作成、二度手間の省略、 非計画サポートの削減 • 新たなアラートしきい値の設定 – 将来の歩留り向上 – 問題発生前の予兆、早期発見 製造業での活用例既存アプリケーション BOM 製造/ MES サービス 出荷機器ログ MES Hadoop RDBMS ロット特定 関連する 生産条件
  • 15.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | ユースケース 製造業 製造業におけるトレーサビリティ、原因分析、予兆分析 15 • 生産条件データをHadoopへ、ERPデータはRDBMSへ • SQLの標準関数であるパターンマッチングを活用 • 類似生産条件が発生した製品、該当ロット、顧客先、 担当営業、担当サービス員の特定 – 不具合が起きる前の点検・交換サービスによる 顧客満足度の向上 – サービス員作業計画作成、二度手間の省略、 非計画サポートの削減 • 新たなアラートしきい値の設定 – 将来の歩留り向上 – 問題発生前の予兆、早期発見 製造業での活用例 ロット特定/ 作業指示 類似パターン の発見 既存アプリケーション BOM 製造/ MES サービス 出荷機器ログ MES Hadoop RDBMS
  • 16.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | Oracle Big Data SQL機能 Copying Oracle Tables to Hadoop データライフサイクルを見越した低コストでのデータ管理 Hadoop Oracle Database 12c Oracle Big Data SQL 直近12ヶ月分 のデータ 13ヶ月目 以降のデータ ライフサイクルを見越した データ管理をする Copy to Hadoop • 使用頻度の高いデータを Oracle Databaseに保持 • 過去データをHadoop上に 安価に保持、分析可能に • 既存アプリケーションそのまま 全てのデータにSQLでクエリ SQL 16
  • 17.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | 国内事例 国内事例を3つご紹介 Oracle Confidential – Internal/Restricted/Highly Restricted 17 SCREEN ONLY
  • 18.
    もっと多くのお客様に ご活用いただくために Copyright © 2016Oracle and/or its affiliates. All rights reserved. | 18
  • 19.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Appliance + Asakusa Framework バッチ処理も、分析も。エンタープライズのすべてのHadoop活用に対応 19 Oracle Big Data Appliance ・高性能・高信頼なHadoop環境 ・導入、運用コストの削減 ・独自高速化機能、Big Data SQL をはじめとする分析機能 Asakusa Framework ・基幹業務向け分散バッチ 開発フレームワーク ・Hadoop上の開発を容易かつ、高速化 ・Oracle機能のための拡張機能 + お届けする価値 導入の短期化、コストとリスクの低減1 運用、追加開発の短期化、コストとリスクの低減2 バッチ処理の高速化と、新たなビッグデータ分析を両立3 エンタープライズでの豊富な実績 エンタープライズでの豊富な実績
  • 20.
    光富 良裕 マイクロフォーカス株式会社 技術部 マネジャー 成功事例に学べ!これからの時代のビッグデータ 活用最新ベストプラクティス ~Micro Focus サブセッション~ COBOL バッチアプリケーションへ Hadoop 適用
  • 21.
    COBOL バッチアプリケーションへ Hadoop適用 C O B O L ※:[参考]The Micro Focus Academic Program http://academic.microfocus.com/index.asp ►1959 年の誕生以後、金融業界を始めと した多くの企業アプリケーションで利用 ►現在も Fortune 500 のうち 9 割の企業が 日々利用するシステムで稼動※ ►特にバッチアプリケーションでの活用多 + Oracle Big Data Appliance 適用 オープン環境における COBOL の主要ベンダー である Micro Focus と協業し、実現性を検証 本日は、 ►このソリューション実現に 必要なテクノロジー ►見込まれる効果について 直接 Micro Focus より紹介 2016/11/22 開催の COBOL Forum では 更に COBOL 寄りの観点から紹介します。 http://www.microfocus.co.jp/cobolforum2016/
  • 22.
    www.microfocus.com © 2016 MicroFocus. All Rights Reserved. 本スライドに記載の会社名・製品名は、各社の商標または登録商標です。
  • 23.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Discovery Data Lab:データ分析前の1000本ノックをいかにアジャイルに迅速に繰り返すか 23 多種多様なデータの 把握、理解 信頼されたユーザーへ データの公開 アジャイルかつ迅速な 試行錯誤 試行錯誤のための サンドボックス環境 もっと簡単に有益な データを見つけだす Oracle Big Data Discovery
  • 24.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Discovery 24 Data Lab:直感的なUI画面でデータ分析前の1000本ノックをアジャイルに迅速に繰り返す 1.Hadoop上のデータ を可視化、タグ付け 2.データの値特性、 品質、分析価値 有無を可視化 3.データの因果関係、 説明変数のシミュ レーションと把握 4.次の分析のために データ加工 もっと簡単に有益な データを見つけだす Oracle Big Data Discovery ↓ 機械学習、BI分析へ
  • 25.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | 機械学習/R言語でビッグデータを分析 Hadoop上でもOracle Database上でも。データを移動せずに 25 Oracle Database R Hadoop Big Data SQL Oracle R Enterprise (ORE) R Client SQL Developer SQLアプリケーション SQL Client SQL R Oracle R Advanced Analytics for Hadoop R Client センサーデータ、 ログデータ、etc マスターデータ、 トランザクションデータ、etc
  • 26.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | 26 さらなるビッグデータの活用へ 空間/位置情報分析(Spatial)とネットワーク分析(Graph) DigitalGlobe 様 • 商用衛星による高解像度の 衛星画像を販売提供 • 数百万平方kmもの広大な 範囲の画像情報の分析 • 顧客へのSLA遵守のため空間 検索の大幅な機能向上実現 オーストリア連邦鉄道 様 • 鉄道の維持、管理、建設、 計画の最適化が課題 • 路線網80億以上の点データ 格納と処理を実施 • 既存のベクトルデータ基盤上 のLiDARデータを可視化 ネットワーク分析 活用例 • 「2つ以上のモノと関係性」を、 ノード(頂点)とエッジ(枝)で表現 • 参照系と演算系の両方の処理に 対応可能なプロパティグラフ • 例:ある不正取引と同様の取引 パターンをする預金口座は? 経路探索 配線図上の建物同士 の到達可能性や最短 距離を計算 異常検出 不正取引と同様の 取引パターンのある 預金口座を検索
  • 27.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | Cloud 27
  • 28.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | 広がるビッグデータ活用環境の選択肢 28 お客様データセンター 購入 お客様による管理 専有環境 Big Data Appliance お客様データセンター サブスクリプション オラクルが管理 専有環境 近日リリース予定 Big Data Cloud Machine Oracle Cloud サブスクリプション オラクルが管理 専有環境 Big Data Cloud Service 近日リリース予定 Big Data Cloud Service – Compute Edition Oracle Cloud サブスクリプション フルマネージド 共有環境
  • 29.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | 近日リリース予定: Cloud at Customer Oracle Big Data Cloud Machine 29 特徴 • オラクルがハードウェアを所有 • Hadoopのクラウド環境をお客様データセンター内に • Oracle Big Data Cloud Serviceと同じ構成 – Oracle が管理、事前テスト済 – スモールスタート、シームレスに拡張可能 • オラクルが Big Data Infrastructure を管理 – お客様は Cloud Tools を利用して、 Hadoop クラスタのデプロイ/管理を実施 利点 • 高パフォーマンス • セキュアな環境 • 包括的なソフトウェアを含有
  • 30.
    Copyright © 2016,Oracle and/or its affiliates. All rights reserved. Summary
  • 31.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | ビッグデータ活用のためのテクノロジー観点でのポイント 31 「手段」が「目的」とならないために。成功の肝となるのはデータマネジメント データを集約する データ活用の幅を広げる テクノロジーの恩恵を 活用する
  • 32.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | 32 Oracle Digitalは、オラクル製品の導入をご検討いただく際の総合窓口。 電話とインターネットによるダイレクトなコニュニケーションで、どんなお問い合わせにもすばやく対応します。 もちろん、無償。どんなことでも、ご相談ください。
  • 33.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | 技術情報 • SlideShare – Big Data Hadoopソリューション • OracleのHadoopソリューションご紹介 • Oracle Big Data Cloud Serviceのご紹介 • Oracle Cloudで始める、DBエンジニアのためのHadoop超入門(db tech showcase2016) • OracleとHadoop連携の勘所 (Oracle DBA &Developers Day2016資料) – Oracle Advanced Analytics • Oracle Data Miner Tutorial (Data Miner のセットアップ、表データの加工とモデル構築) • Oracle R Enterprise(Oracle R Enterprise のセットアップ、Oracle R Enterprise の使い方) – Oracle R Advanced Analytics for Hadoop • Oracle R Advanced Analytics for Hadoop利用方法 oracle4engineer 33
  • 34.
    Copyright © 2016Oracle and/or its affiliates. All rights reserved. | • 事前設定済のオラクルビッグデータ製品の最新バージョンを インストール作業の必要なく、すぐに利用可能 • OTNサイトから無料でダウンロード • サンプルデータ込、自己学習のための動画、 デモスクリプトも公開 • RDBMS、Hadoop、NoSQL、R、Spatial, Graph、 興味のある製品から、ビッグデータ活用の全体フローまで お好きな製品をローカルの仮想マシン環境上で • 自己学習環境としてぜひお試しください *自己学習用のサポート対象外製品です *使用にあたっては、 License Agreementをよくお読みになり、同意の上、ご利用ください *OTN Communityのフォーラムにも技術ディスカッションのスレッドがございます https://community.oracle.com/community/database/big_data オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます! Oracle Big Data Lite Virtual Machine のご紹介 ダウンロード先:http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html 34
  • 35.
    Copyright © 2016,Oracle and/or its affiliates. All rights reserved. | 35
  • 36.
    Copyright © 2016,Oracle and/or its affiliates. All rights reserved. | 36