Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
2017年3月17日
日本オラクル株式会社
クラウド・テクノロジー事業統括
Oracle Big Dat...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
以下の事項は、弊社の一般的な製品の方向性に関する概要を説明する
ものです。また、情報提供を唯一の目的と...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Cloud 基本戦略
3
On-Premises
DEVELOP AND DEPLOY ...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle IoT/Big Data and Analytics Cloud Solution
4
...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
広がるビッグデータ活用環境の選択肢
5
お客様データセンター
購入
お客様による管理
専有環境
Big...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
エンタープライズ向けビッグデータ活用環境を...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
高パフォーマンスな専用環境をすぐに活用可能...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
複雑で面倒なHadoop環境を数クリックで...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
複雑で面倒なHadoop環境を数クリックで...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
一時的な拡張:1時間単位でのリソース増減が...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
一時的な拡張:1時間単位でのリソース増減が...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
• 同一クラスター内に、Infiniban...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
13
ご参考)Hadoop Edge ノー...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
一時的な拡張:1時間単位でのリソース増減が...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
一時的な拡張:1時間単位でのリソース増減が...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
ビッグデータ活用のための製品も含有
16
...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
最新のBig Data技術および既存ツール...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
18
Oracle R Advanced
...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
Map Reduceによるデータ加工やET...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Discovery Cloud Service
Data Lab:デー...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 21
データ分析前の1000本ノックをいかにアジャイルに迅速に繰り返すか
大量にあるデータのうち、どの...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
• Big Data Cloud Service上のデータを可視化
• データの理解、データの加工を直...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Big Data Cloud Service追加サービス
Big Data Discovery Clo...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
他Oracle Cloudとのデータ連携に...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
近日リリース予定
Oracle Big Data SQL Cloud Service
ビッグデータの活...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
近日リリース予定
Oracle Big Data SQL Cloud Service
26
Smart...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
next = lineNext.getQuantity();
}
if (!q.isEmpty() &...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data SQL
Oracle Exadataで培った高速化技術、強固なセキュリ...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
近日リリース予定
Copy to Hadoop(Oracle Big Data SQL Cloud S...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
近日リリース予定
Oracle Table Access for Hadoop and Spark
(...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service
• 接続、データ連携
– SSH
– Si...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service -管理体系
• Hadoopクラスターが自...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service -管理体系
オラクルが管理
(お客様はアク...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service –ライセンス体系
34
Non-Meter...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service –ライセンス体系
35
Metered(O...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Discovery Cloud Service –ライセンス体系
36...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
広がるビッグデータ活用環境の選択肢
37
お客様データセンター
購入
お客様による管理
専有環境
Bi...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
近日リリース予定: Cloud at Customer
Oracle Big Data Cloud M...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
広がるビッグデータ活用環境の選択肢
39
お客様データセンター
購入
お客様による管理
専有環境
Bi...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 40
Oracle Big Data Cloudに加わった新たなサービス
Oracle Big Dat...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
• 主な用途
– 一時的なクラスタ利用
– 特定の処理や分析利用
– クラスタは必要な時のみ拡張
• ...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle IoT/Big Data and Analytics Cloud Solution
42...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Agenda
Appendix
• ビッグデータ関連記事
• 技術情報
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
技術情報
• 各製品技術情報ページ
– Oracle Exadata
– Oracle Big Dat...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
技術情報
• SlideShare
– Big Data Hadoopソリューション
• Oracle...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service –その他情報
• Cloud.oracle...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
技術情報
• SlideShare
– Oracle Spatial and Graph(Spatia...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
技術情報
• Oracle University 日本語研修
– Oracleではじめる統計入門
– ...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
• 事前設定済のオラクルビッグデータ製品の最新バージョンを
インストール作業の必要なく、すぐに利用可能...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます!
Oracle Big D...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます!
Oracle Big D...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
オラクルのビッグデータ製品をすぐに無料で学習できます!
Oracle Learning Library...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 53
ご質問・ご相談等ございましたら、ぜひお問い合わせを
0120-155-096
(平日9:00-1...
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 55
Oracle Big Data Cloud Serviceのご紹介
Upcoming SlideShare
Loading in …5
×

Oracle Big Data Cloud Serviceのご紹介

1,623 views

Published on

Oracle Big Data Cloud Serviceのご紹介資料です

Published in: Technology
  • Be the first to comment

Oracle Big Data Cloud Serviceのご紹介

  1. 1. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 2017年3月17日 日本オラクル株式会社 クラウド・テクノロジー事業統括 Oracle Big Data Cloud Service 概要ご紹介資料 1
  2. 2. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明する ものです。また、情報提供を唯一の目的とするものであり、いかなる契約 にも組み込むことはできません。以下の事項は、マテリアルやコード、機能 を提供することをコミットメント(確約)するものではないため、購買決定を 行う際の判断材料になさらないで下さい。オラクル製品に関して記載され ている機能の開発、リリースおよび時期については、弊社の裁量により決 定されます。 2 OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。 文中の社名、商品名等は各社の商標または登録商標である場合があります。
  3. 3. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Cloud 基本戦略 3 On-Premises DEVELOP AND DEPLOY ANYWHERE Public Cloud 同じ「アーキテクチャ」 同じ「オラクル製品」 同じ「知識・ノウハウ」 Cloud at Customer
  4. 4. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle IoT/Big Data and Analytics Cloud Solution 4 Data Factory データの取得・処理 Data Management データの蓄積 Data Analytics データの分析 Action アクション Data Factory データの取得・加工 Data Factory データの取得・加工 Data Factory データの取得・加工 Data Factory データの取得・加工 IoT GoldenGate Big Data Preparation Big Data Database Marketing WebSite Application NoSQL Storage ERP IoT Analytics ストリー ミング バッチ/セミストリーミング Data Factory データの取得・加工 R on Hadoop (**) Big Data Discovery Spark on Hadoop (**) Spatial and Graph on Hadoop (**) BI R in Database(*) Spatial and Graph in Database (*) SQL Big Data SQL and other Paas,SaaS Data Lab 試行錯誤と検証 Data Integration (*) Database Cloud Service EE Extreme Performanceに含みます (**) Big Data Cloud Service に含みます Event Hub Big Data Compute Mobile Machine Learning (*) Data Visualization
  5. 5. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 広がるビッグデータ活用環境の選択肢 5 お客様データセンター 購入 お客様による管理 専有環境 Big Data Appliance お客様データセンター サブスクリプション オラクルが管理 専有環境 近日リリース予定 Big Data Cloud Machine Oracle Cloud サブスクリプション オラクルが管理 専有環境 Big Data Cloud Service Big Data Cloud Service – Compute Edition Oracle Cloud サブスクリプション フルマネージド 共有環境
  6. 6. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service エンタープライズ向けビッグデータ活用環境をクラウドで 6 ・データ蓄積可能な、高パフォーマンスなお客様専用環境 ・月額定額料金、クエリ実行に課金なし ・1時間単位での一時的なリソース増減が可能 1.多様なデータを 専用環境上に すぐに蓄積可能 ・Cloudera HadoopのエコシステムやSparkも利用可能 ・オラクルのビッグデータ分析ツールを包含 (R言語、空間分析、グラフ分析、画像分析) ・データロード、データ加工を実現するETLツール包含 2.ビッグデータ分析・ 活用ツールを含有 ・Oracle Exadata Cloud Serviceとの高速連携 クラウド上でビッグデータマネジメント基盤を実現 ・Oracle Big Data SQL Cloud Service により、 SQLで高速かつセキュアにアクセス可能 ・SaaSやPaaSなど他クラウドとの密連携 3.他クラウドとの 密連携 Big Data Cloud Service
  7. 7. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service 高パフォーマンスな専用環境をすぐに活用可能 7 • 専用環境 – ハイパフォーマンスを実現するための専用環境 – Hadoopエンタープライズ実績の豊富なCloudera搭載 • 可用性 – 3ノード(96 OCPUs、144TB) から – 必要に応じて、1ノードからスケールアップ可能 • 数クリックで構築 – 複雑で面倒なHadoop環境を数クリックで構築 • セキュア – ケルベロス認証やApache Sentryといったセキュアな Hadoop クラスタ環境を数クリックで構築 – データの暗号化 1.多様なデータを専用 環境上にすぐに蓄積可能 Big Data Cloud Service
  8. 8. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service 複雑で面倒なHadoop環境を数クリックで構築 8 Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | view 2 • オラクルのCloud管理画面である My Servicesから全てのHadoop インスタンスを、一つの画面で管理 • Cloudera Manager Enterpriseから 各Hadoopクラスタを管理 1.多様なデータを専用 環境上にすぐに蓄積可能
  9. 9. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service 複雑で面倒なHadoop環境を数クリックで構築 9 1.多様なデータを専用 環境上にすぐに蓄積可能
  10. 10. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service 一時的な拡張:1時間単位でのリソース増減が可能、期末や月末のピークに柔軟に対応 • OCPUとメモリの追加をオンデマンド、 セルフサービスで追加可能 – 32 OCPU’s 、256GB メモリの追加 – 追加ノードは自動的にクラスタ化され、ジョブ終了後に シャットダウン – 最大192 OCPUs 、1.5TBメモリをクラスターに追加可能 – 追加ノードは InfiniBand で接続 – 時間毎課金 • 常にお客様専有環境としてご提供 10 BurstNodesPersistentNodes 1.多様なデータを専用 環境上にすぐに蓄積可能
  11. 11. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service 一時的な拡張:1時間単位でのリソース増減が可能、期末や月末のピークに柔軟に対応 Month 1 Month 2 Month 3 Month 4 1時間単位で増減が可能 (32 OCPU、256GBメモリ単位) OCPUs 012896 四半期末 11 BurstNodesPersistentNodes 1.多様なデータを専用 環境上にすぐに蓄積可能
  12. 12. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service • 同一クラスター内に、Infinibandで接続されたEdgeノードを構築 – シンプルな設定、チェックのみのセットアップ – セキュリティの設定も統合 – アプリケーション利用や、他のワークロードも実行可能 – EdgeノードともInfinibandで接続 • お客様専有環境で提供 12 専有環境のEdgeノードを増設可能 EdgeNodesPersistentNodes 1.多様なデータを専用 環境上にすぐに蓄積可能
  13. 13. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service 13 ご参考)Hadoop Edge ノード 1.多様なデータを専用 環境上にすぐに蓄積可能 Hadoopクラスタ • Hadoopにアクセスするための管理ツールやコマンドラインを実行するゲートウェイサーバーの役割 • HadoopクラスタはCompute領域であるため、ロードやジョブの実行等は外部からキックする必要がある  Edgeノードがない場合は、データの分散配置に偏りが起こることや、セキュリティ面で脆弱になる など運用が煩雑になります。 クライアントPC Edgeノード Hadoopコマンド Spark-shell Hive(beeline) Sqoop アプリケーション HDFS YARN Hive Server etc
  14. 14. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service 一時的な拡張:1時間単位でのリソース増減が可能、期末や月末のピークに柔軟に対応 14 1.多様なデータを専用 環境上にすぐに蓄積可能 Starter Pack(3ノード、96 OCPU)に64 OCPUsが追加されている環境に さらに32 OCUPsを追加
  15. 15. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service 一時的な拡張:1時間単位でのリソース増減が可能、期末や月末のピークに柔軟に対応 15 1.多様なデータを専用 環境上にすぐに蓄積可能 Starter Pack部分 ・3ノード、96 OCPU Bursting部分 ・64 OCPUsが追加されている環境に さらに32 OCUPsを追加 ・OCUPとメモリの追加のみ
  16. 16. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service ビッグデータ活用のための製品も含有 16 • Hadoop, Sparkをクラウドで – Cloudera Enterprise (Data Hub Edition) 5.X • Cloudera Impala • HBase (as well as support for Accumulo) • Cloudera Search • Apache Spark – Cloudera Manager • オラクルのビッグデータ製品も含有 – Oracle R Distribution – Oracle Big Data Connectors – Oracle Data Integrator and Big Data Extensions – Oracle Big Data Spatial & Graph 2.ビッグデータ分析・ 活用ツールを含有 Big Data Cloud Service
  17. 17. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service 最新のBig Data技術および既存ツールの活用が可能 17 2.ビッグデータ分析ツール を含有
  18. 18. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service 18 Oracle R Advanced Analytics for Hadoop ・RとHadoopを活用した分析の ためのソフトウェア ・R言語のみでデータマイニング の分散並列処理が可能 ・HDFS上のデータへR言語から アクセス ・Spark対応 Oracle Big Data Spatial and Graph (Spatial Analytics) ・豊富な空間演算関数 ・近傍情報、ジオフェンス判定 ・位置情報への付帯情報の付加 ・空間データ、ラスタ(画像) データの加工・準備 Oracle Big Data Spatial and Graph (Graph Analytics) ・プロパティグラフ ・標準のグラフ分析関数 ・ソーシャルメディア分析 ・IoT ・サイバーセキュリティ オラクルのビッグデータ分析ツールを活用可能 2.ビッグデータ分析・ 活用ツールを含有
  19. 19. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service Map Reduceによるデータ加工やETL処理、DBへのデータロードをGUIで定義可能 19 • ファイル/RDBMSからHiveへのロード • Hive を利用したデータの検証と変換 • FileもしくはHiveからOracleへのロード • 追加オプションでSparkやPigのコードを 生成する事が可能 • Hadoopの最新技術を活用した、高速な インメモリ処理がGUIで定義可能に Hadoop Cluster f(x) MapReduce Data Load Oracle Database Oracle Data Integrator Application Adapters for Hadoop Oracle Data Integrator Application Adapters for Hadoop(Oracle Big Data Connectors内製品) Oracle Data Integrator and Big Data Extensions 2.ビッグデータ分析・ 活用ツールを含有
  20. 20. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Discovery Cloud Service Data Lab:データ分析前の1000本ノックをいかにアジャイルに迅速に繰り返すか 20 多種多様なデータの 把握、理解 信頼されたユーザーへ データの公開 アジャイルかつ迅速な 試行錯誤 試行錯誤のための サンドボックス環境
  21. 21. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 21 データ分析前の1000本ノックをいかにアジャイルに迅速に繰り返すか 大量にあるデータのうち、どの データを使えばいいかわからない (データの把握、データの理解) 属性の関係性有無など、データを どう使えばいいのかわからない (変数の選択、把握) 後工程の分析に必要なデータ加 工がむずかしい (データの加工) データの理解 データの準備 Hadoopによるビッグデータ活用で生じる新たな課題 データ分析の80%もの 工数と時間が費やされる 20%に削減するソリューション Oracle Big Data Discovery Big Data Cloud Service追加サービス Big Data Discovery Cloud Service 2.ビッグデータ分析・ 活用ツールを含有
  22. 22. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | • Big Data Cloud Service上のデータを可視化 • データの理解、データの加工を直感的に可能 • データ加工後は、 Big Data Cloud Serviceの アナリティクス製品を活用し、さらに詳細な ビッグデータ分析を実現 • 他のOracle Cloud上のデータも活用可能 Big Data Cloud Service追加サービス Big Data Discovery Cloud Service Big Data Discovery Cloud Service 22 2.ビッグデータ分析・ 活用ツールを含有
  23. 23. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Big Data Cloud Service追加サービス Big Data Discovery Cloud Service 23 直感的なUI画面でHadoop上のビッグデータ活用の生産性を向上 1.Hadoop上のデータ を可視化、タグ付け 2.データの値特性、 品質、分析価値 有無を可視化 3.データの因果関係、 説明変数のシミュ レーションと把握 4.次の分析のために データ加工 2.ビッグデータ分析・ 活用ツールを含有
  24. 24. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service 他Oracle Cloudとのデータ連携により、クラウド上でデータマネジメント基盤を構築 24 3.他クラウドとの密連携 • Oracle Storage Cloudとの高速データ連携 • Oracle Database Service Exadata Service との 40Gb/s Infiniband での高速データ連携 • SaaS,PaaS,IoT Cloudなど、他のOracle Cloud とのデータ連携 • Oracle Big Data SQL Cloud Service により、 クラウド上のビッグデータマネジメント基盤上 のデータにSQLでアクセス可能
  25. 25. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 近日リリース予定 Oracle Big Data SQL Cloud Service ビッグデータの活用をよりシンプルに、しかも迅速に、そしてセキュアに 25 既存のアプリ、ツール、スキル そのままで全てのデータが活用可能
  26. 26. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 近日リリース予定 Oracle Big Data SQL Cloud Service 26 Smart Scan クエリをExadataの ストレージサーバーにオフロード Storage Index クエリに必要な データブロックのみをスキャン SQL一つで、 必要なデータが 高速にセキュアに返される SQL 必要データ のみ移動 ビッグデータの活用をよりシンプルに、しかも迅速に、そしてセキュアに 既存のアプリ、ツール、スキル そのままで全てのデータがクエリ可能 3.他クラウドとの密連携 Big Data Cloud Service Exadata Cloud Service SQL Hive metadata Smart Scan クエリをBig Data Cloudの データノードにオフロード Storage Index クエリに必要な データブロックのみをスキャン Predicate Pushdown Hadoopが得意な処理を、 Hadoop側で実施
  27. 27. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | next = lineNext.getQuantity(); } if (!q.isEmpty() && (prev.isEmpty() || (eq(q, prev) && gt(q, next)))) { state = "S"; return state; } if (gt(q, prev) && gt(q, next)) { state = "T"; return state; } if (lt(q, prev) && lt(q, next)) { state = "B"; return state; } if (!q.isEmpty() && (next.isEmpty() || (gt(q, prev) && eq(q, next)))) { state = "E"; return state; } if (q.isEmpty() || eq(q, prev)) { state = "F"; return state; } return state; } private boolean eq(String a, String b) { if (a.isEmpty() || b.isEmpty()) { return false; } return a.equals(b); } private boolean gt(String a, String b) { if (a.isEmpty() || b.isEmpty()) { return false; } return Double.parseDouble(a) > Double.parseDouble(b); } private boolean lt(String a, String b) { if (a.isEmpty() || b.isEmpty()) { return false; } return Double.parseDouble(a) < Double.parseDouble(b); } public String getState() { return this.state; } } BagFactory bagFactory = BagFactory.getInstance(); @Override public Tuple exec(Tuple input) throws IOException { long c = 0; String line = ""; String pbkey = ""; V0Line nextLine; V0Line thisLine; V0Line processLine; V0Line evalLine = null; V0Line prevLine; boolean noMoreValues = false; String matchList = ""; ArrayList<V0Line> lineFifo = new ArrayList<V0Line>(); boolean finished = false; DataBag output = bagFactory.newDefaultBag(); if (input == null) { return null; } if (input.size() == 0) { return null; } Object o = input.get(0); if (o == null) { return null; } //Object o = input.get(0); if (!(o instanceof DataBag)) { int errCode = 2114; SELECT first_x, last_z FROM ticker MATCH_RECOGNIZE ( PARTITION BY name ORDER BY time MEASURES FIRST(x.time) AS first_x, LAST(z.time) AS last_z ONE ROW PER MATCH PATTERN (X+ Y+ W+ Z+) DEFINE X AS (price < PREV(price)), Y AS (price > PREV(price)), W AS (price < PREV(price)), Z AS (price > PREV(price) AND z.time - FIRST(x.time) <= 7 )) 250行以上の Java UDF 12 行のOracle SQL Oracle SQLなら、20倍もコードが少なくて済む しかも標準機能としてサポートされる 10:00 10:05 10:10 10:15 10:20 10:25 Oracle SQLの豊富な分析関数 例:パターンマッチング 例:機器ログでのDouble Bottom (W)パターンを検出するパターンマッチング 27 3.他クラウドとの密連携
  28. 28. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data SQL Oracle Exadataで培った高速化技術、強固なセキュリティ機能をHadoopにも実装 HDFS DataNode HDFS NameNode DBHadoop 28 B1 – Movie_ID Min: 1001 Max: 1609 B2 – Movie_ID Min: 1909 Max: 13010 ✓ ✗ HDFS DataNode • Storage Index: スキャン対象を絞込み、クエリ時間とデータIOを削減 –データブロック毎のIndexの最大値と最小値を作成 –スキャン前に目的のデータがブロック内にあるか確認 –なければスキャン対象から外す • Smart Scan: ローカルでの絞り込み・データ転送の極小化 –Hadoopのデータノードに並列にデータアクセス –Hadoopのデータノードで行と列の絞り込みを実行 –移動するデータを極小化 • データベースのセキュリティ制御: –マスキング/リダクション –仮想プライベートデータベース –ファイングレインアクセス制御 SSN SALARY 111-11-XXXX 125275 222-22-YYYY 250950 333-33-ZZZZ 32000 Movie_ID=1109 3.他クラウドとの密連携
  29. 29. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 近日リリース予定 Copy to Hadoop(Oracle Big Data SQL Cloud Service機能) データライフサイクルを見越した低コストでのデータ管理 Cloudera Hadoop Oracle Database Copy Partition to Hadoop 直近13ヶ月分 のデータ 14ヶ月目 以降のデータ • ビジネス上重要なデータを Exadataに保持 • 過去データをBDAに安価に保持 – Hadoop上でデータ分析を実施 – アーカイブデータによるアドホック クエリの実施 • 既存アプリケーションに改修の 必要なく、全てのデータにSQL でクエリ可能 SQL 29 3.他クラウドとの密連携 Big Data Cloud Service Exadata Cloud Service Big Data SQL Cloud Service
  30. 30. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 近日リリース予定 Oracle Table Access for Hadoop and Spark (Oracle Big Data Cloud Service機能) Hive、Sark SQL、ImpalaといったHadoopからOracle Databaseのデータにアクセス HCatalog StorageHandler JDBC • Oracle DBからのデータの 移動の必要なく、Hive SQL, Spark SQLからOracle DBのデー タにアクセス可能 • Hadoopからのデータ アクセスを並列化し、高速 かつセキュアに実現 30 3.他クラウドとの密連携 Big Data Cloud Service Exadata Cloud Service
  31. 31. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service • 接続、データ連携 – SSH – Site-to-Site VPN – Fast Connect* and MPLS* • Oracle My Servicesからの クラスター管理 • Cloudera Manager Enterpriseを利用 したHadoop管理 *将来機能, 特定データセンターでのご提供 データ連携と管理 31
  32. 32. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service -管理体系 • Hadoopクラスターが自動的にインストールされ、利用可能 • お客様が仮想OS環境のroot権限 • お客様が仮想OS環境の設定管理可能 • お客様によるパッチ適用、アップグレードが可能 – オラクルがツールを提供 32 Automatedサービス
  33. 33. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service -管理体系 オラクルが管理 (お客様はアクセス権限なし) お客様が管理 (オラクルはアクセス権限なし) Initial VM / Hadoop 構成 & インストール Guest VM (domU) Dom0 – 構成/パッチを含む VMルート権限(独自のソフトウェアインストール用) Infiniband – スイッチ, HCAs, パーティショニング Hadoop ソフトウェアスタック マネジメントネットワーク, ILOMs Hadoop/OS アップグレード(ツールはオラクルより提供) 全てのハードウェア/ ファームウェア/ BIOS Hadoop/OS バックアップ(ツールはオラクルより提供) クライアントアクセス用VLANS / IP アドレス Cloudera ManagerによるHadoopの管理 お客様は VMとHadoop、オラクルはその他すべてを管理 33
  34. 34. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service –ライセンス体系 34 Non-Metered • 最低1年から、1,3,5年のサブスクリプションモデル Cloud Service 最小 月額合計 備考 Oracle Big Data Cloud Service - Starter Pack(3Node) 1 ¥1,728,000 • Non-metered • 3ノード構成 (144TB) • 1ノードあたり 32 OCPU(コア)、256 GB RAM、 48 TB Raw Disk (Option)Oracle Big Data Cloud Service – Additional Nodes (1Node) 1 ¥576,000 • Non-metered • 1ノード単位での追加 • 1ノードスペックは上記と同じ Big Data Cloud Service – Additional OCPU's 32 ¥48 • OCPU / Hourあたり価格 • 最小32 OCPU’s 、256GB メモリ • 最大192 OCPUs 、1.5TBメモリまで、最小の単位で追加可能 (提供予定価格)(Option) Oracle Big Data SQL Cloud Service 1 ¥384,000 • 1ノードあたり価格、全ノード分必要 • Big Data Cloud ServiceおよびExadata Cloud Serviceが必要 (Option)VPN for Engineered Systems - Non-metered -VPN Connection 1 ¥60,000 • お客様サイトに VPN Gateway を設置 2016年8月23日時点
  35. 35. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service –ライセンス体系 35 Metered(Oracle Big Data Public Cloud ServiceからのPre-Paid) Cloud Service 最小 月額合計 備考 Oracle Big Data Cloud Service - Starter Pack(3Node) 1 ¥2,160,000 • Metered • 3ノード構成 (144TB) • 1ノードあたり 32 OCPU(コア)、256 GB RAM、 48 TB Raw Disk (Option)Oracle Big Data Cloud Service – Additional Nodes (1Node) 1 ¥720,000 • Metered • 1ノード単位での追加 • 1ノードスペックは上記と同じ Big Data Cloud Service – Additional OCPU's 1 ¥48 • OCPU / Hourあたり価格 • 最大192 OCPUs 、1.5TBメモリまで、最小の単位で追加可能 2017年3月17日時点
  36. 36. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Discovery Cloud Service –ライセンス体系 36 • 必須サービス • Oracle Big Data Cloud Service 5ノード • Oracle Storage Cloud 5Unites(TB) • Oracle Network Cloud Service - VPN for Engineered Systems • 最低12ヶ月から • 1,3,5年のサブスクリプションモデル Cloud Service 最小 月額(円) 備考 Big Data Discovery Cloud Service 1 ¥216,000 • Non-Metered • 最小10ユーザ- 2016年8月23日時点
  37. 37. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 広がるビッグデータ活用環境の選択肢 37 お客様データセンター 購入 お客様による管理 専有環境 Big Data Appliance お客様データセンター サブスクリプション オラクルが管理 専有環境 近日リリース予定 Big Data Cloud Machine Oracle Cloud サブスクリプション オラクルが管理 専有環境 Big Data Cloud Service Big Data Cloud Service – Compute Edition Oracle Cloud サブスクリプション フルマネージド 共有環境
  38. 38. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 近日リリース予定: Cloud at Customer Oracle Big Data Cloud Machine 38 特徴 • オラクルがハードウェアを所有 • Hadoopのクラウド環境をお客様データセンター内に • Oracle Big Data Cloud Serviceと同じ構成 – Oracle が管理、事前テスト済 – スモールスタート、シームレスに拡張可能 • オラクルが Big Data Infrastructure を管理 – お客様は Cloud Tools を利用して、 Hadoop クラスタのデプロイ/管理を実施 利点 • 高パフォーマンス • セキュアな環境 • 包括的なソフトウェアを含有
  39. 39. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 広がるビッグデータ活用環境の選択肢 39 お客様データセンター 購入 お客様による管理 専有環境 Big Data Appliance お客様データセンター サブスクリプション オラクルが管理 専有環境 近日リリース予定 Big Data Cloud Machine Oracle Cloud サブスクリプション オラクルが管理 専有環境 Big Data Cloud Service Big Data Cloud Service – Compute Edition Oracle Cloud サブスクリプション フルマネージド 共有環境
  40. 40. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 40 Oracle Big Data Cloudに加わった新たなサービス Oracle Big Data Cloud Service Compute Edition – フルマネージドなHadoop(Spark)環境 • オラクルが監視、パッチ適用を実施 • REST APIs経由でサービス利用 – 最小構成から、Elasticなスケーラビリティ • 最小2 OCPUから利用可能 Oracle Event Hub Cloud Service – クラウドでのApache Kafka環境 • ストリーミングデータ処理 • 高速ストリーミング分析 – フルマネージドなApache Kafka環境 • オラクルが監視、パッチ適用を実施 • REST APIs経由でサービス利用 – 最小構成から、Elasticなスケーラビリィ Storage Cloud, Database Cloudと組み合わせた新たなデータ活用を実現
  41. 41. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | • 主な用途 – 一時的なクラスタ利用 – 特定の処理や分析利用 – クラスタは必要な時のみ拡張 • 実現する要件 – 柔軟性 • 最小構成から任意のノード数で柔軟に拡張可能 – シンプル • フルマネージド。管理工数は最小に、業務利用フォーカス • REST APIs経由でアクセスを提供 • 特徴 – フルマネージドな環境 – Elasticに拡張可能 • 主な用途 – 長期間のクラスタ利用 – データ蓄積をしながら、分析や処理もおこなう – ミックスワークロード利用 • 実現する要件 – パフォーマンス • 専有環境、様々なワークロードを高パフォーマンスで • 高い可用性 – 環境管理が自由 • ワークロード実施のためのチューニングが利用可能 • 特徴 – Clouderaのエコシステムがフル活用 – お客様専有環境 41 2つのOracle Big Data Cloud Serviceの比較 Oracle Big Data Cloud Service Oracle Big Data Cloud Service –Computing Edition
  42. 42. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle IoT/Big Data and Analytics Cloud Solution 42 Data Factory データの取得・処理 Data Management データの蓄積 Data Analytics データの分析 Action アクション Data Factory データの取得・加工 Data Factory データの取得・加工 Data Factory データの取得・加工 Data Factory データの取得・加工 IoT GoldenGate Big Data Preparation Big Data Database Marketing WebSite Application NoSQL Storage ERP IoT Analytics ストリー ミング バッチ/セミストリーミング Data Factory データの取得・加工 R on Hadoop (**) Big Data Discovery Spark on Hadoop (**) Spatial and Graph on Hadoop (**) BI R in Database(*) Spatial and Graph in Database (*) SQL Big Data SQL and other Paas,SaaS Data Lab 試行錯誤と検証 Data Integration (*) Database Cloud Service EE Extreme Performanceに含みます (**) Big Data Cloud Service に含みます Event Hub Big Data Compute Mobile Machine Learning (*) Data Visualization
  43. 43. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Agenda Appendix • ビッグデータ関連記事 • 技術情報
  44. 44. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 技術情報 • 各製品技術情報ページ – Oracle Exadata – Oracle Big Data Appliance • X6データシート(英語) – Oracle Big Data Connectors – Oracle Advanced Analytics – Oracle Big Data Discovery – Oracle NoSQL Database – Oracle Spatial &Graph – Oracle Big Data Spatial & Graph – Oracle Data Integration 44
  45. 45. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 技術情報 • SlideShare – Big Data Hadoopソリューション • OracleのHadoopソリューションご紹介 • Oracle Big Data Cloud Serviceのご紹介 • Oracle Cloudで始める、DBエンジニアのためのHadoop超入門(db tech showcase2016) • OracleとHadoop連携の勘所 (Oracle DBA &Developers Day2015資料) – Oracle Advanced Analytics • Oracle Data Miner Tutorial (Data Miner のセットアップ、表データの加工とモデル構築) • Oracle R Enterprise(Oracle R Enterprise のセットアップ、Oracle R Enterprise の使い方) – Oracle R Advanced Analytics for Hadoop • Oracle R Advanced Analytics for Hadoop利用方法 45 oracle4engineer
  46. 46. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service –その他情報 • Cloud.oracle.com – https://cloud.oracle.com/ja_JP/bigdata • ドキュメント(チュートリアル、スタートガイド) – http://docs.oracle.com/cloud/latest/bigdata-cloud/index.html • データシート(英語) – https://cloud.oracle.com/_downloads/Datasheet_BigData_1_ja_JP/BDCS_Datasheet. pdf 46
  47. 47. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 技術情報 • SlideShare – Oracle Spatial and Graph(Spatial) • Oracle Spatial 概要説明資料 – Oracle Spatial and Graph(Graph) • RDF Semantic Graph「RDF 超入門」 • Oracle Labs 発! Parallel Graph Analytics(PGX) 47 oracle4engineer
  48. 48. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 技術情報 • Oracle University 日本語研修 – Oracleではじめる統計入門 – Oracle Database 11g: データ・マイニング手法 – Oracle R Enterprise エッセンシャルズ 48
  49. 49. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | • 事前設定済のオラクルビッグデータ製品の最新バージョンを インストール作業の必要なく、すぐに利用可能 • OTNサイトから無料でダウンロード • サンプルデータ込、自己学習のための動画、 デモスクリプトも公開 • RDBMS、Hadoop、NoSQL、R、Spatial, Graph、 興味のある製品から、ビッグデータ活用の全体フローまで お好きな製品をローカルの仮想マシン環境上で • 自己学習環境としてぜひお試しください *自己学習用のサポート対象外製品です *使用にあたっては、 License Agreementをよくお読みになり、同意の上、ご利用ください *OTN Communityのフォーラムにも技術ディスカッションのスレッドがございます https://community.oracle.com/community/database/big_data オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます! Oracle Big Data Lite Virtual Machine のご紹介 ダウンロード先:http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html
  50. 50. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます! Oracle Big Data Lite Virtual Machine のご紹介 50 1. Google “Big Data Lite” 2. Download the VM 3. Do the Tutorial
  51. 51. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます! Oracle Big Data Lite Virtual Machine のご紹介 Hands-on Labs 自己学習用おすすめコース Training Collateral 説明 Data Manipulation with Hive and Pig まずはここから HiveやPigの基本的な操作が学べます Analyze All Your Data with Oracle Big Data SQL Oracle DBからHadoopに透過的なSQLアクセスを行うシナリオ。 Hadoopがよく分かってなくとも、DBの知識だけでなんとかなります。 Tame Big Data with Oracle Data Integration HiveやSqoopはなんとなくわかってる人向け GUIでETLプロセスを定義できます。 Oracle R Enterprise v 1.4 - Tutorial Series 最近注目のRを始めてみたい方向け etc 51
  52. 52. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | オラクルのビッグデータ製品をすぐに無料で学習できます! Oracle Learning Libraryのご紹介 Oracle Big Data Administration Series 1. Introduction to the Hadoop Ecosystem 2. Introduction to the Oracle BDA 3. Oracle BDA: Pre-Installation Steps 4. Working With Mammoth 5. Introduction to Cloudera Manager 6. Introduction to Oracle Enterprise Manager BDA Plug-in 7. Securing the Oracle BDA 8. Getting Started With Oracle Big Data Connectors 9. Working With Oracle XQuery for Hadoop 10. Using Oracle R Advanced Analytics for Hadoop 座学によるオンライントレーニングでHadoopの基礎から学べます
  53. 53. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 53 ご質問・ご相談等ございましたら、ぜひお問い合わせを 0120-155-096 (平日9:00-12:00 / 13:00-18:00) http://www.oracle.com/jp/direct/index.html 各種無償支援サービスもございます。 Oracle Direct 検索 Oracle Direct あなたにいちばん近いオラクル
  54. 54. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
  55. 55. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 55

×