Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」

2,077 views

Published on

2015/11/10に実施されたCloudera World Tokyo 2015のオラクルセッション資料です
タイトル:
 ビッグデータ/IoTの最新事例とHadoop活用の勘所
 ~成功のポイントはデータベースとの共存にあり! ~

Published in: Software
  • Be the first to comment

Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」

  1. 1. ビッグデータ/IoTの最新事例とHadoop活用の勘所 ~成功のポイントはデータベースとの共存にあり! ~ 2015年11月10日 日本オラクル株式会社 クラウド・テクノロジー事業統括 クラウド・テクノロジー製品戦略統括本部 担当マネージャ 大橋 雅人 (Masato.Ohashi@oracle.com) Cloudera World Tokyo 2015
  2. 2. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | • 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明す るものです。また、情報提供を唯一の目的とするものであり、いか なる契約にも組み込むことはできません。以下の事項は、マテリア ルやコード、機能を提供することをコミットメント(確約)するも のではないため、購買決定を行う際の判断材料になさらないで下さ い。オラクル製品に関して記載されている機能の開発、リリースお よび時期については、弊社の裁量により決定されます。 2 OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。 文中の社名、商品名等は各社の商標または登録商標である場合があります。
  3. 3. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 皆様と共に 3 日本オラクル 設立30周年 Hadoopアプライアンス製品 Oracle Big Data Appliance 発売3年目
  4. 4. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 2015/10/29 日本オラクル プレスリリース セブン&アイ・ホールディングス様 4 2015/10/29 日本オラクルプレスリリース https://www.oracle.com/jp/corporate/pressrelease/jp20151029.html
  5. 5. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 非構造 データ 構造データ 5 MES 機器ログ ERP 音声 ビデオ テキスト ソーシャル ソース 収集 蓄積 DWH データ 貯蔵庫 Data Visualization Analytics Platform 分析 • これまでの取り組み – ERPをグローバルシングルインスタンス化 • Oracle Applicationsを活用 • 業務プロセス標準化、ITコスト削減($7.7M) – グローバルKPIシステム(DWH)を構築 • Exadata、Exalyticsを活用 • 世界中の各生産ラインの生産状況や歩留情報、 在庫情報、販売情報のKPIを可視化 • 影響分析等、効率的な工場管理が可能に • 新たな取り組み – MESや装置データをDWHに統合 • Oracle Big Data Applianceを活用 • 詳細な長期間での装置稼働状況可視化 • 生産稼働最適化 • 操業率低下の原因分析 バッチデータフロー インテラクティブな データフロー マスター、 サマリー、 詳細データ サマリー 分析結果 アーカイブ ビッグデータ/IoT お客様 活用例 MESデータ活用により、詳細な生産状況の分析を実現 某グローバル製造業様
  6. 6. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 6 • メインフレーム・ダウンサイジング – MIPS:30%削減 – バッチ処理時間:50%削減 • Exadata+Big Data Appliance (Hadoop 基盤)のハイブリッド構成 – 既存データマートの集約 – OPEX:約40% 削減 • データ配布モデルの近代化 – 「データありき」 vs 「スキーマ/モデルありき」 – 顧客360°ビューの実現 ビッグデータ/IoT お客様 事例 ITコスト削減と、情報の一元化によるビジネス変革実現 La Caixa様メインフレームテープ サブシステム・DWHバッチ処理 レポート Data Reservoir (Hadoop) ソーシャルデータ 顧客情報 決済情報 バッチ処理の削減による コスト削減メインフレーム およびテープ上の ストレステスト データの移行 レポート 顧客360° DWH (RDBMS)
  7. 7. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 業務 アプリケーション オペレーショナル レポーティング 成功のポイントはデータベースとの共存にあり! HadoopとRDBMSの強みを組みあわせる ソーシャルメディア Internet of Things 73° ビッグデータ マネジメント基盤 Data Reservoir (Hadoop) 7 アナリティクス DWH (RDBMS)
  8. 8. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 成功のポイントはデータベースとの共存にあり! Modern Big Data Management System Interface Processing Persistence Security | Performance | Availability SQLRESTPython GraphRnode.js Java Map Reduce Graph Engine SQL Engine Warehouse (Database) NoSQLReservoir (Hadoop) 8
  9. 9. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 成功のポイントはデータベースとの共存にあり! Oracle Big Data Management System データの特性による典型パターン 適材適所のデータ配置例 パターン・データ特性 Hadoop (Big Data Appliance) DWH/Database (Exadata) データ 容量 データ密度・ データ価値 低い 高い フォーマット 変更頻度 多い 少ない 粒度 細かい 粗い 参照頻度 少ない 多い ETL処理 ETL処理と生データ保持 ETL処理、生データ 処理後データ インフラ SAS 高速化基盤 Hadoop上のデータ DB上のデータ センサーデータ、 ログデータ、GPSデータ、 SNS等 既存のRDBMS内のデータ (マスターデータ/ トランザクションデータ) 明細データ サマリデータ 経年データ アクティブデータ ETL処理前の生データ ETL処理後データ SAS アナリティクス高速化基盤 9
  10. 10. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | オラクルが提供するHadoopソリューション Hadoop活用の8つの勘所 Hadoop活用の障壁を もっと下げたい HadoopとRDBMSを もっと密に連携させたい 構築・運用・管理を もっと簡単に、安く もっと多くの人に開放、 使ってほしい もっと簡単に有益な データを見つけだしたい MapReduce処理を もっと簡単に構築したい Oracle Big Data Appliance Oracle Big Data SQL Oracle Big Data Discovery Oracle Data Integrator 両者間のデータ移動を もっと早く Oracle Big Data Connectors MapReduceからDBの データを使いたい Oracle Table Access for Hadoop and Spark ライフサイクルを見越し たデータ管理をしたい Copy to BDA 他システムとだって 密に連携したい Oracle’s Big Data Integration Solutions 10
  11. 11. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Agenda Hadoop活用の障壁を もっと下げたい 構築・運用・管理を もっと簡単に、安く Oracle Big Data Appliance
  12. 12. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Appliance X5-2 事前最適化されたビッグデータ活用Hadoopプラットフォーム 12 エンタープライズ向けビッグ データ活用環境 信頼性 TCO削減 コスト • ハードウェア、ソフトウェ アを包含し、安価な価格 (手組に比べ21%以上 コスト削減) • 事前構成、調整済 (手組に比べ30%以上 構築期間短縮) • ノード追加などの拡張設定 やアップグレードが コマンド一つで実施可能、 運用コスト削減 処理の高速化 スピード • ハードウェア、ソフトウェ アで最適化(手組に比べ 20%高速化) • Map Reduce高速化のた めの独自機能 (Perfect Balance) • 内部ノード間での Inifiniband接続による 高速連携(40Gb/sec) • 効果に併せて、容易に 柔軟に段階的に拡張可能 • エンタープライズ使用に 耐えうる、高度な セキュリティ機能 • エンタープライズ利用の ベストプラクティスに基づ いて、事前調整、テスト済 • H/WからS/Wまでの、一元サポートと、 Oracle Enterprise Managerによる一元管理 • Exadataと組み合わせることで、HadoopとRDBMの利点を活かしたビッグデータ活用基盤 (Oracle Big Data Management System)の構築 構築・運用・管理を もっと簡単に、安く Oracle Big Data Appliance
  13. 13. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Appliance X5-2 IntelとOracleの協業でイノベーションをさらにリード • DIY(手組)と比較してBDAが最大1.4倍、平均1.2倍高速化!(*) – Wider Network: 23GbE vs. 10GbE – Advanced Linux & Apache* Hadoop* configuration • さらなるチューニングにより最大2.86倍高速化を実現!(*) – 一部チューニングは既に最新バージョンで反映済 • 今後Intelとのさらなる協業により、 BDAのHardware及びSoftwareの両面からの 最適化を図っていく – Spark 活用のためのさらなる最適化 など 13 (*)Intel実施のパフォーマンステストより。詳細は下記参照 https://blogs.oracle.com/datawarehousing/entry/performance_study_big_data_appliance http://www.oracle.com/ocom/groups/public/%40otn/documents/webcontent/2745435.pdf https://software.intel.com/en-us/articles/deploying-an-apache-hadoop-cluster-spend-your-time-on-bi-not-diy 構築・運用・管理を もっと簡単に、安く Oracle Big Data Appliance
  14. 14. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Appliance X5-2 14 ESG(第3者機関)調査に裏付けられた優位性:DIY(手組)より21%安価に構築 構築・運用・管理を もっと簡単に、安く Oracle Big Data Appliance コストを節約 出典: ESGホワイト・ペーパー 21% コスト削減 33% 構築期間短縮 「Oracle Big Data Applianceは、 Clouderaが提供している主要な Hadoopベース技術のフル・スイートを 使用したいと考えている顧客にとっては 素晴らしい選択肢です。DIY( Do It Yourself )クラスタよりも低コストかつ 短期間での導入が可能です。」 ⁻ Mike Olson Cloudera founder, Chief Strategy Officer, and Chairman of the Board
  15. 15. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Appliance X5-2 ESG(第3者機関)調査に裏付けられた優位性:DIY(手組)より33%短期に構築 15 • Architect 1. Design a production-ready, enterprise- class, high-throughput approach for both running hadoop and for integrating with current enterprise relational systems 2. Design a growth strategy, so the initial system can expand easily without hitting future unanticipated issues like network bottlenecks 3. Design redundancy/failover strategy for all levels (power, network cards and cables, network switches, core hadoop, supporting software, o/s disks, etc) 4. Design a strategy for what services should run in which locations, and how to easily change those locations due to growth or unplanned maintenance 5. Design network approach including network switches needed now and in the future 6. Determine an optimal matching configuration of server model, drive type, drive count, cpu, networking, and memory 7. Conduct rigorous (and ongoing) testing to determine exact versions to use for BIOS, drive firmware, network cards, and O/S packages Install 8. Physically rack up the servers 9. Setup network switches 10.Cable the servers 11.Install optimal firmware versions for ILOM, BIOS, drives, and network cards 12.Setup all the IPs, including for administration networks, virtual IPs for failover, etc 13.Install the O/S 14.Setup tuned O/S parameters (such as file and page cache, swap, networking, etc) to support heavy I/O and heavy network workloads 15.Install the Oracle Java VM 16.Install Oracle R, including optimized math libraries 17.Install Oracle MySQL metadata database and configure for failover 18.Install CDH (Enterprise Data Hub offering) and Cloudera Manager 19.Install the Oracle Big Data Connectors 20.Install Oracle Big Data SQL 21.Test the installation for each node of cluster 22.Sanity check network timings and performance of the cluster post-install 23.Certify cluster with SAS, NGData, and other third party products Grow 24.Research, plan, and design a way to reallocate/balance services appropriately as you add servers and racks 25.Design how to expand/scale/setup the networking appropriately as you add servers and rack Secure 26.Research, plan, design, and test overall security implementation technique 27.Manually install/configure disk encryption 28.Manually install/configure network encryption 29.Manually install supporting Kerberos infrastructure, enable Kerberos, and configure for failover 30.Manually install/configure Audit Vault collector Patch & Upgrade 31.Assess multi-level patching needs (i.e. upgrade bios, ILOM, O/S, Java, Hadoop) 32.Determine when it is necessary to upgrade HW firmware 33.Assess when it is necessary to upgrade O/S and how to upgrade O/S without disruption existing Hadoop installation 34.Write scripts to automate patching of multiple layers and multiple nodes from a single command 35.Write scripts to add new features Service 36.Install/Configure Automatic Service Request for proactively opening Oracle Support tickets 37.Install/Configure Enterprise Manager plug-in for enterprise monitoring integration 38.Worry about resolving hardware issues, thanks to BDA’s Oracle Field Hardware Support 39.Worry about hardware points of failure, thanks to BDA’s use of Enterprise Servers with robust Redundancy (O/S disks, network switches, PDUs, Bonded cables) 40.Worry about disruptive disk failures that might hurt SLAs, thanks to BDA’s use of Enterprise Disks with Predictive Disk Monitoring Financials 41. Lose weeks during the design and analysis phase of a build-your-own cluster 42. Pay for consultants to validate your cluster design 43. Dedicate scarce highly talented people to work on cluster installation and growth when they could be working on tackling business opportunities 44. Remember to account for extra requirements (racks, power distribution units, inter-rack networking) 45. Contract for annual support with operating system vendor (this is part of the BDA’s single annual support fee) 46. Contract for annual support with R support vendor (this is part of the BDA’s single annual support fee) 47. Contract for annual subscription/support with Hadoop distribution vendor (this is part of the BDA’s single annual support fee) Oracle Big Data Appliance で省略される、47にも及ぶ構築作業項目 構築・運用・管理を もっと簡単に、安く Oracle Big Data Appliance
  16. 16. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Appliance 事前最適化されたビッグデータ活用Hadoopプラットフォーム 16 •36のCPUコア (2 ×18 Core Intel ® Xeon ® E5-2699 v3 Processors (2.3 GHz) •96TBのストレージ容量 (12 x 8 TB 7.2K RPM 高容量 SAS (hot-swap) •128GBのメモリ (8 x 16GB DDR4 Memory) 768GBまで拡張可能 Oracle Big Data Appliance ノード Oracle X5-2L Server Oracle Big Data Appliance Starter Ruck:6ノード • 6台のOracle X5-2L Serverで構成 • 合計216のCPUコア • 合計576TBのストレージ容量 • 合計768GBのメモリ(最大4608GBまで拡張可能) Oracle Big Data Appliance Full Ruck:18ノード • 18台のOracle X5-2L Serverで構成 • 合計648のCPUコア • 合計1728TBのストレージ容量 • 合計2304GBのメモリ(13824GBまで拡張可能) 1ノードずつ 追加可能 •40Gb/sec InfiniBand 合計 100 port (内部接続、Exadataへの接続) •10Gb/sec Ethernet 合計16 ports (データセンター機器との接続) •Oracle Linux 6.7 •Oracle Java JDK 8u66 •Cloudera Enterprise Data Hub Edition 5 • Cloudera Distribution including Apache Hadoop (CDH) v5.4.7 •Cloudera Impala, Cloudera Search, Apache HBase, Apache Spark •Cloudera Manager,Cloudera Navigator •Oracle R Distribution •Oracle NoSQL Database v3.4.7 構築・運用・管理を もっと簡単に、安く Oracle Big Data Appliance *ハードウェアのサポート契約で、 上記ソフトウェアのサポートを追加料金なしでご提供 (Oracle NoSQL Database EEを除く) ソフトウェア
  17. 17. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Agenda Hadoop活用の障壁を もっと下げたい もっと多くの人に 開放、使ってほしい Oracle Big Data SQL
  18. 18. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data SQL 18 Smart Scan クエリをExadataの ストレージサーバーにオフロード Storage Index クエリに必要な データブロックのみをスキャン SQL一つで、 必要なデータが 高速にセキュアに返される Smart Scan クエリをBig Data Applianceの データノードにオフロード Storage Index クエリに必要な データブロックのみをスキャン SQL 必要データ のみ移動 SQL Big Data Appliance + Hadoop/NoSQL Exadata + Oracle Database 12c Hive metadata ビッグデータの活用をよりシンプルに、しかも迅速に、そしてセキュアに 既存のアプリ、ツール、スキル そのままで全てのデータがクエリ可能 もっと多くの人に 開放、使ってほしい Oracle Big Data SQL
  19. 19. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data SQL select last_name, state, movie, genre from movielog m, customer c where genre=‘comedy’ and c.custid = m.custid Smart Scan:ローカルでの絞り込み・データ転送の極小化 1 NameNode/Hive Metastoreから 以下の情報取得: • データの保持場所 • データの構造 • 対象のブロック数 1 2 Big Data SQL Serverが並列読込み: • DataNodeが並列にデータアクセス • 行と列の絞り込み 2 Hive Metastore HDFS NameNode 3 データベースサーバーでの処理 • 関連するデータのみ転送されてくる • データベースのテーブルとジョイン • データベースセキュリティポリシーの適用 3 HDFSDataNode BDS Server HDFSDataNode BDS Server customer DB Hadoop 19 もっと多くの人に 開放、使ってほしい Oracle Big Data SQL
  20. 20. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data SQL Storage Index:スキャン対象を絞込み、クエリ時間とデータIOを削減 20 HDFS Field1,Field2, 1001 1010 1045 1109 1043 1001 1045 1609 1043 11455 1909 12430 13010 10450 1909 2043 Field3, … ,Fieldn HDFS Block1 (256MB) HDFS Block2 (256MB) Index B1 – Movie_ID Min: 1001 Max: 1609 B2 – Movie_ID Min: 1909 Max: 13010 Example: Find all ratings from movies with a MOVIE_ID of 1109 ✓ ✗ • 自動的にHDFS上のデータブロッ ク毎のIndexの最大値と最小値 を作成 • スキャン前に目的のデータが最 大値-最小値の間にあるかを確認 • 最大値-最小値の間になければ、 スキャンを行わず、クエリにか かる時間と、HDFSからのI/Oを 削減 平均65%、最大100倍高速化 もっと多くの人に 開放、使ってほしい Oracle Big Data SQL
  21. 21. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data SQL 21 Hadoop上のデータにもOracle Databaseの強固なセキュリティ機能を提供 Big Data Appliance + Hadoop Exadata + Oracle Database SSN EMPID LAST FIRST SALARY 111-11-1111 275895 Smith John 125275 222-22-2222 335685 Jones Sally 250950 333-33-3333 558544 Stinson Chuckie 32000 EMPID LAST FIRST 275895 Smith John 335685 Jones Sally SSN SALARY 111-11-XXXX 125275 222-22-YYYY 250950 333-33-ZZZZ 32000 •BDAの持つ機能 —Kerberos/LDAPによる認証 —Apache Sentryによる認可 —Oracle Audit Vault Fire Wallによる監査 —HFDSのデータ格納されるHDDの暗号化 —ネットワーク暗号化 •データベースのセキュリティ制御 —マスキング/リダクション —仮想プライベートデータベース —ファイングレインアクセス制御 •セキュリティ管理の統合、シンプル化 もっと多くの人に 開放、使ってほしい Oracle Big Data SQL
  22. 22. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Agenda Hadoop活用の障壁を もっと下げたい もっと簡単に有益な データを見つけ だしたい Oracle Big Data Discovery
  23. 23. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Discovery データ分析前の1000本ノックをいかにアジャイルに迅速に繰り返すか ビジネスの状況 の把握 ビジネス状況の把握 データの理解 データの準備 モデル作成評価 展開/共有 データ CRoss-Industry Standard Process for Data Mining(CRISP-DM) :業種を超えたデータマイニングプロセス データの理解 データの準備 モデル作成 評価 展開/共有 23 ・サンプリング ・データの把握、理解 ・変数の選択、把握 ・データ加工 専門スキルやツールが 求められ、高度な職人技で 行われている分析プロセスを 迅速に可能に Oracle Big Data Discovery もっと簡単に有益な データを見つけだしたい Oracle Big Data Discovery
  24. 24. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Discovery 24 直感的なUI画面でデータサイエンティストの生産性を向上 1.Hadoop上のデータを 可視化、タグ付け 2.データの値特性、品質、 分析価値有無を可視化 3.データの因果関係、説明変数 のシミュレーションと把握 4.次の分析へデータ加工 もっと簡単に有益な データを見つけだしたい Oracle Big Data Discovery
  25. 25. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle R Advanced Analytics for Hadoop ・RとHadoopを活用した分析 のためのソフトウェア ・R言語のみでデータマイニ ングの分散並列処理が可能 ・HDFS上のデータへR言語か らアクセス ・Spark対応 Oracle Big Data Spatial and Graph (Spatial Analytics) ・豊富な空間演算関数 ・近傍情報、ジオフェンス判定 ・位置情報への付帯情報の付加 ・空間データ、ラスタ(画像) データの加工・準備 Oracle Big Data Spatial and Graph (Graph Analytics) ・プロパティグラフ ・標準のグラフ分析関数 ・ソーシャルメディア分析 ・IoT ・サイバーセキュリティ Oracle’s Big Data Advanced Analytics Hadoop上でデータ分析 をしたい Oracle’s Big Data Advanced Analytics 25 さらに、、
  26. 26. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Agenda Hadoop活用の障壁を もっと下げたい Map Reduce処理 をもっと簡単に構築 したい Oracle Data Integrator
  27. 27. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Data Integrator Oracle Data Integrator Application Adapters for Hadoop Oracle Data Integrator Advanced Big Data Option • ファイル/RDBMSからHiveへのロード • Hive を利用したデータの検証と変換 • FileもしくはHiveからOracleへのロード 27 Map Reduceによるデータ加工やETL処理、DBへのデータロードをGUIで定義可能 Hadoop Cluster f(x ) MapReduce Data Load Oracle Database Oracle Data Integrator Application Adapters for Hadoop • 追加オプションでSparkやPigのコードを 生成する事が可能 • Hadoopの最新技術を活用した、 高速なインメモリ処理がGUIで定義可能に Map Reduce処理を もっと簡単に構築したい Oracle Data Integrator
  28. 28. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Data Integrator Oracle Data Integrator Application Adapters for Hadoop Oracle Data Integrator Advanced Big Data Option 28 GUIの画面で論理的なデータフローを、物理的なフローに変換可能 Logical Design Physical Design Oracle MySQL Hive Sqoop Sqoop IKM LKM LKM Oracle Hive MySQL Hive Map Reduce処理を もっと簡単に構築したい Oracle Data Integrator
  29. 29. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Agenda 両者間のデータ移動 をもっと早く Oracle Big Data Connectors HadoopとRDBMSを もっと密に連携させたい
  30. 30. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Connectors 30 Oracle Databaseが持つ並列処理の仕組みを活用し、 HadoopとDB間を高速データ連携 • Hadoop上のデータを並列処 理でOracle DBに高速データ ロード(15TB/時間) • Hadoop側でフォーマット 変換するため、Oracle DB への負荷を最小化 • 自動ロードバランスによる データロード処理時間の短縮 • ケルベロス認証のサポートに よるセキュアなデータ連携 JSON Log files Hive Text ParquetAvro Sequence files Compressed files And more … 両者間のデータ移動を もっと早く Oracle Big Data Connectors Many versions 10g Release 2 11g Release 2 12c On any OS platform
  31. 31. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Agenda MapReduceから DBのデータを 使いたい Oracle Table Access for Hadoop and Spark HadoopとRDBMSを もっと密に連携させたい
  32. 32. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Table Access for Hadoop(Oracle Big Data Appliance機能) HiveやSpark SQLからOracle Databaseのデータにアクセス Big Data Appliance Cloudera Hadoop Oracle Database MapReduceから DBのデータを使いたい Oracle Table Access for Hadoop and Spark HCatalog StorageHandler JDBC • Oracle DBからのデータの 移動の必要なく、Hive SQL, Spark SQLからOracle DB のデータにアクセス可能 • Hadoopからのデータ アクセスを並列化し、高速 かつセキュアに実現 32
  33. 33. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Agenda ライフサイクルを 見越したデータ管理 をしたい Copy to BDA HadoopとRDBMSを もっと密に連携させたい
  34. 34. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Copy to BDA(Oracle Big Data SQL機能) データライフサイクルを見越した低コストでのデータ管理 Big Data Appliance Cloudera Hadoop Exadata Oracle Database Copy Partition to BDA Oracle Big Data SQL 直近13ヶ月 分のデータ 14ヶ月目 以降のデータ ライフサイクルを見越し たデータ管理をしたい Copy to BDA • ビジネス上重要なデータを Exadataに保持 • 過去データをBDAに安価に保持 – Hadoop上でデータ分析を実施 – アーカイブデータによる非定形な クエリの実施 • 既存アプリケーションに改修の 必要なく、全てのデータにSQL でクエリ可能 SQL 34
  35. 35. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Agenda 他システムとだって 密に連携したい Oracle’s Big Data Integration Solutions HadoopとRDBMSを もっと密に連携させたい
  36. 36. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle’s Big Data Integration Solution データ連携、メタデータ管理、データガバナンス:ヘテロな環境にも対応可能 36 他システムとだって 密に連携したい Oracle’s Big Data Integration Solutions Oracle Data Governance FoundationOracle Enterprise Data Quality Oracle Enterprise Metadata Management with Business Glossary Staging Sqoop HDFS Hive Flume ETL Offload / Transformation Data StreamingKafka (MPP Pub/Sub) Storm and Trident Spark Streaming HBase Discovery Sandbox/s R UnstructuredStructured Oracle GoldenGate Oracle Data Preparation Oracle Data Integrator
  37. 37. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Agenda Cloudへの取り組み
  38. 38. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Integrated Cloud: エンタープライズ向けの統一化されたプラットフォーム 38 CloudOn-Premises DEVELOP AND DEPLOY ANYWHERE 同じ「アーキテクチャ」 同じ「オラクル製品」 同じ「知識・ノウハウ」 オンプレミスで培った高度な技術を セキュアなクラウド環境へ Complete Open Integrated Engineered Complete Open Integrated Engineered オラクルのクラウド戦略
  39. 39. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Cloud Service エンタープライズ向けビッグデータ活用環境をクラウドで 39 Big Data Cloud Service 高パフォーマンスかつセキュアな 最新の Hadoop の専有環境をご提供 必要に応じて柔軟なスケールアップ/ダウンも可能 高パフォーマンス な専有環境 オラクルの最新ビッグデータ活用製品も含有 単なるインフラ層のコストや管理コスト削減 だけでなく、ソフトウェアも含めたTCO削減が可能 ビッグデータ活用 のための製品も 含有 Oracle Big Data SQL Cloud Service により RDBMS, Hadoop, NoSQL にSQLでアクセス可能 クラウド上で総合的な ビッグデータ管理システムを実現 SQL一つで 全てのデータを 活用可能
  40. 40. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Big Data + IoT環境をセキュアなクラウドでも活用可能 Big Data Cloud + IoT + SaaS + PaaS Cloud Gateway software 2G/3G/LTE ネットワーク WWAN Database Hadoop NoSQL Big Data SQL Big Data Discovery SCM ERP Sales Marketing HCMPLM ファイア ウォール IoT Cloud Service Big Data Cloud Service SaaS Docs Data Prep. Java BI Dev DB Integ ration Process Mobile PaaS IoT Cloud Service Gateway & SDKs Device Virtualization High Speed Messaging Endpoint Management Stream Processing Event Store Enterprise Connectivity 40
  41. 41. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Agenda 本日のまとめ
  42. 42. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 本日のまとめ Hadoop活用の8+1つの勘所 42 Hadoop活用の障壁を もっと下げたい HadoopとRDBMSを もっと密に連携させたい 構築・運用・管理を もっと簡単に、安く もっと多くの人に開放、 使ってほしい もっと簡単に有益な データを見つけだしたい Map Reduce処理を もっと簡単に構築したい Oracle Big Data Appliance Oracle Big Data SQL Oracle Big Data Discovery Oracle Data Integrator 両者間のデータ移動を もっと早く Oracle Big Data Connectors MapReduceからDBの データを使いたい Oracle Table Access for Hadoop and Spark ライフサイクルを見越し たデータ管理をしたい Copy to BDA 他システムとだって 密に連携したい Oracle’s Big Data Integration ビッグデータ/IoT環境をセキュアな クラウド環境で実行したい Oracle Cloud
  43. 43. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Agenda 技術情報 お試し環境 ご紹介
  44. 44. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 技術情報 • 各製品技術情報ページ – Oracle Exadata – Oracle Big Data Appliance – Oracle Big Data Connectors – Oracle Advanced Analytics – Oracle Big Data Discovery – Oracle NoSQL Database – Oracle Spatial &Graph – Oracle Big Data Spatial & Graph – Oracle Data Integration 44
  45. 45. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | ご参考資料 オラクル データベース インサイダー@IT • いつものSQLでHadoop操作を。“フツーの会社”のための ビッグデータ活用基盤とは • どこが違う? 何がうれしい? オラクルならではのビッグデータソリューション • ビッグデータとIoTを組み合わせて使い、さらに高い価値を得る。 オラクルのソリューションが可能にしたベストプラクティス • 日常業務の中で自然にアナリティクスを実践。 Analytics 3.0時代を加速するオラクルのビッグデータアナリティクス ソリューション 45
  46. 46. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | • 事前設定済のオラクルビッグデータ製品の最新バージョンを インストール作業の必要なく、すぐに利用可能 • OTNサイトから無料でダウンロード • サンプルデータ込、自己学習のための動画、 デモスクリプトも公開 • RDBMS、Hadoop、NoSQL、R、Spatial, Graph、 興味のある製品から、ビッグデータ活用の全体フローまで お好きな製品をローカルの仮想マシン環境上で • 自己学習環境としてぜひお試しください *自己学習用のサポート対象外製品です *使用にあたっては、 License Agreementをよくお読みになり、同意の上、ご利用ください *OTN Communityのフォーラムにも技術ディスカッションのスレッドがございます https://community.oracle.com/community/database/big_data オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます! Oracle Big Data Lite Virtual Machine のご紹介 ダウンロード先:http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html
  47. 47. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます! Oracle Big Data Lite Virtual Machine のご紹介 • Oracle Enterprise Linux 6.6 • Oracle Database 12c Release 1 Enterprise Edition (12.1.0.2) – Oracle Multitenant, Oracle Advanced Analytics, Oracle OLAP, Oracle Partitioning, Oracle Spatial and Graph, and more • Oracle Big Data SQL • Cloudera Distribution including Apache Hadoop (CDH5.4.0) • Cloudera Manager (5.4.0) • Oracle Big Data Discovery 1.1 • Oracle Big Data Connectors 4.2 – Oracle SQL Connector for HDFS 3.3.0 – Oracle Loader for Hadoop 3.4.0 – Oracle Data Integrator 12c – Oracle R Advanced Analytics for Hadoop 2.5.0 – Oracle XQuery for Hadoop 4.2.0 含まれる製品(Version 4.2.1) • Oracle NoSQL Database Enterprise Edition 12cR1 (3.3.4) • Oracle Big Data Spatial and Graph 1.0 • Oracle JDeveloper 12c (12.1.3) • Oracle SQL Developer and Data Modeler 4.1 • Oracle Data Integrator 12cR1 (12.1.3.0.1) • Oracle GoldenGate 12c • Oracle R Distribution 3.1.1 • Oracle Perfect Balance 2.4.0 • Oracle CopyToBDA 2.0 http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html
  48. 48. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます! Oracle Big Data Lite Virtual Machine のご紹介 48 1. Google “Big Data Lite” 2. Download the VM 3. Do the Tutorial
  49. 49. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます! Oracle Big Data Lite Virtual Machine のご紹介 Hands-on Labs 自己学習用おすすめコース Training Collateral 説明 Data Manipulation with Hive and Pig まずはここから HiveやPigの基本的な操作が学べます Analyze All Your Data with Oracle Big Data SQL Oracle DBからHadoopに透過的なSQLアクセスを行うシナリオ。 Hadoopがよく分かってなくとも、DBの知識だけでなんとかなります。 Tame Big Data with Oracle Data Integration HiveやSqoopはなんとなくわかってる人向け GUIでETLプロセスを定義できます。 Oracle R Enterprise v 1.4 - Tutorial Series 最近注目のRを始めてみたい方向け etc 49
  50. 50. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | Agenda 最新イベントご紹介
  51. 51. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | POCO (The Power Of Cloud by Oracle) を実現する 最新のクラウドテクノロジー/製品/サービス その具体的な活用事例をご紹介します  2日間にわたり7つのサミットを開催  80 を超えるセッション  お客様によるビジネス変革の実例紹介  Oracle OpenWorld 2015 最新情報 詳細・お申し込み oracle.co.jp/clouddays
  52. 52. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | クラウド時代でデータベースの開発、チューニング、アップグレード などのエンジニアリング・ノウハウはどう変わったのか? クラウド上で「使える実践的なノウハウ」をご紹介します  17:45~20:00 参加しやすい夕方からの開催  実践的な10の技術者向けセッション  Hadoop、機械学習、IoT、Java、 Database、最新技術のノウハウをご紹介 詳細・お申し込み http://www.oracle.co.jp/events/ddd2015/
  53. 53. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

×