【基本を知ろう】クラウド・データレイクを実現する各サービス最新情報（Oracle Cloudウェビナーシリーズ: 2020年10月15日）

Oracle Cloud ウェビナー
ファンデーションシリーズ
クラウド・データレイクを実現する各サービス最新情報
2020年10月15日
テクノロジー事業戦略統括ビジネス推進本部
Senior Business Development Manager
谷川信朗

Safe harbor statement
以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、
情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以
下の事項は、マテリアルやコード、機能を提供することを確約するものではないため、購買
決定を行う際の判断材料になさらないで下さい。
オラクル製品に関して記載されている機能の開発、リリース、時期及び価格については、弊
社の裁量により決定され、変更される可能性があります。
Copyright © 2020, Oracle and/or its affiliates2

谷川信朗 (Nobu Tanigawa)
日本オラクル株式会社
テクノロジー事業戦略統括ビジネス推進本部
Senior Business Development Manager

 クラウド・データレイクの位置付けと考え方
 Oracle Cloud で網羅的に提供している各サービスの御紹介
 データレイクを構成する際に役立つ
Oracle Cloud Infrastructure Architecture Center
本日お話しさせて頂くポイント
※以降 Oracle Cloud Infrastructure を OCI と略して記載することがございます。

クラウド・データレイクの
位置付けと考え方

“More than 59 zettabytes (ZB) of data will be created,
captured, copied, and consumed in the world this year,
according to a new update to the Global DataSphere
from International Data Corporation (IDC). ”
Source: IDC, 08 May 2020 press release
IDC's Global DataSphere Forecast Shows Continued Steady Growth in the Creation and Consumption of Data
https://www.idc.com/getdoc.jsp?containerId=prUS46286020
市場動向：調査会社のレポートより

“When almost 100 CEOs were asked by IDC in a study in August 2019
about the importance of various strategic areas to their organization over
the next five years, fully 80% of respondents (second only to focus on
digital trust) mentioned data (or more specifically, using data in advanced
decision models to affect performance and competitive advantage).”
Source:
IDC FutureScape(DOC #US44802519 / OCT 31, 2019)
Worldwide Data, Integration, and Analytics 2020 Predictions
市場動向：IDC FutureScape より

“Prediction 2:
By 2024, enterprises that deploy ML-powered data management,
integration, and analysis solutions will see a doubling of data-centric
employees' productivity.”
市場動向：IDC FutureScape より
Source:
IDC FutureScape(DOC #US44802519 / OCT 31, 2019)
Worldwide Data, Integration, and Analytics 2020 Predictions

“5 data sources are consulted on average to
analyze and reach a data-driven decision”
(データドリブンな意思決定のためには、平均して5つのデータソースが参照される)
Source : Bi-Survey.com

“99.5% of collected data remains unused,
primarily due to a lack of infrastructure,
resources, and management.”
(収集されたデータの99.5％は、インフラ、リソース、および管理の不足により、未使用のまま)
Source : Grow.com

データ利用者が意思決定までの時間を短縮できるよう、
様々な種類と鮮度に対応し、シームレスに統合されたアーキテクチャで構成することが肝要
Ingest, Integration,
Data Refinery
Data Persistence,
Data Lake, Serving
Visualize, Analytics,
AI&ML, Data Science
Accelerating
time to decisions

12 Copyright © 2020, Oracle and/or its affiliates
“持ってくる、貯める、提供する、使う”
ベーシックなフレームワーク
Data Providers
(対象データ)
Data Consumers
(データ利用者)
使う
提供
する
持ってくる貯める
データベース
ファイル等
センサー
ソーシャル
モバイル
業務部門
IT
開発者
データ
サイエンティスト

データベース
ファイル等
センサー
ソーシャル
モバイル
業務部門
IT
開発者
データ
データの種類や特性に合わせてサービスを組み合わせて構成
Data Providers
(対象データ)
Data Consumers
使う
提供
する
Data Refinery
(収集)
Data Persistence, Data Lake
(蓄積/管理)
Serving
(提供)
Visualize, Analytics, Data Science
(可視化/分析/データサイエンス)
構造化データ
半構造化データ
非構造化データ
Bulk/Batch
Realtime/CDC
Streaming/CEP
Basic Streaming
構造と
使われ方を
考慮した
データ配置
利用特性に
合わせた
ToolやI/F
の提供

データベース
ファイル等
センサー
ソーシャル
モバイル
業務部門
IT
開発者
データ
データ基盤における “Data Lake” の位置付けは・・・・・
Data Providers
(対象データ)
Data Consumers
使う
提供
する
Data Refinery
(収集)
(蓄積/管理)
Serving
(提供)
構造化データ
Bulk/Batch
Realtime/CDC
Streaming/CEP
Basic Streaming
構造と
使われ方を
考慮した
データ配置
利用特性に
合わせた
ToolやI/F
の提供
OLTP
Data Warehouse
& Data Mart
Data Lake

データベース
ファイル等
センサー
ソーシャル
モバイル
業務部門
IT
開発者
データ
データ基盤における “Data Lake” の位置付けは・・・・・
Data Providers
(対象データ)
Data Consumers
使う
提供
する
Data Refinery
(収集)
(蓄積/管理)
Serving
(提供)
構造化データ
Bulk/Batch
Realtime/CDC
Streaming/CEP
Basic Streaming
構造と
使われ方を
考慮した
データ配置
利用特性に
合わせた
ToolやI/F
の提供
OLTP
Data Warehouse
& Data Mart
Data Lake
• 主に半構造化、非構造化データを格納
• 多様なデータをデータ利用者に提供
• この中でもデータ処理が実行可能
• マスターデータや、更新を伴う業務データ、トランザクショ
ン処理を必要とするデータなどを格納
• 更新を伴う様々なアプリケーションへ柔軟にデータサービ
スを提供
• DatabaseはもちろんExadataやAutonomous環境を
用いることでより高速なデータサービスを提供
• 構造化、加工済みデータを格納
• 全社レベルから部門レベルまで多様なデー
タウェアハウスを提供
• 特にAutonomous環境を用いることで
様々なメリットの享受が可能

Oracle Big Data Blog / Big Data & Data Integration - Japan
(参考) データレイクに関するブログ投稿
“一方を淘汰するものではなく、
共存共栄の関係”
Data Lake, Data Warehouse and Database...What's
the Difference?
(今注目のデータレイクとは何か？DWHと何が違うのか？)
元投稿
翻訳投稿
https://blogs.oracle.com/bigdata-dataintegration-jp/data-
lake-database-data-warehouse-difference_jp

データベース
ファイル等
センサー
ソーシャル
モバイル
業務部門
IT
開発者
データ
各種サービスを組み合わせることで、クラウド上に Data Lake を含むデータ基盤を実現
Oracleが提供する包括的な Cloud Data Platform ソリューション
Object
Storage
OCI Data Flow
GoldenGate
on Marketplace
Streaming
Stream Analytics
for OCI
Analytics Cloud
Fast
Connect
Data Providers
(対象データ)
Data Consumers
*1) 2020年9月現在、Big Data Serviceに含まれたサービスとして提供中で、単体サービスとしての提供は今後の予定
Big Data Service
ADW/ATP/ExaCS
OCI
Data Integration
OCI Data Science
Cloud SQL(*1)
OCI Data Catalog
Data Refinery
(収集)
(蓄積/管理)
Serving
(提供)

Oracle Cloud で
網羅的に提供している
各サービスの御紹介

GUIベースのクラウドETLサービス
サービス概要/特徴
• OCI Data Integration は、様々なデータ変換処理を行う
ためのETL機能と、コーディング無しで設計するグラフィカルな
インタフェースを提供します
• OCI Data Integration により、簡単にデータの準備、統合、
ロードを行うことが可能です。
こんな課題に役立ちます
• データサイエンスやアナリティクスに使用されるデータレイクへ
の大規模なデータのロードと変換を効率的に実行したい
• 分析目的で使用されるDW（自律型データウェアハウスな
ど）へのスケーラブルなデータロードと変換を効率的に実行
したい
サービス価格
• Oracle Cloud Infrastructure - Data Integration -
Workspace(ETL開発時):
¥19.2 [Workspace Usage Per Hour]
• Oracle Cloud Infrastructure - Data Integration(ETL
実行時):
¥4.8 [Gigabyte of Data Processed Per Hour]
Oracle Cloud Infrastructure - Data Integration

参考ケース
■想定条件
• 開発者10名で2Workspaceを使用
• 開発者は、1日8時間、毎日Workspaceにアクセス
• 処理時間4時間以内に200GB(50[GB/h])のデータ量を、毎日実行
構成例と価格イメージ
Annual Flex
単価[¥]
開発者
人数
Work
space
数
使用時間
[時間/日]
データ量
[GB/時間]
実行時間
[時間/日]
Annual Flex
月額[¥]
(744時間)
Annual Flex
年額[¥]
(12ヶ月)
設計開発用
Oracle Cloud
Infrastructure - Data
Integration - Workspace
¥19.2 10 2 8 ¥9,523 ¥114,278
処理実行用
Oracle Cloud
Infrastructure - Data
Integration
¥4.8 50 4 ¥29,760 ¥357,120

膨大なストリーミング・データに対するリアルタイム処理を実現
• Oracle Stream Analyticsは、IoTデータ、パイプライン、ロ
グデータ、ソーシャル・メディアといったStreamデータをリアルタ
イムに分析的計算処理するテクノロジーを提供します。
• Oracle Stream Analyticsを使用すると、大量のデータをリ
アルタイムでフィルタ処理、集計、相関付けおよび分析する
ことが可能です。
• 異なるソースからのデータを混合/変換し、複雑なイベント処
理パイプラインを構築したい
• 時系列データ内のパターンを検出し、リアルタイムな処理を
実行したい
• 処理されたデータ・ストリームを視覚化することにより、操作
ダッシュボードを構築したい
• 機械学習を使用して、現在のイベントをスコアリングし、次の
イベントを予測したい
サービス価格
• ¥113.98 [OCPU/hour]
※別途IaaS部分の費用が必要
Oracle Stream Analytics for Oracle Cloud Infrastructure

リアルタイムデータ連携を実現するテクノロジーをCloud環境で提供
• Oracle GoldenGate は、世界中で数多くの導入実績を持
つ、リアルタイム・データ連携テクノロジーです。データソース
側への影響を最小限に、リアルタイムなトランザクションをキャ
プチャし、ターゲットに伝搬適用することが可能です。
• オンプレミス環境のデータベースで発生するトランザクションを、
リアルタイムにクラウド環境へ伝搬することが可能です。
• ターゲットはOracle DatabaseやAutonomous Database、
Exadata Cloud Serviceはもちろん、ビッグデータソースへの
連携も可能です。
• オンプレミス環境のデータをクラウド側で迅速に分析し、イン
サイトを得る仕組みを作りたい
• オンプレミス環境のデータをクラウド上の他サービスと連携し
たい
• オンプレミスの業務データをクラウドにリアルタイム連携し、レ
ポーティング業務や分析業務をクラウド側にシフトしたい
• オンプレミスのデータをクラウド環境に移行する際、サービス
停止時間を極小化したい
• オンプレミスのデータをクラウド側にDR構成したい
サービス価格
• BYOLもしくはPromotion適用での利用
※別途IaaS部分の費用が必要
※Promotionは条件に基づき無償利用が可能となる特別プ
ログラムです。詳細は営業担当に御相談ください。
Oracle GoldenGate on Marketplace
Cloud Big Data
Data Lake
DBs
Data
Events
Transaction Data
(更新差分データ)

大量データストリームを処理する、フルマネージドな分散メッセージングサービス
• サービス間やコンポーネント間の接続経路を、Streamingを
経由する形にすることでシンプルに
• Pub/Subモデルで非同期のデータ通信を行い、スパイクの
ある負荷を処理
• Kafka互換
• IoTデータやログデータなど、大量のストリームデータをクラウ
ド側に蓄積したい
サービス価格
• データ転送(登録/取得)1GBごとに: ¥3.00
• データの保持1GB×時間ごとに: ¥0.024
Oracle Cloud Infrastructure - Streaming
Streaming
API
Gateway
Oracle
Functions
Events IoT
Mobile/Web
Activities
Object
Storage
Database
System
App

ClouderaベースのHadoopサービスと透過的なSQLアクセスを提供
• Oracle Big Data Service は、ClouderaベースのHadoop
サービスです
• Oracle Cloud SQL を追加することで様々なデータソースへ
の透過的なSQLアクセスを提供します
• 様々なOracle Cloud サービスと組み合わせることで、包括
的なData Lake Platform を、Oracle Gen 2 Cloud 環境
で実現することが可能となります
• 既存のCloudera 環境を、クラウド環境に拡張してハイブリッ
ド構成を実現したい
• Oracle Cloud 環境の様々なデータソースに、透過的な
SQLで簡単にアクセスしたい
• 各種サービスと組み合わせることで、Data Science
Platform を実現したい
サービス価格
• Oracle Big Data Service - Compute - Standard:
¥16.128 [OCPU Per Hour]
• Oracle Big Data Service - Compute - Dense I/O:
¥25.68[OCPU Per Hour]
• Oracle Big Data Service - Compute - HPC:
• Oracle Cloud SQL - Compute Capacity:
Oracle Big Data Service and Cloud SQL

フルマネージド Apache Sparkサービス
• OCI Data Flow はフルマネージドのApache Spark サービ
スです
• Sparkアプリケーションの実行を簡単にし、運用上のオーバー
ヘッドを発生させずに、優れたビッグデータアプリケーションの
作成に集中できます
• Big Data アプリケーション(Spark アプリケーション)を迅速に
提供できる環境が欲しい
• オンプレミスの既存Big Data アプリケーション(Spark アプリ
ケーション)の実行環境コストを削減したい
• 3rd Party クラウド上の既存Big Data アプリケーション
(Spark アプリケーション)の実行環境コストを削減したい
サービス価格
• 実行時にプロビジョニングされたOCIリソースに対する課金の
み
Oracle Cloud Infrastructure - Data Flow

動作イメージ
Oracle Cloud Infrastructure Data Flow
Data Flow Instance
Data Flow InstanceData Flow InstanceData Flow InstanceData Flow Instance
Object Storage
(Spark
)
(CSV )
Data Flow Instance
※ Terminate
1)
2)
3)

Oracle Cloud Ecosystem におけるデータ資産の統合管理
• OCI Data Catalog は、Oracle Cloud上のデータ資産を発
見、検索、整理、強化、およびトレースするためのインベント
リサービスを提供します
• OCI Data Catalog には、Business Glossary 機能が組
み込まれており、正しく信頼できるデータ資産を有効に活用
することが可能です
• Oracle Cloud 上のObject Storage
(CSV,Excel,ORC,Avro,Parquet,JSON)、Database、
ATP/ADW、MySQL、Hive、Kafkaに存在するメタデータを
統合管理したい
• アナリスト、データサイエンティスト、データスチュワードなどの
データプロフェッショナルの分析プロジェクトやデータサイエンス
プロジェクトに、単一ビューでのデータディスカバリーを提供し
たい
サービス価格
• 無償 (OCIリソースに対する課金も不要)
Oracle Cloud Infrastructure - Data Catalog

Oracle Ecosystem における統合データカタログ
クラウドからオンプレミスにわたるメタデータ資産の統合管理
◼ OCI上のサポート対象データソース
• Object Storage (CSV, ORC, Avro, Parquet,
JSON, XLSX)
• ATP, ADW
◼ OCIおよびオンプレミスのサポート対象データソース
• Oracle Database
• MySQL
• Hive
• Kafka
◼ スケジュール設定により自動的なハーベスティング(収
集)が可能

データサイエンティストの作業を、よりコラボレーティブにスケーラブルに実現
サービス概要
• エキスパートなデータサイエンティストの効率的な作業を実
現するサービス
サービス特徴
• Projects
• チームのデータ分析作業を集約、管理
• Notebook Sessions
• Pythonでモデルの開発や分析を行うNotebook
• 必要な分析環境リソースを迅速に立ち上げ
• 主なOSSライブラリを事前設定済
• Accelerated Data Science(ADS) SDK
• 共通のデータ分析作業を迅速かつ、エラーなく実現するためのPythonライ
ブラリ
• データ探索、AutoML、モデル説明などのライブラリ機能
• Model
• モデルのメタデータを管理、モデルカタログ
• モデルのダウンロード、他のNotebookや、Oracle Functionsなどでの利用
が可能
• エキスパートなデータサイエンティストのデータ分析作業を効
率化したい
• PythonでのNotebook環境をより迅速に、安価に活用した
い
サービス価格
• 利用したOCIリソース(Compute, Block Volume, Object
Storage)に課金
Oracle Cloud Infrastructure Data Science
v
Model
Training
Projects
Open Source
Libraries
JupyterLab
Notebook
Model
Manage
ment
Model
Explanatio
n
Accelerated Data
Science, AutoMLModel Catalog
Infrastructure
Data Management
Database – Data Lake - Access – Integration -
Preparation
CPU – GPU – Storage -
Network
Model
Deployment
Oracle Cloud Infrastructure Data Science

データベース
ファイル等
センサー
ソーシャル
モバイル
業務部門
IT
開発者
データ
Object
Storage
OCI Data Flow
GoldenGate
on Marketplace
Streaming
Stream Analytics
for OCI
Analytics Cloud
Fast
Connect
Data Providers
(対象データ)
Data Consumers
Big Data Service
ADW/ATP/ExaCS
OCI
Data Integration
OCI Data Science
Cloud SQL(*1)
OCI Data Catalog
Data Refinery
(収集)
(蓄積/管理)
Serving
(提供)

データレイクを構成する際に役立つ
Oracle Cloud Infrastructure
Architecture Center

https://www.oracle.com/jp/cloud/architecture-center.html
各クラウドサービスを用いて、効果的かつ効率的にソリューション構築をするのに役立つ技術リソースを提供

(エンタープライズ・データ・ウェアハウス-統合されたデータ・レイクの例)
Enterprise data warehousing - an integrated data lake example

エンタープライズ・データ・ウェアハウス-予測メンテナンスの例
Enterprise data warehousing - a predictive maintenance example

部署別データ・ウェアハウス/データ・マート-統合スプレッドシート
Departmental data warehousing/data marts - consolidate spreadsheets

(Oracle Cloud Infrastructureデータ・フローを使用した、外部オブジェクト・ストレージ・ソースからのデータの分析)
Analyze data from external object storage sources
using Oracle Cloud Infrastructure Data Flow

データベース
ファイル等
センサー
ソーシャル
モバイル
業務部門
IT
開発者
データ
Object
Storage
OCI Data Flow
GoldenGate
on Marketplace
Streaming
Stream Analytics
for OCI
Analytics Cloud
Fast
Connect
Data Providers
(対象データ)
Data Consumers
Big Data Service
ADW/ATP/ExaCS
OCI
Data Integration
OCI Data Science
Cloud SQL(*1)
OCI Data Catalog
Data Refinery
(収集)
(蓄積/管理)
Serving
(提供)

各種リソース

https://www.oracle.com/jp/big-data/
Oracle Big Data 情報サイト

グローバルおよび日本向けサイト
Oracle Big Data 関連 Blog
日本国内向け
https://blogs.oracle.com/bigdata-dataintegration-jp/
グローバル向け(英語)
https://blogs.oracle.com/bigdata/

Oracle Cloud サービス概要
• https://www.oracle.com/jp/
Oracle Cloud Free Tier
(Always Free＆無償トライアル)
• https://www.oracle.com/cloud/free/
マニュアル
• 英語 / 日本語
リージョン毎のサービス提供情報
• https://www.oracle.com/cloud/data-
regions.html#apac
東京/大阪リージョン最新情報
• https://blogs.oracle.com/oracle4engineer/co
lumn_cloud_gen2_oci
Oracle Cloud チュートリアル
• https://community.oracle.com/docs/DOC-
1019313
Oracle Cloud 活用事例
• https://blogs.oracle.com/oracle4engineer/or
acle-cloud-platformpaasiaas
セミナー情報
• https://blogs.oracle.com/oracle4engineer/co
lumn_cloud_seminar
Oracle Cloud Infrastructure: 参考資料

Oracle Cloud Infrastructure (PaaS/IaaS): 無償トライアル
無償トライアルのお申し込みサイト
• https://www.oracle.com/jp/cloud/free/
無償トライアルについて
• $300(約35,000円)のクレジットを無償取得できます
• トライアル期間中は優遇レート(＝IaaS料金のみ)が適用されるため、多様な
サービスをお試しいただけます
• 30日間有効、以降も有償環境として継続使用可能
• 多くのサービスが利用可能
• 対象サービス https://www.oracle.com/jp/cloud/free/
• 主な利用用途
• クラウドへの移行・性能テスト
• 利用を検討するサービスの機能評価
• 利用可能なユーザ
• 新規ユーザ

 クラウド・データレイクの位置付けと考え方
 Oracle Cloud で網羅的に提供している各サービスの御紹介
 データレイクを構成する際に役立つ
本日お話しさせて頂いたポイント
✔
✔
✔

Oracle Cloud ウェビナー
ファンデーションシリーズ
クラウド・データレイクを実現する各サービス最新情報
Q&A

本日は、ご視聴頂き、
誠にありがとうございました。
御礼申し上げます。
Nobu Tanigawa
nobuaki.tanigawa@oracle.com

【基本を知ろう】クラウド・データレイクを実現する各サービス最新情報（Oracle Cloudウェビナーシリーズ: 2020年10月15日）

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 【基本を知ろう】クラウド・データレイクを実現する各サービス最新情報（Oracle Cloudウェビナーシリーズ: 2020年10月15日）

Similar to 【基本を知ろう】クラウド・データレイクを実現する各サービス最新情報（Oracle Cloudウェビナーシリーズ: 2020年10月15日） (20)

More from オラクルエンジニア通信

More from オラクルエンジニア通信 (20)

Recently uploaded

Recently uploaded (15)

【基本を知ろう】クラウド・データレイクを実現する各サービス最新情報（Oracle Cloudウェビナーシリーズ: 2020年10月15日）