[旧版]OCI Data Integration Overview 2020年6月版

テクノロジー事業戦略統括ビジネス推進本部
Senior Business Development Manager
谷川信朗
日本オラクル株式会社
Oracle Cloud Infrastructure Data Integration

The following is intended to outline our general product direction. It is intended for information purposes
only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code,
or functionality, and should not be relied upon in making purchasing decisions. The development,
release, timing, and pricing of any features or functionality described for Oracle’s products may change
and remains at the sole discretion of Oracle Corporation.
Statements in this presentation relating to Oracle’s future plans, expectations, beliefs, intentions and
prospects are “forward-looking statements” and are subject to material risks and uncertainties. A detailed
discussion of these factors and other risks that affect our business is contained in Oracle’s Securities
and Exchange Commission (SEC) filings, including our most recent reports on Form 10-K and Form 10-
Q under the heading “Risk Factors.” These filings are available on the SEC’s website or on Oracle’s
website at http://www.oracle.com/investor. All information in this presentation is current as of September
2019 and Oracle undertakes no duty to update any statement in light of new information or future events.
Safe harbor statement
The following is intended to outline our general product direction. It is intended for information purposes
only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code,
or functionality, and should not be relied upon in making purchasing decisions. The development,
release, timing, and pricing of any features or functionality described for Oracle’s products may change
and remains at the sole discretion of Oracle Corporation.
Statements in this presentation relating to Oracle’s future plans, expectations, beliefs, intentions and
prospects are “forward-looking statements” and are subject to material risks and uncertainties. A detailed
discussion of these factors and other risks that affect our business is contained in Oracle’s Securities
and Exchange Commission (SEC) filings, including our most recent reports on Form 10-K and Form 10-
Q under the heading “Risk Factors.” These filings are available on the SEC’s website or on Oracle’s
website at http://www.oracle.com/investor. All information in this presentation is current as of September
2019 and Oracle undertakes no duty to update any statement in light of new information or future events.
Safe harbor statement
Copyright © 2020, Oracle and/or its affiliates2

データ統合(Data Integration)における課題
アクセスできないデータの存在
と、その影響による機会損失
信用できないデータに基づく
機械学習処理の実行
不完全で質の低いデータによる、
ビジネス判断力の低下

ユーザー部門がIT部門に求める”いつでもどこでもデータにアクセスできる基盤”
データ統合分野におけるトレンド
2022年までに
自動化される
従来型
データ統合タスク
(Gartner 2019)
80%
の企業
39%
のDBA
45%
が自動化
2025年までに
従来型
データセンターの
運用を停止
(Datamation 2019)
50以上の
データベースを
常時管理
(Oracle Survey)

Cloud, Big Data Analytics and AI/ML
新たなビジネス機会を牽引する最新のテクノロジー
Cloud：
無限のストレージ上で展開可能な即時かつ弾力的実行環境
Big Data：
データレイクが支える予測分析
Data Science AI & ML：
競争優位を得るためのデジタルトランスフォーメーション
最新のテクノロジーの恩恵を取り込むことでの解決・改善

データドリブンな組織に必要とされる統一された”Data Ecosystem”
データドリブンを実践する組織には、データを理解し、変換/管理し、価値を獲得し、その価
値を活用するための統一されたデータエコシステムが必要

Oracle Cloud が提供する、ETLサービス
Data Ecosystemを支える
Oracle Cloud Infrastructure
Data Integration

Data & AI Platform における Data Integration のポジショニング
Oracle Cloud Infrastructure
Enterprise Data
OracleAutonomous
Data Platform
ObjectStore
Data Flow
Big Data Service
Data Sources Data Science
Analytics
OCI Data Science
OracleAnalyticsCloud
CloudSQL
Applications
Cognitive Services
OCI Cognitive Services
OCI Developer Services
Data Integration
Replication
OCI Data Integration
GoldenGate on Marketplace
Streaming
OCI Streaming
Data
Engineer
ETL
Engineer
Data
Scientist
Business
Analyst

Oracle Cloud Infrastructure Data Integration
OCIクラウドエコシステム内のデータを統
合、変換、移動するためのクラウドネイ
ティブサーバーレスETLサービス
 グラフィカルかつノーコードのデータフロー設計
 データイマーシブなユーザーエクスペリエンス
 ETLとベーシックなデータプリパレーション
 SparkとSQLプッシュダウンによるサーバーレス
実行を実現
 ルールベース変換によるスキーマドリフト対応

Oracle Cloud Infrastructure Data Integration – 主なユースケース
データサイエンスやアナリティクスに使用されるデータレイ
クへの大規模なデータのロードと変換を効率的に行います。
分析目的で使用されるDW(ADWなど)へのスケーラブルなデー
タロードと変換を効率的に行います。
Data Integration for Data Marts,
Data Warehouses and Analytics
Data Integration for Data Lakes & Data Science
Object Store
ORACLE
AUTONOMOUS
DATABASE
ORACLE
AUTONOMOUS
DATABASE
Object Store

主な特徴

開発者の生産性を最大化
“No Code Data Flow Design”
• データフローを構築するための強力なグラ
フィカルエディタ
• Data Xplorerでデータを視覚的にプレビュー
• データフローをパラメータ化して柔軟性を
最大化
[ベネフィット]
• 開発者がより迅速にイノベーションを起こ
せるようにする
• 簡素化されたETL設計と保守
• パワフルで柔軟なデータ統合変換

データの移動と統合を簡単に
ガイド付きタスクの提供
• タスクによりデータ統合プロセスの構成を
簡素化し、価値を迅速に提供
• データローダタスク(Data Loader Task)：デー
タXplorerを使って反復的にデータセットを
準備し変換を実行
• 統合タスク(IntegrationTask)：データフロー
の設定と実行
• 短時間で生産性を向上させ、データをロー
ド
• ベストプラクティスの推進とデータフロー
ルールの再利用が可能
Data LoaderTaskによる
データロード
基本的なプロファイリングやData Preparation

運用フェーズでのメンテナンス負荷削減
Schema Drift Protection の提供
• 運用フェーズでしばしば発生する、データ
ソース側のスキーマ変更による影響(スキー
マ・ドリフト)に対する、手動メンテナンス
の高コスト化を抑制
• 事前準備したルールベースにより、スキー
マの変更を動的に処理することで、スキー
マのドリフトから保護
• シンプルなメンテナンスで開発コストを最
小化
• 開発者の時間を解放して、データからより
多くの価値を得ることが可能

Oracle Cloud に最適化された接続性
Broad Connectivityの提供
ORACLE
AUTONOMOUS
DATABASE
Data Sources Data Integration
• Oracle Cloud およびオンプレミス環境の
Oracle Database に接続が可能
• Oracle Autonomous Database
• Oracle Object Storage
• Oracle Database
• Oracle Cloudに最適化された接続性
• 使いやすいネイティブアダプタの拡張セッ
ト
※詳細は後述「サポートされるデータソース」のスライドを参照

業界をリードするパフォーマンス
Spark ETLまたはSQLプッシュダウンを搭載
• ETLとE-LTの両方の処理をサポート
• 高性能なエンジンで実行するコードを生成
• 分散データ処理のためのSparkベースのETL
• DBMSエンジン上でのE-LT処理のプッシュダ
ウン最適化
• データを大規模に処理するための高効率な
実行
• 完全に管理されたサーバーレスランタイム
Integration Execution Service
Optimizer Spark Execution

各コンポーネントと
機能概要

OCIコンソールから一元的に操作
OCI Data Integration で使用するコンポーネント
WORKSPACE Project, Folder, DataAsset,Task, Data Flow,Applicationをまとめる統合的なリソース・コンテナ
PROJECT 設計時リソース(Task, Data Flow)のためのコンテナ
FOLDER Projectや別のFolder内に設計時リソースを分けて格納するためのフォルダー
DATA ASSET メタデータを含むデータソースや物理ストアを表すコンポーネント
CONNECTION データソースへの接続情報コンポーネント(1つのDataAssetに関連付け)
DATA ENTITY テーブルやビュー、ファイルなどのデータ集合体を表すコンポーネント
SCHEMA DataAsset内のData Entityの集合体を表すコンポーネント
DATA FLOW ソースからターゲットの間のデータの流れおよび操作を定義する設計時リソース(IntegrationTaskに追加)
OPERATOR Data Flowの設計時に使用する入出力やデータ操作を表すコンポーネント
PARAMETER IntegrationTask を繰り返し実行する際に異なるリソースと値を使ってData Flow を再利用するために、Task Run開始時に設定する変数
TASK データ操作を行う設計時リソース(IntegrationTask, Data LoaderTask)で、Applicationに登録して実行するコンポーネント
APPLICATION 依存関係とともに登録されたTaskなどの実行用コンテナ(テスト環境および本番環境)
PATCH アプリケーションの更新を表現するコンポーネント(ログとして格納)
TASK RUN IntegrationTask や Data LoaderTask の繰り返し実行を表現する実行用コンポーネント

 Data Flow で処理を設計する際に、キャンバスへ各Operatorをドラックアンドドロップして設定を追加
していきます。Filter, Join, Expression,Aggregate の他にも将来のリリースで様々なOperatorが追加され
る予定です。
Data Flow の設計時に使用するOperator
Operator コンポーネント一覧
Source Operator
入力元となるデータエンティティ。
Data Asset, Connection, Schemaなどを設定する。
Target Operator
変換後のデータをロードする出力先となるデータエンティティ。
Insert, Overwrite, Mergeが選択可能。また、Mappingの設定もTarget側で設定する。
Filter Operator
データに対するフィルター処理を行うOperator。
Join Operator
データのJoin(結合)を行うOperator。Inner, Left Outer, Right Outer, Full Outer が選択
可能。
Expression Operator
データに対して派生フィールドを追加する式のOperator。Parameterを割り当てるこ
とも可能。
Aggregate Operator
すべての行または行のグループに対して、集計やカウントのような計算処理を行う
Operator。

Data Xplorer は、Task実行前にサンプリングやプロファイリングが可能な機能で、Data Flow や Data
Loader 作成中に使用します。
• データプロファイル : 行の総数や属性などのデータの概要を表示します。
• 属性プロファイル : データタイプ、最小値、最大値など、選択した属性の概要を表示します。
データのサンプリング、プロファイリング、Data Preparation
Data Xplorer

Data Xplorerの属性ごとに変換処理を適用するためのコンポーネントです。下記以外にも、今後のリリー
スで随時機能追加が予定されています。
Data Xplorer内で適用するPreparation処理
Transformationコンポーネント
Exclude 指定した属性およびそのデータをDATA ENTITYから除外します
Rename 指定した属性の名前を変更します
Change Case 指定した属性のデータを大文字/小文字変換します
Merge Attributes 指定した2つ以上の属性およびそのデータをマージします
Replace 指定した属性のデータを指定した文字列で置換します
Extract 指定した属性から正規表現や文字列で抽出した値を新しい属性として追加します
Null Fill Up 指定した属性に含まれるNULLを指定した文字列等で埋めます

主な利用ステップ
OCI Data Integration の操作プロセス
Workspace にアクセス OCIコンソールからインスタンスのWorkspaceにアクセスします。
DataAsset の作成 Data Integrationに使用するデータソースを登録します。
Connectionの作成と登録接続情報を作成し、DataAssetに追加します。
Project/Folderの作成適宜、設計時リソースとしてProjectとFolderを作成します。
Data Flowの作成 Data Flow をデザインします。
Integration/Data LoaderTaskの作成作成したData FlowをIntegrationTask に登録、適宜Data LoaderTaskを追加します。
Applicationへの登録作成したTaskをApplicationに登録し、テスト環境実行や本番環境にデプロイします。
Taskの実行とモニタリング実行およびモニタリングを行います。
1
2
3
4
5
6
7
8

2020年6月時点
サポートされるデータソース
データソースタイプバージョンソースターゲット
Oracle Database 12.1 ✔ ✔
12.2 ✔ ✔
18 ✔ ✔
19 ✔ ✔
Oracle Database
on Oracle Cloud Infrastructure
12.1 ✔ ✔
12.2 ✔ ✔
18 ✔ ✔
19 ✔ ✔
Oracle Object Storage Latest ✔ ✔
Autonomous DataWarehouse 18c/19c ✔ ✔
AutonomousTransaction Processing 18c/19c ✔ ✔
 Object Storage上でサポートされる
ファイルタイプ
 JSON, Parquet, CSV
 Oracle Database でサポートされない
データ型
 ROWID, UROWID, BFILE,
TIMESTAMP WITH LOCAL
TIMEZONE, INTERVAL DAYTO
SECOND, INTERVALYEAR TO
MONTH, XMLTYPE,
SDO_GEOMETRY

2020年6月時点
OCI Data Integration 価格(日本円)
Pay asYou
You Go
Monthly
Flex
Metric Metric Minimum
Oracle Cloud Infrastructure - Data
Integration - Workspace
36 24 Workspace Usage Per
Hour
-
Oracle Cloud Infrastructure - Data
Integration
9 6 Gigabyte of Data
Processed Per Hour
-
【補足】
• 金額は1$=120円換算の日本円表記です。
• 以下の合計で課金されます。
• ETL処理設計時(開発/メンテナンス)でWorkspaceを使用した時間[perWorkspace/Hour]
• 1時間あたりに処理(読み込んだ)したデータの量[perGB/Hour]

■想定条件
• 開発者2名で1Workspaceを使用
• 開発者は、1日6時間、毎日Workspaceにアクセス
• 処理時間1時間以内、20GBのデータ量を、毎日実行
Case1
(参考)構成例と価格イメージ
Monthly Flex
単価[]
開発者
人数
Work
space
数
使用時間
[時間/日]
データ量
[GB/時間]
実行時間
[時間/日]
Monthly Flex
月額[]
(744時間)
Monthly Flex
年額[]
(12ヶ月)
設計開発用
Oracle Cloud Infrastructure -
- Data Integration -
Workspace
¥24 2 1 6 ¥4,464 ¥53,568
処理実行用
- Data Integration
¥6 20 1 ¥3,720 ¥44,640

■想定条件
• 開発者10名で2Workspaceを使用
• 開発者は、1日8時間、毎日Workspaceにアクセス
• 処理時間4時間以内に200GB(50[GB/h])のデータ量を、毎日実行
Case2
(参考)構成例と価格イメージ
Monthly Flex
単価[]
開発者
人数
Work
space
数
使用時間
[時間/日]
データ量
[GB/時間]
実行時間
[時間/日]
Monthly Flex
月額[]
(744時間)
Monthly Flex
年額[]
(12ヶ月)
設計開発用
- Data Integration -
Workspace
¥24 10 2 8 ¥11,904 ¥142,848
処理実行用
- Data Integration
¥6 50 4 ¥37,200 ¥446,400

27 Copyright © 2020, Oracle and/or its affiliates
こんな課題に役立ちます
• データサイエンスやアナリティクスに使用さ
れるデータレイクへの大規模なデータのロー
ドと変換を効率的に実行したい。
• 分析目的で使用されるDW（自律型データ
ウェアハウスなど）へのスケーラブルなデー
タロードと変換を効率的に実行したい。
サービス価格(PAYG)
• Oracle Cloud Infrastructure - Data Integration -
Workspace(ETL開発時)
36[Workspace Usage Per Hour]
• Oracle Cloud Infrastructure - Data Integration(ETL実
行時)
9[Gigabyte of Data Processed Per Hour]
サービス概要/特徴
• OCI Data Integration は、様々なデータ変換処理を
行うためのETL機能と、コーディング無しで設計す
るグラフィカルなインタフェースを提供します
• OCI Data Integration により、簡単にデータの準備、
統合、ロードを行うことが可能です。
Oracle Cloud Infrastructure - Data Integration
GUIベースのクラウドETLサービス

[旧版]OCI Data Integration Overview 2020年6月版

[旧版]OCI Data Integration Overview 2020年6月版

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to [旧版]OCI Data Integration Overview 2020年6月版

Similar to [旧版]OCI Data Integration Overview 2020年6月版 (20)

More from オラクルエンジニア通信

More from オラクルエンジニア通信 (20)

Recently uploaded

Recently uploaded (9)

[旧版]OCI Data Integration Overview 2020年6月版