Oracle Cloud Infrastructure Data Integration に関する概要資料です。 価格情報を最新の情報へ更新しました。 最新情報は、随時アップデートされた資料やマニュアルを御確認下さい。

1. テクノロジー事業戦略統括 ビジネス推進本部
Senior Business Development Manager
谷川 信朗
日本オラクル株式会社
2021年2月版
Oracle Cloud Infrastructure Data Integration

2. The following is intended to outline our general product direction. It is intended for information purposes
only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code,
or functionality, and should not be relied upon in making purchasing decisions. The development,
release, timing, and pricing of any features or functionality described for Oracle’s products may change
and remains at the sole discretion of Oracle Corporation.
Statements in this presentation relating to Oracle’s future plans, expectations, beliefs, intentions and
prospects are “forward-looking statements” and are subject to material risks and uncertainties. A detailed
discussion of these factors and other risks that affect our business is contained in Oracle’s Securities
and Exchange Commission (SEC) filings, including our most recent reports on Form 10-K and Form 10-
Q under the heading “Risk Factors.” These filings are available on the SEC’s website or on Oracle’s
website at http://www.oracle.com/investor. All information in this presentation is current as of September
2019 and Oracle undertakes no duty to update any statement in light of new information or future events.
Safe harbor statement
The following is intended to outline our general product direction. It is intended for information purposes
only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code,
or functionality, and should not be relied upon in making purchasing decisions. The development,
release, timing, and pricing of any features or functionality described for Oracle’s products may change
and remains at the sole discretion of Oracle Corporation.
Statements in this presentation relating to Oracle’s future plans, expectations, beliefs, intentions and
prospects are “forward-looking statements” and are subject to material risks and uncertainties. A detailed
discussion of these factors and other risks that affect our business is contained in Oracle’s Securities
and Exchange Commission (SEC) filings, including our most recent reports on Form 10-K and Form 10-
Q under the heading “Risk Factors.” These filings are available on the SEC’s website or on Oracle’s
website at http://www.oracle.com/investor. All information in this presentation is current as of September
2019 and Oracle undertakes no duty to update any statement in light of new information or future events.
Safe harbor statement
Copyright © 2021, Oracle and/or its affiliates
2

3. データ統合(Data Integration)における課題
アクセスできないデータの存在
と、その影響による機会損失
信用できないデータに基づく
機械学習処理の実行
不完全で質の低いデータによる、
ビジネス判断力の低下
Copyright © 2021, Oracle and/or its affiliates
3

4. ユーザー部門がIT部門に求める”いつでもどこでもデータにアクセスできる基盤”
データ統合分野におけるトレンド
2022年までに
自動化される
従来型
データ統合タスク
(Gartner 2019)
80%
の企業
39%
のDBA
45%
が自動化
2025年までに
従来型
データセンターの
運用を停止
(Datamation 2019)
50以上の
データベースを
常時管理
(Oracle Survey)
Copyright © 2021, Oracle and/or its affiliates
4

5. Cloud, Big Data Analytics and AI/ML
新たなビジネス機会を牽引する最新のテクノロジー
Cloud：
無限のストレージ上で展開可能な即時かつ弾力的実行環境
Big Data：
データレイクが支える予測分析
Data Science AI & ML：
競争優位を得るためのデジタルトランスフォーメーション
最新のテクノロジーの恩恵を取り込むことでの解決・改善
Copyright © 2021, Oracle and/or its affiliates
5

6. データドリブンな組織に必要とされる統一された”Data Ecosystem”
データドリブンを実践する組織には、データを理解し、変換/管理し、価値を獲得し、その価
値を活用するための統一されたデータエコシステムが必要
Copyright © 2021, Oracle and/or its affiliates
6

7. Oracle Cloud が提供する、ETLサービス
Data Ecosystemを支える
Oracle Cloud Infrastructure
Data Integration
Copyright © 2021, Oracle and/or its affiliates
7

8. Data & AI Platform における Data Integration のポジショニング
Oracle Cloud Infrastructure
Enterprise Data
OracleAutonomous
Data Platform
ObjectStore
Data Flow
Big Data Service
Data Sources Data Science
Analytics
OCI Data Science
OracleAnalyticsCloud
CloudSQL
Applications
Cognitive Services
OCI Cognitive Services
OCI Developer Services
Data Integration
Replication
OCI Data Integration
GoldenGate on Marketplace
Streaming
OCI Streaming
Data
Engineer
ETL
Engineer
Data
Scientist
Business
Analyst
Copyright © 2021, Oracle and/or its affiliates
8

9. Oracle Cloud Infrastructure Data Integration
OCIクラウドエコシステム内のデータを統
合、変換、移動するためのクラウドネイ
ティブサーバーレスETLサービス
 グラフィカルかつノーコードのデータフロー設計
 データイマーシブなユーザーエクスペリエンス
 ETLとベーシックなデータプリパレーション
 SparkとSQLプッシュダウンによるサーバーレス
実行を実現
 ルールベース変換によるスキーマドリフト対応
Copyright © 2021, Oracle and/or its affiliates
9

10. Oracle Cloud Infrastructure Data Integration – 主なユースケース
データサイエンスやアナリティクスに使用されるデータレイ
クへの大規模なデータのロードと変換を効率的に行います。
分析目的で使用されるDW(ADWなど)へのスケーラブルなデー
タロードと変換を効率的に行います。
Data Integration for Data Marts,
Data Warehouses and Analytics
Data Integration for Data Lakes & Data Science
Object Store
ORACLE
AUTONOMOUS
DATABASE
OCI Data Integration
ORACLE
AUTONOMOUS
DATABASE
OCI Data Integration
Object Store
Copyright © 2021, Oracle and/or its affiliates
10

11. 主な特徴
Copyright © 2021, Oracle and/or its affiliates
11

12. 開発者の生産性を最大化
“No Code Data Flow Design”
• データフローを構築するための強力なグラ
フィカルエディタ
• Data Xplorerでデータを視覚的にプレビュー
• データフローをパラメータ化して柔軟性を
最大化
[ベネフィット]
• 開発者がより迅速にイノベーションを起こ
せるようにする
• 簡素化されたETL設計と保守
• パワフルで柔軟なデータ統合変換
Copyright © 2021, Oracle and/or its affiliates
12

13. データの移動と統合を簡単に
ガイド付きタスクの提供
• タスクによりデータ統合プロセスの構成を
簡素化し、価値を迅速に提供
• データローダ タスク(Data Loader Task)：デー
タXplorerを使って反復的にデータセットを
準備し変換を実行
• 統合タスク(IntegrationTask)：データフロー
の設定と実行
[ベネフィット]
• 短時間で生産性を向上させ、データをロー
ド
• ベストプラクティスの推進とデータフロー
ルールの再利用が可能
Data LoaderTaskによる
データロード
基本的なプロファイリングやData Preparation
Copyright © 2021, Oracle and/or its affiliates
13

14. 運用フェーズでのメンテナンス負荷削減
Schema Drift Protection の提供
• 運用フェーズでしばしば発生する、データ
ソース側のスキーマ変更による影響(スキー
マ・ドリフト)に対する、手動メンテナンス
の高コスト化を抑制
• 事前準備したルールベースにより、スキー
マの変更を動的に処理することで、スキー
マのドリフトから保護
[ベネフィット]
• シンプルなメンテナンスで開発コストを最
小化
• 開発者の時間を解放して、データからより
多くの価値を得ることが可能
Copyright © 2021, Oracle and/or its affiliates
14

15. Oracle Cloud に最適化された接続性
Broad Connectivityの提供
ORACLE
AUTONOMOUS
DATABASE
Data Sources Data Integration
OCI Data Integration
• Oracle Cloud および オンプレミス環境の
Oracle Database に接続が可能
• Oracle Autonomous Database
• Oracle Object Storage
• Oracle Database
[ベネフィット]
• Oracle Cloudに最適化された接続性
• 使いやすいネイティブアダプタの拡張セッ
ト
※詳細は後述「サポートされるデータソース」のスライドを参照
Copyright © 2021, Oracle and/or its affiliates
15

16. 業界をリードするパフォーマンス
Spark ETLまたはSQLプッシュダウンを搭載
• ETLとE-LTの両方の処理をサポート
• 高性能なエンジンで実行するコードを生成
• 分散データ処理のためのSparkベースのETL
• DBMSエンジン上でのE-LT処理のプッシュダ
ウン最適化
[ベネフィット]
• データを大規模に処理するための高効率な
実行
• 完全に管理されたサーバーレスランタイム
Integration Execution Service
Optimizer Spark Execution
Copyright © 2021, Oracle and/or its affiliates
16

17. 各コンポーネントと
機能概要
Copyright © 2021, Oracle and/or its affiliates
17

18. OCIコンソールから一元的に操作
OCI Data Integration で使用するコンポーネント
WORKSPACE Project, Folder, DataAsset,Task, Data Flow,Applicationをまとめる統合的なリソース・コンテナ
PROJECT 設計時リソース(Task, Data Flow)のためのコンテナ
FOLDER Projectや別のFolder内に設計時リソースを分けて格納するためのフォルダー
DATA ASSET メタデータを含むデータソースや物理ストアを表すコンポーネント
CONNECTION データソースへの接続情報コンポーネント(1つのDataAssetに関連付け)
DATA ENTITY テーブルやビュー、ファイルなどのデータ集合体を表すコンポーネント
SCHEMA DataAsset内のData Entityの集合体を表すコンポーネント
DATA FLOW ソースからターゲットの間のデータの流れおよび操作を定義する設計時リソース(IntegrationTaskに追加)
OPERATOR Data Flowの設計時に使用する入出力やデータ操作を表すコンポーネント
PARAMETER IntegrationTask を繰り返し実行する際に異なるリソースと値を使ってData Flow を再利用するために、Task Run開始時に設定する変数
TASK データ操作を行う設計時リソース(IntegrationTask, Data LoaderTask)で、Applicationに登録して実行するコンポーネント
APPLICATION 依存関係とともに登録されたTaskなどの実行用コンテナ(テスト環境および本番環境)
PATCH アプリケーションの更新を表現するコンポーネント(ログとして格納)
TASK RUN IntegrationTask や Data LoaderTask の繰り返し実行を表現する実行用コンポーネント
Copyright © 2021, Oracle and/or its affiliates
18

19.  Data Flow で処理を設計する際に、キャンバスへ各Operatorをドラックアンドドロップして設定を追加
していきます。Filter, Join, Expression,Aggregate の他にも将来のリリースで様々なOperatorが追加され
る予定です。
Data Flow の設計時に使用するOperator
Operator コンポーネント一覧
Source Operator
入力元となるデータエンティティ。
Data Asset, Connection, Schemaなどを設定する。
Target Operator
変換後のデータをロードする出力先となるデータエンティティ。
Insert, Overwrite, Mergeが選択可能。また、Mappingの設定もTarget側で設定する。
Filter Operator データに対するフィルター処理を行うOperator。
Join Operator データのJoin(結合)を行うOperator。Inner, Left Outer, Right Outer, Full Outer が選択可能。
Expression Operator データに対して派生フィールドを追加する式のOperator。Parameterを割り当てることも可能。
Aggregate Operator すべての行または行のグループに対して、集計やカウントのような計算処理を行うOperator。
Sort Operator データの並べ替えを昇順または降順で実行
Distinct Operator 一意の値を持つ個別の行を返す
Union Operator Union(統合)処理を行うOperator
Copyright © 2021, Oracle and/or its affiliates
19
New!!

20. Data Xplorer は、Task実行前にサンプリングやプロファイリングが可能な機能で、Data Flow や Data
Loader 作成中に使用します。
• データ プロファイル : 行の総数や属性などのデータの概要を表示します。
• 属性プロファイル : データ タイプ、最小値、最大値など、選択した属性の概要を表示します。
データのサンプリング、プロファイリング、Data Preparation
Data Xplorer
Copyright © 2021, Oracle and/or its affiliates
20

21. Data Xplorerの属性ごとに変換処理を適用するためのコンポーネントです。下記以外にも、今後のリリー
スで随時機能追加が予定されています。
Data Xplorer内で適用するPreparation処理
Transformationコンポーネント
Exclude 指定した属性およびそのデータをDATA ENTITYから除外します
Rename 指定した属性の名前を変更します
Change Case 指定した属性のデータを大文字/小文字変換します
Merge Attributes 指定した2つ以上の属性およびそのデータをマージします
Replace 指定した属性のデータを指定した文字列で置換します
Extract 指定した属性から正規表現や文字列で抽出した値を新しい属性として追加します
Null Fill Up 指定した属性に含まれるNULLを指定した文字列等で埋めます
Sort データを昇順または降順で並べ替えます
Hash データXplorerで属性の暗号化された値を生成します
Format 日付や数字のフォーマットのような特定のフォーマットルールをデータに適用します
Create Unique ID 一意のIDを生成します
Replace by pattern パターン指定でのデータ変換をおこないます
Copyright © 2021, Oracle and/or its affiliates
21
New!!
New!!

22. 主な利用ステップ
OCI Data Integration の操作プロセス
Workspace にアクセス OCIコンソールからインスタンスのWorkspaceにアクセスします。
DataAsset の作成 Data Integrationに使用するデータソースを登録します。
Connectionの作成と登録 接続情報を作成し、DataAssetに追加します。
Project/Folderの作成 適宜、設計時リソースとしてProjectとFolderを作成します。
Data Flowの作成 Data Flow をデザインします。
Integration/Data LoaderTaskの作成 作成したData FlowをIntegrationTask に登録、適宜Data LoaderTaskを追加します。
Applicationへの登録 作成したTaskをApplicationに登録し、テスト環境実行や本番環境にデプロイします。
Taskの実行とモニタリング 実行およびモニタリングを行います。
1
2
3
4
5
6
7
8
Copyright © 2021, Oracle and/or its affiliates
22

23. 2021年2月時点
サポートされるデータソース
データソースタイプ バージョン ソース ターゲット
Oracle Database 12.1 / 12.2 / 18 / 19 / 20 / 21 ✔ ✔
Oracle Database
on Oracle Cloud Infrastructure
12.1 / 12.2 / 18 / 19 ✔ ✔
Exadata DB Systems 12.1 / 12.2 / 18 / 19 ✔ ✔
Oracle Object Storage
(JSON, Parquet, CSV)
Latest ✔ ✔
Autonomous DataWarehouse 18c/19c ✔ ✔
AutonomousTransaction Processing 18c/19c ✔ ✔
MySQL 5.7.x and 8.0.x ✔ ✔
PostgreSQL
10.1 / 9.6, 9.5, 9.4, 9.3, 9.2, 9.1, and 9.0 / 8.4, 8.3, and
and 8.2
✔ -
Hive
CDH 5.4 and higher /
Apache 1.0, 2.0, 3.0 and higher
✔ -
Microsoft SQL Server
2019 / 2017 / 2016 SP2 / 2014 SP3 / 2012 SP4
✔ ✔
Copyright © 2021, Oracle and/or its affiliates
23

24. 2020年10月時点
OCI Data Integration 価格(日本円)
Pay asYou
You Go
Annual
Flex
Metric Metric Minimum
Oracle Cloud Infrastructure - Data
Integration - Workspace
19.2 19.2 Workspace Usage Per
Hour
-
Oracle Cloud Infrastructure - Data
Integration
4.8 4.8 Gigabyte of Data
Processed Per Hour
-
【補足】
• 金額は1$=120円換算の日本円表記です。
• 以下の合計で課金されます。
• ETL処理設計時(開発/メンテナンス)でWorkspaceを使用した時間[perWorkspace/Hour]
• 1時間あたりに処理(読み込んだ)したデータの量[perGB/Hour]
Copyright © 2021, Oracle and/or its affiliates
24

25. ■想定条件
• 開発者2名で1Workspaceを使用
• 開発者は、1日6時間、毎日Workspaceにアクセス
• 処理時間1時間以内、20GBのデータ量を、毎日実行
Case1
(参考)構成例と価格イメージ
Copyright © 2021, Oracle and/or its affiliates
25
Annual Flex
単価[]
開発者
人数
Work
space
数
使用時間
[時間/日]
データ量
[GB/時間]
実行時間
[時間/日]
Annual Flex
月額[]
(744時間)
Annual Flex
年額[]
(12ヶ月)
設計開発用
Oracle Cloud Infrastructure -
- Data Integration -
Workspace
¥19.2 2 1 6 ¥3,571 ¥42,854
処理実行用
Oracle Cloud Infrastructure -
- Data Integration
¥4.8 20 1 ¥2,976 ¥35,712

26. ■想定条件
• 開発者10名で2Workspaceを使用
• 開発者は、1日8時間、毎日Workspaceにアクセス
• 処理時間4時間以内に200GB(50[GB/h])のデータ量を、毎日実行
Case2
(参考)構成例と価格イメージ
Copyright © 2021, Oracle and/or its affiliates
26
Annual Flex
単価[]
開発者
人数
Work
space
数
使用時間
[時間/日]
データ量
[GB/時間]
実行時間
[時間/日]
Annual Flex
月額[]
(744時間)
Annual Flex
年額[]
(12ヶ月)
設計開発用
Oracle Cloud Infrastructure -
- Data Integration -
Workspace
¥19.2 10 2 8 ¥9,523 ¥114,278
処理実行用
Oracle Cloud Infrastructure -
- Data Integration
¥4.8 50 4 ¥29,760 ¥357,120

27. 27 Copyright © 2021, Oracle and/or its affiliates
こんな課題に役立ちます
• データサイエンスやアナリティクスに使用さ
れるデータレイクへの大規模なデータのロー
ドと変換を効率的に実行したい。
• 分析目的で使用されるDW（自律型データ
ウェアハウスなど）へのスケーラブルなデー
タロードと変換を効率的に実行したい。
サービス価格(PAYG)
• Oracle Cloud Infrastructure - Data Integration -
Workspace(ETL開発時)
19.2[Workspace Usage Per Hour]
• Oracle Cloud Infrastructure - Data Integration(ETL実
行時)
4.8[Gigabyte of Data Processed Per Hour]
サービス概要/特徴
• OCI Data Integration は、様々なデータ変換処理を
行うためのETL機能と、コーディング無しで設計す
るグラフィカルなインタフェースを提供します
• OCI Data Integration により、簡単にデータの準備、
統合、ロードを行うことが可能です。
Oracle Cloud Infrastructure - Data Integration
GUIベースのクラウドETLサービス