Oracle BI Cloud Service Data syncクイックスタート短編

Copyright © 2015 Oracle and/or its affiliates. All rights reserved.
Oracle Business Intelligence Cloud Service Whitepaper
Data Sync クイックスタート編
O R A C L E W H I T E PA P E R | A U G U S T 2 0 1 5

変更履歴
日付バージョン変更内容
2015 年 8 月 31 日 1.0 新規作成
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. 2

ご注意
本書は、オラクルの一般的な製品の方向性を示すことが目的です。また情報提供を唯一目的とするものであり、いかな
る契約にも組み込みことはできません。下記の事項はマテリアルやコード、機能の提供を確約するものではなく、また、
購買を決定する際の判断材料とはなりえません。オラクルの製品に関して記載されている機能の開発、リリース、およ
び時期については弊社の裁量により決定いたします。
なお、キャプチャ画像として本書に記載しているユーザーインタフェースについては、今後更新される可能性がありま
す。

目次
はじめに 5
インストール 6
接続設定 8
ロード定義 11
実行（ジョブ） 16
おわりに 19

はじめに
目的：このチュートリアルでは、Oracle Business Intelligence Cloud インスタンスに Oracle BI Cloud Service Data Sync を使用して、
データ連携をする方法を学びます。
ここでは、以下のツールを使用します。
- Oracle BICS Data Sync
※以降より Data Sync Tool とする
所要時間：　６ 0 分
概要：BICS Data Sync は、オンプレミスのデータを BICS のデータスキーマへデータ連携することを可能とします。
- ウィザード形式のわずかな操作による設定
- 様々なデータベースに対応し、また、フラットなデータファイルからのデータロードが可能
- データ要件に合わせた取込の条件を細かに設定可能
- メール通知機能、監視モニタ機能やスケジュール機能が完備
前提条件：このチュートリアルを開始する前に、以下の準備が全て完了していることを確認して下さい。
- 試用版もしくは、Oracle Business Intelligence Cloud Service のサブスクリプションを購入済みであること。まだ、お済でない
方は、Oracle Store もしくは、以下の Oracle Cloud Service 専用サイトをご確認ください。
[URL] http://www.oracle.com/jp/corporate/features/bicloud/index.html
- Java1.7 またはそれ以上の Java Developer Kit(JDK)のインストール済みであること。同等のバージョンである Java Runtime
Environment(JRE)は利用できませんのでご注意ください。
注意：
本チュートリアルではオンプレミスデータソースを使用したデータ連携を実行します。
予めテストで使用できるデータベースをご準備下さい。

インストール
本章では、Data Sync Tool のインストール方法を紹介します。インストール前に、Oracle BICS Data Sync は Oracle Technology
Network(OTN)より本チュートリアルで使用するソフトウェアをダウンロードして下さい。ダウンロードした
BICSDataSync.Zip ファイルは、空白が含まれないディレクトリにファイルを配置して下さい。
[URL]　 http://www.oracle.com/technetwork/middleware/bicloud/downloads/index.html
例）C:bics_dacBICSDataSync.Zip
1.1. Java Home の設定
上記で取得した Zip ファイルを解凍し、config.bat または config.sh をテキストエディタで開き、ご利用のオペレーティングシ
ステムに合わせて、@JAVA_HOME を編集します。
例）Windows
set JAVA_HOME=D:Java
例）Unix
JAVA_HOME=usr/java
注意:
Java Home のディレクトリパスに空白が含まれる場合は、二重引用符で閉じます
例）set JAVA_HOME=”C:Program FilesJavajdk1.7.0_65jre”
1.2. インストール
初回起動時には、セットアップウィザードが起動します。ウィザードの手順に従い初期設定を行います。
1.2.1. 上記で解凍した BICSDataSync.Zip より datasync.bat（Windows）または datasync.sh(Unix)を実行
1.2.2. ラジオボタン Configure a new environment を選択し Next を押下
1.2.3. レポジトリ名を入力します。（例：Development Environment）
※ここで入力した名称はウィンドウタイトルおよびタスクバーのアイコンに使用されます。
1.2.4. Data Sync Tool（クライアントツール）にログインするためのパスワードを設定
パスワードを保管する場合は、Remember Password にチェックを入れます。
1.2.5. Finish を押下
1.2.6. 画面が Enter Password に遷移します。2.2.4 で設定したパスワードを入力し Login を押下
1.2.7. ラジオボタン Create a project を選択し、プロジェクト名を入力（例：TEST_Project）
1.2.8. OK を押下し【図１】の画面が起動すれば、初期設定完了です。
【図１】

1.3. ２回目以降の起動
1.3.1. datasync.bat または datasync.sh を実行
※上記の bat/sh を一度実行すると OS の再起動またはタスクトレ―から Exit を選択するまで起動状態となります。
※起動状態で datasync.bat/sh を選択するとエラーメッセージウィンドウが表示されますのでその場合は、
datasyncClient.bat/sh を選択し UI 画面を起動して下さい。（Windows の場合、タスクトレーを右クリック > Start UI で画
面を立ち上げることも可能です。）

接続設定
本章では、Data Sync Tool でデータ連携する際に使用する、接続設定の方法を紹介します。Data Sync Tool ではこれらの情報を
設定する作業を Connection という画面で行います。
1.4. デフォルト接続設定
Data Sync Tool では以下の接続情報があらかじめ設定されています。
A) TARGET
B) File Source
A)　TARGET：本接続情報は Oracle Business Intelligence Cloud Service（BICS）に接続する際に使用します。Data Sync
Tool の画面上 Connection を押下し、TARGET にカーソルを合わせ、URL 項目に BICS の URL を設定し、ユーザーと
パスワードを入力します。Test Connection を押下し、「Connection to "TARGET" successfully established! 」のメッセージが確
認できれば、Save を押下します。
URL 項目に入力する情報は以下の画面の赤矢印の箇所で確認できます。最後に含まれる「/analytics」は不要ですので
ご注意ください。
例）https://<service>-<identity_domain>.analytics.<data_center>.oraclecloud.com
注意：
URL 以外の編集は不要ですので、誤って編集・削除してしまわないようご注意ください
B)　File Source:ファイルアップロード時に使用する接続情報です。本設定については、編集する項目はありません。

名称の変更や、誤って削除してしまわないようご注意ください。
1.5. オンプレミスデータの接続設定
ここでは、BISC にデータを連携する元の接続先を設定します。
1.5.1. Data Sync Tool の Connection を押下
1.5.2. New を押下し、画面下段の edit タブの各テキスト項目に接続情報を設定します。

【表１】接続情報詳細
Field Description
Name 接続情報名　※接続先が分かるような名称にすること
Database Type データベースタイプ（ DB2, Data Sync Tool では、 MS SQL, MY SQL, Oracle(BICS),
Oracle(OCI8), Oracle(Thin), Teradata, TimesTen から選択可能）
Table Owner データベース・スキーマ名
Password データベース・スキーマにログインするためのパスワード
Service Name データベース名　※Oralce TNS Name の場合は、tnsnames.ora で確認可能
Host マシーン名またはデータベースが存在するマシーンの IP アドレス
URL（Optional） DB ソース接続の JDBC URL. 本フィールドに設定する値はデータベースの明確な指
定の為に使用します。例えば、Oracle RAC や他のデータソースを使用する場合に設定し
ます。
Driver(Optional)
1.5.3. Test Connection を押下（正常に接続テストが完了した場合、以下の画面が表示される）
1.5.4. Save を押下

ロード定義
本章では、ターゲット表、ソース表（リレーショナルデータソース、ファイルデータソース）の表定義、列定義、インデッ
クス定義を設定する方法を紹介します。Data Sync Tool ではこれらの情報を設定する作業を Project という画面で行います。
A) リレーショナルソースからのデータ連携定義情報設定
接続設定で設定したデータベースにアクセスし、テーブル／ビューの定義を取得します。
B) フラットファイルからのデータ連携定設定
1.6. リレーショナルソースからデータ連携
接続設定で設定したデータベースにアクセスし、テーブル／ビューの定義を取得します。 Data Sync Tool では、
CAHR,VARCHAR,TIMESTAMP,DATE,NUMBER(n),NUMBER(m,n),CLOB,BLOB がサポートされていますが、それ以外のデ
ータ型については、インポート時に UNKNOWN となり、無効フラグが立ちます。BICS へのデータ連携の対象外となりま
すのでご注意ください。
1.6.1. Data Sync Tool の Project を選択し、Relational Data Tab に移動
1.6.2. Data From Table を選択
1.6.3. Import Tables into [Project Name] ダイヤログが起動します。Data Source より、接続先を選択
1.6.4. Table Name Filter のテキストボックスにインポートする表名を入力し Search Tables を押下
※“ ” ”＊または“％であいまい検索が可能
1.6.5. インポートする表名にチェックを入れます。（全取込の場合は、Select All を押下すると全てにチェックが付
きます）
1.6.6. Import Tables を押下
インポートする表に関連するインデックスおよびテーブル定義情報が取り込まれます。
注意：オブジェクトをそのままインポートする場合、ターゲット表名も同じ名前で登録されます。テーブル名
を変更したい場合は、本取込方法ではなく後述する SQL 問合せによるデータ連携を検討して下さい。

1.7. SQL 問合せによるデータ連携
接続設定で設定したデータベースに SQL 問合せによるデータ連携定義の設定を行います。SQL 問合せによって複数表
の結合、値の集計、条件の絞り込みが可能です。SQL 問合せ結果によるデータを BICS に連携する際に使用します。
1.7.1. Data Sync Tool の Project を選択し、Relational Data タブに移動
1.7.2. Data From SQL を選択
1.7.3. New Query ダイヤログが起動
1.7.4. Name フィールドに名称を入力（※入力時に空白が入らないように注意して下さい）
1.7.5. Data Source より、接続先を選択
1.7.6. Target Table 項目のラジオボタン Create a table を選択し、ターゲット表名を入力
1.7.7. Query フィールドに SQL 問合せ文を入力し、OK ボタンを押下
1.8. ファイルからデータ連携
フラットファイルからのデータ連携する為の設定を行います。Data Sync Tool では、フラットファイル取込む際にデータ
型・桁数をサンプルから推測し、定義を動的に行います。もし、Data Sync Tool が定義した内容に誤りがある場合および変
更したい場合は、編集画面から定義を修正します。
1.8.1. Data Sync Tool の Project を選択し、File Data タブに移動
1.8.2. New を選択
1.8.3. ダイヤログが起動
1.8.4. Select a File フィールドの右端にあるチェックボタンを押下し、ファイルを選択
1.8.5. Next を押下
1.8.6. 各テキストフィールド、ラジオボタン、リストを選択
【表２】ファイル連携定義詳細
Field Description
Number of lines to skip スキップする行
Select a delimiter 区切り文字（カンマ、パイプ、セミコロン、空白、タブ、チルド、カスタム）
Select timestamp format(Java
Style)
日付型
Number of lines to be sample デフォルト 10000（ここで設定するデータ件数をサンプリングし、Data Sync Tool がデ
ータ型・桁数を推測します。‐1 と設定すると全行を確認します。全行にするとデータ
を全件確認するため処理に時間がかかる為ご注意ください。）
First Line contains headers ヘッダー行の有無（含める場合はチェックを付ける）

ヘッダー行は、テーブルの列名となるため、列名に存在する空白は排除し、大文字であ
ることが望ましいです。列名が 30 文字以上の文字列は排除され、ヘッダー行を含めな
い場合は、新規テーブルをすると、COLUMN_1,COLUMN_2…となります。
1.8.8. Create a table のラジオボタンを選択し、テキストフィールドにターゲット表名を入力
※Remove Duplicates については、取込むファイルから重複データを排除したい場合にチェックを付けます。こ
のチェックを付ける場合は、あわせてプライマリキーの設定を推奨します。
1.8.10. New Source: Map Columns のダイヤログボックスが起動
ここで表示されるデータ型・桁数を変更したい場合は、編集したいフィールドを選択し、正しいデータ型・
桁数に変更します。Data Transmission 列では各データの文字列操作（UPPERCASE, LOWERCASE ,NUMBER
,TRIM）が可能です。Update Rows on much ではプライマリキーとなる項目にチェックを入れます。チェックを
入れているキーを基にターゲット表のデータ更新が行われます。
1.8.11. OK を押下
注意：
フラットファイルは以下の点に注意して下さい。
・文字列に区切り文字が含まれる場合は、二重引用符でとじます。
・文字列に改行が含まれる場合は、二重引用符でとじます。
・日付型の列が複数含まれる場合、全ての日付型列は同じフォーマットである必要があります。
例：YYYY-MM-DD と設定した場合、1986-01-01 (birth_date) 2010-06-31 (hire_date)
・ ”$” ” ”や＃などの特殊文字が列名および表名に存在する場合、ジョブ実行時にエラーとなります。
・空白行は無視されます。
・取込みデータの中でスキップしたい行がある場合は、行の初めに--を追加します。
1.9. エラーデータの確認
・後述するジョブの実行の際にフラットファイルの取込み（File Upload）でエラーとなった場合、ログディレク
トリ（<インストールディレクトリ>/log）に bad ファイルが出力されます。
・ログの確認は Bad ファイルを確認して下さい。Bad ファイルは、CR_<Table/File Name>_<From Connection>_<To
Connection>.<Timestamp>.bad の名称フォーマットで出力されます。
1.10. ロード定義
Data Sync Tool では以下の 4 つのデータロード方針が設定できます。
・ Replace data in table

・ Append data to table
・ Update table (Add new records)
・ Update table (Update existing records)
1.10.1. リレーショナルデータの場合
1.10.1.1. Data Sync Tool の Project を選択し、Relational Data タブに移動
1.10.1.2. Load Strategy 列より各テーブルのロード方針を選択します。各ロード方針の概要については
【表 3】を参考にしてください。
【表３】ロード方針
Value Description
Replace data in table データロード前にターゲット表のデータと索引を削除します。データ
ロード完了後に索引が再作成され、統計情報が取得されます。
Append data to table 既存データは残したまま、ロードする度に新規データを追加します。
Update table
(Add new records)
こちらを選択する場合、プライマリキーの設定が必要です。初回ロー
ド時には TRUNCATE 処理が実行されます。
データロード前に索引を削除され、ロード完了後に索引が再作成・統
計情報が取得されます。プライマリキー＆フィルタに該当するデータ
がターゲット表に存在しない場合、そのデータは新規追加されます。
Update table
(Update existing records)
こちらを選択する場合、プライマリキーの設定が必要です。初回ロー
ド時には TRUNCATE 処理が実行されます。
データロード前に索引を削除され、ロード完了後に索引が再作成・統
計情報が取得されます。プライマリキー＆フィルタに該当するデータ
がターゲット表に存在する場合、該当のデータは更新されます。
Note:　Never delete のチェックを付けた場合、TRUNCATE 処理は行われないように設定することが可能です。
1.10.1.3. OK を選択

1.10.2. ファイルデータの場合
1.10.2.1. Data Sync Tool の Project を選択し、File Data タブに移動
1.10.2.2. 画面下段の File Targets タブを選択し、Load Strategies 列の該当データを選択しチェックボックスを押
下
1.10.2.3. ロード方針（【表３】参照）を設定
1.10.2.4. OK を押下

実行（ジョブ）
ジョブとは、実行の単位であり、実行する構成の確定、スケジューリング、監視、ジョブ実行を操作することが可能です。
1.11. ジョブの実行
1.11.1. Data Sync Tool の Jobs を押下
1.11.2. Run Job を押下
前章までに作成したタスクが本機能によって動的にコンパイルが行われ、ジョブの実行が開始されます。初回
実行時は、画面下段の Ordered Task に表示されていませんが、実行後に動的にコンパイルが行われ、処理対象の
タスクが一覧表示されます。
　　　　

1.12. 確認
1.12.1. Data Sync Tool の Job を選択し、サブタブ Current Jobs に移動
1.12.2. 画面下段の Tasks、Task Details を選択すると各タスクの実行状況が確認できます。
補足：Task Details タブには、各タスクの詳細な実行内容が表示されます。表示される文言と内容については以下の通り
【表４】
Value Description
Truncate Table ロード方針の定義の際に設定し置き換え（Replace)を選択した、又は、初めて実
行されるタスクの場合、Truncate Table 処理が実行されます。
Drop Index 表の Truncate または、Project の定義で常に再作成（Always Drop&Create)にチェック
がある場合は、データ取込みの前に作為削除処理が実行されます。
Insert/Update/Append/Upsert ロード処理で定義した内容に基づいてデータの取込みが行われます。
Create Index Drop Index の処理で削除された索引、および、新規に索引の定義した索引に対し
ロード処理の後に本処理が実行されます。
Analyze Table ロード処理、インデックスの作成のあとに本処理が実行されます。各テーブル
の統計情報収集処理は、以下のタイミングで処理されます。
1．初期ロード
2．索引の再作成がされた場合
※上記以外の差分実行の場合、統計情報収集処理は実行されません。

Task Details タブでは、各処理の詳細（処理時間、処理件数、読み込み・書き込み所要時間、等）が確認できます。
1.13. エラーの確認
処理終了ステータスおよび、ログファイルの確認は以下の通りです。
ログ出力先：インストールディレクトリの/log フォルダにログが出力されます。ファイル名は以下の通り。
CR_<Table/File Name>_<From Connection>_<To Connection>.<Timestamp>.log
1.13.1. ※各タスクの終了ステータスを見る場合には、Task Detail タブの Status Description 列で確認可能です。

おわりに
本チュートリアルでデータ連携を行ったデータは、以下のように BICS のデータモデラー機能および、BICS の Database
の APEX コンソールより確認することが可能です。このように Data Sync Tool を使用して、オンプレミスのシステムから
BI Cloud Service へのデータ連携を行い、BI Cloud Service でのデータ利用を柔軟に行う事が出来ます。

Oracle BI Cloud Service Data syncクイックスタート短編

Recommended

Recommended

More Related Content

Similar to Oracle BI Cloud Service Data syncクイックスタート短編

Similar to Oracle BI Cloud Service Data syncクイックスタート短編 (20)