SlideShare a Scribd company logo
1 of 65
Download to read offline
© 2015 IBM Corporation
dashDBへのデータロード方法ご紹介資料
2015年10月
© 2015 IBM Corporation2
本資料掲載事項は、ある特定の環境・使用状況においての正確性がIBMによって確認されていますが、すべての環境において同様の結果が得られる保証は
ありません。これらの技術を自身の環境に適用する際には、自己の責任において十分な検証と確認を実施いただくことをお奨めいたします。
© 2015 IBM Corporation3
本資料について
本資料はIBM BlueMixのデータ分析サービスの1つであるdashDB(クラウドデータウェアハウスサービス)に
データをロードするための各種方法についてガイドしています。
dashDBをはじめて使用する方は下記Webサイトの記事を参考ください。
dashDB概要 : URL
さわってみようdashDB:
http://www.ibm.com/developerworks/jp/data/library/dashdb/dm-dashdb1-bluemix/
IBM Bluemix : https://console.ng.bluemix.net/
IBM Bluemix developerWorks: http://www.ibm.com/developerworks/jp/bluemix/
© 2015 IBM Corporation4
dashDBへのデータロード方法
この資料では以下のデータロード方法をご紹介します
 Load from Desktop
 Load from Cloud(SoftLayer Object Storage/Amazon S3)
 Load with DataWorks
 Synchronizing data from Cloudant database
 Load from GeoSpacial
また、参考として、以下のデータロード方法もご紹介いたします。
 リモートからのDB2 LOADコマンド
 DataStage
© 2015 IBM Corporation5
元データは
どのような形で
保存していますか?
Sync from
Cloudant
(p.46へ)
ファイルの形式は?
Cloudant
ファイル
Load with
DataWorks
(p.38へ)
各種DB
シェープファイル
(地理情報)
Load Geospatial
(p.53へ)
XLSファイル Load from
Desktop
(p.6へ)
Load from Cloud
(p.9へ)
いいえ
区切り記号付き
テキストファイル
(CSV)
はい
dashDBへのデータロード方法選択基準
ファイルサイズは
20MB以下?
区切り文字形式の
データにエクスポート
可能?
はい
いいえ
© 2015 IBM Corporation6
Load from Desktop
デスクトップのローカルファイルからのデータロード
© 2015 IBM Corporation7
Load from desktop(1/2)
 20 MB以下のファイルであれば、デスクトップからの
ローカルファイルのアップロードを推奨します
 dashDBへアップロードするローカルファイルのサイズに制限はありませんが、
100 MBを超えるファイルをアップロードする際には、プロンプトが表示されます
大きなファイルをローカルからアップロードするのは時間がかかります。アップロードの時間を短
縮したい場合にはdashDB Scheduled Load featureの使用を推奨します(後述)。
これにより、IBM SoftlayerのObject StorageをはじめとするSwiftによるオブジェクトスト
レージ上からのデータのロードが可能になります。
 dashDBコンソールの「Load -> Load from Desktop」からご利用ください
 サポートされているファイル形式: Excelスプレッドシート, 区切り記号付きASCII (CSV)
 既存の表にロードすることも、ロードの過程で新しい表を作成しロードすることもできます
© 2015 IBM Corporation8
Load from desktop(2/2)
© 2015 IBM Corporation9
Load from Cloud
オブジェクト・ストレージ(Swift)を用いたデータのロード
© 2015 IBM Corporation10
Load from Cloud
 dashDBでは、クラウドストレージサービスを使用してロードをすることが出来ます。これにより、
比較的大きなデータでも時間をかけずにロードすることが出来ます。
 次ページ以降で、クラウドストレージサービスを利用するロード方法として、以下を紹介します。
 Softlayer Object Storage
• moveToCloudスクリプトを使用しない方法
• moveToCloudスクリプトを使用する方法(5GBを超える場合推奨)
 Amazon S3
• moveToCloudスクリプトを使用しない方法
• moveToCloudスクリプトを使用する方法(5GBを超える場合推奨)
© 2015 IBM Corporation11
SoftLayer Object Storageへのファイルのアップロード
 5 GBまでのファイルはデスクトップから
Softlayer Object Storageの
コンソールを使ってアップロード出来ます
 様々なサード・パーティのコマンドライン/GUIツールで
アップロードすることもできます(後述)
 例: CloudBerry Explorer for OpenStack Storage
• http://www.cloudberrylab.com/
free-openstack-storage-explorer.aspx
 5 GBを超えるファイルはdashDBが提供している
moveToCloudスクリプトを使用してください
CloudBerry Explorerでの
新規アカウント接続の例
© 2015 IBM Corporation12
SoftLayer Object Storageを使用したデータロード方法
(moveToCloudスクリプトを使用しない場合)
SoftLayerアカウント作成、Object Storage使用開始
SoftLayer オブジェクトストレージ認証情報取得
CloudBerryツールを使用したSoftLayerオブジェクトストレージへの転送先設定
CloudBerryツールを使用したSoftLayerオブジェクトストレージへのデータ転送
SoftLayer Object Storage から dashDBへのロード
1
2
3
4
5
© 2015 IBM Corporation13
SoftLayerアカウント作成、使用するDCを選択、転送フォルダを作成する1
2. SoftLayer ポータルサイトにログインします。
https://control.softlayer.com/
1.SoftLayer Object Storageオーダー画面にアクセス
https://www.softlayer.com/Store/orderService/objectStorage
ユーザー登録情報(クレジットカード情報含む)を入力し
情報を送信。数時間後にはアカウントが作成されます。
【 SoftLayer Object Storage 価格設定 】
Dallas 5 (dal05)の場合
データ容量課金 月額 $0.04/GB
データ転送課金(送信のみ) 月額 $0.09/GB
(オブジェクトストレージは上記に使用量に応じての課金のため
ユーザー登録時点では費用は発生しません。)
3. ユーザー登録後に通知されるSoftLayer IDと
パスワードを使用してポータルサイトにログインします。
1
2
3
© 2015 IBM Corporation14
SoftLayer オブジェクトストレージ認証情報取得2
1.SoftLayerポータル画面にて「Sotrage」タブの
「Object Storage」をクリックします。
2.Data Centerを選択する画面で
任意のDCをクリックします。(例:Dallas5を選択)
3.Dallas5 Object Storageのメイン画面にて
「View Credentials」をクリックします
1 2
3 4
4.Account Credetials画面で下記3つの
情報を保存しておきます。
© 2015 IBM Corporation15
3
1.下記URLからCloud Berryツールをダウンロードします。
http://www.cloudberrylab.com/free-amazon-s3-explorer-
cloudfront-IAM.aspx
3.Add New Software Storageの画面にて②で保存したAccount Credetialsの情報をインプットします。
3
1
2. Cloud Berry Explorerの左側のウィンドウを自分の
PC, 右側をクラウド環境として設定を行います。
「File」タブ ⇒ 「New SoftLayer Account」 をクリック。「CloudBerry Explorer FREEWARE」をクリック⇒
DownLoadの実行
2
Display Name : 任意 (例 :SoftLayer Dalas Storage )
User Name : SLOS718753-2:XXXXXXX
API Key : XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
Authentication Services: https://dal05.objectstorage.softlayer.net/auth/v1.0
Acount Location : USDalas
Key Stone Version : Don't use
「Test Connection」 の実行をクリック⇒
接続が問題ないことを確認してファイル転送ターゲット先として指定する。
CloudBerryツールを使用したSoftLayerオブジェクトストレージへの転送先設定の実施
© 2015 IBM Corporation16
CloudBerryツールを使用したSoftLayerオブジェクトストレージへの転送5
1.左側ウィンドウ(Source側)転送したファイルが存在するフォルダ右側ウィンドウ(Target側) 転送先フォルダを指定します。
(SoftLayer Object Storage側にフォルダを作成する場合はObject Storage画面の「add container」をクリック
して任意のフォルダを作成しておきます。)
1
ドラックアンドドロップでファイル転送を開始
← 転送先はdallas
↓ 進行中のファイル転送速度が下のバーに表示される。(5.8MB/sec)
© 2015 IBM Corporation17
SoftLayer Object Storage から dashDBへのデータ転送実施(1)5
1.dashDB Webコンソールにログインを行い、左側タブ「Load」 ⇒ 「Load from Cloud」をクリックします。
← Swift file system を選択
dallas05を選択
Account Credentials
情報を記入。
Browse Swift Filesクリック
Load対象のファイルを選択。
(複数選択可能)
CSVファイルの区切り文字を指定
CSVファイルの文字コードを指定
(デフォルトUNICODE)
Date型/time型のフォーマット指定(必要な場合指定)
1
2
3
4
5
6
7
© 2015 IBM Corporation18
SoftLayer Object Storage から dashDBへのデータ転送実施(2)5
2. 「Select Tables」タブにてロード先のスキーマ、テーブルを指定します。
ロード先対象表を選択
(列定義情報の確認が
可能です。)
ロード先対象
スキーマを選択
追加データロード もしくは既存データを
削除後にロードするかどちらかを選択。
1
2
3
© 2015 IBM Corporation19
SoftLayer Object Storage から dashDBへのデータ転送実施(3)5
3. 「schedule」タブにて即時実行(RUN NOW)もしくはSchedule for later (後で実行)を選択
4. 「set notifications」タブにて必要な情報を入力後、「Finish」を選択してロードを開始します。
個別に通知が必要な
連絡先を指定
どちらかを選択。Schedule for Laterを選択すると時間を指定できる。1
2
© 2015 IBM Corporation20
SoftLayer Object Storage から dashDBへのデータ転送実施(4)5
5. 「Finish」クリック後はロード進捗を確認することが可能
ロード進捗状況の確認
6. 「Status and history」タブにてロード実行状況を確認可能。終了後は実行ログ詳細を確認することが可能。
7.ロードが完了するとPercent Completeが100%となり、End timeが表示されます。本ロードは2.8GBファイルの
PARTSUPP表への初回ロードのため、2分32秒で完了しています。(約18.8MB/sec)。
以上でSoftLayer Object Storageを使用したdashDBへのロードは完了です。
© 2015 IBM Corporation21
SoftLayer Object Storage から dashDBへのデータ転送実施(5)5
8.警告やエラーが発生しているようなケースでは、個別ロードごとに詳細なログからエラー内容の確認が
可能です。(「Viewing Log in browserをクリック」)
特定ジョブレコードをクリック⇒Viewing Log in browserをクリック
1
2
3
詳細ログから
SQL3107Cがメッセージとして
存在していることを確認できる。
© 2015 IBM Corporation22
Softlayer Object Storage+moveToCloudスクリプトを使用した
データロード方法
 このスクリプトは、SoftLayer Object Storage (Swift) やAmazon S3へのファイルアップロードの際に使
用することが出来ます
 スクリプトを実行すると、入力ファイルをgzipで圧縮し、大きなファイルは分割してアップロードします
 分割されたファイルは並列してアップロードを行います
 分割されたファイルはdashDBへデータをロードする際に再統合されます
 スクリプトの前提条件
 UNIX or Linux
 Perl (version 5.10以上)
 cURL
 gzip
 圧縮時のスレッド数、一時ディレクトリのロケーション、複数ファイルのバッチロードなどを指定できます
 スクリプトはdashDB Knowledge Centerからダウンロード出来ます
 http://www-01.ibm.com/support/knowledgecenter/SS6NHC/
com.ibm.swg.im.dashdb.console.doc/moveToCloud.zip
© 2015 IBM Corporation23
moveToCloud例: SoftLayer Object Storage(1/2)
例: Dallasのロケーションに作成したObeject StorageのdashDBdata1というコンテナに
largeFile.csvというファイルをアップロードする
1.SoflayerのObject Storageからusernameとpassword(APIキー)を確認し、以下のよ
うな認証ファイル(credentials.txt)を作成する
2.Object Storageとの接続テストと、moveToCloudスクリプトの前提条件の確認するために、
以下のコマンドで実行する
moveToCloud.pl -test
-target softlayer::https://dal05.objectstorage.softlayer.net/auth/v1.0::dashDBdata1::/largeFile
-creds credentials.txt
© 2015 IBM Corporation24
moveToCloud例: SoftLayer Object Storage(2/2)
3. ファイルをアップロードする
 アップロードが完了すると、分割・圧縮されたファイルがObject Storageのコンテナに作成され
ます
 largeFile.gz
 largeFile.gz.parts/largeFile.gz_###
• ファイルの数は、アップロードするファイルのサイズにより決まります
 分割されたファイルは、dashDBにロードする際に自動的にSoftlayer上で再統合されます
moveToCloud.pl -source largeFile.csv
-target softlayer::https://dal05.objectstorage.softlayer.net/auth/v1.0::dashDBdata1::/largeFile
-creds credentials.txt
© 2015 IBM Corporation25
Amazon S3へのファイルのアップロード
 Amazon S3のコンソールを使用することで、デスクトップから直接ファイルをアップロードできます
 アップロードする際には各種ユーティリティを
使用する事が出来ます
 例:S3 Browser
•http://s3browser.com/download.php
 moveToCloudスクリプトはSoftlayer Object Storageだけでなく、Amazon S3にファイル
をアップロードする際にも使用できます
 基本的なアップロードの方法は同じですが、認証情報やターゲット情報の入力で異なる部分
があります
© 2015 IBM Corporation26
AWS S3を使用したデータロード方法
(moveToCloudスクリプトを使用しない場合)
AWS アカウント作成、S3バケットの作成
AWS S3 セキュリティ認証情報取得
AWS S3 Webインターフェイスを使用したデータアップロード
AWS S3 から dashDBへのデータロード
1
2
3
4
© 2015 IBM Corporation27
AWS アカウント作成、S3サービスの開始1
1.AWSアカウント作成画面にアクセスし、ユーザー登録をおこないます。 AWSログインサイト先
AWSのログイン作成方法はこちらのリンク先を参照ください。
AWSアカウント作成の流れ : https://aws.amazon.com/jp/register-flow/
※ユーザー登録情報(クレジットカード情報含む)を入力し情報を送信。数時間後にはアカウントが作成されます。
参考AWS S3 価格設定についてはこちらを参照ください。
https://aws.amazon.com/jp/s3/pricing/
2.作成したアカウントのID、パスワードでAWSコンソールにログイン後、「S3」を選択します。
1 2
© 2015 IBM Corporation28
AWS S3上の任意のリージョンにバケットを作成する.(例:Tokyo DC)1
1. S3コンソール画面にて「バケットを作成」を選択。 2.バケット名とリージョン(データセンター場所)を記入
3.バケット作成完了後、作成したバケットをクリック 4. バケット作成完了後、作成したバケットをクリック
1 2
3 4
© 2015 IBM Corporation29
AWS S3 セキュリティ認証情報取得2
1. AWSサービス画面にて「IAM」をクリック 2. ユーザを選択し、自分のユーザー名部分をクリック
1 2
3.アクセスキー部分の「create Access key」をクリック3 4.認証情報をダウンロードして必要な情報を取得します。
4
© 2015 IBM Corporation30
AWS S3 Webインターフェイスを使用したデータアップロード3
1.作成したバケット(例:e33119)をクリックした画面で
「アップロード」を選択します。
1
2.ファイルとフォルダの選択画面にて「ファイルを追加する」
をクリック。アップロードしたいファイルを追加します。
2
3.オプションですが、詳細設定画面にてストレージのタイプ
を選択できます。(ストレージ種類に応じてコスト、SLAが異なります。)
3
標準冗長化ストレージ
http://aws.amazon.com/jp/s3/pricing/
低冗長化ストレージ
http://aws.amazon.com/jp/s3/reduced-redundancy
4.アップロードファイルを選定した後、「アップロード」ボタンを
クリックしてファイル転送を開始します。
4
© 2015 IBM Corporation31
AWS S3 から dashDBへのデータロード(1)4
1. dashDB Webコンソールにログインを行い、左側タブ「Load」 ⇒ 「Load from Cloud」をクリックします。
AWS S3を選択
Asia Pacific(Tokyo)を選択
Account Credentials
情報を記入。
1
2
3
CSVファイルの区切り文字を指定
CSVファイルの文字コードを指定
(デフォルトUNICODE)
Date型/time型のフォーマット指定(必要な場合指定)
5
6
7
Browse S3 Filesクリック
Load対象ファイルを選択。
(複数選択可能)
4
© 2015 IBM Corporation32
4
2. 「Select Tables」タブにてロード先のスキーマ、テーブルを指定します。
ロード先対象表を選択
(列定義情報の確認が
可能です。)
ロード先対象
スキーマを選択
追加データロード もしくは既存データを
削除後にロードするかどちらかを選択。
1
2
3
AWS S3 から dashDBへのデータロード(2)
© 2015 IBM Corporation33
3. 「schedule」タブにて即時実行(RUN NOW)もしくはSchedule for later (後で実行)を選択
4. 「set notifications」タブにて必要な情報を入力後、「Finish」を選択してロードを開始します。
個別に通知が必要な
連絡先を指定
どちらかを選択。Schedule for Laterを選択すると時間を指定できる。1
2
4 AWS S3 から dashDBへのデータロード(3)
© 2015 IBM Corporation34
5. 「Finish」クリック後はロード進捗を確認することが可能
ロード進捗状況の確認
6. 「Status and history」タブにてロード実行状況を確認可能。終了後は実行ログ詳細を確認することが可能。
7.ロードが完了するとPercent Completeが100%となり、End timeが表示されます。本ロードは2.8GBファイルの
PARTSUPP表への初回ロードのため、2分32秒で完了しています。(約18.8MB/sec)。
以上でSoftLayer Object Storageを使用したdashDBへのロードは完了です。
4 AWS S3 から dashDBへのデータロード(4)
© 2015 IBM Corporation35
8.警告やエラーが発生しているようなケースでは、個別ロードごとに詳細なログからエラー内容の確認が
可能です。(「Viewing Log in browserをクリック」)
特定ジョブレコードをクリック⇒Viewing Log in browserをクリック
1
2
3
詳細ログから
SQL3107Cがメッセージとして
存在していることを確認できる。
4 AWS S3 から dashDBへのデータロード(5)
© 2015 IBM Corporation36
moveToCloud例 – Amazon S3(1/2)
Example: Amazon S3のUS West-2にあるストレージのdashdb-loadfilesというバ
ケットにlargeFile.csvというファイルをアップロードする
1.Amazon S3のaccess key IDとsecret access keyを確認し、以下のように
s3credentials.txtという認証ファイルを作成する
2.Amazon S3への接続テストと、moveToCloudの前提条件を確認するために、以下のコマ
ンドを実行する
moveToCloud.pl -test
-target s3::https://s3-us-west-2.amazonaws.com::dashdb-
loadfiles::/largeFile
-creds s3credentials.txt
© 2015 IBM Corporation37
moveToCloud例 – Amazon S3(2/2)
3. ファイルをアップロードする
 アップロードが完了すると、分割・圧縮されたファイルがAmazon S3のコンテナに作成されます
 largeFile.gz
 largeFile.gz.parts/largeFile.gz_###
• ファイルの数は、アップロードするファイルのサイズにより決まります
 分割されたファイルは、dashDBにロードする際に自動的にSoftlayer上で再統合されます
moveToCloud.pl -source largeFile.csv
-target s3::https://s3-us-west-2.amazonaws.com::dashdb-loadfiles::/largeFile
-creds s3credentials.txt
© 2015 IBM Corporation38
Load with DataWorks
クラウド上のETLサービスを使用
© 2015 IBM Corporation39
IBM DataWorksとは
 DataWorksとは、クラウド・ベースのETLツールです
 現在、パブリック・クラウドのIBM Bluemix上から無料で使用できます
 各種APIとDataWorksサービスを含めたアプリケーション開発ツールを提供しています
 オンプレミス、クラウドを問わず各種データソースをサポートしています
 DB2やdashDB以外にも様々なデータソースをサポートしています
 dashDBはターゲットのデータベースとしてサポートされています
 現在はデータのロードのみで、データの複製はサポートされていません
 内部的にはINSERTではなくLOADを使用しています
 DataWorksのAPIやサポートされているソース/ターゲットのシステムは以下でご確認ください
 http://www.ng.bluemix.net/docs/#services/dataworks1/index-
gentopic1.html
© 2015 IBM Corporation40
IBM DataWorks Forge
 クラウド・ベースで提供されるDataWorksのGUIツールで、データの閲覧、加工
クレンジングを行い、データの信頼性を高めます
 Bluemix上で無料で使用することが出来ます
 現在公開中のものはベータ版です
 DataWorksでサポートされるソース/ターゲットのシステムのうち、一部はDataWorks Forgeで
はサポートされません
 DB2、dashDBはソースデータベースとしてサポートされます
 dashDBはターゲットとしてもサポートされます
 ソース・システム、ターゲット・システム共に接続が定義されていなければなりません
 dashDBインスタンスへの接続情報は、dashDBコンソールの「Connect -> Connection
Settings」から確認できます(前述)
 次ページ以降では、dashDBから別のdashDBへデータを移行する例をご紹介します
© 2015 IBM Corporation41
IBM DataWorks Forgeを使用したロード(1/5)
 データをコピーする際に使用するデータ・ソースを選択します
 新しい接続を定義する、もしくは以前に作成した接続のリストから使用する接続を選んでくだ
さい
データ・ソースとして使用したい
システムを選んでください
選択したデータ・ソースへの接続を追加
してください
一度定義したソース・システムの接続
を使用する場合は、ここから選んで
ください
© 2015 IBM Corporation42
IBM DataWorks Forgeを使用したロード(2/5)
 dashDBへの接続情報を入力し、
「Connect」をクリックしてください
 ソース・システムのどの表をロードするのかを
選んでください
(オプションでロードする列を選択することも
出来ます)
 最後に「Complete」をクリックしてください
© 2015 IBM Corporation43
IBM DataWorks Forgeを使用したロード(3/5)
 オプションで、先ほど追加したデータに結合するデータ・セットを選択出来ます
 「Shape」をクリックすることで、データを加工することが出来ます
 全て選択・入力し終えたら、「Copy」をクリックしてください
© 2015 IBM Corporation44
IBM DataWorks Forgeを使用したロード(4/5)
 ターゲット・システムを選んでください
 新しい接続を作成するか、過去に作成した接続を選んでください
 ターゲット・システムに接続し、ターゲット・システムのスキーマを選択してください
 ソース側の表と同じ名前の表が、ターゲット側の選択したスキーマの下に作成されます
• 現在は、別の表名を定義することは出来ません
 現在存在するデータを上書きするかどうかを選択してください
© 2015 IBM Corporation45
IBM DataWorks Forgeを使用したロード(5/5)
 データ・コピーを実行する前に、アクティビティ名とその詳細を入力してください
 アクティビティの状態をモニタリング出来ます
© 2015 IBM Corporation46
Sync from Cloudant
JSON形式のNoSQLデータベースとの同期
© 2015 IBM Corporation47
Sync from Cloudant
 CloudantとdashDBのデータを同期させるには2つの方法があります
1.dashDBのコンソールから、Cloudantのデータベースを指定し、同期を開始する
2.Cloudantのコンソールから、dashDBのインスタンスを作成する
 上記どちらの方法でも、Cloudant側のデータに変更があった場合に、その内容を常にdashDB
に反映させるように設定することも出来ます
 Schema Discovery Process (SDP)と呼ばれるプロセスがCloudantのJSONドキュメントを
元にしてリレーショナル型のスキーマを生成します
© 2015 IBM Corporation48
Cloudantから既存のdashDBへのデータの同期(1/2)
 CloudantデータベースからdashDBの表への一方向かつ継続的な同期
 Cloudantのデータベースに変更があった場合、自動でdashDBに同期させます
 dashDBコンソールの「Load -> Sync from Cloudant」からご利用ください
 Cloudant環境について、以下の情報が必要になります
 CloudantデータベースのURL
• https://<cloudantUserid>.cloudant.com/<databaseName>
 CloudantアカウントのUseridとPassword
 「Table name prefix」の値は、新しく作成される表の名前になります
 ここで指定した値の表にデータが格納されます
 上記の表に付随して、同期に失敗したデータを格納するためのオーバーフロー表も作成されま
す
© 2015 IBM Corporation49
CloudantからdashDBへのデータの同期(2/2)
© 2015 IBM Corporation50
Cloudantから新規にdashDBのインスタンスを作成(1/4)
 Cloudantコンソールから、1つもしくは複数のCloudantデータベースをソースとしてdashDBイン
スタンスを作成しデータを同期させることが出来ます。
 各CloudantデータベースはdashDB内の1つの表に対し同期を行います (同期される
dashDBの表に対し、同期に失敗したデータを格納するオーバーフロー表も作成されます)
 Bluemixアカウント内に新しいdashDBのインスタンスを作成します。
 Bluemixアカウントに紐付いているIBM IDとpasswordが必要になります。
 現在はdashDBのEntry planのみサポートされています。
 ユーザが、Bluemixサービスの上限まで使用していた場合、正常に作動しません。
 作成されるdashDBのインスタンス名は以下のようになります
• <cloudantUserid>_Cloudant_<number>
 同期はCloudantデータベースからdashDB表への一方向同期が継続的に行われます。
 Cloudantデータベースのデータに変更があった場合、dashDBの表に自動的に同期が行わ
れます。
© 2015 IBM Corporation51
Cloudantから新規にdashDBのインスタンスを作成(3/4)
 同期を行うCloudantデータベースの名前を1つも
しくは複数入力して下さい
 各Cloudantデータベースはそれぞれが専用の
表をdashDB内に持つことになります (同期さ
れる表にはオーバーフロー表も付随します)
 Bluemixアカウントに紐づくIBM IDとpassword
を入力して下さい。
 入力し終わったら「Create Warehouse」をクリッ
クして下さい。
© 2015 IBM Corporation52
CloudantからdashDBのインスタンスを作成(4/4)
 dashDBを立ち上げるために、「Visit warehouse」を
クリックして下さい。
 ここでのActivityはBluemixに記録され、Bluemix
上に新たにサービスが立ち上がります
• 作成されるdashDB サービスの名前は以下のよ
うになります
<cloudantUserid>_Cloudant_<numbe
r>
 ここまで行うと、分析を行うための表がdashDB内で使
用可能になります。
© 2015 IBM Corporation53
Load from Geospatial
地理情報データ(シェープファイル)のロード
© 2015 IBM Corporation54
Load from GeoSpacial
 dashDBでは、地理情報の可視化・分析に一般的に使用されているシェープファイルを格納・参照するこ
とが出来ます。
 次ページ以降で、シェープファイルをdashDBに格納する手順をご紹介します。
 詳細についてはdashDBのマニュアルをご参照ください。
 地理情報のロード:http://www-
01.ibm.com/support/knowledgecenter/SS6NHC/com.ibm.swg.im.dashdb.doc/l
earn_how/loaddata_gsdata.html?lang=en
 地理情報の分析:http://www-
01.ibm.com/support/knowledgecenter/SS6NHC/com.ibm.swg.im.dashdb.doc/l
earn_how/geospatial_overview.html?lang=en
© 2015 IBM Corporation55
Load from Geospatial手順(1/6)
1. シェープファイルを圧縮して1つのファイルにまとめます。その際、以下に注意して下さい。
- サポートされるファイルは以下になります
- 圧縮ファイルとしてサポートされるのは以下の拡張子のものです
・tar.gz
・tar
・zip
- 各ファイルの名前を統一してから圧縮して下さい(ex. geodata.shp, geodata.dbf)
拡張子 内容 アップロード時に必須かどうか
.shp 図形の形状、座標 必須
.dbf 図形の属性 必須
.shx .shpのインデックス オプション
.prj 座標系や投影法 オプション
© 2015 IBM Corporation56
Load from Geospatial手順(2/6)
2. dashDB Webコンソールにログインを行い、左側タブ「Load」 ⇒ 「Load from Cloud」をクリックします。
© 2015 IBM Corporation57
Load from Geospatial手順(3/6)
3. アップロードしたい圧縮ファイルを選択してください
アップロードが完了すると、右のような画面
になります。右下の「Next」をクリックしてく
ださい
「Browse files」から圧縮ファイルを選択
して「Next」をクリックしてください
© 2015 IBM Corporation58
4. 地理情報をロードする表を決定して下さい
Load from Geospatial手順(4/6)
既に作成されている表にデータを追加する場合: 「Append to existing table」
新たに表を作成する場合: 「Create a new table and load」
を選択して、右下の「Next」をクリックしてください
© 2015 IBM Corporation59
5. 表の情報を入力して下さい
Load from Geospatial手順(5/6)
既存の表にデータをロードする場合
「Append to existing table」を選択した場合、一覧の中からデータを格納したい表
を選択して「Next」をクリックしてください
© 2015 IBM Corporation60
5. 表の情報を入力して下さい
Load from Geospatial手順(5/6)
新規に表を作成し、データをロードする場合
「Create a new table and load」を選択した場合、
表の名前を入力して「Next」をクリックしてください
シェープファイルで使用したい空間参照系を選択して下さい
選択したいものが無ければ、「Add」をクリックして必要な空
間参照系を追加して下さい
選択し終えたら「Finish」をクリックしてください
© 2015 IBM Corporation61
6. 以下のような画面が表示されたら、ロードは完了です
Load from Geospatial手順(6/6)
© 2015 IBM Corporation62
参考情報
その他のロード方法
© 2015 IBM Corporation63
DB2クライアント接続からのLOADコマンド
 DB2クライアントからdashDBのデータベースに接続し、LOADを実行します
 LOAD実行の前に、dashDBの接続情報をDB2クライアントにカタログする必要があります
 コマンドはローカルのサーバ内にソース・ファイルがあることを前提としています。そのため、ファイル名
は絶対パスで指定して下さい。
• 例: C:¥DataFile.csv or /home/user1/datafile.csv
db2 "load client from C:¥Data¥DataFile.csv OF DEL
INSERT INTO TABLE1”
© 2015 IBM Corporation64
IBM InfoSphere DataStageを使用したデータのロード
 DataStageは、通常のDB2コネクターを使用してdashDBに接続することが出来ます
 dashDBインスタンスとターゲット表にアクセスするためのDataStageの構成は、オンプ
レミスのDB2にデータをロードする場合と同じです
 構成の詳細はKnowledge Centerでご確認ください
 http://www-01.ibm.com/support/knowledgecenter/SS6NHC/
com.ibm.swg.im.dashdb.doc/learn_how/loaddata_datastage.html
© 2015 IBM Corporation65

More Related Content

What's hot

Azure VMware Solution by CloudSimple 概要
Azure VMware Solution by CloudSimple 概要Azure VMware Solution by CloudSimple 概要
Azure VMware Solution by CloudSimple 概要Takamasa Maejima
 
Windows Virtual Desktop 解説
Windows Virtual Desktop 解説Windows Virtual Desktop 解説
Windows Virtual Desktop 解説Takashi Ushigami
 
WVD (Windows Virtual Desktop) 概要
WVD (Windows Virtual Desktop) 概要WVD (Windows Virtual Desktop) 概要
WVD (Windows Virtual Desktop) 概要Takamasa Maejima
 
Azure VMware Solution (AVS) 概要 (2019年11月版)
Azure VMware Solution (AVS) 概要  (2019年11月版) Azure VMware Solution (AVS) 概要  (2019年11月版)
Azure VMware Solution (AVS) 概要 (2019年11月版) Takamasa Maejima
 
仮想化・クラウドをよりよく活用する4つのヒント【AXIES2021】
仮想化・クラウドをよりよく活用する4つのヒント【AXIES2021】仮想化・クラウドをよりよく活用する4つのヒント【AXIES2021】
仮想化・クラウドをよりよく活用する4つのヒント【AXIES2021】株式会社クライム
 
Service Fabric での高密度配置
 Service Fabric での高密度配置 Service Fabric での高密度配置
Service Fabric での高密度配置Takekazu Omi
 
Sql server 2016 always on 可用性グループ new features
Sql server 2016 always on 可用性グループ new featuresSql server 2016 always on 可用性グループ new features
Sql server 2016 always on 可用性グループ new featuresMasayuki Ozawa
 
【クラウド連携セミナー Azure編】クラウドへの「移行」+「データ保護」ソリューション紹介
【クラウド連携セミナー Azure編】クラウドへの「移行」+「データ保護」ソリューション紹介【クラウド連携セミナー Azure編】クラウドへの「移行」+「データ保護」ソリューション紹介
【クラウド連携セミナー Azure編】クラウドへの「移行」+「データ保護」ソリューション紹介株式会社クライム
 
【クラウド連携セミナー GCP編】クラウドへの「移行」+「データ保護」ソリューション紹介
【クラウド連携セミナー GCP編】クラウドへの「移行」+「データ保護」ソリューション紹介【クラウド連携セミナー GCP編】クラウドへの「移行」+「データ保護」ソリューション紹介
【クラウド連携セミナー GCP編】クラウドへの「移行」+「データ保護」ソリューション紹介株式会社クライム
 
確実な再起動からはじめる クラウドネイティブオペレーション
確実な再起動からはじめる クラウドネイティブオペレーション確実な再起動からはじめる クラウドネイティブオペレーション
確実な再起動からはじめる クラウドネイティブオペレーションToru Makabe
 
Windows Admin Center -Project Honolulu改め-
Windows Admin Center -Project Honolulu改め-Windows Admin Center -Project Honolulu改め-
Windows Admin Center -Project Honolulu改め-Norio Sashizaki
 
もうはじまっている ”クラウド ファースト VDI” ~ 一問一答形式で Citrix on Azure を徹底解説! ~
もうはじまっている ”クラウド ファースト VDI” ~ 一問一答形式で Citrix on Azure を徹底解説! ~もうはじまっている ”クラウド ファースト VDI” ~ 一問一答形式で Citrix on Azure を徹底解説! ~
もうはじまっている ”クラウド ファースト VDI” ~ 一問一答形式で Citrix on Azure を徹底解説! ~Takamasa Maejima
 
[簡易提案書] Windows Server2019
[簡易提案書] Windows Server2019[簡易提案書] Windows Server2019
[簡易提案書] Windows Server2019Toshihiko Sawaki
 
Azure IaaS update (2018年5月版)
Azure IaaS update (2018年5月版)Azure IaaS update (2018年5月版)
Azure IaaS update (2018年5月版)Takamasa Maejima
 
20180630 interact2018 rev1
20180630 interact2018 rev120180630 interact2018 rev1
20180630 interact2018 rev1Takano Masaru
 
【検証してみた】いま話題のVMware on IBM Cloud SoftLayer 配布版
【検証してみた】いま話題のVMware on IBM Cloud SoftLayer 配布版【検証してみた】いま話題のVMware on IBM Cloud SoftLayer 配布版
【検証してみた】いま話題のVMware on IBM Cloud SoftLayer 配布版Hayama Kyouhei
 
ホスティッドプライベートクラウド勉強会 ~Azure Pack on SoftLayer ~
ホスティッドプライベートクラウド勉強会 ~Azure Pack on SoftLayer ~ホスティッドプライベートクラウド勉強会 ~Azure Pack on SoftLayer ~
ホスティッドプライベートクラウド勉強会 ~Azure Pack on SoftLayer ~Kimihiko Kitase
 
Citrix Cloud on Microsoft Azure 概要 (2018年3月版)
Citrix Cloud on Microsoft Azure 概要 (2018年3月版)Citrix Cloud on Microsoft Azure 概要 (2018年3月版)
Citrix Cloud on Microsoft Azure 概要 (2018年3月版)Takamasa Maejima
 
20140927 azure pack_slideshare
20140927 azure pack_slideshare20140927 azure pack_slideshare
20140927 azure pack_slideshareOsamu Takazoe
 
【クラウド連携セミナー AWS編】クラウドへの「移行」 + 「データ保護」ソリューション紹介
【クラウド連携セミナー AWS編】クラウドへの「移行」 + 「データ保護」ソリューション紹介【クラウド連携セミナー AWS編】クラウドへの「移行」 + 「データ保護」ソリューション紹介
【クラウド連携セミナー AWS編】クラウドへの「移行」 + 「データ保護」ソリューション紹介株式会社クライム
 

What's hot (20)

Azure VMware Solution by CloudSimple 概要
Azure VMware Solution by CloudSimple 概要Azure VMware Solution by CloudSimple 概要
Azure VMware Solution by CloudSimple 概要
 
Windows Virtual Desktop 解説
Windows Virtual Desktop 解説Windows Virtual Desktop 解説
Windows Virtual Desktop 解説
 
WVD (Windows Virtual Desktop) 概要
WVD (Windows Virtual Desktop) 概要WVD (Windows Virtual Desktop) 概要
WVD (Windows Virtual Desktop) 概要
 
Azure VMware Solution (AVS) 概要 (2019年11月版)
Azure VMware Solution (AVS) 概要  (2019年11月版) Azure VMware Solution (AVS) 概要  (2019年11月版)
Azure VMware Solution (AVS) 概要 (2019年11月版)
 
仮想化・クラウドをよりよく活用する4つのヒント【AXIES2021】
仮想化・クラウドをよりよく活用する4つのヒント【AXIES2021】仮想化・クラウドをよりよく活用する4つのヒント【AXIES2021】
仮想化・クラウドをよりよく活用する4つのヒント【AXIES2021】
 
Service Fabric での高密度配置
 Service Fabric での高密度配置 Service Fabric での高密度配置
Service Fabric での高密度配置
 
Sql server 2016 always on 可用性グループ new features
Sql server 2016 always on 可用性グループ new featuresSql server 2016 always on 可用性グループ new features
Sql server 2016 always on 可用性グループ new features
 
【クラウド連携セミナー Azure編】クラウドへの「移行」+「データ保護」ソリューション紹介
【クラウド連携セミナー Azure編】クラウドへの「移行」+「データ保護」ソリューション紹介【クラウド連携セミナー Azure編】クラウドへの「移行」+「データ保護」ソリューション紹介
【クラウド連携セミナー Azure編】クラウドへの「移行」+「データ保護」ソリューション紹介
 
【クラウド連携セミナー GCP編】クラウドへの「移行」+「データ保護」ソリューション紹介
【クラウド連携セミナー GCP編】クラウドへの「移行」+「データ保護」ソリューション紹介【クラウド連携セミナー GCP編】クラウドへの「移行」+「データ保護」ソリューション紹介
【クラウド連携セミナー GCP編】クラウドへの「移行」+「データ保護」ソリューション紹介
 
確実な再起動からはじめる クラウドネイティブオペレーション
確実な再起動からはじめる クラウドネイティブオペレーション確実な再起動からはじめる クラウドネイティブオペレーション
確実な再起動からはじめる クラウドネイティブオペレーション
 
Windows Admin Center -Project Honolulu改め-
Windows Admin Center -Project Honolulu改め-Windows Admin Center -Project Honolulu改め-
Windows Admin Center -Project Honolulu改め-
 
もうはじまっている ”クラウド ファースト VDI” ~ 一問一答形式で Citrix on Azure を徹底解説! ~
もうはじまっている ”クラウド ファースト VDI” ~ 一問一答形式で Citrix on Azure を徹底解説! ~もうはじまっている ”クラウド ファースト VDI” ~ 一問一答形式で Citrix on Azure を徹底解説! ~
もうはじまっている ”クラウド ファースト VDI” ~ 一問一答形式で Citrix on Azure を徹底解説! ~
 
[簡易提案書] Windows Server2019
[簡易提案書] Windows Server2019[簡易提案書] Windows Server2019
[簡易提案書] Windows Server2019
 
Azure IaaS update (2018年5月版)
Azure IaaS update (2018年5月版)Azure IaaS update (2018年5月版)
Azure IaaS update (2018年5月版)
 
20180630 interact2018 rev1
20180630 interact2018 rev120180630 interact2018 rev1
20180630 interact2018 rev1
 
【検証してみた】いま話題のVMware on IBM Cloud SoftLayer 配布版
【検証してみた】いま話題のVMware on IBM Cloud SoftLayer 配布版【検証してみた】いま話題のVMware on IBM Cloud SoftLayer 配布版
【検証してみた】いま話題のVMware on IBM Cloud SoftLayer 配布版
 
ホスティッドプライベートクラウド勉強会 ~Azure Pack on SoftLayer ~
ホスティッドプライベートクラウド勉強会 ~Azure Pack on SoftLayer ~ホスティッドプライベートクラウド勉強会 ~Azure Pack on SoftLayer ~
ホスティッドプライベートクラウド勉強会 ~Azure Pack on SoftLayer ~
 
Citrix Cloud on Microsoft Azure 概要 (2018年3月版)
Citrix Cloud on Microsoft Azure 概要 (2018年3月版)Citrix Cloud on Microsoft Azure 概要 (2018年3月版)
Citrix Cloud on Microsoft Azure 概要 (2018年3月版)
 
20140927 azure pack_slideshare
20140927 azure pack_slideshare20140927 azure pack_slideshare
20140927 azure pack_slideshare
 
【クラウド連携セミナー AWS編】クラウドへの「移行」 + 「データ保護」ソリューション紹介
【クラウド連携セミナー AWS編】クラウドへの「移行」 + 「データ保護」ソリューション紹介【クラウド連携セミナー AWS編】クラウドへの「移行」 + 「データ保護」ソリューション紹介
【クラウド連携セミナー AWS編】クラウドへの「移行」 + 「データ保護」ソリューション紹介
 

Viewers also liked

Bluemix hadoop beginners Guide part I
Bluemix hadoop beginners Guide part IBluemix hadoop beginners Guide part I
Bluemix hadoop beginners Guide part IJoseph Chang
 
OPEN SOURCE TECHNOLOGY: Docker Containers on IBM Bluemix
OPEN SOURCE TECHNOLOGY: Docker Containers on IBM BluemixOPEN SOURCE TECHNOLOGY: Docker Containers on IBM Bluemix
OPEN SOURCE TECHNOLOGY: Docker Containers on IBM BluemixDA SILVA, MBA
 
Spark streamingを使用したtwitter解析によるレコメンドサービス例
Spark streamingを使用したtwitter解析によるレコメンドサービス例Spark streamingを使用したtwitter解析によるレコメンドサービス例
Spark streamingを使用したtwitter解析によるレコメンドサービス例Junichi Noda
 
Is spark streaming based on reactive streams?
Is spark streaming based on reactive streams?Is spark streaming based on reactive streams?
Is spark streaming based on reactive streams?chibochibo
 
dashDB & R によるデータ分析 - In database Analytics 基礎編 -
dashDB & R によるデータ分析 - In database Analytics 基礎編 -dashDB & R によるデータ分析 - In database Analytics 基礎編 -
dashDB & R によるデータ分析 - In database Analytics 基礎編 -IBM Analytics Japan
 
IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)
IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)
IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)Akira Shimosako
 
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例Junichi Noda
 
Introducing dashDB MPP: The Power of Data Warehousing in the Cloud
Introducing dashDB MPP: The Power of Data Warehousing in the CloudIntroducing dashDB MPP: The Power of Data Warehousing in the Cloud
Introducing dashDB MPP: The Power of Data Warehousing in the CloudIBM Cloud Data Services
 
Spark Streamingを使ってみた ~Twitterリアルタイムトレンドランキング~
Spark Streamingを使ってみた ~Twitterリアルタイムトレンドランキング~Spark Streamingを使ってみた ~Twitterリアルタイムトレンドランキング~
Spark Streamingを使ってみた ~Twitterリアルタイムトレンドランキング~sugiyama koki
 
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Spark Streamingを活用したシステムの検証結果と設計時のノウハウSpark Streamingを活用したシステムの検証結果と設計時のノウハウ
Spark Streamingを活用したシステムの検証結果と設計時のノウハウFuture Of Data Japan
 
Amazon Elastic Transcoder(初心者向け 超速マスター編)JAWSUG大阪
Amazon Elastic Transcoder(初心者向け 超速マスター編)JAWSUG大阪Amazon Elastic Transcoder(初心者向け 超速マスター編)JAWSUG大阪
Amazon Elastic Transcoder(初心者向け 超速マスター編)JAWSUG大阪崇之 清水
 

Viewers also liked (12)

Bluemix hadoop beginners Guide part I
Bluemix hadoop beginners Guide part IBluemix hadoop beginners Guide part I
Bluemix hadoop beginners Guide part I
 
OPEN SOURCE TECHNOLOGY: Docker Containers on IBM Bluemix
OPEN SOURCE TECHNOLOGY: Docker Containers on IBM BluemixOPEN SOURCE TECHNOLOGY: Docker Containers on IBM Bluemix
OPEN SOURCE TECHNOLOGY: Docker Containers on IBM Bluemix
 
Spark streamingを使用したtwitter解析によるレコメンドサービス例
Spark streamingを使用したtwitter解析によるレコメンドサービス例Spark streamingを使用したtwitter解析によるレコメンドサービス例
Spark streamingを使用したtwitter解析によるレコメンドサービス例
 
Is spark streaming based on reactive streams?
Is spark streaming based on reactive streams?Is spark streaming based on reactive streams?
Is spark streaming based on reactive streams?
 
dashDB & R によるデータ分析 - In database Analytics 基礎編 -
dashDB & R によるデータ分析 - In database Analytics 基礎編 -dashDB & R によるデータ分析 - In database Analytics 基礎編 -
dashDB & R によるデータ分析 - In database Analytics 基礎編 -
 
IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)
IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)
IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)
 
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
 
IBM Containers- Bluemix
IBM Containers- BluemixIBM Containers- Bluemix
IBM Containers- Bluemix
 
Introducing dashDB MPP: The Power of Data Warehousing in the Cloud
Introducing dashDB MPP: The Power of Data Warehousing in the CloudIntroducing dashDB MPP: The Power of Data Warehousing in the Cloud
Introducing dashDB MPP: The Power of Data Warehousing in the Cloud
 
Spark Streamingを使ってみた ~Twitterリアルタイムトレンドランキング~
Spark Streamingを使ってみた ~Twitterリアルタイムトレンドランキング~Spark Streamingを使ってみた ~Twitterリアルタイムトレンドランキング~
Spark Streamingを使ってみた ~Twitterリアルタイムトレンドランキング~
 
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Spark Streamingを活用したシステムの検証結果と設計時のノウハウSpark Streamingを活用したシステムの検証結果と設計時のノウハウ
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
 
Amazon Elastic Transcoder(初心者向け 超速マスター編)JAWSUG大阪
Amazon Elastic Transcoder(初心者向け 超速マスター編)JAWSUG大阪Amazon Elastic Transcoder(初心者向け 超速マスター編)JAWSUG大阪
Amazon Elastic Transcoder(初心者向け 超速マスター編)JAWSUG大阪
 

Similar to dashDB データロード方法ガイド

トランザクションもDWHもクラウドで 2015年10月~IBM OnDemandセミナー
トランザクションもDWHもクラウドで 2015年10月~IBM OnDemandセミナートランザクションもDWHもクラウドで 2015年10月~IBM OnDemandセミナー
トランザクションもDWHもクラウドで 2015年10月~IBM OnDemandセミナーTakayuki Nakayama
 
Qlik ReplicateでAmazon Kinesis Data Streamsをターゲットとして使用する
Qlik ReplicateでAmazon Kinesis Data Streamsをターゲットとして使用するQlik ReplicateでAmazon Kinesis Data Streamsをターゲットとして使用する
Qlik ReplicateでAmazon Kinesis Data Streamsをターゲットとして使用するQlikPresalesJapan
 
Soft layer環境でのdb2構成ガイド
Soft layer環境でのdb2構成ガイドSoft layer環境でのdb2構成ガイド
Soft layer環境でのdb2構成ガイドjapan_db2
 
実践!AWSクラウドデザインパターン
実践!AWSクラウドデザインパターン実践!AWSクラウドデザインパターン
実践!AWSクラウドデザインパターンHiroyasu Suzuki
 
PHP開発者のためのNoSQL入門
PHP開発者のためのNoSQL入門PHP開発者のためのNoSQL入門
PHP開発者のためのNoSQL入門じゅん なかざ
 
Windows on aws最新情報
Windows on aws最新情報Windows on aws最新情報
Windows on aws最新情報Genta Watanabe
 
Amazon RDS/Azure SQL/Google Cloud SQL 対応DBが多様!異種DBへの移行・連携ならSyniti DR
Amazon RDS/Azure SQL/Google Cloud SQL 対応DBが多様!異種DBへの移行・連携ならSyniti DRAmazon RDS/Azure SQL/Google Cloud SQL 対応DBが多様!異種DBへの移行・連携ならSyniti DR
Amazon RDS/Azure SQL/Google Cloud SQL 対応DBが多様!異種DBへの移行・連携ならSyniti DR株式会社クライム
 
クラウドバイデフォルトは新しい日常で加速するハイブリッドクラウド、マルチクラウドデータ保護の最前線とコストの最適化
クラウドバイデフォルトは新しい日常で加速するハイブリッドクラウド、マルチクラウドデータ保護の最前線とコストの最適化クラウドバイデフォルトは新しい日常で加速するハイブリッドクラウド、マルチクラウドデータ保護の最前線とコストの最適化
クラウドバイデフォルトは新しい日常で加速するハイブリッドクラウド、マルチクラウドデータ保護の最前線とコストの最適化vxsejapan
 
既存システムへの新技術活用法 ~fluntd/MongoDB~
既存システムへの新技術活用法 ~fluntd/MongoDB~既存システムへの新技術活用法 ~fluntd/MongoDB~
既存システムへの新技術活用法 ~fluntd/MongoDB~じゅん なかざ
 
Db2 Warehouse on Cloud Flex テクニカルハンドブック 2020年3月版
Db2 Warehouse on Cloud Flex テクニカルハンドブック 2020年3月版Db2 Warehouse on Cloud Flex テクニカルハンドブック 2020年3月版
Db2 Warehouse on Cloud Flex テクニカルハンドブック 2020年3月版IBM Analytics Japan
 
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...Insight Technology, Inc.
 
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨Amazon Web Services Japan
 
AWSクラウドデザインパターン - JEITA講演 -
AWSクラウドデザインパターン - JEITA講演 - AWSクラウドデザインパターン - JEITA講演 -
AWSクラウドデザインパターン - JEITA講演 - SORACOM, INC
 
20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したことAmazon Web Services Japan
 
AWSとmod_pagespeedで 楽々サクサク高速化!!
AWSとmod_pagespeedで楽々サクサク高速化!!AWSとmod_pagespeedで楽々サクサク高速化!!
AWSとmod_pagespeedで 楽々サクサク高速化!!aasakawa
 
[20171019 三木会] データベース・マイグレーションについて by 株式会社シー・エス・イー 藤井 元雄 氏
[20171019 三木会] データベース・マイグレーションについて by 株式会社シー・エス・イー 藤井 元雄 氏[20171019 三木会] データベース・マイグレーションについて by 株式会社シー・エス・イー 藤井 元雄 氏
[20171019 三木会] データベース・マイグレーションについて by 株式会社シー・エス・イー 藤井 元雄 氏Insight Technology, Inc.
 
Azure上の データベース 機能の選び方。KVSからDWHまで
Azure上の データベース 機能の選び方。KVSからDWHまでAzure上の データベース 機能の選び方。KVSからDWHまで
Azure上の データベース 機能の選び方。KVSからDWHまでDaisuke Masubuchi
 
[AWSマイスターシリーズ] Amazon Redshift
[AWSマイスターシリーズ] Amazon Redshift[AWSマイスターシリーズ] Amazon Redshift
[AWSマイスターシリーズ] Amazon RedshiftAmazon Web Services Japan
 
AWSサービス 140+α ざっくり説明(2019年版)
AWSサービス 140+α ざっくり説明(2019年版)AWSサービス 140+α ざっくり説明(2019年版)
AWSサービス 140+α ざっくり説明(2019年版)Hiroyuki Numao
 

Similar to dashDB データロード方法ガイド (20)

トランザクションもDWHもクラウドで 2015年10月~IBM OnDemandセミナー
トランザクションもDWHもクラウドで 2015年10月~IBM OnDemandセミナートランザクションもDWHもクラウドで 2015年10月~IBM OnDemandセミナー
トランザクションもDWHもクラウドで 2015年10月~IBM OnDemandセミナー
 
Qlik ReplicateでAmazon Kinesis Data Streamsをターゲットとして使用する
Qlik ReplicateでAmazon Kinesis Data Streamsをターゲットとして使用するQlik ReplicateでAmazon Kinesis Data Streamsをターゲットとして使用する
Qlik ReplicateでAmazon Kinesis Data Streamsをターゲットとして使用する
 
Soft layer環境でのdb2構成ガイド
Soft layer環境でのdb2構成ガイドSoft layer環境でのdb2構成ガイド
Soft layer環境でのdb2構成ガイド
 
実践!AWSクラウドデザインパターン
実践!AWSクラウドデザインパターン実践!AWSクラウドデザインパターン
実践!AWSクラウドデザインパターン
 
PHP開発者のためのNoSQL入門
PHP開発者のためのNoSQL入門PHP開発者のためのNoSQL入門
PHP開発者のためのNoSQL入門
 
Windows on aws最新情報
Windows on aws最新情報Windows on aws最新情報
Windows on aws最新情報
 
20180216 sapporo techbar_db_migration
20180216 sapporo techbar_db_migration20180216 sapporo techbar_db_migration
20180216 sapporo techbar_db_migration
 
Amazon RDS/Azure SQL/Google Cloud SQL 対応DBが多様!異種DBへの移行・連携ならSyniti DR
Amazon RDS/Azure SQL/Google Cloud SQL 対応DBが多様!異種DBへの移行・連携ならSyniti DRAmazon RDS/Azure SQL/Google Cloud SQL 対応DBが多様!異種DBへの移行・連携ならSyniti DR
Amazon RDS/Azure SQL/Google Cloud SQL 対応DBが多様!異種DBへの移行・連携ならSyniti DR
 
クラウドバイデフォルトは新しい日常で加速するハイブリッドクラウド、マルチクラウドデータ保護の最前線とコストの最適化
クラウドバイデフォルトは新しい日常で加速するハイブリッドクラウド、マルチクラウドデータ保護の最前線とコストの最適化クラウドバイデフォルトは新しい日常で加速するハイブリッドクラウド、マルチクラウドデータ保護の最前線とコストの最適化
クラウドバイデフォルトは新しい日常で加速するハイブリッドクラウド、マルチクラウドデータ保護の最前線とコストの最適化
 
既存システムへの新技術活用法 ~fluntd/MongoDB~
既存システムへの新技術活用法 ~fluntd/MongoDB~既存システムへの新技術活用法 ~fluntd/MongoDB~
既存システムへの新技術活用法 ~fluntd/MongoDB~
 
Db2 Warehouse on Cloud Flex テクニカルハンドブック 2020年3月版
Db2 Warehouse on Cloud Flex テクニカルハンドブック 2020年3月版Db2 Warehouse on Cloud Flex テクニカルハンドブック 2020年3月版
Db2 Warehouse on Cloud Flex テクニカルハンドブック 2020年3月版
 
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
 
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
 
AWSクラウドデザインパターン - JEITA講演 -
AWSクラウドデザインパターン - JEITA講演 - AWSクラウドデザインパターン - JEITA講演 -
AWSクラウドデザインパターン - JEITA講演 -
 
20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと
 
AWSとmod_pagespeedで 楽々サクサク高速化!!
AWSとmod_pagespeedで楽々サクサク高速化!!AWSとmod_pagespeedで楽々サクサク高速化!!
AWSとmod_pagespeedで 楽々サクサク高速化!!
 
[20171019 三木会] データベース・マイグレーションについて by 株式会社シー・エス・イー 藤井 元雄 氏
[20171019 三木会] データベース・マイグレーションについて by 株式会社シー・エス・イー 藤井 元雄 氏[20171019 三木会] データベース・マイグレーションについて by 株式会社シー・エス・イー 藤井 元雄 氏
[20171019 三木会] データベース・マイグレーションについて by 株式会社シー・エス・イー 藤井 元雄 氏
 
Azure上の データベース 機能の選び方。KVSからDWHまで
Azure上の データベース 機能の選び方。KVSからDWHまでAzure上の データベース 機能の選び方。KVSからDWHまで
Azure上の データベース 機能の選び方。KVSからDWHまで
 
[AWSマイスターシリーズ] Amazon Redshift
[AWSマイスターシリーズ] Amazon Redshift[AWSマイスターシリーズ] Amazon Redshift
[AWSマイスターシリーズ] Amazon Redshift
 
AWSサービス 140+α ざっくり説明(2019年版)
AWSサービス 140+α ざっくり説明(2019年版)AWSサービス 140+α ざっくり説明(2019年版)
AWSサービス 140+α ざっくり説明(2019年版)
 

More from IBM Analytics Japan

Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介
Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介
Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介IBM Analytics Japan
 
Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日
Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日
Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日IBM Analytics Japan
 
Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版
Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版
Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版IBM Analytics Japan
 
Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104 Db2 Warehouse v3.0 Basic Operation G...
Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104  Db2 Warehouse v3.0 Basic Operation G...Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104  Db2 Warehouse v3.0 Basic Operation G...
Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104 Db2 Warehouse v3.0 Basic Operation G...IBM Analytics Japan
 
Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...
Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...
Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...IBM Analytics Japan
 
【jena X IBM】ビーコンを活用した働き方改革とは?
 【jena X IBM】ビーコンを活用した働き方改革とは? 【jena X IBM】ビーコンを活用した働き方改革とは?
【jena X IBM】ビーコンを活用した働き方改革とは?IBM Analytics Japan
 
IBM Integrated Analytics System DSX R Studio 利用ガイド
IBM Integrated Analytics System DSX R Studio 利用ガイドIBM Integrated Analytics System DSX R Studio 利用ガイド
IBM Integrated Analytics System DSX R Studio 利用ガイドIBM Analytics Japan
 
IBM Integrated Analytics System Webコンソール利用ガイド 20180213
IBM Integrated Analytics System Webコンソール利用ガイド 20180213IBM Integrated Analytics System Webコンソール利用ガイド 20180213
IBM Integrated Analytics System Webコンソール利用ガイド 20180213IBM Analytics Japan
 
IBM Integrated Analytics System ユーザー利用ガイド 20180213
IBM Integrated Analytics System ユーザー利用ガイド 20180213IBM Integrated Analytics System ユーザー利用ガイド 20180213
IBM Integrated Analytics System ユーザー利用ガイド 20180213IBM Analytics Japan
 
IBM Cloud を利用したデータ分析ことはじめ
IBM Cloud を利用したデータ分析ことはじめIBM Cloud を利用したデータ分析ことはじめ
IBM Cloud を利用したデータ分析ことはじめIBM Analytics Japan
 
Db2リブランディングと製品動向 201707
Db2リブランディングと製品動向 201707Db2リブランディングと製品動向 201707
Db2リブランディングと製品動向 201707IBM Analytics Japan
 
【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~
【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~
【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~IBM Analytics Japan
 
Db2 Warehouse セッション資料 db tech showcase
Db2 Warehouse セッション資料 db tech showcase Db2 Warehouse セッション資料 db tech showcase
Db2 Warehouse セッション資料 db tech showcase IBM Analytics Japan
 
Db2 Warehouse Spark利用ガイド チュートリアル編
Db2 Warehouse Spark利用ガイド チュートリアル編Db2 Warehouse Spark利用ガイド チュートリアル編
Db2 Warehouse Spark利用ガイド チュートリアル編IBM Analytics Japan
 
Db2 Warehouse Spark利用ガイド データ操作編
Db2 Warehouse Spark利用ガイド データ操作編Db2 Warehouse Spark利用ガイド データ操作編
Db2 Warehouse Spark利用ガイド データ操作編IBM Analytics Japan
 
Db2 Warehouse ご紹介資料 20170922
Db2 Warehouse ご紹介資料 20170922Db2 Warehouse ご紹介資料 20170922
Db2 Warehouse ご紹介資料 20170922IBM Analytics Japan
 
データを集めて貯めて分析する… 最先端のテクノロジーが詰まったIBMクラウドのご紹介
データを集めて貯めて分析する…  最先端のテクノロジーが詰まったIBMクラウドのご紹介データを集めて貯めて分析する…  最先端のテクノロジーが詰まったIBMクラウドのご紹介
データを集めて貯めて分析する… 最先端のテクノロジーが詰まったIBMクラウドのご紹介IBM Analytics Japan
 

More from IBM Analytics Japan (20)

Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介
Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介
Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介
 
Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日
Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日
Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日
 
Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版
Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版
Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版
 
Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104 Db2 Warehouse v3.0 Basic Operation G...
Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104  Db2 Warehouse v3.0 Basic Operation G...Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104  Db2 Warehouse v3.0 Basic Operation G...
Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104 Db2 Warehouse v3.0 Basic Operation G...
 
Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...
Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...
Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...
 
【jena X IBM】ビーコンを活用した働き方改革とは?
 【jena X IBM】ビーコンを活用した働き方改革とは? 【jena X IBM】ビーコンを活用した働き方改革とは?
【jena X IBM】ビーコンを活用した働き方改革とは?
 
IBM Integrated Analytics System DSX R Studio 利用ガイド
IBM Integrated Analytics System DSX R Studio 利用ガイドIBM Integrated Analytics System DSX R Studio 利用ガイド
IBM Integrated Analytics System DSX R Studio 利用ガイド
 
IBM Integrated Analytics System Webコンソール利用ガイド 20180213
IBM Integrated Analytics System Webコンソール利用ガイド 20180213IBM Integrated Analytics System Webコンソール利用ガイド 20180213
IBM Integrated Analytics System Webコンソール利用ガイド 20180213
 
IBM Integrated Analytics System ユーザー利用ガイド 20180213
IBM Integrated Analytics System ユーザー利用ガイド 20180213IBM Integrated Analytics System ユーザー利用ガイド 20180213
IBM Integrated Analytics System ユーザー利用ガイド 20180213
 
IBM Cloud を利用したデータ分析ことはじめ
IBM Cloud を利用したデータ分析ことはじめIBM Cloud を利用したデータ分析ことはじめ
IBM Cloud を利用したデータ分析ことはじめ
 
Db2 V11 GUIツール
Db2 V11 GUIツールDb2 V11 GUIツール
Db2 V11 GUIツール
 
Db2リブランディングと製品動向 201707
Db2リブランディングと製品動向 201707Db2リブランディングと製品動向 201707
Db2リブランディングと製品動向 201707
 
Dockerとdb2
Dockerとdb2Dockerとdb2
Dockerとdb2
 
IBM Cloudのデータベース
IBM CloudのデータベースIBM Cloudのデータベース
IBM Cloudのデータベース
 
【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~
【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~
【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~
 
Db2 Warehouse セッション資料 db tech showcase
Db2 Warehouse セッション資料 db tech showcase Db2 Warehouse セッション資料 db tech showcase
Db2 Warehouse セッション資料 db tech showcase
 
Db2 Warehouse Spark利用ガイド チュートリアル編
Db2 Warehouse Spark利用ガイド チュートリアル編Db2 Warehouse Spark利用ガイド チュートリアル編
Db2 Warehouse Spark利用ガイド チュートリアル編
 
Db2 Warehouse Spark利用ガイド データ操作編
Db2 Warehouse Spark利用ガイド データ操作編Db2 Warehouse Spark利用ガイド データ操作編
Db2 Warehouse Spark利用ガイド データ操作編
 
Db2 Warehouse ご紹介資料 20170922
Db2 Warehouse ご紹介資料 20170922Db2 Warehouse ご紹介資料 20170922
Db2 Warehouse ご紹介資料 20170922
 
データを集めて貯めて分析する… 最先端のテクノロジーが詰まったIBMクラウドのご紹介
データを集めて貯めて分析する…  最先端のテクノロジーが詰まったIBMクラウドのご紹介データを集めて貯めて分析する…  最先端のテクノロジーが詰まったIBMクラウドのご紹介
データを集めて貯めて分析する… 最先端のテクノロジーが詰まったIBMクラウドのご紹介
 

Recently uploaded

【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)Hiroki Ichikura
 
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?akihisamiyanaga1
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineerYuki Kikuchi
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...博三 太田
 
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfFumieNakayama
 
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版) 2024年4月作成
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版) 2024年4月作成業務で生成AIを活用したい人のための生成AI入門講座(社外公開版) 2024年4月作成
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版) 2024年4月作成Hiroshi Tomioka
 
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)UEHARA, Tetsutaro
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfFumieNakayama
 
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案sugiuralab
 

Recently uploaded (9)

【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
 
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
 
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
 
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版) 2024年4月作成
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版) 2024年4月作成業務で生成AIを活用したい人のための生成AI入門講座(社外公開版) 2024年4月作成
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版) 2024年4月作成
 
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
 
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
 

dashDB データロード方法ガイド

  • 1. © 2015 IBM Corporation dashDBへのデータロード方法ご紹介資料 2015年10月
  • 2. © 2015 IBM Corporation2 本資料掲載事項は、ある特定の環境・使用状況においての正確性がIBMによって確認されていますが、すべての環境において同様の結果が得られる保証は ありません。これらの技術を自身の環境に適用する際には、自己の責任において十分な検証と確認を実施いただくことをお奨めいたします。
  • 3. © 2015 IBM Corporation3 本資料について 本資料はIBM BlueMixのデータ分析サービスの1つであるdashDB(クラウドデータウェアハウスサービス)に データをロードするための各種方法についてガイドしています。 dashDBをはじめて使用する方は下記Webサイトの記事を参考ください。 dashDB概要 : URL さわってみようdashDB: http://www.ibm.com/developerworks/jp/data/library/dashdb/dm-dashdb1-bluemix/ IBM Bluemix : https://console.ng.bluemix.net/ IBM Bluemix developerWorks: http://www.ibm.com/developerworks/jp/bluemix/
  • 4. © 2015 IBM Corporation4 dashDBへのデータロード方法 この資料では以下のデータロード方法をご紹介します  Load from Desktop  Load from Cloud(SoftLayer Object Storage/Amazon S3)  Load with DataWorks  Synchronizing data from Cloudant database  Load from GeoSpacial また、参考として、以下のデータロード方法もご紹介いたします。  リモートからのDB2 LOADコマンド  DataStage
  • 5. © 2015 IBM Corporation5 元データは どのような形で 保存していますか? Sync from Cloudant (p.46へ) ファイルの形式は? Cloudant ファイル Load with DataWorks (p.38へ) 各種DB シェープファイル (地理情報) Load Geospatial (p.53へ) XLSファイル Load from Desktop (p.6へ) Load from Cloud (p.9へ) いいえ 区切り記号付き テキストファイル (CSV) はい dashDBへのデータロード方法選択基準 ファイルサイズは 20MB以下? 区切り文字形式の データにエクスポート 可能? はい いいえ
  • 6. © 2015 IBM Corporation6 Load from Desktop デスクトップのローカルファイルからのデータロード
  • 7. © 2015 IBM Corporation7 Load from desktop(1/2)  20 MB以下のファイルであれば、デスクトップからの ローカルファイルのアップロードを推奨します  dashDBへアップロードするローカルファイルのサイズに制限はありませんが、 100 MBを超えるファイルをアップロードする際には、プロンプトが表示されます 大きなファイルをローカルからアップロードするのは時間がかかります。アップロードの時間を短 縮したい場合にはdashDB Scheduled Load featureの使用を推奨します(後述)。 これにより、IBM SoftlayerのObject StorageをはじめとするSwiftによるオブジェクトスト レージ上からのデータのロードが可能になります。  dashDBコンソールの「Load -> Load from Desktop」からご利用ください  サポートされているファイル形式: Excelスプレッドシート, 区切り記号付きASCII (CSV)  既存の表にロードすることも、ロードの過程で新しい表を作成しロードすることもできます
  • 8. © 2015 IBM Corporation8 Load from desktop(2/2)
  • 9. © 2015 IBM Corporation9 Load from Cloud オブジェクト・ストレージ(Swift)を用いたデータのロード
  • 10. © 2015 IBM Corporation10 Load from Cloud  dashDBでは、クラウドストレージサービスを使用してロードをすることが出来ます。これにより、 比較的大きなデータでも時間をかけずにロードすることが出来ます。  次ページ以降で、クラウドストレージサービスを利用するロード方法として、以下を紹介します。  Softlayer Object Storage • moveToCloudスクリプトを使用しない方法 • moveToCloudスクリプトを使用する方法(5GBを超える場合推奨)  Amazon S3 • moveToCloudスクリプトを使用しない方法 • moveToCloudスクリプトを使用する方法(5GBを超える場合推奨)
  • 11. © 2015 IBM Corporation11 SoftLayer Object Storageへのファイルのアップロード  5 GBまでのファイルはデスクトップから Softlayer Object Storageの コンソールを使ってアップロード出来ます  様々なサード・パーティのコマンドライン/GUIツールで アップロードすることもできます(後述)  例: CloudBerry Explorer for OpenStack Storage • http://www.cloudberrylab.com/ free-openstack-storage-explorer.aspx  5 GBを超えるファイルはdashDBが提供している moveToCloudスクリプトを使用してください CloudBerry Explorerでの 新規アカウント接続の例
  • 12. © 2015 IBM Corporation12 SoftLayer Object Storageを使用したデータロード方法 (moveToCloudスクリプトを使用しない場合) SoftLayerアカウント作成、Object Storage使用開始 SoftLayer オブジェクトストレージ認証情報取得 CloudBerryツールを使用したSoftLayerオブジェクトストレージへの転送先設定 CloudBerryツールを使用したSoftLayerオブジェクトストレージへのデータ転送 SoftLayer Object Storage から dashDBへのロード 1 2 3 4 5
  • 13. © 2015 IBM Corporation13 SoftLayerアカウント作成、使用するDCを選択、転送フォルダを作成する1 2. SoftLayer ポータルサイトにログインします。 https://control.softlayer.com/ 1.SoftLayer Object Storageオーダー画面にアクセス https://www.softlayer.com/Store/orderService/objectStorage ユーザー登録情報(クレジットカード情報含む)を入力し 情報を送信。数時間後にはアカウントが作成されます。 【 SoftLayer Object Storage 価格設定 】 Dallas 5 (dal05)の場合 データ容量課金 月額 $0.04/GB データ転送課金(送信のみ) 月額 $0.09/GB (オブジェクトストレージは上記に使用量に応じての課金のため ユーザー登録時点では費用は発生しません。) 3. ユーザー登録後に通知されるSoftLayer IDと パスワードを使用してポータルサイトにログインします。 1 2 3
  • 14. © 2015 IBM Corporation14 SoftLayer オブジェクトストレージ認証情報取得2 1.SoftLayerポータル画面にて「Sotrage」タブの 「Object Storage」をクリックします。 2.Data Centerを選択する画面で 任意のDCをクリックします。(例:Dallas5を選択) 3.Dallas5 Object Storageのメイン画面にて 「View Credentials」をクリックします 1 2 3 4 4.Account Credetials画面で下記3つの 情報を保存しておきます。
  • 15. © 2015 IBM Corporation15 3 1.下記URLからCloud Berryツールをダウンロードします。 http://www.cloudberrylab.com/free-amazon-s3-explorer- cloudfront-IAM.aspx 3.Add New Software Storageの画面にて②で保存したAccount Credetialsの情報をインプットします。 3 1 2. Cloud Berry Explorerの左側のウィンドウを自分の PC, 右側をクラウド環境として設定を行います。 「File」タブ ⇒ 「New SoftLayer Account」 をクリック。「CloudBerry Explorer FREEWARE」をクリック⇒ DownLoadの実行 2 Display Name : 任意 (例 :SoftLayer Dalas Storage ) User Name : SLOS718753-2:XXXXXXX API Key : XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX Authentication Services: https://dal05.objectstorage.softlayer.net/auth/v1.0 Acount Location : USDalas Key Stone Version : Don't use 「Test Connection」 の実行をクリック⇒ 接続が問題ないことを確認してファイル転送ターゲット先として指定する。 CloudBerryツールを使用したSoftLayerオブジェクトストレージへの転送先設定の実施
  • 16. © 2015 IBM Corporation16 CloudBerryツールを使用したSoftLayerオブジェクトストレージへの転送5 1.左側ウィンドウ(Source側)転送したファイルが存在するフォルダ右側ウィンドウ(Target側) 転送先フォルダを指定します。 (SoftLayer Object Storage側にフォルダを作成する場合はObject Storage画面の「add container」をクリック して任意のフォルダを作成しておきます。) 1 ドラックアンドドロップでファイル転送を開始 ← 転送先はdallas ↓ 進行中のファイル転送速度が下のバーに表示される。(5.8MB/sec)
  • 17. © 2015 IBM Corporation17 SoftLayer Object Storage から dashDBへのデータ転送実施(1)5 1.dashDB Webコンソールにログインを行い、左側タブ「Load」 ⇒ 「Load from Cloud」をクリックします。 ← Swift file system を選択 dallas05を選択 Account Credentials 情報を記入。 Browse Swift Filesクリック Load対象のファイルを選択。 (複数選択可能) CSVファイルの区切り文字を指定 CSVファイルの文字コードを指定 (デフォルトUNICODE) Date型/time型のフォーマット指定(必要な場合指定) 1 2 3 4 5 6 7
  • 18. © 2015 IBM Corporation18 SoftLayer Object Storage から dashDBへのデータ転送実施(2)5 2. 「Select Tables」タブにてロード先のスキーマ、テーブルを指定します。 ロード先対象表を選択 (列定義情報の確認が 可能です。) ロード先対象 スキーマを選択 追加データロード もしくは既存データを 削除後にロードするかどちらかを選択。 1 2 3
  • 19. © 2015 IBM Corporation19 SoftLayer Object Storage から dashDBへのデータ転送実施(3)5 3. 「schedule」タブにて即時実行(RUN NOW)もしくはSchedule for later (後で実行)を選択 4. 「set notifications」タブにて必要な情報を入力後、「Finish」を選択してロードを開始します。 個別に通知が必要な 連絡先を指定 どちらかを選択。Schedule for Laterを選択すると時間を指定できる。1 2
  • 20. © 2015 IBM Corporation20 SoftLayer Object Storage から dashDBへのデータ転送実施(4)5 5. 「Finish」クリック後はロード進捗を確認することが可能 ロード進捗状況の確認 6. 「Status and history」タブにてロード実行状況を確認可能。終了後は実行ログ詳細を確認することが可能。 7.ロードが完了するとPercent Completeが100%となり、End timeが表示されます。本ロードは2.8GBファイルの PARTSUPP表への初回ロードのため、2分32秒で完了しています。(約18.8MB/sec)。 以上でSoftLayer Object Storageを使用したdashDBへのロードは完了です。
  • 21. © 2015 IBM Corporation21 SoftLayer Object Storage から dashDBへのデータ転送実施(5)5 8.警告やエラーが発生しているようなケースでは、個別ロードごとに詳細なログからエラー内容の確認が 可能です。(「Viewing Log in browserをクリック」) 特定ジョブレコードをクリック⇒Viewing Log in browserをクリック 1 2 3 詳細ログから SQL3107Cがメッセージとして 存在していることを確認できる。
  • 22. © 2015 IBM Corporation22 Softlayer Object Storage+moveToCloudスクリプトを使用した データロード方法  このスクリプトは、SoftLayer Object Storage (Swift) やAmazon S3へのファイルアップロードの際に使 用することが出来ます  スクリプトを実行すると、入力ファイルをgzipで圧縮し、大きなファイルは分割してアップロードします  分割されたファイルは並列してアップロードを行います  分割されたファイルはdashDBへデータをロードする際に再統合されます  スクリプトの前提条件  UNIX or Linux  Perl (version 5.10以上)  cURL  gzip  圧縮時のスレッド数、一時ディレクトリのロケーション、複数ファイルのバッチロードなどを指定できます  スクリプトはdashDB Knowledge Centerからダウンロード出来ます  http://www-01.ibm.com/support/knowledgecenter/SS6NHC/ com.ibm.swg.im.dashdb.console.doc/moveToCloud.zip
  • 23. © 2015 IBM Corporation23 moveToCloud例: SoftLayer Object Storage(1/2) 例: Dallasのロケーションに作成したObeject StorageのdashDBdata1というコンテナに largeFile.csvというファイルをアップロードする 1.SoflayerのObject Storageからusernameとpassword(APIキー)を確認し、以下のよ うな認証ファイル(credentials.txt)を作成する 2.Object Storageとの接続テストと、moveToCloudスクリプトの前提条件の確認するために、 以下のコマンドで実行する moveToCloud.pl -test -target softlayer::https://dal05.objectstorage.softlayer.net/auth/v1.0::dashDBdata1::/largeFile -creds credentials.txt
  • 24. © 2015 IBM Corporation24 moveToCloud例: SoftLayer Object Storage(2/2) 3. ファイルをアップロードする  アップロードが完了すると、分割・圧縮されたファイルがObject Storageのコンテナに作成され ます  largeFile.gz  largeFile.gz.parts/largeFile.gz_### • ファイルの数は、アップロードするファイルのサイズにより決まります  分割されたファイルは、dashDBにロードする際に自動的にSoftlayer上で再統合されます moveToCloud.pl -source largeFile.csv -target softlayer::https://dal05.objectstorage.softlayer.net/auth/v1.0::dashDBdata1::/largeFile -creds credentials.txt
  • 25. © 2015 IBM Corporation25 Amazon S3へのファイルのアップロード  Amazon S3のコンソールを使用することで、デスクトップから直接ファイルをアップロードできます  アップロードする際には各種ユーティリティを 使用する事が出来ます  例:S3 Browser •http://s3browser.com/download.php  moveToCloudスクリプトはSoftlayer Object Storageだけでなく、Amazon S3にファイル をアップロードする際にも使用できます  基本的なアップロードの方法は同じですが、認証情報やターゲット情報の入力で異なる部分 があります
  • 26. © 2015 IBM Corporation26 AWS S3を使用したデータロード方法 (moveToCloudスクリプトを使用しない場合) AWS アカウント作成、S3バケットの作成 AWS S3 セキュリティ認証情報取得 AWS S3 Webインターフェイスを使用したデータアップロード AWS S3 から dashDBへのデータロード 1 2 3 4
  • 27. © 2015 IBM Corporation27 AWS アカウント作成、S3サービスの開始1 1.AWSアカウント作成画面にアクセスし、ユーザー登録をおこないます。 AWSログインサイト先 AWSのログイン作成方法はこちらのリンク先を参照ください。 AWSアカウント作成の流れ : https://aws.amazon.com/jp/register-flow/ ※ユーザー登録情報(クレジットカード情報含む)を入力し情報を送信。数時間後にはアカウントが作成されます。 参考AWS S3 価格設定についてはこちらを参照ください。 https://aws.amazon.com/jp/s3/pricing/ 2.作成したアカウントのID、パスワードでAWSコンソールにログイン後、「S3」を選択します。 1 2
  • 28. © 2015 IBM Corporation28 AWS S3上の任意のリージョンにバケットを作成する.(例:Tokyo DC)1 1. S3コンソール画面にて「バケットを作成」を選択。 2.バケット名とリージョン(データセンター場所)を記入 3.バケット作成完了後、作成したバケットをクリック 4. バケット作成完了後、作成したバケットをクリック 1 2 3 4
  • 29. © 2015 IBM Corporation29 AWS S3 セキュリティ認証情報取得2 1. AWSサービス画面にて「IAM」をクリック 2. ユーザを選択し、自分のユーザー名部分をクリック 1 2 3.アクセスキー部分の「create Access key」をクリック3 4.認証情報をダウンロードして必要な情報を取得します。 4
  • 30. © 2015 IBM Corporation30 AWS S3 Webインターフェイスを使用したデータアップロード3 1.作成したバケット(例:e33119)をクリックした画面で 「アップロード」を選択します。 1 2.ファイルとフォルダの選択画面にて「ファイルを追加する」 をクリック。アップロードしたいファイルを追加します。 2 3.オプションですが、詳細設定画面にてストレージのタイプ を選択できます。(ストレージ種類に応じてコスト、SLAが異なります。) 3 標準冗長化ストレージ http://aws.amazon.com/jp/s3/pricing/ 低冗長化ストレージ http://aws.amazon.com/jp/s3/reduced-redundancy 4.アップロードファイルを選定した後、「アップロード」ボタンを クリックしてファイル転送を開始します。 4
  • 31. © 2015 IBM Corporation31 AWS S3 から dashDBへのデータロード(1)4 1. dashDB Webコンソールにログインを行い、左側タブ「Load」 ⇒ 「Load from Cloud」をクリックします。 AWS S3を選択 Asia Pacific(Tokyo)を選択 Account Credentials 情報を記入。 1 2 3 CSVファイルの区切り文字を指定 CSVファイルの文字コードを指定 (デフォルトUNICODE) Date型/time型のフォーマット指定(必要な場合指定) 5 6 7 Browse S3 Filesクリック Load対象ファイルを選択。 (複数選択可能) 4
  • 32. © 2015 IBM Corporation32 4 2. 「Select Tables」タブにてロード先のスキーマ、テーブルを指定します。 ロード先対象表を選択 (列定義情報の確認が 可能です。) ロード先対象 スキーマを選択 追加データロード もしくは既存データを 削除後にロードするかどちらかを選択。 1 2 3 AWS S3 から dashDBへのデータロード(2)
  • 33. © 2015 IBM Corporation33 3. 「schedule」タブにて即時実行(RUN NOW)もしくはSchedule for later (後で実行)を選択 4. 「set notifications」タブにて必要な情報を入力後、「Finish」を選択してロードを開始します。 個別に通知が必要な 連絡先を指定 どちらかを選択。Schedule for Laterを選択すると時間を指定できる。1 2 4 AWS S3 から dashDBへのデータロード(3)
  • 34. © 2015 IBM Corporation34 5. 「Finish」クリック後はロード進捗を確認することが可能 ロード進捗状況の確認 6. 「Status and history」タブにてロード実行状況を確認可能。終了後は実行ログ詳細を確認することが可能。 7.ロードが完了するとPercent Completeが100%となり、End timeが表示されます。本ロードは2.8GBファイルの PARTSUPP表への初回ロードのため、2分32秒で完了しています。(約18.8MB/sec)。 以上でSoftLayer Object Storageを使用したdashDBへのロードは完了です。 4 AWS S3 から dashDBへのデータロード(4)
  • 35. © 2015 IBM Corporation35 8.警告やエラーが発生しているようなケースでは、個別ロードごとに詳細なログからエラー内容の確認が 可能です。(「Viewing Log in browserをクリック」) 特定ジョブレコードをクリック⇒Viewing Log in browserをクリック 1 2 3 詳細ログから SQL3107Cがメッセージとして 存在していることを確認できる。 4 AWS S3 から dashDBへのデータロード(5)
  • 36. © 2015 IBM Corporation36 moveToCloud例 – Amazon S3(1/2) Example: Amazon S3のUS West-2にあるストレージのdashdb-loadfilesというバ ケットにlargeFile.csvというファイルをアップロードする 1.Amazon S3のaccess key IDとsecret access keyを確認し、以下のように s3credentials.txtという認証ファイルを作成する 2.Amazon S3への接続テストと、moveToCloudの前提条件を確認するために、以下のコマ ンドを実行する moveToCloud.pl -test -target s3::https://s3-us-west-2.amazonaws.com::dashdb- loadfiles::/largeFile -creds s3credentials.txt
  • 37. © 2015 IBM Corporation37 moveToCloud例 – Amazon S3(2/2) 3. ファイルをアップロードする  アップロードが完了すると、分割・圧縮されたファイルがAmazon S3のコンテナに作成されます  largeFile.gz  largeFile.gz.parts/largeFile.gz_### • ファイルの数は、アップロードするファイルのサイズにより決まります  分割されたファイルは、dashDBにロードする際に自動的にSoftlayer上で再統合されます moveToCloud.pl -source largeFile.csv -target s3::https://s3-us-west-2.amazonaws.com::dashdb-loadfiles::/largeFile -creds s3credentials.txt
  • 38. © 2015 IBM Corporation38 Load with DataWorks クラウド上のETLサービスを使用
  • 39. © 2015 IBM Corporation39 IBM DataWorksとは  DataWorksとは、クラウド・ベースのETLツールです  現在、パブリック・クラウドのIBM Bluemix上から無料で使用できます  各種APIとDataWorksサービスを含めたアプリケーション開発ツールを提供しています  オンプレミス、クラウドを問わず各種データソースをサポートしています  DB2やdashDB以外にも様々なデータソースをサポートしています  dashDBはターゲットのデータベースとしてサポートされています  現在はデータのロードのみで、データの複製はサポートされていません  内部的にはINSERTではなくLOADを使用しています  DataWorksのAPIやサポートされているソース/ターゲットのシステムは以下でご確認ください  http://www.ng.bluemix.net/docs/#services/dataworks1/index- gentopic1.html
  • 40. © 2015 IBM Corporation40 IBM DataWorks Forge  クラウド・ベースで提供されるDataWorksのGUIツールで、データの閲覧、加工 クレンジングを行い、データの信頼性を高めます  Bluemix上で無料で使用することが出来ます  現在公開中のものはベータ版です  DataWorksでサポートされるソース/ターゲットのシステムのうち、一部はDataWorks Forgeで はサポートされません  DB2、dashDBはソースデータベースとしてサポートされます  dashDBはターゲットとしてもサポートされます  ソース・システム、ターゲット・システム共に接続が定義されていなければなりません  dashDBインスタンスへの接続情報は、dashDBコンソールの「Connect -> Connection Settings」から確認できます(前述)  次ページ以降では、dashDBから別のdashDBへデータを移行する例をご紹介します
  • 41. © 2015 IBM Corporation41 IBM DataWorks Forgeを使用したロード(1/5)  データをコピーする際に使用するデータ・ソースを選択します  新しい接続を定義する、もしくは以前に作成した接続のリストから使用する接続を選んでくだ さい データ・ソースとして使用したい システムを選んでください 選択したデータ・ソースへの接続を追加 してください 一度定義したソース・システムの接続 を使用する場合は、ここから選んで ください
  • 42. © 2015 IBM Corporation42 IBM DataWorks Forgeを使用したロード(2/5)  dashDBへの接続情報を入力し、 「Connect」をクリックしてください  ソース・システムのどの表をロードするのかを 選んでください (オプションでロードする列を選択することも 出来ます)  最後に「Complete」をクリックしてください
  • 43. © 2015 IBM Corporation43 IBM DataWorks Forgeを使用したロード(3/5)  オプションで、先ほど追加したデータに結合するデータ・セットを選択出来ます  「Shape」をクリックすることで、データを加工することが出来ます  全て選択・入力し終えたら、「Copy」をクリックしてください
  • 44. © 2015 IBM Corporation44 IBM DataWorks Forgeを使用したロード(4/5)  ターゲット・システムを選んでください  新しい接続を作成するか、過去に作成した接続を選んでください  ターゲット・システムに接続し、ターゲット・システムのスキーマを選択してください  ソース側の表と同じ名前の表が、ターゲット側の選択したスキーマの下に作成されます • 現在は、別の表名を定義することは出来ません  現在存在するデータを上書きするかどうかを選択してください
  • 45. © 2015 IBM Corporation45 IBM DataWorks Forgeを使用したロード(5/5)  データ・コピーを実行する前に、アクティビティ名とその詳細を入力してください  アクティビティの状態をモニタリング出来ます
  • 46. © 2015 IBM Corporation46 Sync from Cloudant JSON形式のNoSQLデータベースとの同期
  • 47. © 2015 IBM Corporation47 Sync from Cloudant  CloudantとdashDBのデータを同期させるには2つの方法があります 1.dashDBのコンソールから、Cloudantのデータベースを指定し、同期を開始する 2.Cloudantのコンソールから、dashDBのインスタンスを作成する  上記どちらの方法でも、Cloudant側のデータに変更があった場合に、その内容を常にdashDB に反映させるように設定することも出来ます  Schema Discovery Process (SDP)と呼ばれるプロセスがCloudantのJSONドキュメントを 元にしてリレーショナル型のスキーマを生成します
  • 48. © 2015 IBM Corporation48 Cloudantから既存のdashDBへのデータの同期(1/2)  CloudantデータベースからdashDBの表への一方向かつ継続的な同期  Cloudantのデータベースに変更があった場合、自動でdashDBに同期させます  dashDBコンソールの「Load -> Sync from Cloudant」からご利用ください  Cloudant環境について、以下の情報が必要になります  CloudantデータベースのURL • https://<cloudantUserid>.cloudant.com/<databaseName>  CloudantアカウントのUseridとPassword  「Table name prefix」の値は、新しく作成される表の名前になります  ここで指定した値の表にデータが格納されます  上記の表に付随して、同期に失敗したデータを格納するためのオーバーフロー表も作成されま す
  • 49. © 2015 IBM Corporation49 CloudantからdashDBへのデータの同期(2/2)
  • 50. © 2015 IBM Corporation50 Cloudantから新規にdashDBのインスタンスを作成(1/4)  Cloudantコンソールから、1つもしくは複数のCloudantデータベースをソースとしてdashDBイン スタンスを作成しデータを同期させることが出来ます。  各CloudantデータベースはdashDB内の1つの表に対し同期を行います (同期される dashDBの表に対し、同期に失敗したデータを格納するオーバーフロー表も作成されます)  Bluemixアカウント内に新しいdashDBのインスタンスを作成します。  Bluemixアカウントに紐付いているIBM IDとpasswordが必要になります。  現在はdashDBのEntry planのみサポートされています。  ユーザが、Bluemixサービスの上限まで使用していた場合、正常に作動しません。  作成されるdashDBのインスタンス名は以下のようになります • <cloudantUserid>_Cloudant_<number>  同期はCloudantデータベースからdashDB表への一方向同期が継続的に行われます。  Cloudantデータベースのデータに変更があった場合、dashDBの表に自動的に同期が行わ れます。
  • 51. © 2015 IBM Corporation51 Cloudantから新規にdashDBのインスタンスを作成(3/4)  同期を行うCloudantデータベースの名前を1つも しくは複数入力して下さい  各Cloudantデータベースはそれぞれが専用の 表をdashDB内に持つことになります (同期さ れる表にはオーバーフロー表も付随します)  Bluemixアカウントに紐づくIBM IDとpassword を入力して下さい。  入力し終わったら「Create Warehouse」をクリッ クして下さい。
  • 52. © 2015 IBM Corporation52 CloudantからdashDBのインスタンスを作成(4/4)  dashDBを立ち上げるために、「Visit warehouse」を クリックして下さい。  ここでのActivityはBluemixに記録され、Bluemix 上に新たにサービスが立ち上がります • 作成されるdashDB サービスの名前は以下のよ うになります <cloudantUserid>_Cloudant_<numbe r>  ここまで行うと、分析を行うための表がdashDB内で使 用可能になります。
  • 53. © 2015 IBM Corporation53 Load from Geospatial 地理情報データ(シェープファイル)のロード
  • 54. © 2015 IBM Corporation54 Load from GeoSpacial  dashDBでは、地理情報の可視化・分析に一般的に使用されているシェープファイルを格納・参照するこ とが出来ます。  次ページ以降で、シェープファイルをdashDBに格納する手順をご紹介します。  詳細についてはdashDBのマニュアルをご参照ください。  地理情報のロード:http://www- 01.ibm.com/support/knowledgecenter/SS6NHC/com.ibm.swg.im.dashdb.doc/l earn_how/loaddata_gsdata.html?lang=en  地理情報の分析:http://www- 01.ibm.com/support/knowledgecenter/SS6NHC/com.ibm.swg.im.dashdb.doc/l earn_how/geospatial_overview.html?lang=en
  • 55. © 2015 IBM Corporation55 Load from Geospatial手順(1/6) 1. シェープファイルを圧縮して1つのファイルにまとめます。その際、以下に注意して下さい。 - サポートされるファイルは以下になります - 圧縮ファイルとしてサポートされるのは以下の拡張子のものです ・tar.gz ・tar ・zip - 各ファイルの名前を統一してから圧縮して下さい(ex. geodata.shp, geodata.dbf) 拡張子 内容 アップロード時に必須かどうか .shp 図形の形状、座標 必須 .dbf 図形の属性 必須 .shx .shpのインデックス オプション .prj 座標系や投影法 オプション
  • 56. © 2015 IBM Corporation56 Load from Geospatial手順(2/6) 2. dashDB Webコンソールにログインを行い、左側タブ「Load」 ⇒ 「Load from Cloud」をクリックします。
  • 57. © 2015 IBM Corporation57 Load from Geospatial手順(3/6) 3. アップロードしたい圧縮ファイルを選択してください アップロードが完了すると、右のような画面 になります。右下の「Next」をクリックしてく ださい 「Browse files」から圧縮ファイルを選択 して「Next」をクリックしてください
  • 58. © 2015 IBM Corporation58 4. 地理情報をロードする表を決定して下さい Load from Geospatial手順(4/6) 既に作成されている表にデータを追加する場合: 「Append to existing table」 新たに表を作成する場合: 「Create a new table and load」 を選択して、右下の「Next」をクリックしてください
  • 59. © 2015 IBM Corporation59 5. 表の情報を入力して下さい Load from Geospatial手順(5/6) 既存の表にデータをロードする場合 「Append to existing table」を選択した場合、一覧の中からデータを格納したい表 を選択して「Next」をクリックしてください
  • 60. © 2015 IBM Corporation60 5. 表の情報を入力して下さい Load from Geospatial手順(5/6) 新規に表を作成し、データをロードする場合 「Create a new table and load」を選択した場合、 表の名前を入力して「Next」をクリックしてください シェープファイルで使用したい空間参照系を選択して下さい 選択したいものが無ければ、「Add」をクリックして必要な空 間参照系を追加して下さい 選択し終えたら「Finish」をクリックしてください
  • 61. © 2015 IBM Corporation61 6. 以下のような画面が表示されたら、ロードは完了です Load from Geospatial手順(6/6)
  • 62. © 2015 IBM Corporation62 参考情報 その他のロード方法
  • 63. © 2015 IBM Corporation63 DB2クライアント接続からのLOADコマンド  DB2クライアントからdashDBのデータベースに接続し、LOADを実行します  LOAD実行の前に、dashDBの接続情報をDB2クライアントにカタログする必要があります  コマンドはローカルのサーバ内にソース・ファイルがあることを前提としています。そのため、ファイル名 は絶対パスで指定して下さい。 • 例: C:¥DataFile.csv or /home/user1/datafile.csv db2 "load client from C:¥Data¥DataFile.csv OF DEL INSERT INTO TABLE1”
  • 64. © 2015 IBM Corporation64 IBM InfoSphere DataStageを使用したデータのロード  DataStageは、通常のDB2コネクターを使用してdashDBに接続することが出来ます  dashDBインスタンスとターゲット表にアクセスするためのDataStageの構成は、オンプ レミスのDB2にデータをロードする場合と同じです  構成の詳細はKnowledge Centerでご確認ください  http://www-01.ibm.com/support/knowledgecenter/SS6NHC/ com.ibm.swg.im.dashdb.doc/learn_how/loaddata_datastage.html
  • 65. © 2015 IBM Corporation65