More Related Content Similar to Qlik Cloudデータ統合:Data Gateway - Data Movementのセットアップ (20) More from QlikPresalesJapan (20) Qlik Cloudデータ統合:Data Gateway - Data Movementのセットアップ1. 中嶋 翔
Senior Solution Architect, Qlik
Qlik TECH TALK
Qlik Cloudデータ統合:
Data Gateway - Data Movementのセット
アップ
2022年12月20日
8. 8
Qlik Cloud データ統合
Deliver : リアルタイムデータをワンストップで提供
• データソース:
クラウドとエンター
プライズ
(オンプレミス/VPC)
• セキュアなデータ転
送を実現するデータ
ゲートウェイ
• クラウドターゲッ
ト:Snowflake、
Azure Synapse、
Google BigQuery、
Databricks
• 低レイテンシー、低
コンピュートのライ
ブビューで最適なパ
フォーマンスを実現
• ロー/ノーコードデー
タパイプラインデザ
イナー
• タイプ2の変更追跡に
よるヒストリーモー
ド
• リアルタイムCDC、
増分、バッチ配信モ
• シンプルなインライ
ンデータ変換
安全かつリアルタイムなデータ移
動
12. 12
12
12
12
12
12
Qlik Cloud データ統合
プラットフォームサポートマトリクス
Cloud Sources
Amazon DynamoDB
Amazon Redshift
Azure Synapse
Cassandra
Couachbase
Databricks
Google BigQuery
MongoDB
Snowflake
Database
Adobe Marketo Engage
Google Analytics
Microsoft Dynamics
Qualtrix XM
Salesforce
ServiceNow
SugarCRM
SurveryMonkey
Twitter
SaaS
Jira
Slack
ODATA
Other
Gateway Sources
Oracle
Microsoft SQL Server
IBM DB2 iSeries
IBM DB2 z/OS
IBM DB2 LUW
MySQL
Percona
MariaDB
PostgreSQL
SAP HANA
Exadata
ECC (DB: Oracle, MS SQL Server,
IBM DB2, HANA)
S4HANA
ERP
CRM
SRM
GTS
MDG
HANA
SAP Extractors
Database SAP
Amazon RDS
(SQL Server, Oracle, MySQL,
PostgreSQL, MariaDB)
Amazon Aurora MySQL
Amazon Aurora PostgreSQL
Azure SQL Server DB
Azure SQL Server MI
Azure Cloud (MySQL,
PostgreSQL)
Google Cloud SQL (MySQL)
Oracle on Oracle Cloud
Cloud Database
via Qlik Data Gateway –
Data Movement
(On-premises or VPC)
via Qlik Cloud
(no gateway)
Target Data Platforms
Azure Synapse
Analytics
最新情報やデータソースの対応バージョンはヘルプをご確認
ください。
14. 14
14
システム要件
• Data Movementゲートウェイは、データセンターまたは VPC (Virtual Private Cloud) ネット
ワークにある Linux マシンにインストールする必要があります。
- Qlik Replicate が既にインストールされているマシンは使用しないでください。
- root としてインストールする場合を除き、Data Movement Gateway RPM を実行するには sudo 権限が必
要です。
- テナントにゲートウェイを登録するには、テナント管理者権限が必要です。
- 最適なパフォーマンスを得るには、データソースにできるだけ近いサーバーに Data Movementゲートウェイ
をインストールしてください。
15. 15
15
システム要件
• サポートされている Linux プラットフォーム
- Red Hat 8.x (64 ビット)
- Amazon Linux 2 (on Amazon EC2)
- ※Data Movement gatewayはRed Hatで認証されていますが、対応するLinuxディストリビューションや互
換性のあるLinuxディストリビューションでもサポートされています。
- ※SELinux はサポートされていないため、次のように無効にする必要があります。
• SELinux 構成ファイル (/etc/selinux/config) を開きます。
• 次の行を探します。
• SELINUX=enforcing
• 値をdisabledに変更します。
• SELINUX=disabled
• 変更を保存してファイルを閉じます。
• 次回の再起動時に、SELinux は完全に無効になります。再起動前に動的に無効にするには、次のコマンドを実行しま
す。
• # setenforce 0
• ポート:ポート HTTPS/TCP-443 は、<tenant-id>.<region>.qlikcloud.com へのアウトバウン
ド通信のために開く必要があります。
16. 16
16
システム要件
• 推奨ハードウェア
基本システム 大規模システム 超大規模システム 注:
プロセッサ クアッド コア クアッド コア ベース
タスクごとにデュアル
コア
8 コア ベース
タスクごとにクアッド コ
ア
追加のコアは、次のいずれかの状況で役立ちます。
•多くのタスクが並行実行されるとき
•フルロードのパフォーマンスを優先するとき
•並行して実行される複数のフルロードプロセスがあるとき
メモリ 8 GB 32 GB 64 GB 追加のメモリは、次のいずれかの状況で役立ちます。
•多くのタスクが並行実行されるとき
•ソースエンドポイント側での実行時間の長いトランザクション
(毎月のバッチ処理など)
•ソースシステム上の多数のアクティブユーザー
ディスク要件
(最適なパフォーマンス
を得るには SSD をお勧
めします)
320 GB 500 GB
RAID
500 GB
RAID
より高速なディスクは、次のいずれかの状況で役立ちます。
•メモリに収まらない可能性のある実行時間の長いソーストラン
ザクション
•ターゲットの停止中に処理を続行するように設定されたタスク
の使用
より大容量なディスクは、次のいずれかの状況で役立ちます。
•ターゲットの停止中に処理を続行するように設定されたタスク
の使用
•メモリに収まらない非常に大きなソース トランザクション
ディスク障害が発生した場合のシステム回復のため、すべての
構成で RAID をお勧めします。
ネットワーク 1 Gbps 10 Gbps 10 Gbps × 2 回線 -
17. 17
17
注意事項
• Data Movementゲートウェイはデータスペースに紐づける必要があります。
• スペース に関連付ける際、次の点を考慮する必要があります。
- Data Movementゲートウェイは、データスペースのみで作成できます。
- 寄与可能(Can contribute)ロール以上のスペースメンバーのみが、データゲートウェイ経由でデータにアクセ
スする接続を作成できます。
- データゲートウェイを作成するには、スペースの所有者であるか、または「管理可能(Can manage)」ロール
が必要です。さらに、ユーザーには「Professional」を割り当てる必要があります。
- データゲートウェイを関連付けられるのは単一のスペースのみです。
19. 19
19
Data Movement ゲートウェイのセットアップ
• Data Movement ゲートウェイのセットアップには、管理コンソールとゲートウェイサーバーの両
方で次ページ以降の手順を実行します。
- ※すべての CLI コマンドは、ゲートウェイサーバーで実行する必要があります。
- ※インストール (RPM) およびサービス コマンドは、sudo または root として実行する必要があります。
- ※管理コンソール で実行すべき 手順には、テナント管理者権限が必要です。
Qlik Cloud
管理コンソール
Qlik Data
Gateway – Data
Movement RPM
ファイルのダウン
ロード
Qlik Data
Gatewayサー
バー
Qlik Data
Gateway- Data
Movementのイン
ストールとキーの
生成
Qlik Cloud
管理コンソール
ゲートウェイの作
成とキーの適用
Qlik Data
Gatewayサー
バー
Qlik Data
Gateway- Data
Movementサービ
スの開始
Qlik Cloud
データプロジェク
トの作成と
Gateway経由の
データソースのオ
ンボード
Qlik Data Gateway – Data Movementのセットアップ
手順
20. 20
20
ステージ1:Data Movementゲートウェイをダウン
ロード
• Qlik Cloud管理コンソール 左下の、 [データゲートウェイ] を選択します。
• 右上の[展開] ボタンをクリックします。[データ ゲートウェイの展開] ダイアログが開きます。
• [データ ゲートウェイ - データ移動(Linux)]を選択し、[Qlik顧客契約] を確認してチェックしてか
ら [ダウンロード] をクリックします。Data Movement GatewayのRPM がマシンにダウンロー
ドされます。
- ファイル名:qlik-data-gateway-data-movement-<バージョン名>.rpm
21. 21
21
ステージ2: ゲートウェイをインストールしてセッ
トアップ
• このステージでは、データ移動 ゲートウェイのインストール、Qlik Cloud URL の設定、および登
録キーの生成が行われます。キーは、ゲートウェイと Qlik Cloud テナント間の認証済み接続を確
立するために使用されます。
• RPMのダウンロードが完了したら、ゲートウェイをインストールする Linuxマシンに RPMファイル
をコピーします。マシンがファイアウォールの内側にあり、データソースおよび Qlik Cloudと通信
できることを確認してください。
- WindowsマシンにRPMをダウンロードした場合は、SCPコマンドなどを使用してファイルをLinuxに転送して
ください。
• Linuxのシェルプロンプトを開き、CDコマンドで作業ディレクトリを RPM を格納しているディレ
クトリに変更します。
- 例: /qlik/GatewayRPM/
• 次のコマンドを実行して Data Movementゲートウェイをインストールします。
- 構文: QLIK_CUSTOMER_AGREEMENT_ACCEPT=yes rpm -i gateway-rpm
- 例: sudo QLIK_CUSTOMER_AGREEMENT_ACCEPT=yes rpm -i qlik-data-gateway-data-movement-
2022.5-5.x86_64.rpm
- ※RPMファイルのバージョン部分は実際のファイル名に変更してください。
22. 22
22
ステージ2: ゲートウェイをインストールしてセッ
トアップ
• インストールが完了したら、CDコマンドで作業ディレクトリを次の場所に変更します。
- /opt/qlik/gateway/movement/bin
• 次のコマンドを実行して、Qlik Cloud テナント URL を設定します。
- 構文: ./agentctl qcs set_config --tenant_url URL
- 例: ./agentctl qcs set_config --tenant_url mytenant.us.qlikcloud.com
• 次のコマンドを実行して、キーを生成して表示します。
- ./agentctl qcs get_registration
• キーが表示されます。
• キー全体をドラッグして、Ctrl+Cなどでコピーします。次のステージで 管理コンソール にキーを
貼り付ける必要があります。
Ctrl + C
24. 24
24
ステージ4: ゲートウェイサーバーでサービスを起
動
• ゲートウェイサーバーに移動し、次のコマンドを実行します。
- sudo service repagent start
• 次のコマンドを実行して、サービスが開始されたことを確認します。
- sudo service repagent status
• 出力は次のようになります。
- running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service
host
• ゲートウェイ サービスを開始したら、Qlik Cloud管理コンソールを開いているブラウザーを更新し
て、管理コンソールで更新されたデータ ゲートウェイのステータスが[接続済み]になっているか確認
します。
25. 25
25
ステージ5: データプロジェクトを作成
• ステージ4の最後の手順で、管理コンソール上でゲートウェイが[接続済み]になっている状態で以降
の手順を実行します。
• 使用したいデータソースやクラウドターゲットプラットフォームごとに、ゲートウェイサーバーへの
ドライバーのインストールや権限付与、データ接続の作成といった事前準備が必要になります。詳し
くは、Helpサイトの各データソース・プラットフォームごとの説明を読み一通りの設定を行ってくだ
さい。
- データ ゲートウェイ - データ移動 ソース接続の設定
- データ プロジェクトでクラウド データ プラットフォームに接続する
• 設定が完了したら、Qlik Cloudのデータサービスホームでデータプロジェクトを作成します(または
既存のプロジェクトを開きます)。
• [データのオンボーディング]から、Data Movementゲートウェイ経由でアクセスする必要がある
データ ソースの使用に進むことができます。
- ※Data Movementゲートウェイ経由でアクセスする必要があるデータ ソースの [データ接続の作成] ダイアロ
グには、使用するゲートウェイを選択できる [データ ゲートウェイ] フィールドがあります。
27. 27
27
Qlik Cloud テナント URL の更新
• 必要に応じて、Qlik Cloud テナント URL を変更できます。
- ※Qlik Cloud テナントURLを変更する場合は、新しい登録キーを生成して管理コンソールに再度登録する必要
があります。ステージ 2、ステージ 3の手順も確認して必要な手順を進めてください。
• 次の手順でURLを変更します。
- 次のコマンドを実行して ゲートウェイ サービスを停止します。
• sudo service repagent stop
- 次のコマンドを実行して、サービスが停止されたことを確認します。
• sudo service repagent status
- 出力は次のようになります。
• not running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service
host
- 作業ディレクトリを以下に変更します。
• /opt/qlik/gateway/movement/bin
- そして、次のコマンドを実行して、Qlik Cloud テナント URL を設定します。
• 構文: ./agentctl qcs set_config --tenant_url URL
• 例: ./agentctl qcs set_config --tenant_url mytenant.us.qlikcloud.com
28. 28
28
Qlik Cloud テナント URL の更新
• 次の手順でURLを変更します。(続き)
- 次のコマンドを実行して データ移動 ゲートウェイ サービスを開始します。
• sudo service repagent start
- 次のコマンドを実行して、サービスが開始されたことを確認します。
• sudo service repagent status
- 次のパスが出力に表示されます。
• running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host
29. 29
29
現在の設定の表示
• 現在のゲートウェイの設定 (Qlik Cloud テナント URL、プロキシ URL など) を表示できます。
• これを行うには、次の手順に従います。
- シェルプロンプトを開き、作業ディレクトリを以下に変更します。
• /opt/qlik/gateway/movement/bin
- 次のコマンドを実行します。
• ./agentctl qcs show_config
- 以下のように、現在の設定が表示されます。
• [qlik@gatewayhost bin]# ./agentctl qcs show_config
• --tenant_url “tenant.qlik.com”
• --proxy_url “”
• --proxy_username “”
• --connection_mode “DATA_GATEWAY”
• --listening_address “localhost”
• --listening_port “443"
• ReplicateAgent Control Program completed successfully.
30. 30
30
ゲートウェイサービスの停止と開始
• ゲートウェイ サーバーの設定を変更する前に、Data Movement Gatewayサービスを停止する必要があります。設
定を変更したら、ゲートウェイ サービスを開始します。
• サービスの停止
- 次のコマンドを実行して データ移動 ゲートウェイ サービスを停止します。
• sudo service repagent stop
- 次のコマンドを実行して、サービスが停止されたことを確認します。
• sudo service repagent status
- 出力は次のようになります。
• not running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host
• サービスの起動
- 次のコマンドを実行して データ移動 ゲートウェイ サービスを開始します。
• sudo service repagent start
- 次のコマンドを実行して、サービスが開始されたことを確認します。
• sudo service repagent status
- 次のパスが出力に表示されます。
• running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host
• ※ゲートウェイ サービスを開始したら、管理コンソールでブラウザを更新してデータ ゲートウェイのステータス (接続済み) を確認
する必要があります。
33. 33
33
• データ移動ゲートウェイの有効化/無効化
- 以下のいずれかを実施します。
• テーブル左側にあるチェックボックスを選択してから、[有効化] または [無効化] ボタンをクリックします。
• 行の最後で [・・・] をクリックして、[有効化] または [無効化] を選択します。
- ポップアップで確認を求められたら、実行するアクションに応じて [有効化] または [無効化] をクリックしま
す。
- ※データ移動ゲートウェイを有効にしたら、ゲートウェイ サービスを再起動する必要があります。
管理コンソールでのゲートウェイの管理
35. 35
35
Data Movementゲートウェイのプロパティ
• これまでの説明の通り、[データゲートウェイ]テーブルは、管理コンソールの左パネルにある
[データ ゲートウェイ]を選択すると表示されます。テーブルには、各データゲートウェイに関する
基本情報が表示されます。
- 名前 – データゲートウェイ作成時に指定した名前
- タイプ – Data Movementゲートウェイを登録した場合は、[データ移動] と表示されます。
- 説明 – データゲートウェイが作成されたときに入力された説明
- データゲートウェイ ID – 固有のID。トラブルシューティング目的で必要な場合があります。
- ステータス – 次のうち1つが表示されます。
• 接続済み - ゲートウェイサービスが Qlik Cloud との接続を確立したことを示しています。
• 切断 - ステータスが [切断] となっている場合、ゲートウェイサービスを起動してください。
• 無効化済み - データゲートウェイは 管理コンソールで無効化されています。
• セッション確立中 - データゲートウェイがデータソースに対する接続を確立する際に表示されます。
- スペース - データゲートウェイが関連付けられたスペース
- 最後の健康の更新 – ゲートウェイの稼働が最後に確認された日時
- 作成日 – データゲートウェイが作成された日時
37. 37
37
インストールのアップグレード
• データ ゲートウェイ - データ移動 rpm の新しいバージョンが利用可能になったら、管理コンソー
ル からダウンロードして、既存のインストールをアップグレードする必要があります。
• これを行うには、次の手順に従います。
- ステージ1の説明に従って RPM をダウンロードします。
- シェルプロンプトを開き、作業ディレクトリを RPM ファイルを含むディレクトリに変更します。
- 次のコマンドを実行します。
• 構文: rpm -U <rpm name>
• 例: sudo rpm -U qlik-data-gateway-data-movement-2022.5-6.x86_64.rpm
• ※ RPMファイル名のバージョン部分は実際のファイル名に従って変更してください。
- 次のコマンドを実行してサービスを開始します。
• sudo service repagent start
- 次のコマンドを実行して、サービスが開始されたことを確認します。
• sudo service repagent status
- 次のパスが出力に表示されます。
• running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host
38. 38
38
ログ
• Data Movementゲートウェイのエラーは /opt/qlik/gateway/movement/data/logs に記録され
ます。Qlik サポートは、トラブルシューティングの目的でこれらのログを提供するように依頼する
場合があります。
• 必要に応じて、現在のログ レベルを表示および変更できます。
/opt/qlik/gateway/movement/bin で次のコマンドを実行します。
- 現在のログ レベルを表示するには、次を実行します。
• ./agentctl configuration getloggers
- ログ レベルを Trace に変更するには、次を実行します。
• ./agentctl configuration setloggers -l Root -v DEBUG
- ログ レベルを Verbose に変更するには、次を実行します。
• ./agentctl configuration setloggers -l Root –v DETAILED_DEBUG
40. 40
40
データアセットのトラブルシューティング
• Data Gateway - Data Movementに基づくデータアセットのトラブルシューティング
• ログファイルを調べることで、 Data Gateway - Data Movementに基づくデータアセットのラン
ディング操作に関する情報を取得できます。ログのレベルも設定できます。データアセットが最初
の実行を完了すると、ログが利用可能になります。ログを表示するには、データアセットに対する
次の権限のいずれかが必要です。
- 所有者
- 操作可能(Can operate)
- テナントアドミン
- データアドミン
41. 41
41
データアセットのトラブルシューティング
• ログファイルの表示
- Data Movement を使用しているランディングアセットを開き、右上の[・・・]から[ログを表示] をクリック
して、ログ ビューアーを開きます。左上の[レプリケーション エンジン ログ]で表示するログ ファイルを選択
できます。
- ログ ファイルのビューは、最新のメッセージで自動的に更新されません。更新するには、クリック して、最新
のメッセージで更新されたログ ファイルの最後までスクロールします。
ログの最下部まで移動
し、最新のログを確認
42. 42
42
データアセットのトラブルシューティング
• [ロギング オプション]で、レプリケーションのさまざまな操作のロギング レベルを設定できます。
• 次のレベルを設定できます。上位レベルには下位レベルの情報が含まれます。4,5を選択すると大量
のログが生成される場合があります。
- 1.Error:エラー メッセージを表示します。
- 2.Warning:警告を表示します。
- 3.Info:情報メッセージを表示します。
- 4.Trace:トラブルシューティングの目的で追加情報を表示します。
- 5.Verbose:トラブルシューティングのために詳細情報を表示します。
• [グローバル]を使用して全体設定を行うことも可能です。
45. 45
45
Q&A
質問 回答
Data Movement はQlik Sense SaaS のライ
ス契約があれば無償で使用可能でしょうか?
Qlikデータ統合全般でライセンスが必要なのか
確認したいです。
Data Movementの利用にはライセンスが別途
要となります。価格についてはQlik社営業担当
にお問合せください。