04 Qlik Cloud データ統合しっかり学ぶ勉強会 #4 データレプリケーションタスクの作成

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

データレプリケーションタスクの
機能と操作
Qlik Cloud データ統合勉強会 - #4
クリックテック・ジャパン株式会社
2024/07/23

Q&Aについて
• 質問はZoom画面下のQ&Aアイコンをクリックして入力してください。
• 質問に対してQlikパネラーが随時Q&Aパネルで回答します。
• 質問と回答については、セミナーの最後に他の参加者に共有させていただきます。

• ＊予定は予告なく変更する場合があります。
Qlik Cloud データ統合勉強会
No 日付内容
1 2024/06/04 基本の設定とゲートウェイの導入
2 2024/06/11 データパイプライン作成の基本動作
データのオンボーディ...

• アジェンダ
• データレプリケーションタスクの作成
• データをレプリケートする
• データレイクにデータをランディング
• コントロールテーブル
• 変更テーブルの使用
• レプリケーションプロジェクトのエクスポートとインポート

Qlik Cloudの新しいナビゲーション
• 2024/7/9よりQlik Cloudのナビゲーションメニューや
画面構成が新しいものに変更することが可能になり
ましたので、この構成を基に資料を作成します
• 管理画面の設定で「新しいプラット...

• 本資料は事前に以下の設定を実施しています
• スペース
• データ接続
• Data Gateway
本資料留意事項
6

データレプリケーションタスクの作成

• データレプリケーションタスクを作成して、サポートされているデータソースとターゲット間でデータを効率
的かつ安全に移動します。CDC を使用してデータを変換し、常に最新の状態に保つことができます。
• レプリケーションのユースケースに...

• データソースとターゲットへの接続の設定
o データソースへの接続
o ターゲットへの接続
• レプリケーションタスクの設定
o データをレプリケートする
• リアルタイム CDC とプライベート接続のサポートを使用
• サポートされてい...

データをレプリケートする

データをレプリケートする

• サポートされているデータソースから、サポートされている任意のターゲットにデータをレプリケート
• データレプリケーションプロセスは次の操作で構成
o データソースからデータを取得
o データを変換(任意)
o データをターゲットにロー...

• ワッフルメニューの「データ統合」内の「データプロジェクト」ボ
タンをクリック「データプロジェクト」画面を表示
• 右上の「プロジェクトを作成」ボタンをクリック
• ダイアログで、次の操作を実行
o 「名前」を入力
o プロジェクトを作成...

• プロジェクトが開いたら、「データをレプリケートする」をクリック
• 「データをレプリケートする」ウィザードが開きます。
• 「基本設定」タブで、レプリケーションタスクの名前と説明を指定
• 「次へ」をクリック
※日本語環境の場合...

• データソースへの接続をまだ作成していない場合、タブの右上にある「接続を作成」をクリックして接続を作成する必要あり
• 左側のフィルターを使用して、接続のリストをフィルタリング可能
o 接続は、ソースタイプ、ゲートウェイ、スペース、所...

データをレプリケートする
データセットを選択
• レプリケーションタスクに含めるテーブルやビュー
を選択
• データセットを選択が完了したら「次へ」ボタン
をクリック
16
ロードするテーブルや
ビューを検索
検索したデータセットをレプリケー...

データをレプリケートする
ターゲット接続を選択
• 使用可能な接続のリストからターゲットを選
択し、[次へ] をクリック
※機能的には、 [ソース接続を選択] タブと同じ
17
• データソースへの接続をまだ作成していない場合、タブの右上にあ...

データをレプリケートする
設定
18
• 必要に応じて設定を変更し、[次へ] をクリック
• レプリケーションモード
o フルロード
• 選択したソーステーブルからターゲットプラットフォームにデータをロードし、
必要に応じてターゲットテーブ...

データをレプリケートする
概要
19
• データパイプラインのビジュアルを表示
• 「パイプライン作成後」で「何もしない」、
「<名前> タスクを開く」を選択し、
[作成] をクリック

• 左側にプロジェクトのステータスを表
示
• リプリケートの各処理の実行が可能
o 検証：レプリケートの実行検証
o 準備：レプリケートの実行準備
o 実行：レプリケートの実行
データをレプリケートする
プロジェクト

• プロジェクトはタスク表示とパイプラインっ
表示の2種類が選択可能
• タスク表示はタスクの種類などでフィル
タリング可能
• パイプライン表示はレイヤー表示が可能
データをレプリケートする
プロジェクト画面
21
タスク表示
パイプライン表示

データをレプリケートする
プロジェクトメニュー
メニュー内容
検証データセットを選択を開く
準備レプリケーションの準備
実行レプリケーションの実行
停止レプリケートの停止
スケジュールスケジュールのオン／オフ設定
削除レプリケート...

データをレプリケートする
レプリケーションメニュー
準備実行前
準備実行後
メニュー内容
■■ 開くデータタスクレプリケーションを開く
■■ 名前を変更レプリケーションの名前変更
■■ 削除レプリケーションの削除
■ 実行レプリケーシ...

データタスクレプリケーションの設定

• [設定]をクリックすると設定画面がポップアップ
データタスクレプリケーションの設定
基本設定

• レプリケーションモード
o フルロード
• 選択したソーステーブルからターゲットプラットフォームにデータをロードし、必要に応じてターゲットテーブルを作成
• フルロードはタスクの開始時に自動実行されるが、手動実行も可能
o 変更を適用...

• データのアップロード
o 最大ファイルサイズ
• メタデータ
o 基本：ターゲットテーブルスキーマ
LOB 列を含めて列サイズを次に制限 (KB)
o 拡張
• コントロールテーブル設定
o コントロールテーブルスキーマ
o レプリケーショ...

• 基本
o ターゲットテーブルが既に存在する場合
• ドロップしてテーブルを作成
• ロード前に切り捨て
• 無視
• 拡張
o パフォーマンスのチューニング
• 最大並列ロードテーブル数
• トランザクション整合性タイムアウト (秒)
•...

• 基本
o ターゲットに適用する DDL 変更のタイプを選択してください
• テーブルをドロップ
• テーブルを切り捨て
• テーブルの変更
o 変更処理のチューニング
• 一括変更を複数のテーブルに同時に適用
o テーブルの最大数
• 拡張...

• DDLオプション
o 変更テーブルに適用：ソーステーブルに対する DDL 操作は、対応する変更テーブルにのみ適用
o 無視
データタスクレプリケーションの設定
保存先の変更基本

• 更新時
o 前画像と後画像を保存
• 変更テーブルの作成
o サフィックス
o ヘッダー列のプレフィックス
o フルロード開始時に変更テーブルが存在する場合
• ドロップして変更テーブルを作成
• 古い変更を削除し、変更を既存の変更テーブ...

• 基本
o 挿入適用時にキーを使用
• 既存のターゲットレコードを更新
• テーブルを一時停止
• タスクを停止
o 更新を適用するためのレコードが見つかりません
• 無視
• 不足しているターゲットレコードを挿入
• テーブルを一時停止
•...

• トランザクションオフロードのチューニング
o 全トランザクションの合計メモリサイズが次を超えています (MB)
o トランザクション期間が次を超えています (秒)
• バッチチューニング
o バッチ変更を一定間隔で適用
• 最短期間 (秒...

• 文字置換
o ソース文字の置換または削除
• テーブルを使用して、特定のソース文字の置換を定義します。文字の Unicode 表現がソースプラットフォームとターゲットプラットフォームで異なる場合などに便利
o 文字セットでサポートされて...

詳細な実行オプション

• 標準的な実行、停止、再開のオプションに加えて、タスクを実行するためのオプション
• プロセスの変更
o テーブルはすでにロードされています。からプロセスの変更を開始:
• 日付と時刻
• ソース変更位置 (SCN または LSN)
• タ...

データレイクにデータをランディング

データレイクにデータをランディング

• データを次のターゲットにランディングするために、 [データレイクにデータをランディング] タスクを設定可能
o Amazon S3
o Azure Data Lake Storage
o Google Cloud Storage
データレイ...

• ワッフルメニューの「データ統合」内の「データプロジェクト」ボ
タンをクリック「データプロジェクト」画面を表示
• 右上の「プロジェクトを作成」ボタンをクリック
• ダイアログで、次の操作を実行
o 「名前」を入力
o プロジェクトを作成...

• プロジェクトが開いたら、「データレイクにデータをランディング」をクリック
• 「データレイクにデータをランディング」ウィザードが開きます。
• 「基本設定」タブで、データランディングタスクの名前と説明を指定
• 「次へ」をクリック...

• データソースへの接続をまだ作成していない場合、タブの右上にある「接続を作成」をクリックして接続を作成する必要あり
• 左側のフィルターを使用して、接続のリストをフィルタリング可能
o 接続は、ソースタイプ、ゲートウェイ、スペース、所...

データレイクにデータをランディング
データセットを選択
• レプリケーションタスクに含めるテーブルやビュー
を選択
• データセットを選択が完了したら「次へ」ボタン
をクリック
43
ロードするテーブルや
ビューを検索
検索したデータセットを...

データレイクにデータをランディング
ターゲット接続を選択
• 使用可能な接続のリストからターゲットを選
択し、[次へ] をクリック
※機能的には、 [ソース接続を選択] タブと同じ
44
• データソースへの接続をまだ作成していない場合、タブ...

データレイクにデータをランディング
設定
45
• 必要に応じて設定を変更し、[次へ] をクリック
• 更新方法:
o 変更データキャプチャ (CDC)
• データレイクのランディングタスクは、フルロードから開始され、ランディ
ングデータ...

データレイクにデータをランディング
概要
46
• データパイプラインのビジュアルを表示
• 「パイプライン作成後」で「何もしない」、
「<名前> タスクを開く」を選択し、
[作成] をクリック

• 左側にプロジェクトのステータスを表示
• リプリケートの各処理の実行が可能
o 検証：データランディングの実行検証
o 準備：データランディングの実行準備
o 実行：データランディングの実行
データレイクにデータをランディング
プロジェクト

• プロジェクトはタスク表示とパイプラインっ
表示の2種類が選択可能
• タスク表示はタスクの種類などでフィル
タリング可能
• パイプライン表示はレイヤー表示が可能
データレイクにデータをランディング
プロジェクト画面
48
タスク表示
パイ...

データレイクにデータをランディング
プロジェクトメニュー
メニュー内容
検証データセットを選択を開く
準備ランディングの準備
実行ランディングの実行
停止ランディングの停止
スケジュールスケジュールのオン／オフ設定
削除ランディン...

データレイクにデータをランディング
レプリケーションメニュー
準備実行前
準備実行後
メニュー内容
■■ 開くデータタスクレプリケーションを開く
■■ 名前を変更レプリケーションの名前変更
■■ 削除レプリケーションの削除
■ 実行レ...

クラウドストレージターゲットの設定

• [設定]をクリックすると設定画面がポップアップ
クラウドストレージデータの設定
基本設定

• 更新方法:
o 変更データキャプチャ (CDC)
• データレイクのランディングタスクは、フルロードから開始され、ランディングデータは、CDC (変更データキャプチャ) テクノロジーを使用して最新の状
態に保たれる
o リロード
• ...

• ファイル属性書式別オプション
クラウドストレージデータの設定
データのアップロード
CSV JSON Parquet オプション
項目区切り記号
NULL値
レコード区切り記号
引用符
エスケープ文字を引用符で囲む
Parquetバージョ...

• 処理の変更
o 変更を適用/保存するタイミング
• ファイルサイズ到達 (KB)
• 経過時間の到達点 (秒)
• メタデータファイル
o ターゲットフォルダにメタデータファイルを作成
クラウドストレージデータの設定
データのアップロ...

• LOB列
o LOB 列を含めて列サイズを次に制限 (KB)
• コントロールテーブル
クラウドストレージデータの設定
メタデータ
コントロールテーブルターゲット内の名前
ランディング履歴 attrep_history
DDL履歴 att...

• パフォーマンスのチューニング
o 最大並列ロードテーブル数
o トランザクション一貫性タイムアウト(秒)
o フルロード時のコミット率
• フルロードの完了後
o プライマリキーまたは一意のインデックスを作成
クラウドストレージデータの設定...

• テーブルのヘッダー列
o change_seq
o change_oper
o change_mask
o stream_position
o operation
o transaction_id
o timestamp
o partiti...

• データエラー
o データ切り捨てエラーの場合
o その他のデータエラーの場合
o データエラーが次の値に達した場合に処理をエスカレート
o エスカレーションアクション
• テーブルエラー
o テーブルエラーが発生した場合
o テーブルエラ...

• トランザクションオフロードのチューニング
o 全トランザクションの合計メモリサイズが次を超えています (MB)
o トランザクション期間が次を超えています (秒)
• バッチチューニング
o トランザクションごとの最小変更数
o 適用前に...

• 文字置換
o ソース文字の置換または削除
• テーブルを使用して、特定のソース文字の置換を定義します。文字の Unicode 表現がソースプラットフォームとターゲットプラットフォームで異なる場合などに便利
o 文字セットでサポートされて...

メタデータファイルの説明

• クラウドストレージデータの設定のデータのアップロードタブのメタデータファイルオプションで「ターゲットフォ
ルダにメタデータファイルを作成」が選択されている場合、CSV/JSON/Parquet ファイルごとに、指定
されたターゲットフ...

• タスク情報ファイル
データレイクにデータをランディング
メタデータファイルの説明
項目説明
名前データレイクのランディングタスクの名前
sourceEndpoint ソースエンドポイント設定で定義された名前
sourceEndpo...

• ファイル情報ファイル
データレイクにデータをランディング
メタデータファイルの説明
項目説明
名前拡張子を除いたデータファイルの名前
拡張機能データファイルの拡張子 (選択したターゲットファイル形式に応じて .csv または ....

• 形式情報ファイル
データレイクにデータをランディング
メタデータファイルの説明
項目説明
format 選択したターゲットファイル形式に応じて delimited または json
オプション delimited ファイル形式のオプショ...

• カスタム情報ファイル
データレイクにデータをランディング
メタデータファイルの説明
項目説明
ustomInfo このセクションには、dfmCustomProperties 内部プロパティを使用して設定されたカスタムプロパティが
含まれ...

• データ情報ファイル 1
データレイクにデータをランディング
メタデータファイルの説明
項目説明
sourceSchema ソーステーブルを含むスキーマ
sourceTable ソーステーブルの名前
targetSchema ターゲット...

• データ情報ファイル 2
データレイクにデータをランディング
メタデータファイルの説明
項目説明
名前列名
タイプ列のデータ型。詳細については、「Supported data types」を参照
width 列に許可されるデータの最大...

Content-Type と Content-
Encoding のプロパティ

• Amazon S3にアップロードされたファイルの Content-Type と Content-Encoding のプロパティ
データレイクにデータをランディング
Content-Type と Content-Encoding のプロパティ...

変換テーブルの使用

変更テーブルの操作

• ソースエンドポイントテーブルからターゲットエンドポイントの対応するテーブルに変更をレプリケートする
だけでなく、ターゲットエンドポイントの対応する変更テーブルに変更をレプリケートすることも可能
• このプロセスは、ターゲットテーブ...

• TRUNCATE 操作では、変更テーブルは切り捨てられず、operation=TRUNCATE. を含む追加のレ
コードがテーブルに追加される
• 実際のターゲットテーブルに関しては、「変更の適用」および「変更の保存」の両方のレプリ...

• 変更テーブルを使用する場合、変更内容を変更テーブルに保存するか、ターゲットテーブルに適用す
るか、または変更の保存と適用の両方を行うかを決定可能でレプリケーションタスクを定義するとき
に決定
• 変更の適用と保存の両方を行う場合は、次の...

変更テーブル

• ターゲットエンドポイントのツールを使用し、変更テーブルのメタデータを使用して情報を取得可能
• データは、変更テーブルスキーマに追加されたヘッダー列によって定義される
• レプリケーションタスクのすべてのターゲットテーブルについて、...

変換テーブルの使用
変換テーブル
列名タイプ
[header__]change_seq varchar (35)
[header__]change_oper varchar (1)
[header__] change_mask varbina...

レプリケーションプロジェクトの
エクスポートとインポート

レプリケーションプロジェクトのエクスポートとインポート
• データプロジェクトを再構築するために必要なものを、データパイプラインを JSON ファイルにエクス
ポート可能
• エクスポートされた JSON ファイルは、同じテナントにも別のテナ...

• データプロジェクトは JSON ファイルにエクスポートされ、ファイル名にはデータプロジェクト名、データプ
ラットフォーム、日付と時刻が含まれます。
• データプロジェクトを開いた状態で、「・・・」をクリックし、エクスポートを選択
• ダ...

• Qlik Cloud のデータ統合に移動し、 [新規追加] をクリックしてから、 [データプロジェクトをインポート]
をクリック
• または、作成したプロジェクトの「・・・」をクリックし、インポートを選択
インポート

• ポップアップ上でインポートするJSONファイルをドロップするか参照して選択し、「インポート」をクリック
インポート

• 選択したJSONファイルに基づいたプロジェクトがインポートされる
インポート

コントロールテーブル

• タスクに関する情報を提供する
• 現在の移行タスクと今後のタスクの両方を計画および管理するために使用できる統計情報
も提供
• コントロールテーブルは、データパイプラインとレプリケーションの両方のユースケースでサポートさ
れる
コント...

例外を適用

• 変更処理エラーは、以下の attrep_apply_exceptions テーブルに記録される
• テーブルのデータが削除されることはない
コントロールテーブル
例外を適用
89
列名タイプ説明
TASK_NAME nvchar Qli...

Replicatationステータス

• attrep_status テーブルには、各レプリケーションタ
スクとターゲットデータの現在のステータスが含まれ
る
• タスクの更新は数秒ごとに生成され、ターゲット
テーブルに変更が適用された後にのみ更新される
コントロールテーブル
Re...

一時停止テーブル

• テーブルが一時停止されると、テーブルに関する情報が attrep_suspended_tables テーブルに記録される
• タスクの実行中に一時停止が解除された場合、テーブルのエントリは attrep_suspended_tables か...

レプリケーション履歴

• attrep_history テーブルは、特定のタイムスロット中に処理されたレコードの数や量など、各タスクに関する統計を提供
• 各 TIMESLOT_DURATION の最後に、新しいレコードがテーブルに追加される
• このテーブルのデー...

データパーティションを変更

• 次の場合にサポートされる
o データパイプラインのランディングタスクが Amazon S3 (Qlik Cloud 用) ターゲットを使用する
o すべてのタスクをクラウドストレージにレプリケーションする
• attrep_cdc_p...

DDL履歴

• attrep_ddl_history テーブルには、CDC 中に
発生した DDL 変更の履歴が含まれる
• DDL 変更がソースで発生するたびに、新しい
レコードがテーブルに挿入される
• タスク中に発生する複数の ALTER TABLE...

Thank You!

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1039840 views
Storytelling For The Web: Integrate... by Chiara Aliotta 952098 views
Artificial Intelligence, Data and C... by OECD Directorate ... 876077 views
How to Leverage AI to Boost Employe... by SocialHRCamp 368477 views
2024 State of Marketing Report – by... by Marius Sescu 209319 views
Everything You Need To Know About C... by Expeed Software 229161 views

View on Slideshare

1 of 100 Ad

View on Slideshare

1 of 100 Ad