Qlik Replicateを基礎から学ぶ勉強会「#5 タスク設定の詳細・双方向レプリケーション設定編」

1. © 2019 QlikTech International AB. All rights reserved.
Control Tablesの詳細
クリックテック・ジャパン株式会社

2. © 2019 QlikTech International AB. All rights reserved.
2
• Control Tableの説明
• Control Tableの一覧
• Apply exceptions (attrep_apply_exceptions)
• Replication status (attrep_status )
• Suspended Tables (attrep_suspended_tables)
• Replication history (attrep_history)
• Change data partitions (attrep_cdc_partitions)
• DDL history (attrep_ddl_history)
アジェンダ

3. 3
Control Tableの説明
「コントロールテーブル」タブで対応するテーブルを選択したときにターゲットエンドポイント上に作成されるQlikレプリケートコントロ
ールテーブルについて説明します。
※ すべてのコントロール テーブルのタイムスタンプは UTC 形式です。
※ コントロール テーブルは、Full Loadのみのレプリケーションタスクでは作成されません。
※ ターゲット表がすでに存在する場合に、テーブルをDROPおよびCREATEにレプリケートするように設定しても、コントロール・
テーブルには影響しません。
※ レプリケートは、実行時にターゲットにコントロール テーブルを自動的に作成します。テーブルを手動で作成する場合は、大
文字にする必要がある例外の適用テーブル (attrep_apply_exceptions) 以外のすべての列名とテーブル名が小文字
であることを確認します。

4. 4
Control Tableの一覧
名前 テーブル名 説明
Apply Exception attrep_apply_exceptions • 変更処理エラーはこのテーブルに記録されます。
Replication Status attrep_status • タスクの状態、タスクによって消費されるメモリの量、ターゲットにまだ適用されていない変更の数、
および Qlik Replicateが現在読み取っているソース エンドポイント内の位置など、現在のタス
クに関する詳細を提供します。
Suspended Tables attrep_suspended_tables • 中断されたテーブルの一覧と、中断された理由を示します。
Replication History attrep_history • レプリケーションタスク中に処理されたレコードの数と量、CDC タスクの終了時の待機時間など、
レプリケーション履歴に関する情報を提供します。
Change Data Partitions attrep_cdc_partitions • レプリケートタスクに対してデータのパーティション分割の変更が有効になっている場合に、ター
ゲット データベースに作成されたパーティションのレコードが含まれます。この情報を使用して、さ
らに処理する必要があるパーティション・データを識別できます。
DDL History attrep_ddl_history • タスク中に発生したすべてのサポートされる DDL 変更の履歴が含まれています。レプリケートで
サポートされる DDL 変更の一覧については、「サポートされる DDL ステートメント」を参照し
てください。このコントロール テーブルに書き込まれた DDL の変更は、「DDL 変更をキャプチャ
する場合の制限」のセクションで説明されている制限事項にも従います。
• DDL履歴テーブルは、現在、次のターゲット エンドポイントでのみサポートされています:
Hadoop, Hortonworks Data Platform, Microsoft Azure HDInsight, Amazon
EMR, Google Dataproc, Microsoft Azure Databricks, Cloudera Data
Platform (CDP) Private Cloud

5. 5
Apply exceptions (attrep_apply_exceptions)
変更処理エラーはこのテーブルに記録されます。このテーブルのデータは削除されることはありません。
列 データ型 説明
TASK_NAME nvchar Qlik Replicate Taskの名前
TABLE_OWNER nvchar テーブルの所有者
TABLE_NAME nvchar テーブル名
ERROR_TIME timestamp 例外 (エラー) が発生した時刻
STATEMENT nvchar エラーが発生したときに実行されていたステートメント
ERROR nvchar 実際のエラー

6. 6
Replication status (attrep_status )
attrep_status テーブルには、各レプリケーションタスクの現在の状態とターゲット データが含まれます。 attrep_statusテーブル内のタスクの更新は数秒ごと
に生成されますが、レプリケートは、ターゲット テーブルに変更を適用した後にのみ更新を適用します。場合によっては、数分かかる場合があります。
列 データ型 説明
SERVER_NAME nvchar Qlik Replicateがインストールされているマシンの名前
TASK_NAME nvchar Qlik Replicateタスクの名前
TASK_STATUS varchar 次のいずれか：
・FULL LOAD
・CHANGE PROCESSING
Full Loadで少なくとも 1 つのテーブルがある限り、タスクステータスはFull Loadです。すべてのテーブルがロードされる
と、タスクのステータスはChange Processingに変わります。
STATUS_TIME timestamp ステータスが最後に更新された時刻
PENDING_CHANGES int ターゲットにまだ適用されていない変更レコードの数
DISK_SWAP_SIZE int 古いトランザクションまたはオフロードされたトランザクションが占有するディスク領域の量
TASK_MEMORY int 現在のメモリ消費量 (MB)
SOURCE_CURRENT_POSITION varchar Qlik Replicateが現在読み取り元であるソース エンドポイント内の位置
SOURCE_CURRENT_TIMESTAMP timestamp Qlik Replicateが現在読み取りを行っているソース内の TIMESTAMP
※ Replicateは、ソースから読み取ったタイムスタンプをReplicateサーバー マシンのタイムスタンプに合わせます (ソー
スの待機時間に応じて)。たとえば、ソースの時刻が12:30で、Replicate サーバー マシンの時刻が 12:32 の場合、
Replicateは元のソース時刻に2分を追加します。これは、SOURCE_CURRENT_TIMESTAMP列の値になりま
す。
SOURCE_TAIL_POSITION
varchar
まだコミットされていない最も古い開始トランザクションの位置。これは、変更を失うことなく、元に戻すことができる最新
の位置を表します。もちろん、重複があるかもしれません。
SOURCE_TAIL_TIMESTAMP timestamp まだコミットされていない最も古い開始トランザクションのTIMESTAMP。これは、変更を失うことなく、元に戻すことがで
きる最新の TIMESTAMP を表します。もちろん、重複があるかもしれません。
SOURCE_TIMESTAMP_APPLIED timestamp これは、最後にコミットされたトランザクションのタイムスタンプです。一括適用(bulk apply)では、これは、そのバッチ内
の最後のトランザクションのコミットのタイムスタンプになります。バッチ内の最後のトランザクションの一部としてのみ変更
されます。

7. 7
Suspended Tables (attrep_suspended_tables)
• テーブルがサスペンドされると、そのサスペンドの理由を含むテーブルに関する情報がattrep_suspended_tablesテーブルに記録されます。タスクの
実行中にテーブルがサスペンドされ、サスペンド解除された場合、そのテーブルのエントリはattrep_suspended_tablesテーブルから削除されます。
• テーブルがサスペンドされているタスクが停止すると、そのタスクのレコードはattrep_suspended_tablesテーブルに残ります。タスクの再起動時にテ
ーブルがサスペンドされた場合、データは削除され、再び記録されます。
列 データ型 説明
SERVER_NAME nvchar Qlik Replicateがインストールされているマシンの名前。
TASK_NAME nvchar Qlik Replicateタスクの名前。
TABLE_OWNER nvchar 中断されたテーブルの所有者。
TABLE_NAME nvchar 中断されたテーブルの名前。
SUSPEND_REASON varchar テーブルが中断された理由。
SUSPEND_TIMESTAMP timestamp テーブルが中断された日時。

8. 8
Replication history (attrep_history)
• このattrep_historyテーブルには、特定のタイムスロットで処理されたレコードの数や量など、各タスクに関する統計が示されます。
• 各TIMESLOT_DURATIONの後のテーブル末尾に新しいレコードが追加されます。つまり、このテーブルのデータは削除されることはありません。
列 データ型 説明
SERVER_NAME nvchar Qlik Replicateがインストールされているマシンの名前
TASK_NAME nvchar Qlik Replicateタスクの名前
TIMESLOT_TYPE varchar 次のいずれか：
• FULL LOAD
• CHANGE PROCESSING(CDC)
フルロードと変更処理が並列で実行されている場合 (いくつかのテーブルが
Full Loadで、他のテーブルがCDCの場合)、2つの履歴レコードが同じタ
イムスロットを占有します。
TIMESLOT timestamp タイム スロットの終了タイムスタンプ
TIMESLOT_DURATION int 各履歴レコードの期間 (分単位)
TIMESLOT_LATENCY int タイム スロットの最後の待機時間。これは CDC タイムスロットにのみ適用
されます。この値には、ターゲット待機時間の値のみが含まれます。
TIMESLOT_RECORDS int タイム スロット中に処理されたレコードの数
TIMESLOT_VOLUME int 処理されるデータの量 (MB)

9. 9
Change data partitions (attrep_cdc_partitions)
attrep_cdc_partitionsテーブルには、レプリケートタスクに対してデータのパーティション分割の変更が有効になっている場合に、ターゲット データ
ベースに作成されたパーティションのレコードが含まれます。この情報を使用して、さらに処理する必要があるパーティション・データを識別できます。
列 データ型 説明
SERVER_NAME STRING Qlik Replicateがインストールされているマシンの名前
TASK_NAME STRING Qlik Replicateタスクの名前
PARTITION_NAME STRING パーティション名は、パーティションの開始時刻と終了時刻で構成されます。
例:
20170313T123000_20170313T170000
PARTITION_START_TIME TIMESTAMP パーティションが開かれた時刻:
例:
2017-03-13 12:30:00.000
PARTITION_END_TIME TIMESTAMP パーティションが閉じられた時刻:
例:
2017-03-13 17:00:00.000
TABLE_OWNER STRING テーブル スキーマまたは所有者
TABLE_NAME STRING テーブル名

10. 10
DDL history (attrep_ddl_history)
attrep_ddl_historyテーブルには、ターゲットへのレプリケーション中にソースで発生した DDL の変更履歴が含まれています。DDL 履歴テーブ
ルは、現在、次のターゲット エンドポイントでのみサポートされています。
• Hadoop
• Hortonworks Data Platform
• Microsoft Azure HDInsight
• Amazon EMR
• Google Dataproc
• Microsoft Azure Databricks
• Cloudera Data Platform (CDP) Private Cloud
※ ソースでサポートされている DDL の変更が発生するたびに、新しいレコードがテーブルに挿入されます。タスク中に発生する複数の ALTER
TABLE ステートメントは、制御テーブル内の 1 行として表されます。JSON バッファー (下記参照) は、発生したすべての変更 (例: 列 A、列 B
の追加、列の変更 C の追加) を記述します。
※ DDL 履歴管理テーブルの有効化およびその制限については、コントロール テーブルを参照してください。
※ 手記：[Apply Changes]タスク オプションが有効な場合、ベース テーブル (tblT1 など) のエントリが作成されます。[Store Changes] タ
スク オプションも有効になっている場合は、CT テーブル用に追加のエントリが作成されます (tblT1__CTなど)。

11. 11
DDL history (attrep_ddl_history)
列 データ型 説明
SERVER_NAME STRING Qlik Replicateがインストールされているマシンの名前
TASK_NAME STRING Qlik Replicateタスクの名前
TABLE_OWNER STRING ソース テーブルのスキーマまたは所有者
TABLE_NAME STRING ソース テーブル名。テーブルの名前が変更された場合、これは変更前のテーブル名になります。
CHANGE_SEQ STRING テーブルの変更の使用のChange_Seqを参照してください。
TIMESTAMP TIMESTAMP 変更が発生した時刻
TABLE_VERSION INTEGER レプリケートは、テーブルに内部バージョン番号を割り当てます。ソース テーブルで DDL の変更
が発生するたびに、バージョン番号が増加します。
DDL_TYPE STRING CREATE_TABLE、DROP_TABLE、ALTER_TABLE、TRUNCATE_TABLE
DETAILS CLOB 変更を説明する JSON ドキュメント
例：
{ "owner": "string", "table": "string", "tableNewName": "string", "version":
number, "columns": { "col1": { "columnNewName": "string", "action":
"string", "type":" string", "length": number, "precision": number, "scale":
number, "primaryKeyPosition": number, "nullable": boolean, "ordinal":
number }, "col2": { … } } }
• tableNewName テーブルの名前が変更されていない場合は NULL です
• col1, col2 元の列名 (列名が変更されていない場合は列名のみ)
• columnNewName 新しい列名か、列の名前が変更されていない場合は NULL です
• action は ADD (テーブルの作成)、ドロップ、または変更です。
• type Replicateデータ型です
• primaryKeyPosition 列が主キーの一部でない場合は、ゼロになります

12. www.qlik.com/sap