Qlik Replicateを基礎から学ぶ勉強会#3「Qlik Replicateのタスク実行時の操作」

1. © 2019 QlikTech International AB. All rights reserved.
Qlik Replicateの
タスク実行時の操作
クリックテック・ジャパン株式会社

2. 2
タスクの実行方法
• [Run] ボタンをクリックして、レプリケーションタスクを実行します。タスクプロセスは、タスクを停止するために[Stop]ボタンをクリックするまで実行し続けます。
• [Run] をクリックすると、次の処理が行われます。
 タスクが初めて実行される場合：[Start Processing]が実行されます。
 タスクが開始および停止されている場合：[Resume Processing]操作が実行されます。
• タスクプロセスが実行中の場合、エラーが発生してタスクのレプリケーションが停止することがあります。
• [Run] ボタンは、次のビューで使用できます。
• タスクリストからタスクを選択すると、タスクビューが表示されます。
• 個々のタスクでは、DesignerモードとMonitorモードの両方で、[Run] ボタンと [Stop] ボタンが使用できます。

3. 3
Runボタンオプションの利用
• Start Processing
 タスクを初めて実行するときにのみ使用できます。
 タスクでFull Loadが有効化されている場合、最初のFull Loadが実行されます。
 タスクでApply Changesが有効化されている場合、CDC処理が(Full Load後に)実行されます。
• Resume Processing
 停止した時点からタスクの実行を再開します。
 タスクの停止後にスキーマまたはフィルタが変更された場合は、再開するのではなく、タスクを再ロード
する必要があります。
• Reload Target
 タスクでFull Loadが有効になっている場合にのみ使用できます。
 最初からFull LoadとCDC処理 (Apply Changesが有効な場合) を開始します。
 すでに処理されているテーブルは、Task Settingsの「Target table preparation」に従って処理
されます。
• Advanced run options
 タスク実行を制御するための詳細オプションです。
[Run] ボタンの横にある三角形をクリックし、次の実行オプションを使用できます。

4. 4
詳細な実行オプション
[Advanced run options] では、タスクの再開に関する追加オプションを提供します。
① Restart task and start processing changes from current time
② Tables are already loaded. Start processing changes from:
③ Metadata Only:
④ Recovery
※ ログ ストリーム ステージング のセットアップでは、一部の高度な実行オプションを使用できません。ログ ストリーム ステージング セットアップ
での高度な実行オプションの可用性については、「ログ ストリームステージングの制限事項と考慮事項」を参照してください。

5. 5
① Restart task and start processing changes from current time :
• (タスクが以前に実行されていない場合と同様に)最初からApply Changesレプリケーションタスクを開始します。
• Store ChangesのオプションがONになっている場合、ターゲットのChange Table (__ctテーブル)の内容がクリアされます。
※ Apply Changesレプリケーションタスクでのみ使用できます。
詳細な実行オプション

6. 6
② Tables are already loaded. Start processing changes from:
• Date and Time: 変更の処理を開始するためにレプリケートする日付と時刻を選択します。
※ ログがデータベースから削除されると (パージ ポリシーが原因など)、指定した日時に一致するログが存在しない場合があります。この場合、
Replicateは、指定された日時の後に、可能な最も早い時点からタスクを再開します。
※ IBM DB2 for LUW ソース・エンドポイントでは、このオプションを使用して、 Apply Changesタスクの元の開始時刻より前の時点からApply
Changes タスクを開始することはできません。別の方法として、 Apply Changes タスクの元の開始時刻以降のタスクの開始にのみ使用できます。
※ タイムスタンプは、ブラウザマシンのローカル時刻を使用します。
※ このオプションは、ファイルソースエンドポイントでは利用できません。
※ タスクが停止している間にソースで実行された DDL(例: ドロップ列)は、タスクがタイムスタンプから再開されるときに レプリケートされません。
• Source change position (e.g. SCN or LSN) : 変更処理を再開するログの位置を指定します。ソースの変更位置の形式は、ソース エンドポ
イントによって異なります。詳細については、「ソース変更位置を検索する方法」を参照してください。
※ [Source change position] オプションは、次のソース エンドポイントでのみサポートされます。
• Oracle, Microsoft SQL Server, MySQL, PostgreSQL, IBM DB2 for z/OS, and IBM DB2 for LUW
※ データベースによっては、timestampからSCNを取得することも可能。(以下はOracleの例)
 select timestamp_to_scn(to_timestamp('01-09-2021 12:46:21','dd-mm-yyyy hh24:mi:ss')) scn from dual;
詳細な実行オプション

7. 7
詳細な実行オプション
MySQL
オプション 1:
1.以下を実行します：
SHOW BINARY LOGS;
2. binlog ファイルを選択します (例.log.000123)。
3.以下を実行します：
SHOW BINLOG EVENTS IN 'binlog_filename’;
例：SHOW BINLOG EVENTS IN 'log.000123’;
4. BEGIN または DDL ステートメントの位置を見つけます (例: 1777888)
※ MySQL は、トランザクションの途中にある「開始位置」をサポートしていないため、
BEGIN または DDL のいずれかを選択する必要があります。
5. 内部パラメータを設定します。
StartFromPosition = binlog_filename:begin_or_ddl_position
例: StartFromPosition = log.000123:1777888
オプション 2:
1.以下を実行します：
SHOW MASTER STATUS;
2. "開始位置" を次のように設定します。
firstColumnValue:secondColumnValue
例: mysql.007472:775
サポートされている各データベースのソース変更位置(SCN: Source Change Position)を特定する方法について説明します。
Microsoft SQL Server
以下を実行します：
SELECT MAX([Current LSN]) FROM fn_dblog(null,null);
例: 00002717:00000e08:0003
Oracle
以下を実行します：
SELECT current_scn FROM V$DATABASE;
例: 1471212002
PostgreSQL
以下を実行します：
SELECT * FROM pg_current_xlog_location();
例: 0/67A47288)
IBM DB2 for z/OS
非データ共用環境の RBA である LSN と、データ共用環境での LRSN を指
定します。
IBM DB2 for LUW
1.db2pdを実行して、正しいログ名を見つけます。
2.返されたログ名を使用してdb2flsnを実行し、現在の LRI 値を使用します。
3.参照: pureScale 環境での LRI からのタスクの再開または開始

8. 8
詳細な実行オプション
③ Metadata Only: ターゲットに空のテーブルを作成し、手動で編集したり、タスク中にテーブルを作成することができます。
• Recreate all tables and stop: [Full Load Settings]タブで定義したとおりにターゲット テーブルを再作成するには、この
オプションを選択します。[Apply Changes] が有効になっている場合、[Store Changes Settings] タブで定義されているように
、変更テーブル/監査テーブルが作成されます。このオプションを使用するには、既存のタスクを停止し、このオプションを有効にしてタスク
を実行し (タスクは自動的に停止します)、最後にタスクを再開します。
• Create missing tables and stop: Change Tableを含む欠落したテーブルを作成するには、このオプションを選択します。
既存のタスクの [Store Changes] オプションを有効にした後、このオプションを使用してターゲットにChange Tableを作成できます
。このオプションを使用するには、既存のタスクを停止し、このオプションを有効にしてタスクを実行し (タスクは自動的に停止します)、
最後にタスクを再開します。
※ [Metadata Only] 機能は、以下を含む [Apply Changes]のみ定義されているタスクではサポートされません。
 Apply Changesのみ
 Store Changesのみ
 Apply ChangesとStore Changes

9. 9
詳細な実行オプション
有効なタスク オプション ターゲット上に作成されるテーブル
Full Load Control Tableを除くすべてのテーブル
Full Load and Apply Changes Control Tableを除くすべてのテーブル
Full Load, Apply Changes and Store Changes
変更が変更テーブルに保存される場合
Control Tableを除くすべてのテーブル
Full Load and Store Changes
変更が監査テーブルに保存される場合
Control Tableと監査テーブルを除くすべてのテーブル
Full Load, Apply Changes and Store Changes
変更が監査テーブルに保存される場合
制Control Tableと監査テーブルを除くすべてのテーブル
次の表は、単方向タスクでMetadata Onlyオプションが有効になっている場合に、ターゲット データベースに作成されるテーブルを示しています。
表に示すように、特定のタスク・オプションが使用可能な場合、ターゲット上のControl TableおよびAudit Tableは作成されません。

10. 10
詳細な実行オプション
④ Recovery：
• Recover using locally stored checkpoint :このオプションは、(たとえば、スワップ ファイルが破損しているため) オプションから
Resume Processing またはStart process changes fromして回復できない場合に使用します。このオプションを選択すると、
レプリケートは <Data_Folder_Path>datatasks<task_name>StateManagerに格納されているチェックポイント データを
使用してタスクを回復します。
※ 次のソース エンドポイントのみがサポートされます。
 Oracle
 Microsoft SQL Server
 MySQL
 PostgreSQL
 IBM DB2 for z/OS
 SAP HANA
※ タスクはChange Processing中にのみ回復できます (Full Load完了後)
※ ファイルチャネルエンドポイントを除き、すべてのターゲット エンドポイントがサポートされます。次の制限事項が適用されます。
 Transactional apply モード:トランザクションをサポートするすべてのターゲット エンドポイントがサポートされます。
 Batch optimized apply モード: Oracle ターゲット エンドポイントのみがサポートされています。また、[Preserve
transactional integrity]オプションを有効にする必要があります。
 他のすべてのターゲットエンドポイントまたは変更処理モードでは、リカバリはサポートされますが、ターゲット上で重複が発生する可能
性があります。

11. 11
詳細な実行オプション
• Recover using checkpoint stored on target : attrep_txn_stateテーブル (ターゲット データベースで作成された) の
CHECKPOINT値を使用してタスクを回復する場合に選択します。
※ タスクは変更処理中にのみ回復できます (Full Load完了後)
※ タスク変更処理モードは、次のいずれかに設定する必要があります。
 Preserve transactional integrityオプションを有効にしたBatch optimized apply モード。このモードは、Oracle
ターゲット エンドポイントでのみサポートされることに注意してください。
 Transactional apply モード
• このオプションは、[Task Settings] の[Change Processing Tuning ] タブの [Store task recovery data in
target database] オプションが有効になっている場合にのみ使用できます。
• Data フォルダ内のファイルが破損しているか、または Dataフォルダを含むストレージ デバイスが破損している場合は、このオプション
を選択します(Recover using locally stored checkpointオプションとは対照的に)。
• attrep_txn_state表を使用して回復を設定および実装する方法の詳細については、データ フォルダの損失または破損からの回
復を参照してください。

12. 12
データ フォルダーの損失または破損からの回復
• 通常の操作中、Qlik Replicateはレプリケーションの状態を次の場所に保持します。
<Data_Folder_Path>datatasks<task_name>StateManager
• これにより、(たとえば、壊れたスワップ ファイルのために) 通常どおり再開できないタスクは、 [Recover using locally stored checkpoint] オプションを使用して回復できます。
• ただし、dataフォルダ内のファイルが破損した場合や、dataフォルダを含むストレージ デバイスで障害が発生した場合は、以下に説明する方法を使用してタスクを回復する必要があります
。このオプションは、次のエンドポイント間でのみレプリケートする場合にサポートされます。
サポートされるソース エンドポイント サポートされているターゲット エンドポイント
Amazon RDS for MySQL
Amazon RDS for PostgreSQL
Amazon RDS for SQL
AWS Aurora Cloud for PostgreSQL
Google Cloud SQL for MySQL
Google Cloud SQL for PostgreSQL
IBM DB2 for z/OS
Microsoft Azure Database for MySQL
Microsoft Azure SQL Managed Instance
Microsoft SQL Server
MySQL
Oracle
PostrgreSQL
SAP HANA
Amazon Redshift
Google Cloud SQL for PostgreSQL
Microsoft Azure Database for MySQL
Microsoft Azure Database for PostgreSQL
Microsoft SQL Server
MySQL
Oracle
PostgreSQL
Snowflake on Azure
Snowflake on Google
Snowflake on AWS
サポートされるソースエンドポイントとターゲットエンドポイント

13. 13
タスクの回復の設定と起動
回復を成功させるには、タスクが失敗した時点からソース データベーストランザクション ログを利用できる必要があります。
回復用のタスクを設定するには
1. タスクをデザインします。[Task Settings] の[Change Processing Tuning] タブで、[Store task recovery data in target database] オプションを有効にしてくだ
さい。このオプションは、変更処理中はいつでも有効にすることができますが、変更処理が完了する前に有効にする必要があります。
2. タスクの定義をエクスポートする手順は、「タスクのエクスポート」を参照してください。
3. タスクを実行します。
選択したソース テーブルに加えて、タスクは、チェックポイントデータをターゲットデータベースの次のテーブルに書き込みます (別のタスクによって作成されていない場合は、自動的にテーブ
ルが作成されます)。
attrep_txn_state
回復を開始するには
1. タスクを設定するときにエクスポートされたタスク定義をインポートします。
2. エンドポイント接続設定にパスワードを入力します。
3. ターゲット データベースのattrep_txn_stateテーブルにアクセスし、失敗したタスクをTASK_NAME列で探します。複数のレプリケートサーバーで同じ名前のタスクが実行されている
場合は、[SERVER_NAME]列で適切なサーバーを見つける必要もあります。該当するタスクを見つけ、対応するCHECKPOINT列の値をコピーします。
4. [Recover using checkpoint stored on target] オプションを選択し、「Advancedオプション」の説明に従ってCHECKPOINT値 (貼り付けによって) を指定します。
5. [OK] をクリックして、リカバリを開始します。
リカバリ中、REPLICATEは、CHECKPOINT値に対応するコミット・イベントを識別するまで、ターゲット・データベースに何も書き込みません。CHECKPOINTコミット・イベントが識別さ
れると、リカバリーが実行され、タスクは標準操作に戻ります。

14. www.qlik.com/sap