Qlik ReplicateでAmazon Kinesis Data Streamsをターゲットとして使用する

1. Qlik Replicateで
Amazon Kinesis Data Streamsを
ターゲットとして使用する
クリックテック・ジャパン株式会社

2. 2
Qlik Replicateの概要

3. 3
Qlik Replicateの「一般的な」アーキテクチャ
Qlik
Replicate
メインフレーム
ファイル
データウェアハウス
RDBMS
Hadoop
メインフレーム
ファイル
データウェアハウス
RDBMS
Hadoop
フルロード
CDC
フルロード
CDCを適用
バッチ バッチ
クラウド
クラウド
オンプレミス オンプレミス
永続ストア
• 多種多様なDB、DWH、ビッグデータプラットフォーム間でデータレプリケーション処理を簡単な操作で行うための製品
• エージェントレスでデータソースへの負荷や影響を最小限にしながら、高速に異種システム間でデータ転送を行える

4. 4
ターゲットとしてのストリーミング環境 – Amazon Kinesisなど
Qlik
Replicate
メインフレーム
ファイル
データウェアハウス
RDBMS
Hadoop
フルロード
CDC
フルロードとCDCの
レコードデータを
送信 クラウド
クラウド
オンプレミス オンプレミス
永続ストア
• ターゲットとして、Amazon Kinesis Data Streamsなどのストリーミングアーキテクチャのシステムをサポート
• 実稼働データベースの更新をライブの変更データストリームに変換する、シンプルで汎用的なリアルタイムソリューション

5. 5
Amazon Kinesis Data Streams
の概要

6. 6
Amazon Kinesis Data Streamsのプロデュース&コンシューム
用語
 Producer - Kinesisクライアント。Stream(Shard)にデータレコードを送信
 Consumer – Kinesisクライアント。Stream(Shard)からデータレコードを受信
 Stream – ストリーム。複数のShardで構成も可能(1つのShardあたりの送受信の最大スループットが上限設定されている)
 Shard –データレコードを処理。永続化して一定期間保持
https://docs.aws.amazon.com/streams/latest/dev/key-concepts.html

7. 7
Qlik ReplicateのターゲットとしてのAmazon Kinesis
 Qlik Replicate は、Amazon Kinesis Data Streams の Producer
 Kinesisに接続してデータレコードをStreamに送信
 各データレコードは、Full LoadとApply Changes(CDC)の「1行分のデータ」を表す(サイズには上限あり)
• データレコードの形式は、JSON(UTF-8)またはAvro
• データレコードとともに、PartitionKey(スキーマ名+テーブル名または主キーの値)も付加できる(オプション)
• 処理するShardを決めるキー
• データレコードは、Kinesis内ではBase64でエンコードされて処理される
 Full Load および CDC をサポート(ただしStore Changesモードはサポート無し)

8. 8
Amazon Kinesis Data Streamsをセットアップする
 AWS マネジメントコンソールの「IAM」で必要に応じてユーザーを作成
• アクセスの種類で「プログラムによるアクセス」を有効
• アクセス許可の設定で、以下のKinesisのアクションへの許可をアタッチ、または単純に「既存のAmazonKinesisAnalyticsFullAccessポリシー」をアタッチ
• https://help.qlik.com/en-US/replicate/May2021/Content/Replicate/Main/Amazon%20Kinesis%20Streams/amazonkinesis_prereq.htm
• Streamのサーバーのデータ暗号化が必要なら、追加で上記のKMSのアクションも許可するポリシーをアタッチ
• ユーザーの認証情報で、アクセスキーIDとシークレットキーを作成しておく
 AWS マネジメントコンソールの「Amazon Kinesis」の「データストリーム」でStreamを予め作成
• Qlik Replicateが各データレコードの送信先として使用するStream(単一または複数個)を、必要なShard数(例:1)で作成
• Qlik Replicateがエラーの送信先として使用するStreamである attrep_apply_exceptions も作成
• もちろん、AWS コマンドラインインターフェイス(CLI)を使用してStreamを作成することも可能
• $>aws configure
• $>aws kinesis create-stream --stream-name <name> --shard-count 1
 AWS CLIなどでStreamにアクセスしてみる
• $>aws kinesis list-streams
• $>aws kinesis list-shards --stream-name <name>
• $>aws kinesis get-shard-iterator --stream-name <name> --shard-id <shardId> --shard-iterator-type TRIM_HORIZON
• $>aws kinesis get-records --shard-iterator ...

9. 9
Qlik ReplicateからAmazon Kinesis
そしてQlik Senseへ

10. 10
ターゲットのデータソースとしてKinesisを設定
 Access Details – Kinesisのリージョンやアクセスするユーザーのキーを指定
• AWS(IAM)のユーザーには、必要なアクションなどへの許可を有効にしておく
 送信するデータレコード内のDataのFormatを設定
 送信先のStreamを設定
• 単一のStream か 1テーブルごとに1つのStream(’schema.tablename’形式)
• 送信先Shard振り分け用の PartitionKey の有無
• PartitionKeyを使う場合の値(主キー値 か ’schema+tablename’形式)
• 処理中のエラーは、attrep_apply_exceptionsというStreamに送信される
 データレコード内のData(Base64デコード後)の構造を示すメタデータを付けるか否か
• 付ける場合はそれを送信するStreamを指定
 テーブルのTransformationで以下の名前のカラムを追加して、Stream、PartitionKeyの
値をそれぞれオーバーライド設定可能(Shardの指定は無し)
• $stream、$key
 Advancedオプションとして、Webプロキシサーバーの指定も可能

11. 11
サポートされない機能(制限)
• https://help.qlik.com/en-
US/replicate/May2021/Content/Replicate/Main/Amazon%20Kinesis%20Streams/limitations_amazonkinesis.htm
• 無制限サイズのLOBは非サポート。ソーステーブルからLOBカラムをレプリケートする場合は「Allow unlimited LOB size」オプションは選択しない
• 「Batch optimized apply」モードはサポートされない。このモードが設定されている場合、タスクは自動的に「Transactional apply」モードに切り
替わり、警告を出力
• 「Store Changes」モードには対応しない
• KinesisのStream名として使用できる文字は英字 (大文字と小文字)、数字、アンダースコア、ハイフン、ピリオドのみ
• ソーステーブルの名前にサポートされない文字が含まれる場合、タスクを開始する前に名前を修正するか「Global Transformation」を定義する必要あり
• カラム名は、[A-Za-z_](アルファベットまたはアンダースコア)で始まり、[A-Za-z0-9_](アルファベット、数字またはアンダースコア)が続く必要あり
• ソースのカラム名がこのルールに従っていない場合は、「transformation」を使用してカラム名を変更する必要あり
• Apply Changesの「Ignore ALTER」設定は、ソースデータタイプの変更やテーブル名の変更には対応しない
• 「Target Table Preparation」の「Drop and Create table」オプションはサポートされない
• 「Target Table Preparation」の「Truncate before loading」オプションはサポートされない
• 「DDL History」および「Change Data Partitioning Control Table」はサポートされない
• DDL変更(テーブルの削除または名前の変更)はサポートされない

12. 12
送受信されるデータレコード – DataがJSONの例(Base64)
 データレコード内のDataの値はBase64でエンコードされた状態で送受信される
タスク
MySQLKinesis
Streamに送信され、aws kinesis get-records --shard-iterator …コマンドで受信して表示したデータレコードの例
・・・
• MySQLのsales.employeesテーブルのEmployeeID、LastName、FirstNameの3つのカラムだけを処理
• Full Loadした後、MySQLクライアントで何かの行を更新(UPDATE)した場合
• PartitionKeyは’schema+tablename’形式

13. 13
送受信されるデータレコード – DataがJSONの例(Base64)
operationの値は
 REFRESH - Full Load
 UPDATE, DELETE, INSERT - Apply Changes(CDC)
タスク
MySQLKinesis
受信したデータレコード内のDataの値(Base64エンコード)を試しにデコードしてみた例
・・・
• データレコード内のDataの値はBase64でエンコードされた状態で送受信される
• プロデューサやコンシューマで使用するKinesisクライアントライブラリでBase64のエンコード・デコードを処理してくれることが多い
• AWS CLIのget-recordsコマンドはKinesisから受信したデータレコードをそのまま出力

14. 14
KinesisのStreamをコンシュームするクライアントの例 - その1
 Pythonを利用して、KinesisのStreamを受信し続ける
• AWS SDK for Python(Boto3) (https://github.com/boto/boto3)を利用。認証にはAWS CLIが生成する「~/.aws/credentials」を参照
 ソースのsales.employeesテーブルのFull LoadとApply Changes(CDC)のデータをCSVファイルに継続的に追記
• fulload.csv, changes.csv Qlik Replicate
RDBMS ファイル

15. 15
KinesisのStreamをコンシュームするクライアントの例 - その1
 Qlik Sense(QlikView)でCSVファイルをロードする
• 通常のリロード
• Merge Onlyのリロード
Qlik Replicate
RDBMS ファイル

16. 16
KinesisのStreamをコンシュームするクライアントの例 - その2
 Pythonを利用して、KinesisのStreamを受信し続ける
• AWS SDK for Python(Boto3) (https://github.com/boto/boto3)を利用。認証にはAWS CLIが生成する「~/.aws/credentials」を参照
 ソースのsales.employeesテーブルのFull LoadとApply Changes(CDC)のデータを継続的にMySQLのテーブルへINSERT(autocommit=true)
• fullloadテーブル、changesテーブル
• MySQLへのアクセスには、mysql-connector-pythonパッケージを利用
Qlik Replicate
RDBMS RDBMS

17. 17
KinesisのStreamをコンシュームするクライアントの例 - その2
Qlik Replicate
RDBMS RDBMS
 Qlik Sense(QlikView)でテーブルをロードする
• 通常のリロード
• Merge Onlyのリロード

18. 18
Tips: 送受信されるメッセージの構造
• 受信するレコードデータのメッセージのメタデータやスキーマなども利用可能
• 受信するコンシューマを実装する際に考慮が必要
• Replicate Envelopeとは？
https://help.qlik.com/en-
US/replicate/May2021/Content/Replicate/Main/Amazon%20Kinesis%20Streams/attunity_envelope_amazonkinesis.htm
• メッセージは、Replicate Envelopeと呼ばれるメッセージスキーマ用データによって包含されるエンドポイント設定もあり
• messageSchemaIdフィールド(null またはID文字列) - 別の場所で定義されたメッセージスキーマへの参照ID。コンシューマは、別途送信される
MetadataメッセージからIDを使って検索する必要あり
• messageSchemaフィールド(null または 文字列) - Avroメッセージ用のAvro JSON スキーマ

19. www.qlik.com/sap