Qlik ReplicateでApache Kafkaをターゲットとして使用する

1. Qlik Replicateで
Apache Kafkaを
ターゲットとして使用する
クリックテック・ジャパン株式会社

2. 2
Qlik Replicateの概要

3. 3
Qlik Replicateの「一般的な」アーキテクチャ
Qlik
Replicate
メインフレーム
ファイル
データウェアハウス
RDBMS
Hadoop
メインフレーム
ファイル
データウェアハウス
RDBMS
Hadoop
フルロード
CDC
フルロード
CDCを適用
バッチ バッチ
クラウド
クラウド
オンプレミス オンプレミス
永続ストア
• 多種多様なDB、DWH、ビッグデータプラットフォーム間でデータレプリケーション処理を簡単な操作で行うための製品
• エージェントレスでデータソースへの負荷や影響を最小限にしながら、高速に異種システム間でデータ転送を行える

4. 4
ターゲットとしてのストリーミング環境 - Apache kafkaなど
Qlik
Replicate
メインフレーム
ファイル
データウェアハウス
RDBMS
Hadoop
フルロード
CDC
フルロードとCDCの
レコードデータを
送信 クラウド
クラウド
オンプレミス オンプレミス
永続ストア
• ターゲットとして、ストリーミングアーキテクチャのシステムをサポート
• 実稼働データベースの更新をライブの変更データストリームに変換する、シンプルで汎用的なリアルタイムソリューション

5. 5
Apache Kafkaの概要

6. 6
Apache Kafkaベースのトピックのプロデュース&コンシューム
用語
 Broker - Apache Kafkaサーバー
 Cluster - 複数のBrokerから構成
 Producer - Kafkaクライアント。Broker(Partition)にメッセージ(Message)を送信
 Consumer – Kafkaクライアント。Broker(Partition)からメッセージ(Message)を受信。同一Group内で受信処理を分担可能
 Topic – キュー。複数のPartitionで構成も可能
 Partition – メッセージ(Message)を処理。永続化して一定期間保持

7. 7
Qlik ReplicateのターゲットとしてのApache Kafka
 Qlik Replicate は、Apache Kafka の Producer
 Broker群に接続してメッセージ(Message)をTopicに送信
 各メッセージ(Message)は、Full LoadとApply Changes(CDC)の「1行分のデータ」を表す(サイズには上限あり)
• メッセージ(Message)の形式は、JSON(UTF-8)またはAvro
• メッセージ(Message)には、Message Key(スキーマ名+テーブル名または主キーの値)も付加できる(オプション)
• 処理するPartitionを決めるキー
• メッセージ(Message)は、Snappyまたはgzipで圧縮可能
 Full Load および CDC をサポート(ただしStore Changesモードはサポート無し)
 Apache Kafkaのバージョン 1.x および 2.x をサポート
• Confluent Cloud, Confluent Platformも含む
• https://help.qlik.com/en-US/replicate/May2021/pdf/Replicate%20Support%20Matrix.pdf

8. 8
Apache Kafkaをセットアップする
 Linux/macOS環境を用意(※Windows OS上でのApache Kafkaは若干不安定なのであまりお勧めしません)
• OpenJDK 8 または OpenJDK 11 をインストール
 Apache Kafka(例:2.7.0, Scala 2.13版)をダウンロードして展開
• https://archive.apache.org/dist/kafka/2.7.0/kafka_2.13-2.7.0.tgz
• $>tar -zxvf kafka_2.13-2.7.0.tgz
 Zookeeperを起動
• $>cd kafka_2.13-2.7.0
• $>./bin/zookeeper-server-start.sh config/zookeeper.properties
 Apache kafkaサーバー(Broker)を起動(デフォルトのポート9092を使用)
• $>./bin/kafka-server-start.sh config/server.properties
 付属のコマンドラインツールでTopic(例:quickstart-events)を作成 – ただし、デフォルト設定は必要に応じて自動で作成される
• $>./bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
 付属のコマンドラインツールでTopicをコンシュームしておく
• $>./bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092 --
property print.offset=true --property print.key=true

9. 9
Confluent - Apache Kafkaベースのストリーミングデータプラットフォーム
Confluent社は、クラウド、マルチクラウドやオンプレミスなどのあらゆる環境に対応するクラウドサービスと自己管理型
ソフトウェアを提供
• Confluent Cloud - Apache Kafka のクラウドネイティブサービス
• Confluent Cloudは、保有するすべてのデータを必要なあらゆる場所で接続し、処理するための完全マネージド型のク
ラウドネイティブ Apache Kafka サービス
• https://www.confluent.jp/confluent-cloud/
• https://docs.confluent.io/ja-jp/cloud/current/overview.html
• Confluent Platform - すべてが揃った Apache Kafka のエンタープライズ版ディストリビューション
• Confluent Platformは、組織全体のデータを継続的にストリーミングし、質の高いカスタマーエクスペリエンスとデータドリ
ブン型の運用を実現する完全な自己管理型のプラットフォームを提供
• https://www.confluent.jp/product/confluent-platform/
• https://docs.confluent.io/ja-jp/platform/6.0.1/overview.html

10. 10
Qlik ReplicateからApache Kafka
そしてQlik Senseへ

11. 11
ターゲットのデータソースとしてKafkaを設定
 Broker servers – 最初に接続するBrokerのリスト
 Security - SSLや認証設定
 MessageのFormatとCompression(None、Snappy、gzip)を設定
 送信先のTopicを設定
• 単一のTopic か 1テーブルごとに1つのTopic(’schema.tablename’形式)
• 送信先Partition選択用の Message Key の有無
• Message Keyを使う場合の値(主キー値 か ’schema+tablename’形式)
• 処理中のエラーは、attrep_apply_exceptionsというTopicに送信される
 メッセージの構造を示すメタデータを付けるか否か
• 付ける場合はそれを送信するTopicやSchema Registryを指定
 メッセージにQlik Replicate特有のデータを付けるか否か
 テーブルのTransformationで以下の名前のカラムを追加して、Topic、Partition、
Message Keyの値をそれぞれオーバーライド設定可能
• $topic、$partition、$key

12. 12
サポートされない機能(制限)
• https://help.qlik.com/en-US/replicate/May2021/Content/Replicate/Main/Kafka/limitations_kafka.htm
• 無制限サイズのLOBは非サポート。ソーステーブルからLOBカラムをレプリケートする場合は「Allow unlimited LOB size」オプションは選択しない
• 「Batch optimized apply」モードはサポートされない。このモードが設定されている場合、タスクは自動的に「Transactional apply」モードに切り
替わり、警告を出力
• 「Store Changes」モードには対応しない
• KafkaのTopic名は255文字(Kafka 0.10からは249文字)を超えないこと。以下の文字だけを含むようにする
• a-z|A-Z|0-9|. (dot)|_(underscore)|-(minus)
• ソーステーブルの名前が最大長を超えていたり、サポートされない文字が含まれる場合、タスクを開始する前に名前を修正するか「Global Transformation」を定
義する必要あり
• カラム名は、[A-Za-z_](アルファベットまたはアンダースコア)で始まり、[A-Za-z0-9_](アルファベット、数字またはアンダースコア)が続く必要あり
• ソースのカラム名がこのルールに従っていない場合は、「transformation」を使用してカラム名を変更する必要あり
• Apply Changesの「Ignore ALTER」設定は、ソースデータタイプの変更やテーブル名の変更には対応しない
• 「Target Table Preparation」の「Drop and Create table」オプションはサポートされない
• 「Target Table Preparation」の「Truncate before loading」オプションはサポートされない
• 「DDL History」および「Change Data Partitioning Control Table」はサポートされない
• DDL変更(テーブルの削除または名前の変更)はサポートされない

13. 13
送受信されるメッセージ – JSONの例
operationの値は
 REFRESH - Full Load
 UPDATE, DELETE, INSERT - Apply Changes(CDC)
タスク
MySQLKafka Topicに送信され、./bin/kafka-console-consumer.shで受信して表示したメッセージの例
・・・
・・・
• MySQLのsales.employeesテーブルのEmployeeID、LastName、FirstNameの3つのカラムだけを処理
• Full Loadした後、MySQLクライアントで何かの行を更新(UPDATE)した場合
• Message Keyは’schema+tablename’形式

14. 14
KafkaのTopicをコンシュームするクライアントの例 - その1
 Rubyを利用して、KafkaのTopicを受信し続ける
• Apache Kafkaクライアントライブラリのruby-kafka(https://github.com/zendesk/ruby-kafka)を利用
 ソースのsales.employeesテーブルのFull LoadとApply Changes(CDC)のデータをCSVファイルに継続的に追記
• fulload.csv, changes.csv
Qlik Replicate
RDBMS ファイル

15. 15
KafkaのTopicをコンシュームするクライアントの例 - その1
 Qlik Sense(QlikView)でCSVファイルをロードする
• 通常のリロード
• Merge Onlyのリロード
Qlik Replicate
RDBMS ファイル

16. 16
KafkaのTopicをコンシュームするクライアントの例 - その2
 Rubyを利用して、KafkaのTopicを受信し続ける
• Apache Kafkaクライアントライブラリのruby-kafka(https://github.com/zendesk/ruby-kafka)を利用
 ソースのsales.employeesテーブルのFull LoadとApply Changes(CDC)のデータを継続的にMySQLのテーブルへINSERT(autocommit=true)
• fullloadテーブル、changesテーブル
• MySQLライブラリのmysql2(https://github.com/brianmario/mysql2)を利用 Qlik Replicate
RDBMS RDBMS

17. 17
KafkaのTopicをコンシュームするクライアントの例 - その2
Qlik Replicate
RDBMS RDBMS
 Qlik Sense(QlikView)でテーブルをロードする
• 通常のリロード
• Merge Onlyのリロード

18. 18
Tips: 送受信されるメッセージの構造
• 受信するレコードデータのメッセージのフォーマットを変更したり、メッセージのメタデータやスキーマなども利用可能
• 受信するコンシューマを実装する際に考慮が必要
• 「Table Settings」画面の「Message Format」タブで、デフォルトのQlik Replicateメッセージのフォーマットをカスタマイズ
することが可能
https://help.qlik.com/en-
US/replicate/May2021/Content/Global_Common/Content/SharedEMReplicate/Customize%20Tasks/Message_Format.htm
• カスタムメッセージフォーマット機能は、Attunity Avro Message Decoder SDKと組み合わせて使用することはできない
• 階層構造のメッセージはサポートされない
• デフォルトのメッセージフォーマットに戻すには「Default Message Format」ボタンをクリックします
• Replicate Envelopeとは？
https://help.qlik.com/en-US/replicate/May2021/Content/Replicate/Main/Kafka/attunity_envelope.htm
• メッセージは、Replicate Envelopeと呼ばれるメッセージスキーマ用データによって包含されるエンドポイント設定もあり
• messageSchemaIdフィールド(null またはID文字列) - 別の場所で定義されたメッセージスキーマへの参照ID。コンシューマは、別途送信される
MetadataメッセージからIDを使って検索する必要あり
• messageSchemaフィールド(null または 文字列) - Avroメッセージ用のAvro JSON スキーマ

19. www.qlik.com/sap