Neo4j Stream, [RDB/NoSQL]Kafka Connector CDC(Change Data Captuer)の紹介

Copyright ⓒ2019 CREATIONLINE, INC. All Rights Reserved
Neo4j Stream, [RDB/NoSQL]Kafka Connector
CDC(Change Data Captuer)の紹介
2019/12/06
CREATIONLINE,INC.
李昌桓(LEE CHANGHWAN)
1

設立
• 2006年1月
BP含めて130人ぐらい
事業概要
• クラウドインテグレーション事業
• ioTビックデータ分析事業
• DevOps関連サービス事業
• サブスクリプション販売&サポート
クリエーションラインのホームページ
• https://www.creationline.com
クリエーションライン株式会社
2

自己紹介
李昌桓 (LEE CHANGHWAN,@awk256)
データベースが大好きなサーバサイドのエンジニア。NoSQLを中核とした「ビックデータ処理基盤のアーキテクト」として活
動している。
クリエーションライン www.creationline.com
Neo4jユーザーグループ jp-neo4j-usersgroup.connpass.com
[ブログ]
www.creationline.com/lab/neo4j
www.qiita.com/aw256
[著書]
「グラフデータベースNeo4j」の他
www.amazon.co.jp/李昌桓/e/B004LWEKOU
3

はじめに
• 一般的にオペレーションデータはRDB又はNoSQLに格納
• RDB/NoSQLからGraph DBへネットワーク状のデータを展開
– 差分データの反映方法は?
– 適切なコストで実装できるか?
4
RDB/NoSQL
データの同期方法は?
$$
https://neo4j.com/product/

従来のETLの限界
5
RDB/NoSQL
neo4j-etl
neo4j-import
load csv
bolt-driver
NEO4Jが提供しているETL(Extract抽出 Transform変換 Loadロード)では、差分処理が困難
• neo4j-etl/neo4j-import
– 初期データのマイグレーション
– 1回限り
• load-csv/bolt-driver
– 繰り返し上書きできるが
– ソースデータからの差分抽出はNG
抽出ロード
一回限り、差分処理困難

Neo4j Stream（October 1, 2019）
6
• Neo4j Streams Cypher Prcedure(Kafka ⇔ Neo4j) #Neo4jがサポート
– Neo4j ProcedureでProducer/Consumer(Pub/Sub)を実装
• Neo4j Streams Consumer(Kafka to Neo4j) #Neo4jがサポート
– Kafka Brokerに入って来たメッセージ(JSON)をNeo4jに反映
• Neo4j Streams Producer(Neo4j to Kafka) #Neo4jがサポート
– Neo4jのCUD(Create/Update/Delete) をキャッチャーしてKafka Borkerに投げ込む(Change Data Capture:CDC)
• Kafka Connect worker(Kafka to Neo4j) #Confluentがサポート
– Kafka Connector Neo4j(Consumer)
https://neo4j.com/press-releases/neo4j-streams-kafta-confluent/
RDB/NoSQL
こちらの差分処理に
は触れておらず、、

Stream Processとは
7
Application
Publish
• Twitterのように連続的、又は非連続的に流れるデータを受け渡しするPF
Application
Subscribe
ソースからテキストタイプの
文字列（メッセージ）を受け取り、
連続してBrokerのTopicに取り込む
(JSON/CSV/KeyValue)
Broker
Topic
BrokerのTopicからFIFO
でメッセージを取り出し、
望みの処理を実行する
Source Target
Topicは論理的なデータ
の格納空間でDBで言えば、
Table各のもの
✓ AWS Kinesis
✓ GCP Pub/Sub
✓ Azure Data BUS
✓ Apache Kafka

Neo4j Streamのインストール
導入が簡単！
• Neo4j Plugin
– $NEO4J_HOME/plugins/neo4j-streams-3.5.4.jar
– https://github.com/neo4j-contrib/neo4j-streams/releases/tag/3.5.4
• Neo4j.conf
– kafka.zookeeper.connect=localhost:2181
– kafka.bootstrap.servers=localhost:9092
Kafka Serverは、別途インストール要！
8
https://neo4j.com/docs/labs/neo4j-streams/current/introduction/

Neo4j Streams Cypher Procedure #Neo4jがサポート
• neo4j.conf
– streams.procedures.enabled=<true/false, default=true>
• Cypher Procedureとしてコーディング
– CALL streams.publish('my-topic', 'Hello World from Neo4j!’)
– {"payload":"Hello world from Neo4j!"} #Kafkaからこのように読み取れる
– CALL streams.consume('my-topic', {<config>}) YIELD event RETURN event
9
stream-
publish
stream-
consume
Source Connection
差分捕獲・受け渡し
Sink Connection
受け渡し・差分更新
Kafka Broker
https://neo4j.com/docs/labs/neo4j-streams/current/procedures/

Neo4j Streams Producer(Publish, CDC) #Neo4jがサポート
• Neo4jの変更データを捕獲し、Kafkaに投げる(Change Data Capture:CDC)
– Node Pattern→ Label{*};Label1{prop1, prop2};Label3{-prop1,-prop2}
– Relationship Pattern → KNOWS{*};MEET{prop1, prop2};ANSWER{-prop1,-prop2}
10
Producer
Source Connection
Consumerの実装は
Neo4j Streams Consumer or
Kafka Connetor Neo4j or
Kafka Connector JDBC
https://neo4j.com/docs/labs/neo4j-streams/current/producer/

Change Data Captuer Setting
• neo4j.conf
kafka.zookeeper.connect=localhost:2181
kafka.bootstrap.servers=localhost:9092
kafka.acks=1
kafka.num.partitions=1
kafka.retries=2
kafka.batch.size=16384
kafka.buffer.memory=33554432
kafka.reindex.batch.size=1000
kafka.session.timeout.ms=15000
kafka.connection.timeout.ms=10000
kafka.replication=1
kafka.linger.ms=1
kafka.transactional.id=
streams.source.topic.nodes.my-topic=Label{*};Label1{prop1, prop2};Label3{-prop1,-prop2}
streams.source.topic.relationships.my-topic=KNOWS{*};MEET{prop1, prop2};ANSWER{-prop1,-prop2}
streams.source.enabled=<true/false, default=true>
streams.source.schema.polling.interval=<MILLIS, the polling interval for getting the schema information>
11
この設定に当てはまる
パターンをフィルター

Change Data Captuer Setting 続き
{
"meta": {
"timestamp": 1532597182604,
"username": "neo4j",
"tx_id": 3,
"tx_event_id": 0,
"tx_events_count": 2,
"operation": "created",
"source": {
"hostname": "neo4j.mycompany.com"
}
},
"payload": {
"id": "1004",
"type": "node",
"after": {
"labels": ["Person"],
"properties": {
"email": "annek@noanswer.org",
"last_name": "Kretchmar",
"first_name": "Anne Marie"
}
}
},
"schema": {
"properties": {
"last_name": "String",
"email": "String",
"first_name": "String"
},
"constraints": [{
"label": "Person",
"properties": ["first_name", "last_name"],
"type": "UNIQUE"
}]
}
} 12
"payload": {
"id": "1004",
"type": "node",
"before": {
"labels": ["Person", "Tmp"],
"properties": {
"email": "annek@noanswer.org",
"last_name": "Kretchmar",
"first_name": "Anne"
}
}
}
捕獲されたデータの例 PayloadデータをKafka
Borkerに投げる

Neo4j Streams Consumer(Subscribe) #Neo4jがサポート
• Cypher Template Type
– neo4j.confに設定されているCypherのTemplateに、JSON形式のKafka Messageを食べさせて実行
– Cypherとデータは別々
• CUD File Format Type
– JSON形式のCUD定義(Create/Update/Delete)のKafka MessageをCypherに変換して実行
– Cypherとデータが一体
13
Neo4j
Stream
Sink Connection
Kafka Broker
Producerの実装は、
Neo4j Streams Producer(Neo4j Only) or
[RDB/NoSQL] Kafka CDC or

Cypher Template Typeの設定
• neo4j.conf
kafka.zookeeper.connect=localhost:2181
kafka.bootstrap.servers=localhost:9092
streams.sink.enabled=true
streams.sink.topic.cypher.my-topic=MERGE (n:Label {id: event.id}) ¥
ON CREATE SET n += event.properties
• Kafka Message
{
"id": 42,
"properties": {
"title": "Answer to anyting",
"description": "It depends."
}
}
14
データをCypher Queryに食べさせて実行

CUD(Create/Update/Delete) File Formatの設定
• neo4j.conf
streams.sink.topic.cud=my-topic;my-other.topic
• CUD File FormatのKafka MessageをCypher Queryに変換して実行
15
Kafka Event
{
"op": "merge",
"properties": {
"foo": "value",
"key": 1
},
"ids": {"key": 1, "otherKey": "foo"},
"labels": ["Foo","Bar"],
"type": "node",
"detach": true
}
Cypher Query
UNWIND [..., {
"op": "merge",
"properties": {
"foo": "value",
"key": 1
},
"ids": {"key": 1, "otherKey": "foo"},
"labels": ["Foo","Bar"],
"type": "node",
"detach": true
}, ...] AS event
MERGE (n:Foo:Bar {key: event.ids.key, otherkey:
event.ids.otherkey})
ON CREATE SET n += event.properties
変換

[RDB/NoSQL]Kafka CDC Connector #Confluentがサポート
• Kafka CDC Connector(Confluent supported)
– RDB/NoSQLの更新を捕獲し、Kafka Brokerに投入
16
RDB/NoSQL
Producer
Kafka CDC
Connector
Source Connection
• MySQL
• PostgreSQL
• MongoDB
• Etc
Consumerの実装は
Neo4j Streams Consumer or
Kafka Connetor Neo4j or

[RDB/NoSQL]Kafka CDC ConnectorとNeo4j Streamを疎結合
• Source Side
– Kafka CDC Connector(Confluent supported)
• Sink Side
– Neo4j Stream or Kafka Connector Neo4j
18
RDB/NoSQL
Kafka CDC
Connector
CONFLUEN HUB
• MySQL
• PostgreSQL
• MongoDB
• Etc
Neo4j
Streams
Consumer
Kafka
Connector
Neo4j
or
Source Connection
Sink Connection

まとめ
• ガチのETLツールってOSS由来でも有償であり、かなり高いから有力な代替案になりそうだ
• Neo4j Stream、説明がとてもややこしい（今回のセッション聞いた人は大丈夫）
• Confluentの[RDB/NoSQL]Kafka CDC Connector、実装方法とかの説明が乏しい（要件を見極めて実現可能性の検
証から入っていたほうがよさそう）
• 異常系の処理で冪等性が保証されるか（使うなら徹底検証要）
• 順序性のキープが必要になると、Kafkaで1パーティションしが使えず、スループットが犠牲になる可能性あり（要件を見極めて
Topic設計の工夫が必要そう）
19
https://neo4j.com/docs/labs/neo4j-streams/current/

Neo4j Stream, [RDB/NoSQL]Kafka Connector CDC(Change Data Captuer)の紹介

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Neo4j Stream, [RDB/NoSQL]Kafka Connector CDC(Change Data Captuer)の紹介

Similar to Neo4j Stream, [RDB/NoSQL]Kafka Connector CDC(Change Data Captuer)の紹介 (20)

More from 昌桓李

More from 昌桓李 (7)

Recently uploaded

Recently uploaded (8)