configure Kafka cluster in Real-World

1. KAFKA CLUSTER 實戰
RiCo Chen

2. 大綱
• Kafka 簡介
• Kafka 能幫系統什麼
• MicroService Architecture
• Kafka 架構和重要名詞、職責
• Kafka 重要設定
• Demo - NetCore 實現 pub / sub
• Perf Test of Throughput

3. KAFKA 簡介
• 分散式串流平台，具備高吞吐量、低延遲、高可用和高效能(response of ms)特徵
• 2011年Open Source，且被各大企業廣泛應用，2017年11正式發布1.0.0(淬鍊7年)
• Power by: LinkedIn、airbnb、Mozilla、Twitter、LINE、skyscanner、trivago、
Hotel.com、PayPal、Uber、Yahoo…
• 安裝簡易、Online 水平擴充、Apache 頂級專案且資源取得容易
• 基於pub/sub的MQ 系統為主要設計
• 提供Message的Durability、順序保證(by each partition)和三種傳送類型
RabbitMQKafka

4. KAFKA 能幫系統什麼
• 降低系統相依性，生產者和消費者透過Kafka當中介層傳輸Message
• 提高系統承載性，不會因為突發流量(request)壓力 ，導致系統無法服務
• 提高系統擴充性，水平擴充kafka很簡單，AP端只須改config，無須改code
• 提高系統可靠性，一些操作(Log Aggregation)並不需要耗用主要系統資源，可分散至
其他系統進行處理
• 系統邁向Microservice的基石，隔離每個service錯誤，不讓主要系統服務Crash，影響
公司收入
• *提供系統處理Message彈性，Kafka的Message有持久化特性，這增加Message冗餘
性，如Consumer拉完Message後，後續處理過程失敗的話，也不用擔心資料遺失風
險

5. MICROSERVICE
ARCHITECTUREhttpRequest
httpResponse
1.Check Token Validation
1.1 Log this WebAPI(path...)
2.Get Player’s Profile
2.1 Log this WebAPI(path…)
3.Redirect to Lobby
4.Get Game Lists
4.1 Log this WebAPI(path…)
5.Get Recommend Games
5.1 Log this WebAPI(path..)
6.Get Jackpot Contribution
6.1 Log this WebAPI(path..)
7. Get Bonus’s Info
7.1 Log this WebAPI(path..)
7.Get Banner
7.1 Log this WebAPI(path..)
…….
a. Play Game
a.1 Log this WebAPI(path..) ..…
httpRequest
httpResponse
Logger Service
Recommend Service
Game Lists
Service
Jackpot Service
Bonus Service
Banner Service
Producer of Logger
Producer
of
Game Lists
MQ
Topic of Logger
MQ
Topic of
Game List
KafkaEvent Listener
Consumer of Logger
Consumer
of
Game Lists
Event Listener

6. KAFKA 架構
Producer
Broker
Consumer
/
ConsumerGroup
Front End Front End Front End
Broker2 Broker3
Push(batch)
Data
Warehouse
Real-Time
monitor
pull
Message
Switching
Kafka cluster(p2p)
replica
zookeeper cluster(MA)
Topoc’s config,broker status
Cluster membership…
Partitoin,Message Queue,
offset manager,topic,
replica manager,
GroupCoordinator(rebalance)…
socket
socket
socket
Broker1
heartbeat

7. 重要名詞和職責
• Producer(生產者): 推送Message to Broker(Kafka)
• Broker(Kafka server/node):MQ process(kafka cluster最小單位)
• Cosnumer/group(消費者/群組): 拉取Message from Broker(Kafka)
• Topic(主題): Message要分類在那個Queue
• Partition(分區): 有順序存放Message、提供容錯、平行、負載平衡和擴充處理
• Offset(位移號): 每一個Partition中，每一Message的流水號

8. KAFKA 重要設定
PRODUCER
• Message Delivery
• Acks
類型 At most once(最多一次) At least once(最少一次) Exactly once(只有一次)
說明 Message可能遺失，但絕不重複發送 Message不太可能遺失，但可能重複發送 Message只會發送一次
類型 acks=0 acks=1 acks=all
說明 Producer不會等kafka回應，無法保證
message是否成功送至kafka
Producer等待kafka’s Leader回應成功寫入
local file，但不保證follower也成功寫入
Producer不只會等Leader，也
會等待所有同步中的follower也
成功寫入local file
Kestrel Server
Kestrel Server
Kestrel Server
Load Balance
Kafka Cluster
BatchSzie
BufferSize
Async
FireAndForget
NonCompression
Send error Handling
Retry policy
httpRequest
Producer

9. KAFKA 重要設定
BROKER
• Partition 數量= broker倍數，單一topic不建議超過1024
• num.recovery.threads.per.data.dir=2
• Log.retention.hours=2
• replica.high.watermark.checkpoint.interval.ms=5000
• replica.fetch.wait.max.ms=3000
• min.insync.replicas=1
• log.cleanup.policy=delete
• log.cleaner.enable=true
• zookeeper.session.timeout.ms= 6000
• default.replication.factor=2
Partition 0
Leader 0
Replica 0,1
ISR 0,1
#1 Partition 1
Leader 1
Replica 1,2
ISR 1,2
#2
Partition 2
Leader 2
Replica 2,0
ISR 2,0
#3
Kafka Cluster

10. KAFKA 重要設定
CONSUMER
• 開發上使用ConsumerGroup，才能平行處理，且自動負載平衡
• Consumer數量=broker 倍數
• auto.offset.reset=Earliest
• Batch size越小才能避免Lag快速累積
類型 Earliest(最舊) Latest(最新)
說明 讀取最早一次offset 讀取最後一次offset
Kafka Cluster
MaxPollRecords
FetchMaxWaitTime
FetchMinSize
FetchBatchSize
Batch Insert
Failed Event
Process
Consumer

11. KAFKA 重要設定
JVM
• 避免OOM
• 避免頻繁觸發GC
-Xmx8g –Xms8g -XX:MetaspaceSize=96m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -
XX:MaxMetaspaceFreeRatio=80 -XX:MinMetaspaceFreeRatio=50 -XX:G1HeapRegionSize=16M -
XX:InitiatingHeapOccupancyPercent=35
-Xms: Set initial Java heap size
-Xmx: Set maximum Java heap size
+UseG1GC: Enable G1 GC
MaxGCPauseMillis: Set maximum pause
MaxMetaspaceFreeRatio: Set maximun metaspace free ratio
MinMetaspaceFreeRatio: Set minimun metaspace free ratio
G1HeapRegionSize: Adjust G1 region on each heap
InitiatingHeapOccupancyPercent: initial Java heap occupancy threshold

12. DEMO - NETCORE 實現 PUB / SUB

13. PERF TEST OF THROUGHPUT
• OS: CentOS Linux release 7.4.1708
• CPU : 2*2 E5-2620 v4 @ 2.10GHz
• Memory: 4 GB
• Kafak’s Version:1.0.1
• Producer (num-records=100000, record-size=100, throughput=1000,
batch.size=100, compression.type=none)

14. PERF TEST OF THROUGHPUT
• Consumer (messages=100000, num-fetch-thread=2)
Result of Producer
Avg latency:0.88 ms
Max latency:195 ms
Sent: 999.920 records/sec
Result of Consumer
9.5367 MB /sec
102774 message/sec

15. Q & A

16. 參考
• https://kafka.apache.org/
• https://github.com/apache/kafka
• http://www.oracle.com/technetwork/articles/java/g1gc-1984535.html
• https://docs.oracle.com/cd/E40972_01/doc.70/e40973/cnf_jvmgc.htm