包括消息中间件的历史，以及kafka的特点

1. KAFKA简介
陨⽯石@wacai.com

2. What Is The History?

3. Daemon Based Messaging

4. Tibco Rendezvous

5. Broker-Based Messaging

6. HOLD ON…

7. Broker-less Messaging

8. ZMQ
Brokerless

9. 本质上，⽀支持多种通信协议和模
式的消息框架

10. Actor Model

12. Messaging Scope
• Intra-Node
• Inter-Nodes
• Remoting
• Clustering

13. Broker Based Messaging
• JMS家族
• AMQP家族

14. JMS家族

15. 消息模型
Point-To-Point Pub-Sub

16. 相关产品

17. AMQP家族

18. 消息模型

19. 相关产品

20. Ultra Messaging
Todd L. Montgomery

22. 理论模型
应⽤用模型

24. FAST
1. DISK FAVORED IO!
2. Zero-Copy Transfer
SCALABLE
PARTITIONING FOR SCALING READ&WRITE
DURABLE
1. REPLICA IN MIND!
2. FLUSH PROPERLY
DISTRIBUTED
FAULT-TOLERANCE!

25. KAFKA的应⽤用场景

26. KAFKA@Linkedin

27. KAFKA@wacai.com

28. KAFKA@wacai.com

29. KAFKA Internals
Kafka集群拓扑结
构， 相关配置，结点之间
的协调，消费管理，统统
我来管~

30. Zookeeper With Kafka

31. Message Producer
!
"

32. 消息路由
props.put("partitioner.class", "xx.xxx.StringPrefixPartitioner")
class StringPrefixPartitioner(props:VerifiableProperties) extends kafka.producer.Partitioner{
def partition(key:Any, partitionNum:Int) : Int ={
hash(key.asInstanceOf[String].substring(0, 6)) % partitionNum
}
}
!
"

33. Message Consumer
!
" High Level Consumer API
# Simple Consumer API

34. ConsumerGroup和Threads的关系
• 同⼀一consumer group中consumer线程的数量应该少于等于topic的
partition的数量
• 同⼀一partition的数据会⼀一直分发给同⼀一个消费线程，但同⼀一个消费线程
可能接收到来⾃自多个partition的数据
• 消费线程数量⼤大于topic的partition的数量的时候，有的消费线程不会
接收到任何消息数据

35. Ops
• Stabilize Zookeeper First
• Higher Scala-Versioned Distribution If Exists
• Bigger Disk, Faster RPM
• Higher file handle number limit
• Raise default Heap Size(1G), make it 2-4G at least

36. Conclusion

37. Use Kafka
Wisely!

38. もんだい？