Downloaded 10 times
Uploaded byZhenzhong Xu
Streaming architecture zx_dec2015
本文件讨论了Netflix的千亿级实时数据处理平台，介绍了流处理架构的必要性及其关键特性，包括数据不可变性、实时性和高可用性。它详细说明了Netflix在大数据处理中的技术应用，包括Kafka和Docker在内的现代工具和架构设计。文档还探讨了传统应用架构的局限性，以及如何通过流处理来应对数据爆炸和处理模式变化的挑战。
Streaming architecture zx_dec2015
- 1.
- 2.
- 3.
- 4.
- 5.
- 6. ● 日处理七千亿条／1+ PB数据 ● 顶峰每秒处理1千万条／20+ GB 信息 ● 3000+ Kafka brokers， 12 clusters in 3 regions ● 10,000+ Docker容器部署 We help Produce, Store, Process, Move Events @ Cloud scale Netflix Keystone Pipeline
- 7.
- 8. ● 横向可扩展构架 ● 完全构架在AWS云端基础设施上 ●At-least-once 投递保证 ● 容纳back pressure， 容纳云端不稳定基础服务 ● Sink level isolation ● 同时支持数据中心内及跨洲际数据中心failover ● High availability, scalability & durability ● Streaming Architecture Netflix Keystone Pipeline
- 9. Big Data History 为什么要用StreamingArchitecture？
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20. Commit log Commit log是很多分布式系统中的核心 ● Database Replication ● Paxos Consensus ● Kafka ● … …
- 21.
- 22.
- 23. 2. 传统应用构架 -Scale up DB!
- 24. 3. 传统应用构架 -Caching! res = cache.get(key) if (!res) { r = db.get(key) cache.put(key, r) } return r;
- 25. 3. 传统应用构架 -Caching! 缓存分布式系统难题： ● Cache coherence ● Cache Invalidation ● Consistency issue ● Cold start / bootstraping 为什么？ ● 分布式系统中网络延迟永远大于零 ● Race condition ● Source of truth和客户端看到的永远可能不一致
- 26. 3. 传统应用构架 -Caching!
- 27. 4. 传统应用平台构架 -multi-layered!
- 28. 4. 传统应用构架 -multi-layered! 分层组件之间的Reconciliation 协议 ● 最终一直性 （eventual consistency） ● 轮询协议 （polling protocol） ● 物质化视图（materialized view）
- 29.
- 30.
- 31.
- 32. 流构架特性 ● 数据不可变性 ● 顺序可能很重要 ●Real time & Reactive ● Request ／ Response ⇒ Subscribe ／ Notify ● 预先计算好的缓存 ● 流构架可以迭代组合 ● 同一个数据流可产生不同的物质化视图 ● Delivery guarantee ● stream everywhere！
- 33.
- 34.
- 35.
- 36.