More Related Content
What's hot
What's hot (20)
Viewers also liked
Similar to 虎扑基础设施架构探讨
Similar to 虎扑基础设施架构探讨 (20)
Recently uploaded
Recently uploaded (15)
虎扑基础设施架构探讨
- 2. 目前的架构: 山是山
- 3. 目前的架构 Memcached Redis Memcached Redis Web server Mysql Web server Mysql Web server MySQL Web server Web server TT Coreseek TT
- 4. 目前的架构: 优缺点 Pros 简单、直接 Cons 与 基础设施 绑定的应用程序 当基础设施变化时, 代码需要相应修改 有些情况下代价是昂贵的
- 5. 存在的其它问题 缓存与 KeyValueDB, 两种编程范式 TT/Redis既作缓存, 又作 KeyValueDB 混用容易造成混淆 分布式缓存传输代价较高 Photo 项目 短连接的性能损耗 频繁连接, 连接损耗
- 6. 编程范式 Cache 范式 Pros: 简单，访问者触发，lazy update Cons: 雪崩，需时时检测缓存是否存在 Database 范式 Pros: ACID, persistent Cons: active update
- 7. 对现有设施的考察
- 8. 现有缓存/存贮基础设施 Redis TT Memcache APC/eAccelerator MySQL
- 9. Redis: 是什么 Persistent In-memory K/V Database Persistent In-memory Shared Cache 最大存贮量就是分配给它的内存量
- 11. Redis: 优缺点 Pros 全内存，性能好 多种数据结构支持 String, Hash, List, Set, Sorted Set 开发者社群活跃 Cons DB 容量受限于内存，目前不能充分利用磁盘的大容量来存放冷数据 较弱的 ACID 特性
- 12. Redis: 新浪微博应用 Redis MySQL Redis MySQL Redis MyTrigger MySQL Redis Redis Redis Redis Redis Web server Web server Web server RedisProxy Web server Web server
- 13. 新浪为什么不用 Memcache 为什么不用 Memcache? 雪崩 缺乏原生 HA 方案
- 14. Redis: 新浪微博 Pros 读取缓存的程序逻辑简单 避免处处检测缓存是否存在、重建 Cons 积极的缓存更新 对于缓存数据逻辑复杂的情况 步行街的主题列表 每一秒钟都有很多 UPDATE 操作 代价相对较高
- 15. Redis-Proxy 对短连接的优化 Pros Cons 系统组计划引入这种技术 SQLRelay 寻找开源工具 手工打造
- 16. TT/KT: 是什么 Traditional K/V Database Persistent K/V Database K/V 数据库，但大部分热数据在内存中缓存 TT 以磁盘为中心，所以对于”持久化”这块的可靠性工夫下了不少 KT 新特性: Persistent Shared Cache 支持多数据库 速度较 TT 更快
- 17. TT/KT: 优缺点 Pros 支持最大 8 EiB的数据库… 围绕硬盘的设计，ACID 特性好 内建 Lua支持 Cons 不如 Redis支持的数据类型、操作多 性能上较 Redis稍弱
- 18. Memcache: 是什么 In-memory Shared Cache HA / Replication Repcached
- 19. Memcache: 优缺点 Pros 简单，快速 Cons 原生无持久性 原生无 HA/Replication 能力 不如 Redis支持的数据类型、操作多
- 20. APC/eAccelerator: 是什么 不只是 PHP 优化器和代码缓存 还可以是 本地数据缓存
- 21. APC/eAccelerator: 优缺点 Pros 速度快, 非常快 Cons PHP 引擎会较频繁重启, 导致缓存清空, 雪崩 不如 Memcache等独立服务器, 重启无关 方向 可否实现一种独立的本地缓存? PHP 引擎重启无关? (可以实现。)
- 22. MySQL Handler Socket 补充介绍 For InnoDB
- 24. Benchmark (get)
- 25. 建议的架构: 山非山
- 26. 建议的架构 Redis GlobalCache Web server Web server Web server Web server Memcached Mysql Web server LocalCache Mysql Mysql TT SearchEngine KeyValueDB
- 27. 分级缓存/存贮体系 本机缓存 (APC, eAccelerator, …) 自动过期… 分布式缓存 (Memcache, Redis) 共享缓存、可后台手工清除 NoSQL (TT, Redis) Key/Value 存贮，简单快速的存贮 SQL DB (Mysql) 传统存贮，可进行复杂操作 (投影、选取, etc.) Full Text Index (Coreseek) 全文索引存贮
- 28. 轻量级抽象 Hoop_LocalCache Hoop_GlobalCache Hoop_KeyValueDB Hoop_MySQLDB Hoop_SearchEngine Hoop_...
- 29. 分级缓存/存贮体系 Hoop_LocalCache PHP 容器中的缓存 系统维护角度，会较频繁地进行重启 适合于: 页面缓存、片断缓存 总是自动过期的数据项 使用非常频繁的数据项或 Size 较大的数据项，除了在 GlobalCache中存贮外，本地亦可缓存一份 请求参数无关的缓存 不适合于: 请求参数依赖的缓存 程序控制的缓存无效化 (缓存一致性问题)
- 30. 分级缓存/存贮体系 Hoop_GlobalCache Session User info 程序控制清除、替换 请求参数依赖的缓存 …
- 31. 本地缓存 vs. 全局缓存 APC/eAccelerator vs. Memcache Photo 项目中的应用 解决全局缓存的网络时延问题
- 32. GetOrLock和 延迟删除 Hoop_LocalCache支持 Hoop_GlobalCache支持 原理
- 33. 分级缓存/存贮体系 Hoop_KeyValueDB 简单、快速的 数据库
- 34. 分级缓存/存贮体系 Hoop_MySQLDB 传统存贮，可进行复杂操作 (投影、选取, etc.)
- 36. 为什么我们要自己做抽象? 分级缓存/存贮体系 常规框架分为两层: Cache / DB 我们有第三层 KeyValueDB 避免 Fork 封装优于补丁
- 37. 思考: 山仍是山
- 38. 山仍是山 从最终优化角度来讲 各个 NoSQL产品有自己的优缺点、特性 存在需要调用其特殊 API 的需求 [NOTE: 过早的优化是万恶之源…]
- 39. 山仍是山: Redis案例 Redis特有功能很好用 List, Hash, Set, Sorted Set 其它的 NoSQL产品缺乏这些功能 如何在 Hoop_KeyValueDB框架下使用?
- 40. 山仍是山: 对策 这部分代码量较少时 维护量则亦较少 可以重构抽象层 较大抽象 (为 TT 提供相应模拟) 或添加新抽象层 与现有抽象存在明显区隔，是一种新的品类时 Hoop_KeyValueDB本身就是一个添加抽象层的好例子
- 41. 结论
- 42. Redis: 王道 拟使用 Redis逐步替代 TT / Memcache 逐步…逐步…逐步…
- 43. 轻量级存贮抽象 大家支持吗?
- 44. Hoop Framework ? Passport API SNS API 动态 API JS、CSS Framework Hoop Page Design Guideline 页面规范
- 45. 最后…
- 46. DRY: 不要重复你自己 避免重复代码 (Copy/Paste) 拒绝 Fork 封装优于补丁 上游优先 脚本化自己的测试 自动测试 回归测试 我也不想重复讲…
- 47. 谢谢!