redis运维之道     @jackbillowjackbillow@gmail.com      2011-06-25
议题1.redis应用历程2.redis部署场景3.运维道与术4.挑战
redis规模国际上最大的redis用户?
数据结构需求Data Structure需求越来越多:listhashessetssort setsMemcached,MemcacheDB某些场合成为历史
性能需求Scale-upScale-outScale-up MySQL又遇到瓶颈<1%的Cache miss >> MySQL集群能支持的最大并发多次Query带来的性能消耗越来越凸现
可靠性需求Cache的“雪崩”问题让人纠结Cache面临着快速恢复的挑战
开发成本需求Cache和DB的一致性维护成本越来越高开发需要跟上不断涌入的产品需求
redis部署场景
redis部署场景Application  Redis
redis部署场景MySQL  Mytrigger  Multi Redis
redis部署场景MySQLMytriggerQQueue ProcesorMulti Redis
redis部署场景Redis  MySQL
运维的道与术
sharding问题多端口规划避免sharding增加replication的filter功能
replication问题基于rdb的replication 基于position的rdb +aof方式aof文件大小可以定制aof文件可以自动过期(避免bgrewriteaof)
performance和load问题sorted sets限制数据类型: filed int, score int内存结构直接存入rdbhashes内存结构直接存入rdbrediscounterkey: hash处理 value: int (1...
php客户端改善phpredis, rediska的长连接问题redisproxy:php(socket)  redisproxy server(长连接)redis
failover问题master/slaves多套部署开发监控系统实现cron bgsave
其他改进bgsave带来aof写入很慢fdatasync在做bgsave时不做sync aof多核利用问题taskset统计信息total_read_requeststotal_write_requests
挑战
挑战Cache还是Store?
挑战完全代替Memcached?
挑战不可避免的sharding问题如何优雅处理?
挑战双写的容灾机制导致基础设施成本增加?
挑战规模越来越大时如何减少运维成本?
谢谢!         Q&A 欢迎加入我们团队!     @jackbillowjackbillow@gmail.com
Upcoming SlideShare
Loading in …5
×

新浪 杨海朝 Redis运维之道

15,325 views

Published on

中国互联网运维高峰论坛

Published in: Technology, Art & Photos
0 Comments
38 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
15,325
On SlideShare
0
From Embeds
0
Number of Embeds
9,445
Actions
Shares
0
Downloads
398
Comments
0
Likes
38
Embeds 0
No embeds

No notes for slide

新浪 杨海朝 Redis运维之道

  1. 1. redis运维之道 @jackbillowjackbillow@gmail.com 2011-06-25
  2. 2. 议题1.redis应用历程2.redis部署场景3.运维道与术4.挑战
  3. 3. redis规模国际上最大的redis用户?
  4. 4. 数据结构需求Data Structure需求越来越多:listhashessetssort setsMemcached,MemcacheDB某些场合成为历史
  5. 5. 性能需求Scale-upScale-outScale-up MySQL又遇到瓶颈<1%的Cache miss >> MySQL集群能支持的最大并发多次Query带来的性能消耗越来越凸现
  6. 6. 可靠性需求Cache的“雪崩”问题让人纠结Cache面临着快速恢复的挑战
  7. 7. 开发成本需求Cache和DB的一致性维护成本越来越高开发需要跟上不断涌入的产品需求
  8. 8. redis部署场景
  9. 9. redis部署场景Application  Redis
  10. 10. redis部署场景MySQL  Mytrigger  Multi Redis
  11. 11. redis部署场景MySQLMytriggerQQueue ProcesorMulti Redis
  12. 12. redis部署场景Redis  MySQL
  13. 13. 运维的道与术
  14. 14. sharding问题多端口规划避免sharding增加replication的filter功能
  15. 15. replication问题基于rdb的replication 基于position的rdb +aof方式aof文件大小可以定制aof文件可以自动过期(避免bgrewriteaof)
  16. 16. performance和load问题sorted sets限制数据类型: filed int, score int内存结构直接存入rdbhashes内存结构直接存入rdbrediscounterkey: hash处理 value: int (16bit)
  17. 17. php客户端改善phpredis, rediska的长连接问题redisproxy:php(socket)  redisproxy server(长连接)redis
  18. 18. failover问题master/slaves多套部署开发监控系统实现cron bgsave
  19. 19. 其他改进bgsave带来aof写入很慢fdatasync在做bgsave时不做sync aof多核利用问题taskset统计信息total_read_requeststotal_write_requests
  20. 20. 挑战
  21. 21. 挑战Cache还是Store?
  22. 22. 挑战完全代替Memcached?
  23. 23. 挑战不可避免的sharding问题如何优雅处理?
  24. 24. 挑战双写的容灾机制导致基础设施成本增加?
  25. 25. 挑战规模越来越大时如何减少运维成本?
  26. 26. 谢谢! Q&A 欢迎加入我们团队! @jackbillowjackbillow@gmail.com

×