SlideShare a Scribd company logo
1 of 22
Download to read offline
NoSQL在SAE中的应用

               Sina App Engine team
                  weibo.com/saet




11年11月25日星期五
国内领先的PaaS
                新浪及合作第三方支持                                            云计算产品研发

               微游戏、微盘、校园微博、 Q微博、                             计算类服务 、存储类服务、云应用商
               互联网的那点事...                                    店、云服务商店、CDN...


                                      新浪云计算 SinaCloud.com


    2009.8     2009.11           2010.2            2010.9            2010.10.10   2011.5.18         2011.7

   云计算小组成立     Sina App Engine   Sina App Engine   Sina App Engine                Sina App Engine   开通支付
                                                                     微盘上线
               alpha版上线          alpha2版上线         Beta版上线                        Beta2版上线

               SAE诞生             TmpFS 支持          首个公测版本发布                       正式开放注册            云应用商店上线




11年11月25日星期五
国内领先的PaaS
          注册用户                           应用数                             日均PV

                     50000                          100000                          100000000


                  37500                             75000                           75000000

                 25000                          50000                           50000000

                 12500                          25000                           25000000

2009 2010        0           2009 2010          0            2009 2010          0
          2011                           2011                            2011




11年11月25日星期五
国内领先的PaaS

          • Q3宕机时长:45分钟
          • Q3宕机次数:4次
          • Q3整体服务SLA:99.95%


11年11月25日星期五
国内领先的PaaS
 活跃开发者:10000+名,开发者认证

 与PHP官方合作:



 应用商店:



11年11月25日星期五
SQL on SAE
           2009.11
                                  Need?
                                  Cost ?

                   Client           Client          Client




               MySQL instance   MySQL instance   MySQL instance
                  @VM              @VM              @VM




11年11月25日星期五
SQL on SAE
           2010.6                Safe ?

                Client            Client           Client




                           Relational DB Cluster




                             MySQL instance
                                 @PM



11年11月25日星期五
SQL on SAE
      RDC ( Relcational DB Cluster )

      mysql_connect(‘w.rdc.sae.sina.com’,3307,u,p)

      SQL预判

      并发执行时间和

      慢查询


11年11月25日星期五
NoSQL on SAE
                  RDC不能解决的问题 :



                     Scalability
               Statical   Dynamical



11年11月25日星期五
NoSQL on SAE
                                 数据存储


                         关系型数据存储        简单存储



      RDC      Storage     MemcacheX    KVDB   Rank   Counter




                                         更多功能性存储




11年11月25日星期五
MemcacheX

               • more than memcache
               • namespace
               • status & LRU
               • connection LRU

11年11月25日星期五
MemcacheX
                            Client                  Client




        MemcacheX   MemcacheX                       MemcacheX   MemcacheX
         instance    instance                        instance    instance
                                MemcacheX Cluster




11年11月25日星期五
KVDB
               •   又⼀一个NoSQL DB?

               •   存储引擎可替换

               •   任意模块水平扩展

               •   支持读写分离

               •   支持前缀查找

               •   支持secondary index

               •   支持认证

               •   支持重平衡,无缝迁移
11年11月25日星期五
KVDB
               Client

                                            Meta Server



                                                                     Internal DB


               master    master                  master    master

                                   BDB Cluster
                 slave     slave                   slave     slave




                                                 指令流
                                                 数据流


11年11月25日星期五
KVDB
               • 如何保证meta server⼀一致性?
                different paxos


               • 重平衡做到无缝迁移?
                double write single read


               • 如何触发重平衡?
                expection
                variance




11年11月25日星期五
KVDB
         目前日均请求1亿,日均流出带宽100Gb

         实际遇到的问题:

               • secondary index
               • 事务
               • 跨IDC容灾
               • 单应用写压力
11年11月25日星期五
Rank

               • 应用场景
               • 周排行榜、日排行榜
               • top rank & all rank


11年11月25日星期五
Rank
                         Client                  Client




                                  Meta Server


                 Rank                               Rank
               instance                           instance
                master            Rank Cluster     master
                       Rank                               Rank
                     instance                           instance
                       slave                              slave




11年11月25日星期五
Rank


                   RBT                       ERBT
               key => value              value => rank


                   set(key,value) => O( log(n) )
                   get_rank(key) => O( log(n) )
                   get_top_n() => O( 1 )
                   increase => O ( log (n) )
11年11月25日星期五
Rank

          •    in-memory master slave sync

          •    sync without bin-log

          •    dump timer




11年11月25日星期五
NoSQL on SAE

          •    Counter的应用场景

          •    NoSQL的选型
                 速度
                 容量
                 可靠性




11年11月25日星期五
欢迎加入SAE

                       Q &A


                conglei@staff.sina.com.cn
                    weibo.com/kobe




11年11月25日星期五

More Related Content

Similar to 07 丛磊

09 赵昆
09 赵昆09 赵昆
09 赵昆锐 张
 
阿里集团MySQL并行复制特性
阿里集团MySQL并行复制特性阿里集团MySQL并行复制特性
阿里集团MySQL并行复制特性Hui Liu
 
大型系统的Java中间件实践q con北京
大型系统的Java中间件实践q con北京大型系统的Java中间件实践q con北京
大型系统的Java中间件实践q con北京vanadies10
 
Mysql HandleSocket技术在SNS Feed存储中的应用
Mysql HandleSocket技术在SNS Feed存储中的应用Mysql HandleSocket技术在SNS Feed存储中的应用
Mysql HandleSocket技术在SNS Feed存储中的应用iammutex
 
No sql带来了什么 孙立
No sql带来了什么   孙立No sql带来了什么   孙立
No sql带来了什么 孙立Shaoning Pan
 
淘宝Java中间件之路
淘宝Java中间件之路淘宝Java中间件之路
淘宝Java中间件之路mysqlops
 
浅谈 MySQL 性能调优
浅谈 MySQL 性能调优浅谈 MySQL 性能调优
浅谈 MySQL 性能调优Sky Jian
 
Top100summit用友 池建强-构建企业级应用开发平台
Top100summit用友 池建强-构建企业级应用开发平台Top100summit用友 池建强-构建企业级应用开发平台
Top100summit用友 池建强-构建企业级应用开发平台drewz lin
 
敏捷模式下的百度研发基础环境建设 1
敏捷模式下的百度研发基础环境建设 1敏捷模式下的百度研发基础环境建设 1
敏捷模式下的百度研发基础环境建设 1drewz lin
 
美丽说的架构发展与变迁 New
美丽说的架构发展与变迁 New美丽说的架构发展与变迁 New
美丽说的架构发展与变迁 New翀 刘
 
MySQL Replication新功能介绍
MySQL Replication新功能介绍 MySQL Replication新功能介绍
MySQL Replication新功能介绍 orczhou
 
Hacking Nginx at Taobao
Hacking Nginx at TaobaoHacking Nginx at Taobao
Hacking Nginx at TaobaoJoshua Zhu
 
Velocity beijing 2011 xianyu
Velocity beijing 2011   xianyuVelocity beijing 2011   xianyu
Velocity beijing 2011 xianyutbmallf2e
 
IDC大会:新浪SAE架构与设计
IDC大会:新浪SAE架构与设计IDC大会:新浪SAE架构与设计
IDC大会:新浪SAE架构与设计Xi Zeng
 
章文嵩:使用Lvs集群架设高可扩展的网络服务
章文嵩:使用Lvs集群架设高可扩展的网络服务章文嵩:使用Lvs集群架设高可扩展的网络服务
章文嵩:使用Lvs集群架设高可扩展的网络服务drewz lin
 
使用LVS集群架设高可扩展的网络服务
使用LVS集群架设高可扩展的网络服务使用LVS集群架设高可扩展的网络服务
使用LVS集群架设高可扩展的网络服务Wensong Zhang
 
杜嵩 Arch summit2012 dusong@freewheel
杜嵩 Arch summit2012 dusong@freewheel杜嵩 Arch summit2012 dusong@freewheel
杜嵩 Arch summit2012 dusong@freewheeldrewz lin
 

Similar to 07 丛磊 (20)

09 赵昆
09 赵昆09 赵昆
09 赵昆
 
Cdc@ganji.com
Cdc@ganji.comCdc@ganji.com
Cdc@ganji.com
 
阿里集团MySQL并行复制特性
阿里集团MySQL并行复制特性阿里集团MySQL并行复制特性
阿里集团MySQL并行复制特性
 
大型系统的Java中间件实践q con北京
大型系统的Java中间件实践q con北京大型系统的Java中间件实践q con北京
大型系统的Java中间件实践q con北京
 
Mysql HandleSocket技术在SNS Feed存储中的应用
Mysql HandleSocket技术在SNS Feed存储中的应用Mysql HandleSocket技术在SNS Feed存储中的应用
Mysql HandleSocket技术在SNS Feed存储中的应用
 
No sql带来了什么 孙立
No sql带来了什么   孙立No sql带来了什么   孙立
No sql带来了什么 孙立
 
淘宝Java中间件之路
淘宝Java中间件之路淘宝Java中间件之路
淘宝Java中间件之路
 
浅谈 MySQL 性能调优
浅谈 MySQL 性能调优浅谈 MySQL 性能调优
浅谈 MySQL 性能调优
 
Top100summit用友 池建强-构建企业级应用开发平台
Top100summit用友 池建强-构建企业级应用开发平台Top100summit用友 池建强-构建企业级应用开发平台
Top100summit用友 池建强-构建企业级应用开发平台
 
敏捷模式下的百度研发基础环境建设 1
敏捷模式下的百度研发基础环境建设 1敏捷模式下的百度研发基础环境建设 1
敏捷模式下的百度研发基础环境建设 1
 
美丽说的架构发展与变迁 New
美丽说的架构发展与变迁 New美丽说的架构发展与变迁 New
美丽说的架构发展与变迁 New
 
MySQL Replication新功能介绍
MySQL Replication新功能介绍 MySQL Replication新功能介绍
MySQL Replication新功能介绍
 
Hacking Nginx at Taobao
Hacking Nginx at TaobaoHacking Nginx at Taobao
Hacking Nginx at Taobao
 
Velocity beijing 2011 xianyu
Velocity beijing 2011   xianyuVelocity beijing 2011   xianyu
Velocity beijing 2011 xianyu
 
IDC大会:新浪SAE架构与设计
IDC大会:新浪SAE架构与设计IDC大会:新浪SAE架构与设计
IDC大会:新浪SAE架构与设计
 
章文嵩:使用Lvs集群架设高可扩展的网络服务
章文嵩:使用Lvs集群架设高可扩展的网络服务章文嵩:使用Lvs集群架设高可扩展的网络服务
章文嵩:使用Lvs集群架设高可扩展的网络服务
 
LVS
LVSLVS
LVS
 
使用LVS集群架设高可扩展的网络服务
使用LVS集群架设高可扩展的网络服务使用LVS集群架设高可扩展的网络服务
使用LVS集群架设高可扩展的网络服务
 
Serverless 網站監控
Serverless 網站監控Serverless 網站監控
Serverless 網站監控
 
杜嵩 Arch summit2012 dusong@freewheel
杜嵩 Arch summit2012 dusong@freewheel杜嵩 Arch summit2012 dusong@freewheel
杜嵩 Arch summit2012 dusong@freewheel
 

More from 锐 张

长尾理论(The longtail)版
长尾理论(The longtail)版长尾理论(The longtail)版
长尾理论(The longtail)版锐 张
 
Openstack starter-guide-diablo
Openstack starter-guide-diabloOpenstack starter-guide-diablo
Openstack starter-guide-diablo锐 张
 
基于My sql的分布式数据库实践
基于My sql的分布式数据库实践基于My sql的分布式数据库实践
基于My sql的分布式数据库实践锐 张
 
Redis中文入门手册
Redis中文入门手册Redis中文入门手册
Redis中文入门手册锐 张
 
Redis学习笔记
Redis学习笔记Redis学习笔记
Redis学习笔记锐 张
 
Redis内存存储结构分析
Redis内存存储结构分析Redis内存存储结构分析
Redis内存存储结构分析锐 张
 
淘宝前端优化
淘宝前端优化淘宝前端优化
淘宝前端优化锐 张
 
Sun jdk 1.6内存管理 -实现篇 -毕玄
Sun jdk 1.6内存管理 -实现篇 -毕玄Sun jdk 1.6内存管理 -实现篇 -毕玄
Sun jdk 1.6内存管理 -实现篇 -毕玄锐 张
 
Sun jdk 1.6内存管理 -调优篇-毕玄
Sun jdk 1.6内存管理 -调优篇-毕玄Sun jdk 1.6内存管理 -调优篇-毕玄
Sun jdk 1.6内存管理 -调优篇-毕玄锐 张
 
Sun jdk 1.6内存管理 -使用篇-毕玄
Sun jdk 1.6内存管理 -使用篇-毕玄Sun jdk 1.6内存管理 -使用篇-毕玄
Sun jdk 1.6内存管理 -使用篇-毕玄锐 张
 
Sun jdk-1.6-gc
Sun jdk-1.6-gcSun jdk-1.6-gc
Sun jdk-1.6-gc锐 张
 
Redis深入浅出
Redis深入浅出Redis深入浅出
Redis深入浅出锐 张
 
Green plum培训材料
Green plum培训材料Green plum培训材料
Green plum培训材料锐 张
 
Greenplum技术
Greenplum技术Greenplum技术
Greenplum技术锐 张
 
新时代的分析型云数据库 Greenplum
新时代的分析型云数据库 Greenplum新时代的分析型云数据库 Greenplum
新时代的分析型云数据库 Greenplum锐 张
 
新浪云计算公开课第二期:Sae平台的灵活应用(吕毅、魏世江)
新浪云计算公开课第二期:Sae平台的灵活应用(吕毅、魏世江)新浪云计算公开课第二期:Sae平台的灵活应用(吕毅、魏世江)
新浪云计算公开课第二期:Sae平台的灵活应用(吕毅、魏世江)锐 张
 
新浪云计算公开课第一期:Let’s run @ sae(丛磊)
新浪云计算公开课第一期:Let’s run @ sae(丛磊)新浪云计算公开课第一期:Let’s run @ sae(丛磊)
新浪云计算公开课第一期:Let’s run @ sae(丛磊)锐 张
 
Lamp高性能设计
Lamp高性能设计Lamp高性能设计
Lamp高性能设计锐 张
 
亚马逊云计算Aws
亚马逊云计算Aws亚马逊云计算Aws
亚马逊云计算Aws锐 张
 
20110625.【打造高效能的cdn系统】.易统
20110625.【打造高效能的cdn系统】.易统20110625.【打造高效能的cdn系统】.易统
20110625.【打造高效能的cdn系统】.易统锐 张
 

More from 锐 张 (20)

长尾理论(The longtail)版
长尾理论(The longtail)版长尾理论(The longtail)版
长尾理论(The longtail)版
 
Openstack starter-guide-diablo
Openstack starter-guide-diabloOpenstack starter-guide-diablo
Openstack starter-guide-diablo
 
基于My sql的分布式数据库实践
基于My sql的分布式数据库实践基于My sql的分布式数据库实践
基于My sql的分布式数据库实践
 
Redis中文入门手册
Redis中文入门手册Redis中文入门手册
Redis中文入门手册
 
Redis学习笔记
Redis学习笔记Redis学习笔记
Redis学习笔记
 
Redis内存存储结构分析
Redis内存存储结构分析Redis内存存储结构分析
Redis内存存储结构分析
 
淘宝前端优化
淘宝前端优化淘宝前端优化
淘宝前端优化
 
Sun jdk 1.6内存管理 -实现篇 -毕玄
Sun jdk 1.6内存管理 -实现篇 -毕玄Sun jdk 1.6内存管理 -实现篇 -毕玄
Sun jdk 1.6内存管理 -实现篇 -毕玄
 
Sun jdk 1.6内存管理 -调优篇-毕玄
Sun jdk 1.6内存管理 -调优篇-毕玄Sun jdk 1.6内存管理 -调优篇-毕玄
Sun jdk 1.6内存管理 -调优篇-毕玄
 
Sun jdk 1.6内存管理 -使用篇-毕玄
Sun jdk 1.6内存管理 -使用篇-毕玄Sun jdk 1.6内存管理 -使用篇-毕玄
Sun jdk 1.6内存管理 -使用篇-毕玄
 
Sun jdk-1.6-gc
Sun jdk-1.6-gcSun jdk-1.6-gc
Sun jdk-1.6-gc
 
Redis深入浅出
Redis深入浅出Redis深入浅出
Redis深入浅出
 
Green plum培训材料
Green plum培训材料Green plum培训材料
Green plum培训材料
 
Greenplum技术
Greenplum技术Greenplum技术
Greenplum技术
 
新时代的分析型云数据库 Greenplum
新时代的分析型云数据库 Greenplum新时代的分析型云数据库 Greenplum
新时代的分析型云数据库 Greenplum
 
新浪云计算公开课第二期:Sae平台的灵活应用(吕毅、魏世江)
新浪云计算公开课第二期:Sae平台的灵活应用(吕毅、魏世江)新浪云计算公开课第二期:Sae平台的灵活应用(吕毅、魏世江)
新浪云计算公开课第二期:Sae平台的灵活应用(吕毅、魏世江)
 
新浪云计算公开课第一期:Let’s run @ sae(丛磊)
新浪云计算公开课第一期:Let’s run @ sae(丛磊)新浪云计算公开课第一期:Let’s run @ sae(丛磊)
新浪云计算公开课第一期:Let’s run @ sae(丛磊)
 
Lamp高性能设计
Lamp高性能设计Lamp高性能设计
Lamp高性能设计
 
亚马逊云计算Aws
亚马逊云计算Aws亚马逊云计算Aws
亚马逊云计算Aws
 
20110625.【打造高效能的cdn系统】.易统
20110625.【打造高效能的cdn系统】.易统20110625.【打造高效能的cdn系统】.易统
20110625.【打造高效能的cdn系统】.易统
 

Recently uploaded

SymPy 在微積分上的應用_4.pptx SymPy 在微積分上的應用_4.pptx
SymPy 在微積分上的應用_4.pptx SymPy 在微積分上的應用_4.pptxSymPy 在微積分上的應用_4.pptx SymPy 在微積分上的應用_4.pptx
SymPy 在微積分上的應用_4.pptx SymPy 在微積分上的應用_4.pptxNCU MCL
 
20170104 - transaction_pattern
20170104 - transaction_pattern20170104 - transaction_pattern
20170104 - transaction_patternJamie (Taka) Wang
 
20161220 - domain-driven design
20161220 - domain-driven design20161220 - domain-driven design
20161220 - domain-driven designJamie (Taka) Wang
 
20211119 - demystified artificial intelligence with NLP
20211119 - demystified artificial intelligence with NLP20211119 - demystified artificial intelligence with NLP
20211119 - demystified artificial intelligence with NLPJamie (Taka) Wang
 

Recently uploaded (9)

SymPy 在微積分上的應用_4.pptx SymPy 在微積分上的應用_4.pptx
SymPy 在微積分上的應用_4.pptx SymPy 在微積分上的應用_4.pptxSymPy 在微積分上的應用_4.pptx SymPy 在微積分上的應用_4.pptx
SymPy 在微積分上的應用_4.pptx SymPy 在微積分上的應用_4.pptx
 
20200323 - AI Intro
20200323 - AI Intro20200323 - AI Intro
20200323 - AI Intro
 
20170104 - transaction_pattern
20170104 - transaction_pattern20170104 - transaction_pattern
20170104 - transaction_pattern
 
20151111 - IoT Sync Up
20151111 - IoT Sync Up20151111 - IoT Sync Up
20151111 - IoT Sync Up
 
Entities in DCPS (DDS)
Entities in DCPS (DDS)Entities in DCPS (DDS)
Entities in DCPS (DDS)
 
20200226 - AI Overview
20200226 - AI Overview20200226 - AI Overview
20200226 - AI Overview
 
20161027 - edge part2
20161027 - edge part220161027 - edge part2
20161027 - edge part2
 
20161220 - domain-driven design
20161220 - domain-driven design20161220 - domain-driven design
20161220 - domain-driven design
 
20211119 - demystified artificial intelligence with NLP
20211119 - demystified artificial intelligence with NLP20211119 - demystified artificial intelligence with NLP
20211119 - demystified artificial intelligence with NLP
 

07 丛磊

  • 1. NoSQL在SAE中的应用 Sina App Engine team weibo.com/saet 11年11月25日星期五
  • 2. 国内领先的PaaS 新浪及合作第三方支持 云计算产品研发 微游戏、微盘、校园微博、 Q微博、 计算类服务 、存储类服务、云应用商 互联网的那点事... 店、云服务商店、CDN... 新浪云计算 SinaCloud.com 2009.8 2009.11 2010.2 2010.9 2010.10.10 2011.5.18 2011.7 云计算小组成立 Sina App Engine Sina App Engine Sina App Engine Sina App Engine 开通支付 微盘上线 alpha版上线 alpha2版上线 Beta版上线 Beta2版上线 SAE诞生 TmpFS 支持 首个公测版本发布 正式开放注册 云应用商店上线 11年11月25日星期五
  • 3. 国内领先的PaaS 注册用户 应用数 日均PV 50000 100000 100000000 37500 75000 75000000 25000 50000 50000000 12500 25000 25000000 2009 2010 0 2009 2010 0 2009 2010 0 2011 2011 2011 11年11月25日星期五
  • 4. 国内领先的PaaS • Q3宕机时长:45分钟 • Q3宕机次数:4次 • Q3整体服务SLA:99.95% 11年11月25日星期五
  • 6. SQL on SAE 2009.11 Need? Cost ? Client Client Client MySQL instance MySQL instance MySQL instance @VM @VM @VM 11年11月25日星期五
  • 7. SQL on SAE 2010.6 Safe ? Client Client Client Relational DB Cluster MySQL instance @PM 11年11月25日星期五
  • 8. SQL on SAE RDC ( Relcational DB Cluster ) mysql_connect(‘w.rdc.sae.sina.com’,3307,u,p) SQL预判 并发执行时间和 慢查询 11年11月25日星期五
  • 9. NoSQL on SAE RDC不能解决的问题 : Scalability Statical Dynamical 11年11月25日星期五
  • 10. NoSQL on SAE 数据存储 关系型数据存储 简单存储 RDC Storage MemcacheX KVDB Rank Counter 更多功能性存储 11年11月25日星期五
  • 11. MemcacheX • more than memcache • namespace • status & LRU • connection LRU 11年11月25日星期五
  • 12. MemcacheX Client Client MemcacheX MemcacheX MemcacheX MemcacheX instance instance instance instance MemcacheX Cluster 11年11月25日星期五
  • 13. KVDB • 又⼀一个NoSQL DB? • 存储引擎可替换 • 任意模块水平扩展 • 支持读写分离 • 支持前缀查找 • 支持secondary index • 支持认证 • 支持重平衡,无缝迁移 11年11月25日星期五
  • 14. KVDB Client Meta Server Internal DB master master master master BDB Cluster slave slave slave slave 指令流 数据流 11年11月25日星期五
  • 15. KVDB • 如何保证meta server⼀一致性? different paxos • 重平衡做到无缝迁移? double write single read • 如何触发重平衡? expection variance 11年11月25日星期五
  • 16. KVDB 目前日均请求1亿,日均流出带宽100Gb 实际遇到的问题: • secondary index • 事务 • 跨IDC容灾 • 单应用写压力 11年11月25日星期五
  • 17. Rank • 应用场景 • 周排行榜、日排行榜 • top rank & all rank 11年11月25日星期五
  • 18. Rank Client Client Meta Server Rank Rank instance instance master Rank Cluster master Rank Rank instance instance slave slave 11年11月25日星期五
  • 19. Rank RBT ERBT key => value value => rank set(key,value) => O( log(n) ) get_rank(key) => O( log(n) ) get_top_n() => O( 1 ) increase => O ( log (n) ) 11年11月25日星期五
  • 20. Rank • in-memory master slave sync • sync without bin-log • dump timer 11年11月25日星期五
  • 21. NoSQL on SAE • Counter的应用场景 • NoSQL的选型 速度 容量 可靠性 11年11月25日星期五
  • 22. 欢迎加入SAE Q &A conglei@staff.sina.com.cn weibo.com/kobe 11年11月25日星期五