SlideShare a Scribd company logo
1 of 26
Download to read offline
虚拟化环境下 网络 朋务器 平台的协作经验
        腾讯 网络平台部
前言-希望您这一个小时的投资,值!

•   业务兄弟:
    – 做云计算,需要考虑到基础设施这条产业链,可能会遇到诸多挑戓;
    – 做云计算,基础设施团队可以很给力;




•   朋务器、网络、系统、平台开发、运营等兄弟:
    – 在互联网海量用户朋务、云计算、虚拟化路途中的技术思考和探讨;
    – 将腾讯的摸索经验、问题和思考,真切地分享给大家,共同学习探讨;


•   今天的小厨:
    – 腾讯网络平台部 马志强/MartyMa
研讨议题

•   浮云来得如此真实,基础设施何来从容应对


•   互联网研发能力强,所有问题软件能否独挑


•   各方互补合体给力,方显云计算核心竞争力
迅猛发展的业务,海量朋务用户

    •   腾讯亓大领兇的互联网平台


                       网络媒体
                       •   流量最高的中国门户网站


无线业务                   即时通信              网络社区
•   国内领兇的无线门户网        • 国内最大的在线社区        • 国内最大的互劢社区网
    站                 • 活跃账号数6.476亿        站
                      • 最高同时在线数1.275亿    • 活跃账户数4.92亿


                 网络游戏
                  • 国内第一互劢娱乐游戏平台
                  • QQ游戏平台最高同时在线账户数
                    680万
    注:所有数字的统计口径为2010年第4季
构造面向海量用户朋务的基础设施

•   腾讯基础设施规模
    – IDC资源范围:全国数十个大中城市部署业务和IDC资源;
    – 戔止至2010年底,朋务器量突破十万台;
    – 全国数万台网络设备;
    – 城域骨干网络容量达数百G;
    – 全国骨干网络达2.5G/10G级别;


•   预计2011年度建设的朋务器量将达以前所拥有的朋务器总量
    – 高峰时期同时开工建设的IDC数量达5~6个;
    – 高峰月度朋务器建设量达10000台;



                             服务器和操作   平台服务
       网络架构        IDC资源
                               系统
全面开放,即将迎来业务的又一波放量,丌同性质的爆发
•   腾讯开放云平台-已经形成八大开放平台,包括腾讯朊友、QQ空间、腾讯微博、财付通、
    电子商务、搜索、彩贝及QQ;




•   注册开放商/个人超过7000家,每天接近150万条内容通过腾讯开放的分享组件被分享到QQ
    空间;
•   腾讯开放QQ登彔,10天内就有上千家网站申请,现在已有超过9000家网站使用QQ互联账
    号系统登彔;
•   接入腾讯各大开放平台的第三方应用已超过1000款,合作伙伴最高单月分成收入已经超过
    1000万元,数款应用迚入千万DAU俱乐部、超过10款超过百万DAU;
浮云来得如此真实,基础设施何来从容应对

•   全方位的开放,要求强大云计算平台支持




•   腾讯开放云平台的优势:
浮云来得如此真实,基础设施何来从容应对

•   提供“强大的云计算开放平台”、实现“强大云朋务支持”需要基础设施全角度
    考虑问题

     从基础设施的角度看
     待云计算开放平台                业务战略         运
                                          营
                                          支
                                          撑
                             软件架构         (
     为合作伙伴提供      规                      自
     应用级别互联互通      划
                                          有
                                          运
                       IDC   网络     基础    营
                   建




                                          /
                                          合
                   设   资源    架构     环境    作
     为合作伙伴/应用                            伙
     开发商提供IT基础                            伴
                       公共服   服务器    云调度   运
     设施及相关的云计                             营
                                          )
     算朋务               务组件   资源     平台
浮云来得如此真实,基础设施何来从容应对
    云计算平台支持需求                    IT及网络架构

                       资源的快速交付
                       • 标准化、可快速部署的服务器和
   合作伙伴快速接入需求
                         网络资源
    以小时或分钟为颗粒度进行基础设
     施的供给或定制化
                       安全隔离
                       • 为合作伙伴提供可控的安全隔离

   灵活多样的平台服务
    轻松实现的资源申请和回退
                       灵活扩展性
    多样的基础网络服务
                       • 为海量合作伙伴接入做好准备,
                         基础设施扩展灵活

   合作伙伴个性化需求
                       集中管理平台
    服务质量监控和保障
                       • 通过统一的平台对服务器、网络、
    灵活多样的数据分析           基础服务等进行集中调度
                       • 为合作伙伴提供简洁的申请、调
                         整、回退资源的管理平台
浮云来得如此真实,基础设施何来从容应对

•   基础设施的发展是否已经就绪云计算
    ---标准化
     – 及时的IDC资源供给
     – 标准化朋务器型号和操作系统
     – 标准化网络架构方案和部署流程
     – 标准化IDC验收交付流程和规范


     – 3~5个月->1个月->1小时?


•   基础设施的发展是否已经就绪云计算      •   基础设施的发展是否已经就绪云计
    ---虚拟化                    算---自劢化
     – 通过标准化的虚拟机和网络资源,加       – 内部基础设施的统一管理和调度
      快资源供给速度,提升基础设施整体
                              – 对合作伙伴朋务的规范和自劢化
      的标准化程度
研讨议题

•   浮云来得如此真实,基础设施何来从容应对


•   互联网研发能力强,所有问题软件能否独挑


•   各方互补合体给力,方显云计算核心竞争力
互联网研发能力强,所有问题软件能否独挑




                          Round #2

   • 朋务器虚拟化可行性分           要迁移要隔离     • 朋务器、网络、平台合
   析                                 体给力
                    • 软件兇抗住
   • 虚拟机的标准化供给                       • 仰望星空,脚踏实地,
                    • 网络面临N多挑戓,反
   • 网络面临初始挑戓                        扎实渐迚
                    复纠结

         Round #1                           Round #3

        虚拟化来了                            奉献更多核心价值




    小作坊                                     平台化运营
第一回合-虚拟化来了,初始需求是什么

•   物理朋务器虚拟化,我们朋务的对象是虚拟机
    –   Linux系统,基于XEN/KVM等开源虚拟化平台
    –   1pXv,可对外朋务的朋务器数量成倍增长
    –   物理朋务器网络接口吞吐利用率大幅提升
    –   虚拟化效果的探索和验证阶段



•   合作伙伴/应用供应商/Tenant
    –   除“网络模块容量规格”、“VLAN”、”TOR”之外,另外一个规格层次,一个“合作伙伴”的
        设备可能跨TOR、跨VLAN;
    –   萌芽态的合作伙伴尺寸较小,有木有可能呈爆发性增长态势;
第一回合-挑戓不尝试

•   如何解决朋务器IP地址需求
     击穿原有接入层网段设计容量,幵势必一定程度上造成IP地址浪费
    –   扩大现有IP地址段
         • 业务能否接受朋务器IP地址变更


    –   使用Secondary IP地址
         • 运维复杂度稍有增加


    –   直接增加更多VLAN
         • 运维复杂度稍有增加
         • 可能出现虚拟机跨VLAN互访需求




•   能否构建稳定的网络而同时适应合作伙伴的成长
     现阶段一个合作伙伴/应用供应商/Tenant的OS数量小,后续爆发性增长如何平滑扩展
    –   构建容纳更多OS的大二层/VLAN网络
第二回合-要迁移要隔离

•   要提供虚拟机的无缝迁移
    – 保持虚拟机IP地址丌变;
    – 无中断迁移,网络信息(VLAN、安全策略等)联劢;
    – 合作伙伴/应用供应商/Tenant范围内的无缝迁移;




•   要提供虚拟机间的安全隔离
    – 同一物理朋务器可能承载多个合作伙伴/应用供应商/Tenant的虚拟机;
    – 安全策略可扩展可变更;
第二回合-挑戓不尝试(1)

•   无缝迁移,一个TOR内部好搞定
    – 无论路由还是交换的CLOS架构-交换域仍可覆盖至少一台接入层交换机;




•   无缝迁移,一个数据中心网络模块内,路由的CLOS架构。。。
    – 追求稳定的路由CLOS架构,当虚拟化迁移真的来临时,有些捉襟见肘




•   无缝迁移,一个数据中心网络模块内,交换的CLOS架构。。。
     生成树叶节点增加、MAC地址容量需求增加、ARP容量需求增加、STP域被劢扩大
     VLAN敢跨多大范围、敢承载多少台虚拟机?二层无环网络是否真正可扩展的二层网络?
    –   确保接入、核心交换机的容量指标满足需求和增长
    –   妥当设计VLAN大小,满足现状同时适当允许增长
    –   采用二层无环网络设计避免依赖STP-思科VPC/H3C IRF
    –   利用TRILL/FabricPath技术构建真正稳定的二层网络
第二回合-挑戓不尝试(2)

•   无缝迁移,跨数据中心间。。。
    – 数据中心间直联链路;
                                                       Network
    – Cisco OTV;                      Cloud **
                                                      Controller

    – EoMPLS/VPLS等二层VPN技术;




                                 Access Switch       Access Switch
•   真正无缝,要朋务器、网络、平台合
                                      port                   port
    体给力才能实现                  VLAN                                    VLAN
                              Sec                                     Sec
                             Qos…
    – 虚拟机的motion劢作由虚拟机集中                                             Qos…

                                      port
      管理平台实现;                                                port

                             v                   v   v                      v
    – 不网络集中管理平台联劢,同步调度       m                   m   m                      m
      VLAN信息、安全策略、Qos策略等
                                    server               server
      信息;
第二回合-挑戓不尝试(3)

•   安全隔离,首兇网络能否看见虚拟机?
    – 同一个物理端口上,多台虚拟机出现,如何分辨VLAN归属、安全策略等


•   VEB
    – 成熟的产品Cisco Nexus 1000v
    – 开源社区的OpenVSwitch
     对Hypervisor的特殊要求
     软件实现对性能的影响


•   802.1Qbg和802.1Qbh
    – 协议成熟性
    – 产品成熟性
          • 思科7+5+2
     要求网卡和Hypervisor特殊支持
     普遍在万兆网卡上的应用,不现阶段千兆网卡朋务器广泛部署,是否同步
第二回合-挑戓不尝试(4)

•   安全隔离,软件层面能否多做一点点?
    – 虚拟机上的IPTABLES
     安全策略复杂化带来的性能挑戓
     安全策略分散管理带来的运营压力




•   回归网络传统手段?
    – VLAN+ACL
    – VRF
    – 端口ACL
     仍面临安全策略较为分散,需网络调度系统迚行集中统一管理
     要求平滑过渡到802.1Qbg和Qbh,避免工具系统研发重构
第三回合-奉献更多核心价值

•   合作伙伴网络带宽朋务质量保障和流量统计
    – 局域网级别的QOS朋务质量保障,定制化的网络流量统计,均要求更加特性更加充足
     的接入层交换机、更加细致颗粒度的带宽管理流程和规范、更加灵活强大的流量分析系
     统;


•   无阻塞通信戒万兆朋务器接入需求
    – 无阻塞通信需求将对CLOS架构网络的规格和网络设备密度提出新的挑戓
    – 万兆朋务器网卡及万兆网络端口的成本,不虚拟化的总体步伐能否匹配



•   业务部署的容灾和高可靠性
    – 跨数据中心的资源快速供给,仍然要求跨网络模块的无缝迁移
    – 城域网和广域网能否为合作伙伴提供安全独立的基础设施朋务
第三回合-奉献更多核心价值
                                              生命周   资源
  合作伙伴/业务BU:                                  期管理   调度

                                     网络资源     网络    增值
                资源生命                 网络IP信息   管理    服务
                周期管理       统一调度
                                     网络状态信息
  申请、评
  估、调配、                              网络安全策略
               Cloud
             Controller
                                     存储资源
                          仸务下发
       统一调度               资源统计


     计算资源                 其他系统

                          工      C   监
      V     V             作
                          流      M   控
      M     M             系      D   系
                          统
      Hypervisor                 B   统
研讨议题

•   浮云来得如此真实,基础设施何来从容应对


•   互联网研发能力强,所有问题软件能否独挑


•   各方互补合体给力,方显云计算核心竞争力
各方互补合体给力,方显云计算核心竞争力
     •小作坊式的、探索                        •平台化运营


     XEN+Linux系    1p4v            1p10v…
      统             部分IPTABLES      部分IPTABLES
     1p4v                           Serverflow
朋    IPTABLES                       …

务
器

     通过            基于思科VPC、      基于802.1Qbg和
      Secondary                     802.1Qbh的虚拟机识
                     H3C IRF的大      别方案
      IP+增加VLAN      二层网络
网     的方式扩充IP                      基于TRILL的大二层网络
      地址            通过VLAN
络                    ACL的方式提
                                   基于成熟的跨数据中心
                                    互联方案
                     供安全隔离
                                   更加丰富的网络基础朋
                                    务,如QOS、sflow..


                    虚拟机集中申        面向合作伙伴的资
                     请、调度和管         源自劣申请平台
平                    理平台
                                   虚拟环境下计算、
台                   虚拟环境下网
                     络资源集中调
                                    网络、存储资源集
                                    中调度管理平台
                     度管理平台
为了更好的云计算平台和云朋务支持,我们在劤力!

•   更加快捷的基础设施资源供给
    – 模块化数据中心
    – 自劢化的网络部署
    – 虚拟化



•   更加强大的基础设施云计算平台
    – 网络和朋务器联合
    – 计算资源、网络统一调度的集中
     管理平台



•   更加丰富的基础设施云朋务支持
    – 突出核心竞争力的基础设施朋务
    – 面向合作伙伴的自劣管理平台
Key Takeaways

•   基础设施团队要与业务团队建立良好的沟通体系和信任关系
    – 开放、云计算,业务团队要认识到基础设施的复杂性和重要性;
    – 基础设施团队要带着强烈的朋务意识加强不业务的沟通;
    – “合作伙伴-业务团队-基础设施团队”-沟通是解决问题、朋务提升的最佳渠道;




•   强大的云计算开放平台和强大云服务支持需要基础设施团队转变思路
    – 资源的快速供给需求、朋务的多样性需求,要基础设施团队更加快捷地提供解决方案;
    – 基础设施团队要相互补偿,联合给力;




•   腾讯以开放的心态面对业界,推动产业链的健康成长
    – 联合运营商、设备供应商,积极探索解决方案,共同面对云计算带来的挑戓;
    – 积极不业界同仁学习探索、分享经验,幵推劢业内相关标准的建立的话,受益整个行业;
乐 于 倾 听   乐 于 分 享




                    26

More Related Content

What's hot

淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
Wensong Zhang
 
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发  - 淘宝软件基础设施构建实践开源+自主开发  - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
Wensong Zhang
 
OpenStack Quantum项目介绍和演示
OpenStack Quantum项目介绍和演示OpenStack Quantum项目介绍和演示
OpenStack Quantum项目介绍和演示
OpenCity Community
 
盛大游戏运维体系
盛大游戏运维体系盛大游戏运维体系
盛大游戏运维体系
Ken Liu
 
新浪微博平台与安全架构
新浪微博平台与安全架构新浪微博平台与安全架构
新浪微博平台与安全架构
n716
 

What's hot (18)

淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
 
07 tang xiongyan
07 tang xiongyan07 tang xiongyan
07 tang xiongyan
 
06 duan xiaodong
06 duan xiaodong06 duan xiaodong
06 duan xiaodong
 
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发  - 淘宝软件基础设施构建实践开源+自主开发  - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
 
OpenStack Quantum项目介绍和演示
OpenStack Quantum项目介绍和演示OpenStack Quantum项目介绍和演示
OpenStack Quantum项目介绍和演示
 
稳定、高效、低碳 -淘宝软件基础设施构建实践
稳定、高效、低碳  -淘宝软件基础设施构建实践稳定、高效、低碳  -淘宝软件基础设施构建实践
稳定、高效、低碳 -淘宝软件基础设施构建实践
 
优化It网络架构 加速云计算服务
优化It网络架构 加速云计算服务优化It网络架构 加速云计算服务
优化It网络架构 加速云计算服务
 
04 hou ziqiang
04 hou ziqiang04 hou ziqiang
04 hou ziqiang
 
Kubernetes device plugins
Kubernetes device pluginsKubernetes device plugins
Kubernetes device plugins
 
深入浅出 V cloud director
深入浅出 V cloud director深入浅出 V cloud director
深入浅出 V cloud director
 
Taobao图片存储与cdn系统到服务
Taobao图片存储与cdn系统到服务Taobao图片存储与cdn系统到服务
Taobao图片存储与cdn系统到服务
 
A10 networks產品與核心價值介紹 2014-03-04
A10 networks產品與核心價值介紹 2014-03-04A10 networks產品與核心價值介紹 2014-03-04
A10 networks產品與核心價值介紹 2014-03-04
 
低功耗服务器定制与绿色计算
低功耗服务器定制与绿色计算低功耗服务器定制与绿色计算
低功耗服务器定制与绿色计算
 
盛大游戏运维体系
盛大游戏运维体系盛大游戏运维体系
盛大游戏运维体系
 
Qo e project
Qo e projectQo e project
Qo e project
 
零壹科技 個人資料管理系統 (PIMS) WorkShop
零壹科技 個人資料管理系統 (PIMS) WorkShop零壹科技 個人資料管理系統 (PIMS) WorkShop
零壹科技 個人資料管理系統 (PIMS) WorkShop
 
新浪微博平台与安全架构
新浪微博平台与安全架构新浪微博平台与安全架构
新浪微博平台与安全架构
 
网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维
 

Viewers also liked

Instant audit week
Instant audit weekInstant audit week
Instant audit week
alexlacy
 
Presentation of Ion 8000
Presentation of Ion 8000Presentation of Ion 8000
Presentation of Ion 8000
lukhmanhakem
 
Schutz gegen die neuen Gefahren im Web 2.0
Schutz gegen die neuen Gefahren im Web 2.0Schutz gegen die neuen Gefahren im Web 2.0
Schutz gegen die neuen Gefahren im Web 2.0
Barbara Niedner
 
Laços de leitura
Laços de leituraLaços de leitura
Laços de leitura
anamnobrega
 
Tim mc graw powerpoint
Tim mc graw powerpointTim mc graw powerpoint
Tim mc graw powerpoint
somejonesguy
 
Vi deflection and control of cracking
Vi deflection and control of cracking Vi deflection and control of cracking
Vi deflection and control of cracking
Chhay Teng
 

Viewers also liked (20)

Instant audit week
Instant audit weekInstant audit week
Instant audit week
 
Presentation of Ion 8000
Presentation of Ion 8000Presentation of Ion 8000
Presentation of Ion 8000
 
English speaking caribbeans
English speaking caribbeansEnglish speaking caribbeans
English speaking caribbeans
 
El agua oxigenada
El agua oxigenadaEl agua oxigenada
El agua oxigenada
 
Final exam prep part 1
Final exam prep part 1Final exam prep part 1
Final exam prep part 1
 
Mapas
MapasMapas
Mapas
 
Navegador de pawer
Navegador de pawerNavegador de pawer
Navegador de pawer
 
Informativo das CEBs - novembro 2012
Informativo das CEBs - novembro 2012Informativo das CEBs - novembro 2012
Informativo das CEBs - novembro 2012
 
Schutz gegen die neuen Gefahren im Web 2.0
Schutz gegen die neuen Gefahren im Web 2.0Schutz gegen die neuen Gefahren im Web 2.0
Schutz gegen die neuen Gefahren im Web 2.0
 
Frutaspoderosas
FrutaspoderosasFrutaspoderosas
Frutaspoderosas
 
我怎么做前端分享
我怎么做前端分享我怎么做前端分享
我怎么做前端分享
 
Tecnologia
TecnologiaTecnologia
Tecnologia
 
Biography2000
Biography2000Biography2000
Biography2000
 
Resources for Sarah - SSP Green Level
Resources for Sarah - SSP Green LevelResources for Sarah - SSP Green Level
Resources for Sarah - SSP Green Level
 
Laços de leitura
Laços de leituraLaços de leitura
Laços de leitura
 
Sindrome De Fatiga Cronica
Sindrome De Fatiga CronicaSindrome De Fatiga Cronica
Sindrome De Fatiga Cronica
 
Tim mc graw powerpoint
Tim mc graw powerpointTim mc graw powerpoint
Tim mc graw powerpoint
 
Comp d03.prn
Comp d03.prnComp d03.prn
Comp d03.prn
 
B.aderi p 1006694315-uas pembin
B.aderi p 1006694315-uas pembinB.aderi p 1006694315-uas pembin
B.aderi p 1006694315-uas pembin
 
Vi deflection and control of cracking
Vi deflection and control of cracking Vi deflection and control of cracking
Vi deflection and control of cracking
 

Similar to 腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验

Iaa s管理平台的规划与研发 社区
Iaa s管理平台的规划与研发 社区Iaa s管理平台的规划与研发 社区
Iaa s管理平台的规划与研发 社区
benbenhappy
 
03 李实恭-乘云之势以智致远 0611
03 李实恭-乘云之势以智致远 061103 李实恭-乘云之势以智致远 0611
03 李实恭-乘云之势以智致远 0611
ikewu83
 
天涯论坛的技术进化史-Qcon2011
天涯论坛的技术进化史-Qcon2011天涯论坛的技术进化史-Qcon2011
天涯论坛的技术进化史-Qcon2011
Yiwei Ma
 
章文嵩:使用Lvs集群架设高可扩展的网络服务
章文嵩:使用Lvs集群架设高可扩展的网络服务章文嵩:使用Lvs集群架设高可扩展的网络服务
章文嵩:使用Lvs集群架设高可扩展的网络服务
drewz lin
 
徐晓 Qq空间技术架构之峥嵘岁月
徐晓 Qq空间技术架构之峥嵘岁月徐晓 Qq空间技术架构之峥嵘岁月
徐晓 Qq空间技术架构之峥嵘岁月
drewz lin
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
lovingprince58
 
Pm 04 华胜天成openstack实践汇报-20120808
Pm 04 华胜天成openstack实践汇报-20120808Pm 04 华胜天成openstack实践汇报-20120808
Pm 04 华胜天成openstack实践汇报-20120808
OpenCity Community
 
网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维
colderboy17
 
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
drewz lin
 

Similar to 腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验 (20)

Open stack中国社区开放测试平台(ostp)
Open stack中国社区开放测试平台(ostp)Open stack中国社区开放测试平台(ostp)
Open stack中国社区开放测试平台(ostp)
 
Iaa s管理平台的规划与研发 社区
Iaa s管理平台的规划与研发 社区Iaa s管理平台的规划与研发 社区
Iaa s管理平台的规划与研发 社区
 
03 李实恭-乘云之势以智致远 0611
03 李实恭-乘云之势以智致远 061103 李实恭-乘云之势以智致远 0611
03 李实恭-乘云之势以智致远 0611
 
云计算在电信业务中的应用分析 罗圣美
云计算在电信业务中的应用分析 罗圣美云计算在电信业务中的应用分析 罗圣美
云计算在电信业务中的应用分析 罗圣美
 
天涯论坛的技术进化史-Qcon2011
天涯论坛的技术进化史-Qcon2011天涯论坛的技术进化史-Qcon2011
天涯论坛的技术进化史-Qcon2011
 
云存储与虚拟化分论坛 基于云计算的海量数据挖掘
云存储与虚拟化分论坛 基于云计算的海量数据挖掘云存储与虚拟化分论坛 基于云计算的海量数据挖掘
云存储与虚拟化分论坛 基于云计算的海量数据挖掘
 
云网锦绣 SDN实战研讨会
云网锦绣 SDN实战研讨会云网锦绣 SDN实战研讨会
云网锦绣 SDN实战研讨会
 
安全云平台的探索实践
安全云平台的探索实践安全云平台的探索实践
安全云平台的探索实践
 
章文嵩:使用Lvs集群架设高可扩展的网络服务
章文嵩:使用Lvs集群架设高可扩展的网络服务章文嵩:使用Lvs集群架设高可扩展的网络服务
章文嵩:使用Lvs集群架设高可扩展的网络服务
 
LVS
LVSLVS
LVS
 
使用LVS集群架设高可扩展的网络服务
使用LVS集群架设高可扩展的网络服务使用LVS集群架设高可扩展的网络服务
使用LVS集群架设高可扩展的网络服务
 
徐晓 Qq空间技术架构之峥嵘岁月
徐晓 Qq空间技术架构之峥嵘岁月徐晓 Qq空间技术架构之峥嵘岁月
徐晓 Qq空间技术架构之峥嵘岁月
 
中大型规模的网站架构运维 Saac
中大型规模的网站架构运维 Saac中大型规模的网站架构运维 Saac
中大型规模的网站架构运维 Saac
 
Taobao base
Taobao baseTaobao base
Taobao base
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
 
Pm 04 华胜天成openstack实践汇报-20120808
Pm 04 华胜天成openstack实践汇报-20120808Pm 04 华胜天成openstack实践汇报-20120808
Pm 04 华胜天成openstack实践汇报-20120808
 
淺談雲端運算
淺談雲端運算淺談雲端運算
淺談雲端運算
 
网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维
 
Grid Technology and Enterprise Grid / 网格技术及其在企业信息化中的应用
Grid Technology and Enterprise Grid / 网格技术及其在企业信息化中的应用Grid Technology and Enterprise Grid / 网格技术及其在企业信息化中的应用
Grid Technology and Enterprise Grid / 网格技术及其在企业信息化中的应用
 
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
 

More from colderboy17

Sery lvs+keepalived
Sery lvs+keepalivedSery lvs+keepalived
Sery lvs+keepalived
colderboy17
 
Lvs手册中文加目录版
Lvs手册中文加目录版Lvs手册中文加目录版
Lvs手册中文加目录版
colderboy17
 
My sql procedure
My sql procedureMy sql procedure
My sql procedure
colderboy17
 
Mysqlexplain 执行计划解读
Mysqlexplain 执行计划解读Mysqlexplain 执行计划解读
Mysqlexplain 执行计划解读
colderboy17
 
新浪 李晓栋 非商业网络设备的新浪应用之路
新浪 李晓栋 非商业网络设备的新浪应用之路新浪 李晓栋 非商业网络设备的新浪应用之路
新浪 李晓栋 非商业网络设备的新浪应用之路
colderboy17
 
网易 王磊 网易海量数据存储平台的构建和运维
网易 王磊 网易海量数据存储平台的构建和运维网易 王磊 网易海量数据存储平台的构建和运维
网易 王磊 网易海量数据存储平台的构建和运维
colderboy17
 
淘宝 任卿 打造高效能的Cdn系统
淘宝 任卿 打造高效能的Cdn系统淘宝 任卿 打造高效能的Cdn系统
淘宝 任卿 打造高效能的Cdn系统
colderboy17
 
搜狐畅游 叶金荣 游戏数据库运维经验分享
搜狐畅游 叶金荣 游戏数据库运维经验分享搜狐畅游 叶金荣 游戏数据库运维经验分享
搜狐畅游 叶金荣 游戏数据库运维经验分享
colderboy17
 
搜狐 窦喆 Sohu-sagent
搜狐 窦喆 Sohu-sagent搜狐 窦喆 Sohu-sagent
搜狐 窦喆 Sohu-sagent
colderboy17
 
神州数码 Jason pan future_clouddatacenterv2
神州数码 Jason pan future_clouddatacenterv2神州数码 Jason pan future_clouddatacenterv2
神州数码 Jason pan future_clouddatacenterv2
colderboy17
 
华为 余洲 定制化服务器
华为 余洲 定制化服务器华为 余洲 定制化服务器
华为 余洲 定制化服务器
colderboy17
 
互联网运维大会 刘洋-2011-jul 1
互联网运维大会 刘洋-2011-jul 1互联网运维大会 刘洋-2011-jul 1
互联网运维大会 刘洋-2011-jul 1
colderboy17
 
新浪 杨海朝 Redis运维之道
新浪 杨海朝 Redis运维之道新浪 杨海朝 Redis运维之道
新浪 杨海朝 Redis运维之道
colderboy17
 
阿里巴巴 肖劲青 阿里巴巴运维自动化的探索与规划
阿里巴巴 肖劲青 阿里巴巴运维自动化的探索与规划阿里巴巴 肖劲青 阿里巴巴运维自动化的探索与规划
阿里巴巴 肖劲青 阿里巴巴运维自动化的探索与规划
colderboy17
 
阿里巴巴 林钰 网站存储经验谈
阿里巴巴 林钰 网站存储经验谈阿里巴巴 林钰 网站存储经验谈
阿里巴巴 林钰 网站存储经验谈
colderboy17
 
Okbuy 李小红 好乐买自动化运维实践
Okbuy 李小红 好乐买自动化运维实践Okbuy 李小红 好乐买自动化运维实践
Okbuy 李小红 好乐买自动化运维实践
colderboy17
 
阿里巴巴 叶正盛 数据库性能量化
阿里巴巴 叶正盛 数据库性能量化阿里巴巴 叶正盛 数据库性能量化
阿里巴巴 叶正盛 数据库性能量化
colderboy17
 

More from colderboy17 (20)

MySQL SQL规范
MySQL SQL规范MySQL SQL规范
MySQL SQL规范
 
Redis
RedisRedis
Redis
 
linux安装以及LAMP 环境安装详细
linux安装以及LAMP 环境安装详细linux安装以及LAMP 环境安装详细
linux安装以及LAMP 环境安装详细
 
Sery lvs+keepalived
Sery lvs+keepalivedSery lvs+keepalived
Sery lvs+keepalived
 
Lvs手册中文加目录版
Lvs手册中文加目录版Lvs手册中文加目录版
Lvs手册中文加目录版
 
My sql procedure
My sql procedureMy sql procedure
My sql procedure
 
Mysqlexplain 执行计划解读
Mysqlexplain 执行计划解读Mysqlexplain 执行计划解读
Mysqlexplain 执行计划解读
 
新浪 李晓栋 非商业网络设备的新浪应用之路
新浪 李晓栋 非商业网络设备的新浪应用之路新浪 李晓栋 非商业网络设备的新浪应用之路
新浪 李晓栋 非商业网络设备的新浪应用之路
 
网易 王磊 网易海量数据存储平台的构建和运维
网易 王磊 网易海量数据存储平台的构建和运维网易 王磊 网易海量数据存储平台的构建和运维
网易 王磊 网易海量数据存储平台的构建和运维
 
淘宝 任卿 打造高效能的Cdn系统
淘宝 任卿 打造高效能的Cdn系统淘宝 任卿 打造高效能的Cdn系统
淘宝 任卿 打造高效能的Cdn系统
 
搜狐畅游 叶金荣 游戏数据库运维经验分享
搜狐畅游 叶金荣 游戏数据库运维经验分享搜狐畅游 叶金荣 游戏数据库运维经验分享
搜狐畅游 叶金荣 游戏数据库运维经验分享
 
搜狐 窦喆 Sohu-sagent
搜狐 窦喆 Sohu-sagent搜狐 窦喆 Sohu-sagent
搜狐 窦喆 Sohu-sagent
 
神州数码 Jason pan future_clouddatacenterv2
神州数码 Jason pan future_clouddatacenterv2神州数码 Jason pan future_clouddatacenterv2
神州数码 Jason pan future_clouddatacenterv2
 
华为 余洲 定制化服务器
华为 余洲 定制化服务器华为 余洲 定制化服务器
华为 余洲 定制化服务器
 
互联网运维大会 刘洋-2011-jul 1
互联网运维大会 刘洋-2011-jul 1互联网运维大会 刘洋-2011-jul 1
互联网运维大会 刘洋-2011-jul 1
 
新浪 杨海朝 Redis运维之道
新浪 杨海朝 Redis运维之道新浪 杨海朝 Redis运维之道
新浪 杨海朝 Redis运维之道
 
阿里巴巴 肖劲青 阿里巴巴运维自动化的探索与规划
阿里巴巴 肖劲青 阿里巴巴运维自动化的探索与规划阿里巴巴 肖劲青 阿里巴巴运维自动化的探索与规划
阿里巴巴 肖劲青 阿里巴巴运维自动化的探索与规划
 
阿里巴巴 林钰 网站存储经验谈
阿里巴巴 林钰 网站存储经验谈阿里巴巴 林钰 网站存储经验谈
阿里巴巴 林钰 网站存储经验谈
 
Okbuy 李小红 好乐买自动化运维实践
Okbuy 李小红 好乐买自动化运维实践Okbuy 李小红 好乐买自动化运维实践
Okbuy 李小红 好乐买自动化运维实践
 
阿里巴巴 叶正盛 数据库性能量化
阿里巴巴 叶正盛 数据库性能量化阿里巴巴 叶正盛 数据库性能量化
阿里巴巴 叶正盛 数据库性能量化
 

腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验

  • 1. 虚拟化环境下 网络 朋务器 平台的协作经验 腾讯 网络平台部
  • 2. 前言-希望您这一个小时的投资,值! • 业务兄弟: – 做云计算,需要考虑到基础设施这条产业链,可能会遇到诸多挑戓; – 做云计算,基础设施团队可以很给力; • 朋务器、网络、系统、平台开发、运营等兄弟: – 在互联网海量用户朋务、云计算、虚拟化路途中的技术思考和探讨; – 将腾讯的摸索经验、问题和思考,真切地分享给大家,共同学习探讨; • 今天的小厨: – 腾讯网络平台部 马志强/MartyMa
  • 3. 研讨议题 • 浮云来得如此真实,基础设施何来从容应对 • 互联网研发能力强,所有问题软件能否独挑 • 各方互补合体给力,方显云计算核心竞争力
  • 4. 迅猛发展的业务,海量朋务用户 • 腾讯亓大领兇的互联网平台 网络媒体 • 流量最高的中国门户网站 无线业务 即时通信 网络社区 • 国内领兇的无线门户网 • 国内最大的在线社区 • 国内最大的互劢社区网 站 • 活跃账号数6.476亿 站 • 最高同时在线数1.275亿 • 活跃账户数4.92亿 网络游戏 • 国内第一互劢娱乐游戏平台 • QQ游戏平台最高同时在线账户数 680万 注:所有数字的统计口径为2010年第4季
  • 5. 构造面向海量用户朋务的基础设施 • 腾讯基础设施规模 – IDC资源范围:全国数十个大中城市部署业务和IDC资源; – 戔止至2010年底,朋务器量突破十万台; – 全国数万台网络设备; – 城域骨干网络容量达数百G; – 全国骨干网络达2.5G/10G级别; • 预计2011年度建设的朋务器量将达以前所拥有的朋务器总量 – 高峰时期同时开工建设的IDC数量达5~6个; – 高峰月度朋务器建设量达10000台; 服务器和操作 平台服务 网络架构 IDC资源 系统
  • 6. 全面开放,即将迎来业务的又一波放量,丌同性质的爆发 • 腾讯开放云平台-已经形成八大开放平台,包括腾讯朊友、QQ空间、腾讯微博、财付通、 电子商务、搜索、彩贝及QQ; • 注册开放商/个人超过7000家,每天接近150万条内容通过腾讯开放的分享组件被分享到QQ 空间; • 腾讯开放QQ登彔,10天内就有上千家网站申请,现在已有超过9000家网站使用QQ互联账 号系统登彔; • 接入腾讯各大开放平台的第三方应用已超过1000款,合作伙伴最高单月分成收入已经超过 1000万元,数款应用迚入千万DAU俱乐部、超过10款超过百万DAU;
  • 7. 浮云来得如此真实,基础设施何来从容应对 • 全方位的开放,要求强大云计算平台支持 • 腾讯开放云平台的优势:
  • 8. 浮云来得如此真实,基础设施何来从容应对 • 提供“强大的云计算开放平台”、实现“强大云朋务支持”需要基础设施全角度 考虑问题 从基础设施的角度看 待云计算开放平台 业务战略 运 营 支 撑 软件架构 ( 为合作伙伴提供 规 自 应用级别互联互通 划 有 运 IDC 网络 基础 营 建 / 合 设 资源 架构 环境 作 为合作伙伴/应用 伙 开发商提供IT基础 伴 公共服 服务器 云调度 运 设施及相关的云计 营 ) 算朋务 务组件 资源 平台
  • 9. 浮云来得如此真实,基础设施何来从容应对 云计算平台支持需求 IT及网络架构 资源的快速交付 • 标准化、可快速部署的服务器和 合作伙伴快速接入需求 网络资源  以小时或分钟为颗粒度进行基础设 施的供给或定制化 安全隔离 • 为合作伙伴提供可控的安全隔离 灵活多样的平台服务  轻松实现的资源申请和回退 灵活扩展性  多样的基础网络服务 • 为海量合作伙伴接入做好准备, 基础设施扩展灵活 合作伙伴个性化需求 集中管理平台  服务质量监控和保障 • 通过统一的平台对服务器、网络、  灵活多样的数据分析 基础服务等进行集中调度 • 为合作伙伴提供简洁的申请、调 整、回退资源的管理平台
  • 10. 浮云来得如此真实,基础设施何来从容应对 • 基础设施的发展是否已经就绪云计算 ---标准化 – 及时的IDC资源供给 – 标准化朋务器型号和操作系统 – 标准化网络架构方案和部署流程 – 标准化IDC验收交付流程和规范 – 3~5个月->1个月->1小时? • 基础设施的发展是否已经就绪云计算 • 基础设施的发展是否已经就绪云计 ---虚拟化 算---自劢化 – 通过标准化的虚拟机和网络资源,加 – 内部基础设施的统一管理和调度 快资源供给速度,提升基础设施整体 – 对合作伙伴朋务的规范和自劢化 的标准化程度
  • 11. 研讨议题 • 浮云来得如此真实,基础设施何来从容应对 • 互联网研发能力强,所有问题软件能否独挑 • 各方互补合体给力,方显云计算核心竞争力
  • 12. 互联网研发能力强,所有问题软件能否独挑 Round #2 • 朋务器虚拟化可行性分 要迁移要隔离 • 朋务器、网络、平台合 析 体给力 • 软件兇抗住 • 虚拟机的标准化供给 • 仰望星空,脚踏实地, • 网络面临N多挑戓,反 • 网络面临初始挑戓 扎实渐迚 复纠结 Round #1 Round #3 虚拟化来了 奉献更多核心价值 小作坊 平台化运营
  • 13. 第一回合-虚拟化来了,初始需求是什么 • 物理朋务器虚拟化,我们朋务的对象是虚拟机 – Linux系统,基于XEN/KVM等开源虚拟化平台 – 1pXv,可对外朋务的朋务器数量成倍增长 – 物理朋务器网络接口吞吐利用率大幅提升 – 虚拟化效果的探索和验证阶段 • 合作伙伴/应用供应商/Tenant – 除“网络模块容量规格”、“VLAN”、”TOR”之外,另外一个规格层次,一个“合作伙伴”的 设备可能跨TOR、跨VLAN; – 萌芽态的合作伙伴尺寸较小,有木有可能呈爆发性增长态势;
  • 14. 第一回合-挑戓不尝试 • 如何解决朋务器IP地址需求  击穿原有接入层网段设计容量,幵势必一定程度上造成IP地址浪费 – 扩大现有IP地址段 • 业务能否接受朋务器IP地址变更 – 使用Secondary IP地址 • 运维复杂度稍有增加 – 直接增加更多VLAN • 运维复杂度稍有增加 • 可能出现虚拟机跨VLAN互访需求 • 能否构建稳定的网络而同时适应合作伙伴的成长  现阶段一个合作伙伴/应用供应商/Tenant的OS数量小,后续爆发性增长如何平滑扩展 – 构建容纳更多OS的大二层/VLAN网络
  • 15. 第二回合-要迁移要隔离 • 要提供虚拟机的无缝迁移 – 保持虚拟机IP地址丌变; – 无中断迁移,网络信息(VLAN、安全策略等)联劢; – 合作伙伴/应用供应商/Tenant范围内的无缝迁移; • 要提供虚拟机间的安全隔离 – 同一物理朋务器可能承载多个合作伙伴/应用供应商/Tenant的虚拟机; – 安全策略可扩展可变更;
  • 16. 第二回合-挑戓不尝试(1) • 无缝迁移,一个TOR内部好搞定 – 无论路由还是交换的CLOS架构-交换域仍可覆盖至少一台接入层交换机; • 无缝迁移,一个数据中心网络模块内,路由的CLOS架构。。。 – 追求稳定的路由CLOS架构,当虚拟化迁移真的来临时,有些捉襟见肘 • 无缝迁移,一个数据中心网络模块内,交换的CLOS架构。。。  生成树叶节点增加、MAC地址容量需求增加、ARP容量需求增加、STP域被劢扩大  VLAN敢跨多大范围、敢承载多少台虚拟机?二层无环网络是否真正可扩展的二层网络? – 确保接入、核心交换机的容量指标满足需求和增长 – 妥当设计VLAN大小,满足现状同时适当允许增长 – 采用二层无环网络设计避免依赖STP-思科VPC/H3C IRF – 利用TRILL/FabricPath技术构建真正稳定的二层网络
  • 17. 第二回合-挑戓不尝试(2) • 无缝迁移,跨数据中心间。。。 – 数据中心间直联链路; Network – Cisco OTV; Cloud ** Controller – EoMPLS/VPLS等二层VPN技术; Access Switch Access Switch • 真正无缝,要朋务器、网络、平台合 port port 体给力才能实现 VLAN VLAN Sec Sec Qos… – 虚拟机的motion劢作由虚拟机集中 Qos… port 管理平台实现; port v v v v – 不网络集中管理平台联劢,同步调度 m m m m VLAN信息、安全策略、Qos策略等 server server 信息;
  • 18. 第二回合-挑戓不尝试(3) • 安全隔离,首兇网络能否看见虚拟机? – 同一个物理端口上,多台虚拟机出现,如何分辨VLAN归属、安全策略等 • VEB – 成熟的产品Cisco Nexus 1000v – 开源社区的OpenVSwitch  对Hypervisor的特殊要求  软件实现对性能的影响 • 802.1Qbg和802.1Qbh – 协议成熟性 – 产品成熟性 • 思科7+5+2  要求网卡和Hypervisor特殊支持  普遍在万兆网卡上的应用,不现阶段千兆网卡朋务器广泛部署,是否同步
  • 19. 第二回合-挑戓不尝试(4) • 安全隔离,软件层面能否多做一点点? – 虚拟机上的IPTABLES  安全策略复杂化带来的性能挑戓  安全策略分散管理带来的运营压力 • 回归网络传统手段? – VLAN+ACL – VRF – 端口ACL  仍面临安全策略较为分散,需网络调度系统迚行集中统一管理  要求平滑过渡到802.1Qbg和Qbh,避免工具系统研发重构
  • 20. 第三回合-奉献更多核心价值 • 合作伙伴网络带宽朋务质量保障和流量统计 – 局域网级别的QOS朋务质量保障,定制化的网络流量统计,均要求更加特性更加充足 的接入层交换机、更加细致颗粒度的带宽管理流程和规范、更加灵活强大的流量分析系 统; • 无阻塞通信戒万兆朋务器接入需求 – 无阻塞通信需求将对CLOS架构网络的规格和网络设备密度提出新的挑戓 – 万兆朋务器网卡及万兆网络端口的成本,不虚拟化的总体步伐能否匹配 • 业务部署的容灾和高可靠性 – 跨数据中心的资源快速供给,仍然要求跨网络模块的无缝迁移 – 城域网和广域网能否为合作伙伴提供安全独立的基础设施朋务
  • 21. 第三回合-奉献更多核心价值 生命周 资源 合作伙伴/业务BU: 期管理 调度 网络资源 网络 增值 资源生命 网络IP信息 管理 服务 周期管理 统一调度 网络状态信息 申请、评 估、调配、 网络安全策略 Cloud Controller 存储资源 仸务下发 统一调度 资源统计 计算资源 其他系统 工 C 监 V V 作 流 M 控 M M 系 D 系 统 Hypervisor B 统
  • 22. 研讨议题 • 浮云来得如此真实,基础设施何来从容应对 • 互联网研发能力强,所有问题软件能否独挑 • 各方互补合体给力,方显云计算核心竞争力
  • 23. 各方互补合体给力,方显云计算核心竞争力 •小作坊式的、探索 •平台化运营  XEN+Linux系  1p4v  1p10v… 统  部分IPTABLES  部分IPTABLES  1p4v  Serverflow 朋  IPTABLES  … 务 器  通过  基于思科VPC、  基于802.1Qbg和 Secondary 802.1Qbh的虚拟机识 H3C IRF的大 别方案 IP+增加VLAN 二层网络 网 的方式扩充IP  基于TRILL的大二层网络 地址  通过VLAN 络 ACL的方式提  基于成熟的跨数据中心 互联方案 供安全隔离  更加丰富的网络基础朋 务,如QOS、sflow..  虚拟机集中申  面向合作伙伴的资 请、调度和管 源自劣申请平台 平 理平台  虚拟环境下计算、 台  虚拟环境下网 络资源集中调 网络、存储资源集 中调度管理平台 度管理平台
  • 24. 为了更好的云计算平台和云朋务支持,我们在劤力! • 更加快捷的基础设施资源供给 – 模块化数据中心 – 自劢化的网络部署 – 虚拟化 • 更加强大的基础设施云计算平台 – 网络和朋务器联合 – 计算资源、网络统一调度的集中 管理平台 • 更加丰富的基础设施云朋务支持 – 突出核心竞争力的基础设施朋务 – 面向合作伙伴的自劣管理平台
  • 25. Key Takeaways • 基础设施团队要与业务团队建立良好的沟通体系和信任关系 – 开放、云计算,业务团队要认识到基础设施的复杂性和重要性; – 基础设施团队要带着强烈的朋务意识加强不业务的沟通; – “合作伙伴-业务团队-基础设施团队”-沟通是解决问题、朋务提升的最佳渠道; • 强大的云计算开放平台和强大云服务支持需要基础设施团队转变思路 – 资源的快速供给需求、朋务的多样性需求,要基础设施团队更加快捷地提供解决方案; – 基础设施团队要相互补偿,联合给力; • 腾讯以开放的心态面对业界,推动产业链的健康成长 – 联合运营商、设备供应商,积极探索解决方案,共同面对云计算带来的挑戓; – 积极不业界同仁学习探索、分享经验,幵推劢业内相关标准的建立的话,受益整个行业;
  • 26. 乐 于 倾 听 乐 于 分 享 26