SlideShare a Scribd company logo
1 of 33
可扩展低功耗数据中心网络研究


            李丹


4/18/2011   1    Tsinghua University
提纲

       数据中心和数据中心网络

       可扩展数据中心网络研究

       低功耗数据中心网络研究




4/18/2011       2     Tsinghua University
新兴网络形态




            云计算            物联网


4/18/2011           3        Tsinghua University
数据中心




       放置大规模服务器进行分布式计算
       供电、联网、制冷

4/18/2011       4         Tsinghua University
数据中心网络




       连接大规模服务器
       为分布式计算提供路由和传输服务

4/18/2011       5         Tsinghua University
数据中心网络设计
       高带宽
       低成本
       可扩展
               在服务器增长的情况下网络性能不下降
       低功耗
               提高性能/功耗比




4/18/2011                  6    Tsinghua University
数据中心网络设计
       高带宽
       低成本
       可扩展
               在服务器增长的情况下网络性能不下降
       低功耗
               提高性能/功耗比




4/18/2011                  7    Tsinghua University
可扩展数据中心网络
       可扩展互联拓扑
               提供大规模服务器的互联方式


       可扩展路由
               低端交换机的路由表容量有限
               服务器数量众多,通信规模大




4/18/2011                8      Tsinghua University
可扩展互联拓扑
      以交换机为中心
           Fat-Tree, VL2, Helios


      以服务器为中心
           DCell, BCube, CamCube, FiConn




4/18/2011                     9             Tsinghua University
Fat-Tree和VL2




4/18/2011        10        Tsinghua University
DCell和BCube




4/18/2011        11       Tsinghua University
问题
       优化同质服务器
               CPU开销相同
               网络接口数量相同


       异构服务器普遍存在
               不同时期购买的服务器
               从不同的厂商购买的服务器


4/18/2011                  12   Tsinghua University
uFix:设计目标

       连接异构集装箱数据中心

       支持平滑渐进式部署

       将集装箱间架构和集装箱内部架构分离



4/18/2011       13      Tsinghua University
uFix互联结构
   每台服务器为集装箱
    间互联预留一个端口
   层次化互联
           uFix域,uFix代理
   用户灵活定义连接度
   随着网络规模的增长
    ,不用增加新的端口
   尽量提高网络容量
4/18/2011                  14   Tsinghua University
uFix编址
      uFix域
           相同地址前缀
      uFix代理
           与邻居uFix代理交互各自域的IP地址前缀信息
           域内通告
      uFix代理表
           层次化查找



4/18/2011              15      Tsinghua University
uFix路由转发
     源节点
           查找uFix代理表
     中间节点
           从uFix端口收到
               查找uFix代理表,通过集装箱内部路由模块转发
           从普通端口收到
               通过uFix端口转发到邻居集装箱
     目的节点
           递交给上层应用程序
4/18/2011                  16       Tsinghua University
系统和实验
       Linux内核实现




4/18/2011           17   Tsinghua University
可扩展组播路由
       组通信在数据中心网络非常普遍
               定向搜索查询到一组服务器上
               分发分布式计算程序
               操作系统及应用软件更新
       通过组播实现组通信
               节省网络带宽
               提高应用程序吞吐率
       可扩展组播路由
               在低端交换机上支持大量组播组
4/18/2011               18       Tsinghua University
基于分组内Bloom Filter的组播路由




            Bloom Filter




                                Bloom
                                Filter


4/18/2011                  19        Tsinghua University
问题

       带宽负载
         False-positive转发

         分组内Bloom Filter域




       转发环路
               False-positive转发


4/18/2011                      20   Tsinghua University
带宽负载




               Bcube(8,3)       Fat-Tree with
                                  k=48
4/18/2011                    21              Tsinghua University
混合路由
      组播组规模分布
           大量规模较小的组播组
               分布式文件系统拷贝
           大规模组播组非常有限
               Map-Reduce计算
      分组内Bloom Filter和交换机路由表项的混
       合路由方案
           对小规模组播组采用分组内Bloom Filter路由
           对大规模组播组采用交换机路由表路由
4/18/2011                      22   Tsinghua University
避免转发环路
     基于距离的Bloom Filter转发
           利用数据中心网络的多部图属性
           交换机只向离源节点更远的邻居节点转发分组


     错误转发的分组将在d跳内丢弃
           d是网络直径
           不会形成环路


4/18/2011            23      Tsinghua University
系统和实验
       基于Linux系统的混合转发引擎




4/18/2011         24       Tsinghua University
数据中心能耗
       2006年美国数据中心网络设备的总能耗达到30亿KWh
       随着规模扩大,能耗值和比例值还将继续的快速增长




4/18/2011            25         Tsinghua University
服务器和网络能耗比例
       当前比值
               Google:网络10%
               Microsoft:网络20%
       但是
               数据中心的发展趋势是使用越来越多的交换机进行网
                络互联
               在服务器端进行能耗管理的情况下,网络端比例更高
       因此
               服务器和网络端的能耗都不容忽视


4/18/2011                         26   Tsinghua University
服务器端节能机制
       低功耗CPU
       Energy-proportional computing
       DVFS
       Wake-on-Lan
       虚拟机整合和迁移




4/18/2011                27             Tsinghua University
网络端节能
       支持端口休眠的交换机

       在流量较低的时候动态关闭部分交换机

       流量聚集路由




4/18/2011        28    Tsinghua University
问题
      服务器端和网络端互相影响
           服务器端的虚拟机分配影响网络流量矩阵
           网络路由选择影响任务完成时间及服务器能耗


      数据中心节能
           服务器和网络联合优化




4/18/2011            29      Tsinghua University
虚拟机分配
   估算虚拟机之间的数据
    传输量
   虚拟机放置策略
           减少网络数据传输量
               Balanced Minimum K-cut   Subtask 1   Subtask 2    . . .

                问题                        . . .       . . .      Subtask n



           物理主机上放置的虚拟机
            数量
               依网络拓扑而定

4/18/2011                           30      Tsinghua University
网络路由选择
   能耗
           (服务器功率+交换
            机功率)*任务完成
            时间
   交换机数量
           更多,网络能耗更大
           更少,任务完成时间
            越长


4/18/2011               31   Tsinghua University
启发式算法
       充分利用Multi-rooted Tree型拓扑的特点
       保证“瓶颈链路”出现在接入层的前提下
               尽量减少高层交换机的数量




4/18/2011               32     Tsinghua University
谢谢!



4/18/2011    33   Tsinghua University

More Related Content

Similar to 可扩展低功耗数据中心网络研究

05 zhao huiling
05 zhao huiling05 zhao huiling
05 zhao huilingMason Mei
 
第2讲 Osi分层模型
第2讲 Osi分层模型第2讲 Osi分层模型
第2讲 Osi分层模型F.l. Yu
 
组网实践
组网实践组网实践
组网实践telab
 
第17讲 广域网基础
第17讲 广域网基础第17讲 广域网基础
第17讲 广域网基础F.l. Yu
 
云计算 系统实例与研究现状
云计算 系统实例与研究现状云计算 系统实例与研究现状
云计算 系统实例与研究现状Danny AJ Lin
 
Big Data : The Missing Puzzle of Mobile Computing
Big Data : The Missing Puzzle of Mobile ComputingBig Data : The Missing Puzzle of Mobile Computing
Big Data : The Missing Puzzle of Mobile ComputingJazz Yao-Tsung Wang
 
04 hou ziqiang
04 hou ziqiang04 hou ziqiang
04 hou ziqiangMason Mei
 
对无线局域网应用前景的探讨
对无线局域网应用前景的探讨对无线局域网应用前景的探讨
对无线局域网应用前景的探讨beiyingmei11
 
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验colderboy17
 
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验guiyingshenxia
 
互联网运维大会 刘洋-2011-jul 1
互联网运维大会 刘洋-2011-jul 1互联网运维大会 刘洋-2011-jul 1
互联网运维大会 刘洋-2011-jul 1colderboy17
 
Service oriented computing and cloud computing
Service oriented computing and cloud computingService oriented computing and cloud computing
Service oriented computing and cloud computing志銘 劉志銘
 
提高扩展能力的常用模式——黄东
提高扩展能力的常用模式——黄东提高扩展能力的常用模式——黄东
提高扩展能力的常用模式——黄东programmermag
 
腾讯大讲堂40 web类服务用户体验优化综述
腾讯大讲堂40 web类服务用户体验优化综述腾讯大讲堂40 web类服务用户体验优化综述
腾讯大讲堂40 web类服务用户体验优化综述PMCamp
 
2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for AgricultureJazz Yao-Tsung Wang
 

Similar to 可扩展低功耗数据中心网络研究 (20)

MCCC Lab
MCCC LabMCCC Lab
MCCC Lab
 
05 zhao huiling
05 zhao huiling05 zhao huiling
05 zhao huiling
 
WASN-poster
WASN-posterWASN-poster
WASN-poster
 
第2讲 Osi分层模型
第2讲 Osi分层模型第2讲 Osi分层模型
第2讲 Osi分层模型
 
network1
network1network1
network1
 
Mccc lab
Mccc labMccc lab
Mccc lab
 
组网实践
组网实践组网实践
组网实践
 
认识电脑网络
认识电脑网络认识电脑网络
认识电脑网络
 
第17讲 广域网基础
第17讲 广域网基础第17讲 广域网基础
第17讲 广域网基础
 
云计算 系统实例与研究现状
云计算 系统实例与研究现状云计算 系统实例与研究现状
云计算 系统实例与研究现状
 
Big Data : The Missing Puzzle of Mobile Computing
Big Data : The Missing Puzzle of Mobile ComputingBig Data : The Missing Puzzle of Mobile Computing
Big Data : The Missing Puzzle of Mobile Computing
 
04 hou ziqiang
04 hou ziqiang04 hou ziqiang
04 hou ziqiang
 
对无线局域网应用前景的探讨
对无线局域网应用前景的探讨对无线局域网应用前景的探讨
对无线局域网应用前景的探讨
 
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
 
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
 
互联网运维大会 刘洋-2011-jul 1
互联网运维大会 刘洋-2011-jul 1互联网运维大会 刘洋-2011-jul 1
互联网运维大会 刘洋-2011-jul 1
 
Service oriented computing and cloud computing
Service oriented computing and cloud computingService oriented computing and cloud computing
Service oriented computing and cloud computing
 
提高扩展能力的常用模式——黄东
提高扩展能力的常用模式——黄东提高扩展能力的常用模式——黄东
提高扩展能力的常用模式——黄东
 
腾讯大讲堂40 web类服务用户体验优化综述
腾讯大讲堂40 web类服务用户体验优化综述腾讯大讲堂40 web类服务用户体验优化综述
腾讯大讲堂40 web类服务用户体验优化综述
 
2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture
 

可扩展低功耗数据中心网络研究

  • 1. 可扩展低功耗数据中心网络研究 李丹 4/18/2011 1 Tsinghua University
  • 2. 提纲  数据中心和数据中心网络  可扩展数据中心网络研究  低功耗数据中心网络研究 4/18/2011 2 Tsinghua University
  • 3. 新兴网络形态 云计算 物联网 4/18/2011 3 Tsinghua University
  • 4. 数据中心  放置大规模服务器进行分布式计算  供电、联网、制冷 4/18/2011 4 Tsinghua University
  • 5. 数据中心网络  连接大规模服务器  为分布式计算提供路由和传输服务 4/18/2011 5 Tsinghua University
  • 6. 数据中心网络设计  高带宽  低成本  可扩展  在服务器增长的情况下网络性能不下降  低功耗  提高性能/功耗比 4/18/2011 6 Tsinghua University
  • 7. 数据中心网络设计  高带宽  低成本  可扩展  在服务器增长的情况下网络性能不下降  低功耗  提高性能/功耗比 4/18/2011 7 Tsinghua University
  • 8. 可扩展数据中心网络  可扩展互联拓扑  提供大规模服务器的互联方式  可扩展路由  低端交换机的路由表容量有限  服务器数量众多,通信规模大 4/18/2011 8 Tsinghua University
  • 9. 可扩展互联拓扑  以交换机为中心  Fat-Tree, VL2, Helios  以服务器为中心  DCell, BCube, CamCube, FiConn 4/18/2011 9 Tsinghua University
  • 10. Fat-Tree和VL2 4/18/2011 10 Tsinghua University
  • 11. DCell和BCube 4/18/2011 11 Tsinghua University
  • 12. 问题  优化同质服务器  CPU开销相同  网络接口数量相同  异构服务器普遍存在  不同时期购买的服务器  从不同的厂商购买的服务器 4/18/2011 12 Tsinghua University
  • 13. uFix:设计目标  连接异构集装箱数据中心  支持平滑渐进式部署  将集装箱间架构和集装箱内部架构分离 4/18/2011 13 Tsinghua University
  • 14. uFix互联结构  每台服务器为集装箱 间互联预留一个端口  层次化互联  uFix域,uFix代理  用户灵活定义连接度  随着网络规模的增长 ,不用增加新的端口  尽量提高网络容量 4/18/2011 14 Tsinghua University
  • 15. uFix编址  uFix域  相同地址前缀  uFix代理  与邻居uFix代理交互各自域的IP地址前缀信息  域内通告  uFix代理表  层次化查找 4/18/2011 15 Tsinghua University
  • 16. uFix路由转发  源节点  查找uFix代理表  中间节点  从uFix端口收到  查找uFix代理表,通过集装箱内部路由模块转发  从普通端口收到  通过uFix端口转发到邻居集装箱  目的节点  递交给上层应用程序 4/18/2011 16 Tsinghua University
  • 17. 系统和实验  Linux内核实现 4/18/2011 17 Tsinghua University
  • 18. 可扩展组播路由  组通信在数据中心网络非常普遍  定向搜索查询到一组服务器上  分发分布式计算程序  操作系统及应用软件更新  通过组播实现组通信  节省网络带宽  提高应用程序吞吐率  可扩展组播路由  在低端交换机上支持大量组播组 4/18/2011 18 Tsinghua University
  • 19. 基于分组内Bloom Filter的组播路由 Bloom Filter Bloom Filter 4/18/2011 19 Tsinghua University
  • 20. 问题  带宽负载  False-positive转发  分组内Bloom Filter域  转发环路  False-positive转发 4/18/2011 20 Tsinghua University
  • 21. 带宽负载  Bcube(8,3)  Fat-Tree with k=48 4/18/2011 21 Tsinghua University
  • 22. 混合路由  组播组规模分布  大量规模较小的组播组  分布式文件系统拷贝  大规模组播组非常有限  Map-Reduce计算  分组内Bloom Filter和交换机路由表项的混 合路由方案  对小规模组播组采用分组内Bloom Filter路由  对大规模组播组采用交换机路由表路由 4/18/2011 22 Tsinghua University
  • 23. 避免转发环路  基于距离的Bloom Filter转发  利用数据中心网络的多部图属性  交换机只向离源节点更远的邻居节点转发分组  错误转发的分组将在d跳内丢弃  d是网络直径  不会形成环路 4/18/2011 23 Tsinghua University
  • 24. 系统和实验  基于Linux系统的混合转发引擎 4/18/2011 24 Tsinghua University
  • 25. 数据中心能耗  2006年美国数据中心网络设备的总能耗达到30亿KWh  随着规模扩大,能耗值和比例值还将继续的快速增长 4/18/2011 25 Tsinghua University
  • 26. 服务器和网络能耗比例  当前比值  Google:网络10%  Microsoft:网络20%  但是  数据中心的发展趋势是使用越来越多的交换机进行网 络互联  在服务器端进行能耗管理的情况下,网络端比例更高  因此  服务器和网络端的能耗都不容忽视 4/18/2011 26 Tsinghua University
  • 27. 服务器端节能机制  低功耗CPU  Energy-proportional computing  DVFS  Wake-on-Lan  虚拟机整合和迁移 4/18/2011 27 Tsinghua University
  • 28. 网络端节能  支持端口休眠的交换机  在流量较低的时候动态关闭部分交换机  流量聚集路由 4/18/2011 28 Tsinghua University
  • 29. 问题  服务器端和网络端互相影响  服务器端的虚拟机分配影响网络流量矩阵  网络路由选择影响任务完成时间及服务器能耗  数据中心节能  服务器和网络联合优化 4/18/2011 29 Tsinghua University
  • 30. 虚拟机分配  估算虚拟机之间的数据 传输量  虚拟机放置策略  减少网络数据传输量  Balanced Minimum K-cut Subtask 1 Subtask 2 . . . 问题 . . . . . . Subtask n  物理主机上放置的虚拟机 数量  依网络拓扑而定 4/18/2011 30 Tsinghua University
  • 31. 网络路由选择  能耗  (服务器功率+交换 机功率)*任务完成 时间  交换机数量  更多,网络能耗更大  更少,任务完成时间 越长 4/18/2011 31 Tsinghua University
  • 32. 启发式算法  充分利用Multi-rooted Tree型拓扑的特点  保证“瓶颈链路”出现在接入层的前提下  尽量减少高层交换机的数量 4/18/2011 32 Tsinghua University
  • 33. 谢谢! 4/18/2011 33 Tsinghua University