@InfoQ infoqchina@InfoQ infoqchina
阿里云弹性计算平台马介悦 阿里云计算
提纲• 产品介绍• 挑战与应对之道• 如何解决实际问题• 技术展望
产品介绍
飞天和基于飞天的云计算产品线
传统IDC服务器 vs 阿里云服务器传统IDC服务器 阿里云服务器投资成本 动辄上万的服务器成本,机房成本,网络带宽成本规模降低成本,价格低廉可运维性 缺少专业运维 阿里巴巴运维团队的支持安全性 缺乏一整套的安全防范 专业安全团队设计的可靠安全...
数据安全性• 分布式存储• 传统的方案– RAID1、RAID5DiskChunkA-1 ChunkA-2 ChunkA-3Rack-A Rack-B Rack-CTake OverNew ChunkAPartitioning
故障恢复• 机房中的各种故障可能– 网线、CPU、主板、内存• 传统的方案– 现场维修• 全自动恢复Host-A Host-BStorage ClusterFailover
数据备份和回滚Time• 传统的方案– 复制指定目录– 恢复困难• 分布式存储– 在线增量快照– 瞬间回滚1 2 3RollbackMount as Disk
可靠的高性能网络• 多线BGP出口• 双活的网络架构
云盾安全体系• 防DDoS攻击– 旁路流量– bps, pps, conn• 数据中心内部– 分布式防火墙– 安全组隔离– 防IP, ARP欺骗• 用户网站扫描– 木马检测– 漏洞检测
挑战与应对之道
网络面临的问题• 保证虚拟机迁移前后网络配置不变• 避免网络单点故障• 控制虚拟机QoS
第一代网络架构• 集中式NAT• 物理机两块网卡对应两个不同的网络
第二代网络架构• 公网地址下沉,直接配置到虚拟机中• 网卡采用Active-ActiveBonding• 在虚拟化层进行QoS控制• 在二层域中进行迁移
存储系统面临的问题• 可靠,高效,无单点的分布式文件系统– 数据安全性,容错性– 高IOPS,高吞吐– 无单点瓶颈• 完善的虚拟磁盘快照功能– 支持不停机打快照– 支持快照回滚,快照挂载– 减少存储空间
存储系统• 虚拟机磁盘的存储方式选型– 基于Key-Value的存储系统– 日志文件系统– 支持随机读写的盘古文件系统
盘古-大规模分布式文件系统CSCSCSCS CSMMMPaxos• Master-Slave 架构– Master负责元数据管理,Slave(chunk server)负责读写• 基于Paxos的多Master架构,秒级别的故障恢复• 文件分片...
虚拟磁盘加载和快照• 虚拟磁盘Lazy Load加载– 虚拟磁盘文件可以从快照数据中生成 e.g. 系统盘镜像– 解决了虚拟磁盘文件需要完全下载结束才能挂载的问题– Lazy Load和虚拟机IO请求并行产生• 快照存储– 实现了树形的快照结构...
虚拟化面临的问题• 如何提升虚拟化性能• 如何解决客户虚拟机各种crash,蓝屏问题
XEN虚拟化的优化• 通过全虚拟化提升CPU, 内存访问性能– VMX– EPT– CPU pin• 通过PV Driver提升IO性能
如何解决实际问题
xen虚拟机崩溃,蓝屏• 虚拟机core dump文件获取• 通过crash命令来分析虚拟机core dump
虚拟机在线迁移崩溃问题排查过程• 查看堆栈发现core在do_general_protection处• 进一步查看堆栈,触发这个异常是在mcheck_timer中,这是一个定期对CPU做Machine Check的内核线程。查看intel手册得...
xen dom0 hang• xm debug-keys
xen dom0 hang
技术展望
虚拟交换机• vSwitch虚拟交换机突破了以往二层设备单纯的转发功能的限制,通过高效的匹配算法,把每个网络包标记到不同的flow上,加上事先对flow绑定相应action操作,从而达到精确控制网络报文行为的目的• Open vSwitch
虚拟网络• Amazon VPC: 用户可以管理的虚拟网络• 虚拟网络通过overlay的方式共享物理网络• Mac Over IP– VxLAN– Nicira STT
QCon北京20134月25日——27日 即将开幕北京 国际会议中心等你参加!大会官网:http://www.qconbeijing.com/
特别感谢QCon成都合作伙伴
Upcoming SlideShare
Loading in …5
×

Q con成都主题演讲【弹性计算】by马介悦

2,239 views
2,052 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
2,239
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
7
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Master-slave 架构;Master负责元数据管理,slave负责数据读写并发读:200MB/s (80% local, 20% remote),并发写:50MB/sPaxos: 多Master数据冗余:文件分片成chunk,每个chunk复制三份,分布在三个不同的机架上。数据聚簇模式:同一个应用的partition访问数据colocate在一台机器上。智能的冗余恢复策略:一个硬盘损毁需要一小时完全恢复,单副本chunk优先复制。
  • Q con成都主题演讲【弹性计算】by马介悦

    1. 1. @InfoQ infoqchina@InfoQ infoqchina
    2. 2. 阿里云弹性计算平台马介悦 阿里云计算
    3. 3. 提纲• 产品介绍• 挑战与应对之道• 如何解决实际问题• 技术展望
    4. 4. 产品介绍
    5. 5. 飞天和基于飞天的云计算产品线
    6. 6. 传统IDC服务器 vs 阿里云服务器传统IDC服务器 阿里云服务器投资成本 动辄上万的服务器成本,机房成本,网络带宽成本规模降低成本,价格低廉可运维性 缺少专业运维 阿里巴巴运维团队的支持安全性 缺乏一整套的安全防范 专业安全团队设计的可靠安全体系可靠性 硬盘故障,服务器故障 数据安全性保障,故障快速恢复灵活性 服务器跑满了怎么办,服务器不够了怎么办配置快速升级,资源快速扩展增值服务 网站备案, DNS 针对不同应用提供特有的增值服务:SLB,RDS,OSS等
    7. 7. 数据安全性• 分布式存储• 传统的方案– RAID1、RAID5DiskChunkA-1 ChunkA-2 ChunkA-3Rack-A Rack-B Rack-CTake OverNew ChunkAPartitioning
    8. 8. 故障恢复• 机房中的各种故障可能– 网线、CPU、主板、内存• 传统的方案– 现场维修• 全自动恢复Host-A Host-BStorage ClusterFailover
    9. 9. 数据备份和回滚Time• 传统的方案– 复制指定目录– 恢复困难• 分布式存储– 在线增量快照– 瞬间回滚1 2 3RollbackMount as Disk
    10. 10. 可靠的高性能网络• 多线BGP出口• 双活的网络架构
    11. 11. 云盾安全体系• 防DDoS攻击– 旁路流量– bps, pps, conn• 数据中心内部– 分布式防火墙– 安全组隔离– 防IP, ARP欺骗• 用户网站扫描– 木马检测– 漏洞检测
    12. 12. 挑战与应对之道
    13. 13. 网络面临的问题• 保证虚拟机迁移前后网络配置不变• 避免网络单点故障• 控制虚拟机QoS
    14. 14. 第一代网络架构• 集中式NAT• 物理机两块网卡对应两个不同的网络
    15. 15. 第二代网络架构• 公网地址下沉,直接配置到虚拟机中• 网卡采用Active-ActiveBonding• 在虚拟化层进行QoS控制• 在二层域中进行迁移
    16. 16. 存储系统面临的问题• 可靠,高效,无单点的分布式文件系统– 数据安全性,容错性– 高IOPS,高吞吐– 无单点瓶颈• 完善的虚拟磁盘快照功能– 支持不停机打快照– 支持快照回滚,快照挂载– 减少存储空间
    17. 17. 存储系统• 虚拟机磁盘的存储方式选型– 基于Key-Value的存储系统– 日志文件系统– 支持随机读写的盘古文件系统
    18. 18. 盘古-大规模分布式文件系统CSCSCSCS CSMMMPaxos• Master-Slave 架构– Master负责元数据管理,Slave(chunk server)负责读写• 基于Paxos的多Master架构,秒级别的故障恢复• 文件分片(chunk),每个chunk存N份副本,分散在集群中• Fail-Over
    19. 19. 虚拟磁盘加载和快照• 虚拟磁盘Lazy Load加载– 虚拟磁盘文件可以从快照数据中生成 e.g. 系统盘镜像– 解决了虚拟磁盘文件需要完全下载结束才能挂载的问题– Lazy Load和虚拟机IO请求并行产生• 快照存储– 实现了树形的快照结构– 虚拟磁盘的根快照是全量快照,其所有的子孙快照都为增量快照
    20. 20. 虚拟化面临的问题• 如何提升虚拟化性能• 如何解决客户虚拟机各种crash,蓝屏问题
    21. 21. XEN虚拟化的优化• 通过全虚拟化提升CPU, 内存访问性能– VMX– EPT– CPU pin• 通过PV Driver提升IO性能
    22. 22. 如何解决实际问题
    23. 23. xen虚拟机崩溃,蓝屏• 虚拟机core dump文件获取• 通过crash命令来分析虚拟机core dump
    24. 24. 虚拟机在线迁移崩溃问题排查过程• 查看堆栈发现core在do_general_protection处• 进一步查看堆栈,触发这个异常是在mcheck_timer中,这是一个定期对CPU做Machine Check的内核线程。查看intel手册得知,在x86_64中machine check的数据结构组织在CPUbank中,每种类型的硬件错误存在一个bank里• 查看源码,锁定可疑点在函数machine_check_poll,该函数遍历所有CPU banks,调用mce_rdmsrl读取bank内容• 意外发现虚拟机迁移前后的CPU是异构的,再次查看intel手册,前者有9个CPU bank,后者只有6个,但bank数目是放在内存中的,因此在线迁移到新的物理机上之后,在尝试读第7个bank记录时出现崩溃
    25. 25. xen dom0 hang• xm debug-keys
    26. 26. xen dom0 hang
    27. 27. 技术展望
    28. 28. 虚拟交换机• vSwitch虚拟交换机突破了以往二层设备单纯的转发功能的限制,通过高效的匹配算法,把每个网络包标记到不同的flow上,加上事先对flow绑定相应action操作,从而达到精确控制网络报文行为的目的• Open vSwitch
    29. 29. 虚拟网络• Amazon VPC: 用户可以管理的虚拟网络• 虚拟网络通过overlay的方式共享物理网络• Mac Over IP– VxLAN– Nicira STT
    30. 30. QCon北京20134月25日——27日 即将开幕北京 国际会议中心等你参加!大会官网:http://www.qconbeijing.com/
    31. 31. 特别感谢QCon成都合作伙伴

    ×