下一代虚拟存储解决方案:Vaai

2,057 views

Published on

vForum 2010 BJ Share

Published in: Technology, Business
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,057
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
0
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

下一代虚拟存储解决方案:Vaai

  1. 1. 1 Confidential 下一代虚拟机存储解决方案 公司研发工程师 温平进
  2. 2. 2 Confidential 议程  vStorage APIs基本概念介绍  VAAI介绍  全复制(Full Copy)  块清零(Block Zeroing)  硬件辅助锁定(Hardware Assisted Locking)  开发中的vStorage API新特性  Q&A
  3. 3. 3 Confidential 议程  vStorage APIs基本概念介绍  VAAI介绍  全复制(Full Copy)  块清零(Block Zeroing)  硬件辅助锁定(Hardware Assisted Locking)  开发中的vStorage API新特性  Q&A
  4. 4. 4 Confidential 支持硬件辅助虚拟 化的CPU技术,如: Intel VT, AMD-V, EPT, NPT, etc Hardware assisted virtual machine monitor CPU虚拟化:从软件虚拟化到硬件辅助虚拟化 Software virtual machine monitor (Binary translation, direct execution) 物理CPU
  5. 5. 5 Confidential vStorage兼容的 SAN/NAS存储 VMware 存储虚拟化 (VMFS, snapshots, linked clones, provisioning, Storage vMotion) 基于vStorage API的VMware存储虚拟化 vStorage APIs : 虚拟机存储的硬件加速 SAN/NAS存储 虚拟磁盘 通过vStorage APIs, VMware及其存储合作伙伴进行紧密合作, 可以共同进行虚拟机存储解决方案的创新
  6. 6. 6 Confidential 实现方法 1. VMware 在vStorage API规范中 发布新的数据和管理框架 2. 在vSphere增加对vStorage API 的支持 3. 存储系统更新其firmware,以支 持vStorage API 4. 虚拟机管理和存储管理通过in- band和out-of-band的 vStorage API紧密的结合 ESX vCenter Storage system Storage system manager 2 2 3 3 4 4 下一代虚拟机存储解决方案 一个无缝结合的系统!
  7. 7. 7 Confidential vStorage API 可以实现: vStorage API scope:Performance, Scalability, Space efficiency, Management, Data protection, Data services, etc. 性能提升和扩展性保证 vStorage API for Array Integration (VAAI) 高可用性 vStorage API for Pluggable Storage Architecture 空间优化 vStorage API for Thin Provisioning 可管理性 vStorage API for Storage Awareness 容灾 vStorage API for Site Recovery Manager 数据保护 vStorage API for Data Protection
  8. 8. 8 Confidential 议程  vStorage APIs基本概念介绍  VAAI介绍  全复制(Full Copy)  块清零(Block Zeroing)  硬件辅助锁定(Hardware Assisted Locking)  开发中的vStorage API新特性  Q&A
  9. 9. 9 Confidential 什么是VAAI VAAI --- vStorage API for Array Integration  由一组 VMkernel API和SCSI命令组成,用来在ESX和存储阵列之间 建立一个高效的协议  定义了一组基本存储操作(primitives),用于在存储阵列中高效执 行,从而加速ESX的I/O操作  提高ESX的存储性能,对最终用户透明
  10. 10. 10 Confidential VAAI的基本操作(Primitives) 全复制(Full Copy) • 在存储阵列上进行数据的拷贝,避免了ESX Server将数据从存储上读出,然后 又写回到存储中去。 • 发送特殊的SCSI命令,利用存储阵列来进行大量数据的复制,快照以及迁移 块清零(Block Zeroing) • 在存储阵列上进行大量的数据块写零操作,以加速虚拟机的部署 • 发送特殊的SCSI接口命令,通知存储阵列进行批量写零 硬件辅助锁定(Hardware Assisted Locking, Atomic Test & Set/ATS) • 提供一种全新的VMFS集群文件系统的元数据保护机制,从而大大提高了可扩展 性 -- 更多的ESX可以同时共享同一个数据存储(Datastore) • 锁定机制不在是在LUN级别,而是在数据块级别
  11. 11. 11 Confidential ESX Cluster I/O I/O NetApp FAS Array ImagebyVaughnStewart Flexible Volume Datastore 全复制(Full Copy) – Without VAAI SCSI CMDs over FC, FCoE, iSCSI VM VM VMVM  虚拟机的克隆和迁移 ,需要在ESX/ESXi内进 行数据拷贝  数据的拷贝会消耗主 机的CPU,内存以及存 储带宽 VM VM VMVM VM VM
  12. 12. 12 Confidential NetApp FAS Array ESX Cluster ImagebyVaughnStewart Flexible Volume Datastore 全复制(Full Copy) – With VAAI VM VM VMVM VM VM VM  虚拟机的克隆和 迁移被解释成一组 特殊的SCSI命令 实际的数据复制 在存储阵列上完成  复制过程不再占 用主机的CPU,内 存,存储带宽资源 CopyInstructions
  13. 13. 13 Confidential VAAI – Full Copy 存储硬件加速效果: Storage vMotion with VAAI without VAAI VAAI 全复制(Full Copy)的性能
  14. 14. 14 Confidential NetApp FAS Array ESX Cluster ImagebyVaughnStewart Flexible Volume Datastore VM VM VM VM VM VM 块清零(Block Zeroing) – Without VAAI  对各种格式的虚拟磁盘 (VMDK)进行初始写操作时 ,都需要先对虚拟磁盘进 行写零操作  写零操作占用主机的 CPU,内存,存储带宽资 源 000
  15. 15. 15 Confidential NetApp FAS Array ESX Cluster ImagebyVaughnStewart Flexible Volume Datastore VM VM VM VM VM VM 块清零(Block Zeroing) – With VAAI  通过VAAI,具体的写零 操作由存储整列来完成  虚拟磁盘的初始化写零 操作更快,并且几乎不占 用任何的主机资源(CPU, 内存,存储带宽) 000
  16. 16. 16 Confidential Server 1 释放了LUN. 其他主机可以继续进行 I/O操作. 普通I/OServer 1 启动一个虚拟机,这需要 锁定整个LUNServer 1 锁定VMDK. VMFS Locking – Without VAAI VMware ESXVMware ESX VMware ESXVMware ESX VMware ESXVMware ESX0011 1001 0100 1100 0110 1101 1011 0010 1100 Server 1 Server 2 Server 3 VM VM VM VM VM VM VM VM VM  当某个主机需要获取一个文件 锁的时候, 它需要发送SCSI Reserve命令来锁定整个LUN  当该LUN被锁定的时候,所有 其他的主机对本LUN的操作都 被禁止,直到该LUN被释放  这种机制影响的VMFS的性能 ,限制了VMFS的扩展性
  17. 17. 17 Confidential Server 1 启动一个虚拟机,先检查 相应虚拟磁盘(VMDK)的锁状态 普通I/O 读取锁状态 检查锁是否空闲, 如果是则锁定 Server 1 告诉存储“如果锁仍空 闲, 则锁定它” VMware ESX VM VM VM VM VM VM VM VM VM VMFS Locking – With VAAI VMware ESX VMware ESX VMware ESX0011 1001 0100 1100 0110 1101 1011 0010 1100 空闲 完成! Servers 2 & 3 可以继续访问该LUN Server 1 Server 2 Server 3 VMware ESX VMware ESXVMware ESX  启动虚拟机时,磁盘上的 文件锁状态自动更新  在启动整个过程中,整个 LUN都可被所有主机访问  VMFS性能和扩展性都得到 提高
  18. 18. 18 Confidential HP VAAI 性能对比 测试内容: 40GB 全复制(Full Copy) • 7倍的拷贝速度,降低了 94%负载 对256GB存储写零 (block zero) • 21倍的写零速度,降低了92%负载
  19. 19. 19 Confidential VAAI – 存储合作伙伴支持计划 VAAI合作伙伴 Firmware发布时间 Firmware版本 3Par check with vendor check with vendor Dell Released V5.0 EMC Unified & EMC CLARiiON EMC VMAX Q4 2010 FLARE 30 Enginuity 5875 Fujitsu Q4 2010 check with vendor HDS Released AMS microcode 0893/B HP November 2010 SAN IQ v9.0 IBM Q4-2010 XIV v10.2.4 LSI check with vendor check with vendor NEC check with vendor check with vendor NetApp October 2010 ONTAP v8.0.1
  20. 20. 20 Confidential vSphere Client对VAAI的支持 -- Hardware Acceleration 在vSphere4.1中,引入了新的VMFS驱动版本 (3.46) ,支持存储的硬件加速  在vSphere Client 4.1的界面上,datastore新增了一个属性 “硬件加速 (Hardware Acceleration)”,来反映相应的datastore是否支持VAAI  在vSphere 4.1中,只支持VMFS的硬件加速,目前NAS还不支持VAAI “Not Supported” 表示一个或者多个VAAI操作不支持 “Unknown” 表示ESX并没有尝试过在该datastore上使用VAAI “Supported” 表示该datastore支持VAAI  vSphere会自动检测相应的datastore是否支持VAAI,如果在运行过程中 VAAI失效了,则自动切换回不支持VAAI的情况, 虚拟机不受影响
  21. 21. 21 Confidential 查看VAAI支持情况 -- RCLI ~ # esxcfg-scsidevs -l -d naa.6000eb39329a7acd000000000000000c naa.6000eb39329a7acd000000000000000c Device Type: Direct-Access Size: 10240 MB Display Name: LEFTHAND iSCSI Disk (naa.6000eb39329a7acd000000000000000c) Multipath Plugin: NMP Console Device: /vmfs/devices/disks/naa.6000eb39329a7acd000000000000000c Devfs Path: /vmfs/devices/disks/naa.6000eb39329a7acd000000000000000c Vendor: LEFTHAND Model: iSCSIDisk Revis: 8000 SCSI Level: 5 Is Pseudo: false Status: on Is RDM Capable: true Is Removable: false Is Local: false Other Names: vml.02000000006000eb39329a7acd000000000000000c695343534944 VAAI Status: supported ~ #
  22. 22. 22 Confidential 议程  vStorage APIs基本概念介绍  VAAI介绍  全复制(Full Copy)  块清零(Block Zeroing)  硬件辅助锁定(Hardware Assisted Locking)  开发中的vStorage API新特性  Q&A
  23. 23. 23 Confidential vStorage API for Thin Provisioning 目前很多存储阵列都支持自动精简配置,以实现更高的存储 利用率,但是在VMware虚拟环境下使用自动精简方式存在如 下两个问题: 1. 目前,datastore上文件被删除以后,相应的空间无法被回收,这将弱 化精简配置的功能 2. 当物理存储没有剩余空间的时候,这个对该LUN上的应用(也就是虚拟 机)来说是个灾难 • vStorage API for Thin Provisioning 将解决以上的两个问 题!
  24. 24. 24 Confidential 垃圾空间回收  垃圾空间是虚拟机曾经使用过但不 再需要使用的数据块  垃圾空间的产生:在VM使用过程中( 快照,关机,Storage vMotion,虚拟 机删除)都会生成。  解决方法:vSphere通过vStorage API把数据块的使用状态发送给存储设 备,由存储设备来回收这些磁盘空间 VMware VMFS volume A VMFS volume B Storage vMotion 虚拟机的数 据文件块
  25. 25. 25 Confidential 避免出现剩余空间不足影响使用的情况  对于剩余空间不足的高级报警信息 vSphere管理员可以从上面迁移某些VM或者和存储管理员联系  合作伙伴的存储管理软件上的空间 警告信息  vSphere Client的警告信息  将虚拟机迁移到其他datastore 上以释放空间  在空间不足的时候,主动降低服务级别 • 对于造成空间不足的VM会被暂停使用,同时给管理员相应的信息 • 剩余的VM和VMFS卷可以继续使用。
  26. 26. 26 Confidential 总结 当前 未来(vStorage API for TP) VMware VMware VMware 无关于空间使用的告警信息 无缓解问题的措施 磁盘空间不足,导致虚拟机 和相应的LUN都不可用 磁盘空间不足,暂停造成问 题的虚拟机,其余的虚拟机 不受影响,整个LUN仍然可 用,等待分配磁盘空间。 空间不足时会有相应的告警信息 通过Storage vMotion释放空间或者给datastore增加空间
  27. 27. 27 Confidential 谢谢 Q&A

×