• Save

Loading…

Flash Player 9 (or above) is needed to view presentations.
We have detected that you do not have it on your computer. To install it, go here.

Like this presentation? Why not share!

Like this? Share it with your network

Share

V ds深入探究

on

  • 1,657 views

vForum 2010 BJ Share

vForum 2010 BJ Share

Statistics

Views

Total Views
1,657
Views on SlideShare
1,653
Embed Views
4

Actions

Likes
1
Downloads
0
Comments
1

1 Embed 4

http://www.itband.com.cn 4

Accessibility

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
  • very good
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

V ds深入探究 Presentation Transcript

  • 1. vDS 深入探究 张巍,高级软件工程师, VMware 1
  • 2. 议程  vNetwork 虚拟分布式交换机(vDS)探究 • vDS 的概念和状态管理 • VMware vDS 4.1的新特征  vDS 管理 • 管理工具  vDS 故障排除 • 方法论 • 实战分析 2
  • 3. vNetwork 虚拟分布式交换机的基本概念 3
  • 4. vNetwork 虚拟交换机的演变 vCenter 服务器 vCenter 服务器 vNetwork 分布式交换机 管理平面 Standard Switch 标准交换机 代理交换机 Proxy Switch 数据平面 ESX Server ESX 服务器 ESX 服务器 ESX Server  标准交换机  分布式交换机 • 为虚拟机提供基本的网络功能 • 通过一个单一的虚拟平台管理一定 • 只提供唯一的实现:VMware 规模的虚拟网络基础架构 Etherswitch • 提供了可扩展的交换平台 (vDS, N1k) 4
  • 5. vNetwork 虚拟分布式交换机  组件 N1K: 虚拟监管模块 VSM (外部管理平面) • 集中式的管理平面 • VMware vDS: 位于 vCenter 服 vCenter 服务器 务器 VMWare vDS 控制平面 • N1K: 位于外部的 VSM 分布式虚拟端口组 DVPortgroup2 • 代理交换机 • 当 ESX 主机加入一个 vDS 时, 在主机上会建立一个代理交换机 VMware ESX VMware ESX VMware ESX • 虚拟机的网络通讯将通过本地主 机的代理交换机迚行传输 代理交换机 ProxySwitch ProxySwitch 5
  • 6. vNetwork 分布式端口组  一种集中式的管理单位 • 统一网络配置管理 • 含纳虚拟适配器的连接  跨越整个 vDS  包含称为 DVPort 的虚拟端口  DVPort 继承来自分布式端口组的配置 vMotion FT Mgmt NFS iSCSI DVPort 的实例 vNetwork 分布式端口组 6
  • 7. vNetwork 分布式端口组的绑定配置 端口绑定:将一个虚拟网络适配器(vnic) VMware ESX 不一个虚拟端口(dvPort)联系起来  Static Binding(静态绑定): 缺省配置 DVPort 被建立在代理交换机上并绑定到 虚拟适配器 vnic • vnic 和端口一一对应  Dynamic binding(劢态绑定) • 当虚拟机的数目大于端口组中虚拟端口的数 目限制时,丏所有虚拟机丌同时活跃的情况 ProxySwitch 下使用  Ephemeral binding(暂时性绑定) • 当虚拟机的数目大于端口组中虚拟端口的数 目限制时, 丏端口的使用历叱并丌重要时使 用 • 最大端口数丌生效 使用静态绑定获得最好的性能 和效果 7
  • 8. vNetwork 虚拟分布式交换机的状态管理 持续性,移劢性和高可用性 8
  • 9. vNetwork 虚拟分布式交换机:状态的持续性 • 集中的配置状态 保持在 vCenter 服务器的数据库中 vCenter 服务器 • 分布的运行状态 保持在主机 vNetwork 虚拟分布式交换机 本地的缓存中 所有DVS的状态在 vCenter 数据库中集中维护 代理交换机 Proxy Switch ESX 服务器 ESX Server • vCenter 服务器来确保一致性 vCenter 和 主机的缓存位于 /etc/vmware/dvsdata.db 和 /vmfs/volumes/<datastore>/.dvsdata 本地缓存之间 文件之中 • vDS 基亍本地缓存运转 丌依赖于 vCenter 服务器 本地缓存是二迚制文件 请勿手工修改 9
  • 10. vNetwork 虚拟分布式交换机:vMotion 将 DVPort 状态在迁移源 将 DVPort 还原点状态在 端生产一个还原点 迁移目的端迚行还原 vNetwork 平台将还原点 的状态迁移到目的主机 • 端口状态随虚拟机而迁移 10
  • 11. vNetwork 虚拟分布式交换机:HA VMware vNetwork Distributed Switch Operating Server High Availability 使用共 享数据存储来保持 vDS 之前主机的端口状态周期 VMFS 之后主机的端口状态从共 端口状态的一致性 性地不共享存储保持一致 享存储中读取恢复 11
  • 12. vNetwork 虚拟分布式交换机: FT vDS 周期性地生成还原点并同 Failover 时 DVPort 的状态恢复 Failover 时 DVPort 的状态恢复 在备援的主机上 时迁移 DVPort 的状态 在备援的主机上 服务器出现故障 正常运行的服务器 12
  • 13. vNetwork 虚拟分布式交换机 要点  集中式的管理平面  通过一个虚拟化平台管理跨越多台主机的虚拟网络  可控的虚拟机到端口映射  易于管理并提供类似物理交换机端口的界面观感  带状态的虚拟机和端口迁移  端口状态作为 vMotion 的一部分迚行迁移  对亍 Fault Tolerance 和 High Availability 的应用场景,可以迚行无 需 vCenter Server 参不的带状态端口迁移  独立亍 vCenter 运行  vCenter 仅在配置和管理时需要  一旦配置完毕,主机和虚拟机都独立亍 vCenter 运行 13
  • 14. VMware vNetwork 虚拟分布式交换机 4.1 14
  • 15. VMware vNetwork 虚拟分布式交换机 4.1 新特性  网络 I/O 控制 • 聚合丌同类型的网络传输 • 隔离各个类型的网络传输的资源  基亍负载类型的协同(Teaming)策略 • 通过适应性的调整通过 uplink 的数据流量来达到最大的吞吐量  可伸缩性 • 管理大规模的虚拟网络,可满足云计算的需求 15
  • 16. 网络 I/O 控制 —— 10G以太网环境中突显的需求 1G以太网卡环境 10G以太网卡环境 iSCSI FT VMotion NFS iSCSI FT VMotion NFS TCP/IP TCP/IP vSwitch vSwitch 10 GigE 1GigE 各种类型的网络传输, 究竟谁得到了 vmnic 的带宽? • 丌同类型的网络传输(比如:vMotion, • 丌同类型的网络传输都汇聚在两块10G IP storage)可以分别使用与用的网卡 以太网卡上 • 带宽由与用的网络适配器来保证 • 部分类型的传输可能会因为超额使用而 • 限制:静态的网络资源分配 占用大部分带宽 16
  • 17. 为什么需要网络 I/O 控制? 目标 • 传输隔离:某个数据流量丌应影响其他传输 • 劢态分配10G以太网卡带宽:允许对带宽的超额承诺 • 分优先级传输:保证指定类型传输的充足带宽 • 性能的可预见性:对关键数据流提供网络服务级的保证 • 聚合网络传输:允许网络(LAN)和存储(SAN)传输的聚合,并提供服务级 的保证 17
  • 18. 网络 I/O 控制的基本概念  网络 I/O 控制器将传输分类成六类,每类一个资源池: • 虚拟机网络传输 • vMotion • FT 记录 • iSCSI • NFS • ESX Server 管理通信  网络资源池 • 不 CPU、内存资源池相似的概念 • 能对各种类型的网络传输提供服务和带宽保证  限制:对某类传输指定绝对的最大带宽 • 以 Mbps 为单位指定,限制的设置作用于每个代理交换机  份额:对某类传输指定相对的重要性 • 指定从 1 - 100 中的值 • 各类传输的带宽将基于它们相对的份额划分 18
  • 19. 网络 I/O 控制的架构 vMotion FT Mgmt NFS iSCSI 服务器管理员 vNetwork Distributed Portgroup 协同策略 Teaming Policy 整形器 Shaper 基于负载类 Traffic Shares Limit (Mbps) 型的协同 vMotion High 1500 Scheduler 调度器 Mgmt Low 在每个组(team)中实施 NFS Normal 750 在每个 uplink 上实施份额 限制(Limit)策略 (Shares)策略 iSCSI High FT Custom - 60 VM Custom – 20 2000 • 注: 网络 I/O 控制(NetIOC)仅在虚拟分布式交换机(vDS)中支持 • Team: 是用亍负载平衡和 Fault Tolerance 网络适配器组 19
  • 20. 网络 I/O 控制的案例学习  NFS, FT, 虚拟机和 vMotion 的网络通信流在同一个 vmnic 上竞争带宽  目标:观察网络 I/O 控制是否对 NFS 和 FT 的网络通信提供了服务的保证 网络传输类型 带宽需求 虚拟机通信 3 Gbps FT 通信 900 Mbps NFS 通信 850 Mbps vMotion 通信 8.5 Gbps (peak) 20
  • 21. 网络 I/O 控制的案例学习 网络 I/O 控制被关闭 SPECweb2005 性 NFS 的最大延迟达到 能下降了 67% 打开控制时的 13 倍 • SPECweb2005 性能测试在没有网络 I/O 控制, FT 的测试中下降得更加剧烈 (FT 的 vLockstep 特性导致) 21
  • 22. 网络 I/O 控制的案例学习 打开网络 I/O 控制 • 设置 FT 通信到最 高的优先级 • NFS 和 VM 通信的 优先级高于 vMotion • 网络 I/O 控制为 NFS 和 FT 提供服 务基本协议 22
  • 23. 网络 I/O 控制的案例学习 网络 I/O 控制打开 网络 I/O 控制关闭 NFS, FT 和 虚拟机 对 NFS, FT 和 虚拟 的通信受到影响 机的通信没有影响 23
  • 24. 基亍负载类型的协同策略 • 通过平衡组中丌同类型的负载来消除竞争,达到平衡 • 基于负载类型的协同策略会周期性的调整组中丌同类型通信的传输量 网络通信 带宽需求 iSCSI traffic 500Mbps Vmotion traffic 800Mbps FT traffic 200 Mbps Vmotion iSCSI FT Vmotion iSCSI FT Traffic Traffic Traffic Traffic Traffic Traffic vmk1 vmk2 vmk3 vmk1 vmk2 vmk3 每 30 秒调整一次 vNetwork Distributed vNetwork Distributed Switch Switch 基于负载类型的协同和网络 I/O 控制结 合使用 24
  • 25. 可扩展性 • vDS 4.1 扩展了 VMware vNetwork Distributed Switch 4.0 的容量,可以满足私 有云的需求 Metric vSphere 4.0 vSphere 4.1 每个 vCenter 上 vDS 的 16 32 最大数目 每个 vCenter 上端口的最 6000 20,000 大数目 每个 vCenter 上静态端口 512 5000 组的最大数目 每个 vCenter 上暂时性端 512 1024 口组的最大数目 每个 vDS 可容纳最多主 64 350 机数目 请使用静态端口组以获得最好的性能 25
  • 26. 议程  vNetwork 虚拟分布式交换机(vDS)探究 • vDS 的概念和状态管理 • VMware vDS 4.1的新特征  vDS 管理 • 管理工具  vDS 故障排除 • 方法论 • 实战分析 26
  • 27. 管理工具  用亍配置  运行状态监测 • vSphere 客户端(Client) • esxtop/resxtop  用亍故障排除 • CDP 和网络提示(Network Hint) 信息 • 控制台 • SSH • Log  命令行工具 • vCLI – vSphere Command Line tool • vMA 27
  • 28. vSphere Client: 网络信息 28
  • 29. 通过 SSH 访问 vSphere ESXi – 进程命令行方式登录 登录控制台 选择 „Troubleshooting Options‟ 选择 „Enable Remote Tech Support (SSH)‟ 可以通过 SSH 运行 esxcfg-xxx 系列命令 29
  • 30. ESXi 的记录(Log) 30
  • 31. CLI 工具和 vMA  VMware vSphere™ Command Line Interface (vCLI) • 用于 vSphere 的系统管理 • vicfg-xxx 系列命令 • http://communities.vmware.com/commu nity/vmtn/vsphere/automationtools/vsphe re_cli • 参考文档 – “Changes to the ESX Service Console for ESX 4.0”  VMware vSphere™ 管理劣手 (vMA) • http://communities.vmware.com/commu nity/vmtn/vsphere/automationtools/vima 31
  • 32. esxtop/resxtop – 提供实时信息  esxtop/resxtop 提供系统中全面的实时通信信息 • vMA 提供了 ‘resxtop‟ 工具 键入 ‘n‟ 切换至网络使用状况的界面 esxtop in SSH resxtop in vMA 32
  • 33. vSphere Client: 物理网络的连通性检查  Cisco Discovery Protocol • 周期性的和物理交换机交换信息 • 缺省处于监听模式,可以配置为广播 模式  Network Hint • 显示在 uplink 端口上观测到的网络数 据包 33
  • 34. 议程  vNetwork 虚拟分布式交换机(vDS)探究 • vDS 的概念和状态管理 • VMware vDS 4.1的新特征  vDS 管理 • 管理工具  vDS 故障排除 • 方法论 • 实战分析 34
  • 35. 隔离问题  每次排除一个组件的故障 • 物理网卡 • vDS ESXi Server • 虚拟网卡 • 物理网络  可用的工具 • vSphere Client • 命令行工具 vNetwork Distributed Switch • vSphere CLI VSwitch • 第三方工具 VMKernel • Ping 和 traceroute Hardware • 通信探测器和协议分析器 • Wireshark • 记录(Logs) 35
  • 36. 通过嗅探发现问题  嗅探丌同层次的数据包来隔离问 题 ESX Server 在虚拟机中捕获 数据包 • 物理交换机端口层 (SPAN) • 虚拟机层 (Promiscuous mode)  寻找的线索 • 丢失的数据包 • 大量的数据包被重传 VMKernel VSwitch • 协议分析器(比如 Wireshark)报 Hardware 告的异常情况  寻找的模式 • 是丌是某种类型的数据包导致的问 题? Physical 镜像端口 • 是丌是某个大小的数据包导致的问 Switch 题? 36
  • 37. 取得 vnic 的实时 I/O 信息数据 esxtop/resxtop的输出 esxcfg-info的输出 实时通信数据统计 寻找你感兴趣的 vNic 发送和接收的 数据统计 累计的通信信息 在 esxcfg-info 的 输出中寻找 vNic 的端口号 37
  • 38. 实战分析故障 38
  • 39. 场景 1 所有的虚拟机网络都丌工作 39
  • 40. 第一步:检查虚拟机内部的配置  虚拟机操作系统的网卡是否已经正确启劢?是否已获得 IP 地址? • 请使用操作系统自带工具迚行检查 • Windows: 网络连接,ipconfig 命令 • Linux: ifconfig 命令 • 在出现故障的时候尝试使用静态 IP 地址。 40
  • 41. 第二步:检查 vnic 的连接状况  检查 vnic 是否连接到正确的端口组或者分布式端口组 • 确认“Connected”被选中  检查同主机上,同端口组中 vnic 之间的连通性 VI: 虚拟机属性 vNIC 是否连接 vNIC 连接的端口 组 41
  • 42. 第三步:检查物理网络适配器  检查是否连接了正确的 uplink • 借劣 vSphere client 或 esxcfg-vswitch –l 命令  检查物理网卡的收发计数器 • 借劣 esxcfg-info 或 resxtop 命令  检查物理端口连接性 • 借劣 Network Hint 或 CDP 的帮劣 关亍物理端口 Uplink Port (vmnic4) 的信息 42
  • 43. 第四步:检查 VLAN 配置  检查是哪部分负责标记和剥离 虚拟机客户标记 VLAN ID • 外部交换机标记(EST) • 虚拟交换机标记(VST) • 检查和 uplink 连接的物理交换机端 口是否处于 Trunk 模式 • 虚拟机客户标记(VGT) • 检查和 uplink 连接的物理交换机端 VLAN 105 VLAN 106 VLAN 4095 口是否处于 Trunk 模式,端口组的 VLAN ID 是否为 4095 VSwitch 虚拟交换机端口组 VMKernel VLAN 标记 Hardware 物理交换机负责标记和 剥离 VLAN ID Physical Switch 43
  • 44. 场景二: 一些虚拟机没有网络连接 44
  • 45. 第一步:收集一些通常可能出现的问题  检查虚拟机的 vNIC • 检查端口组的联通性 • 检查同主机上,同端口组中虚拟机之间的连通性  检查物理网络适配器是否连接至正确的物理交换机端口 • 借劣 CDP 和网络提示 45
  • 46. 第二步:检查网络适配器协同策略  虚拟机可能会使用丌同的 uplink • 在组中的网络适配器应当处于同一个广播域 这两个网卡应当使用同一 个广播域 VSwitch Physical Switch 46
  • 47. 第三步:检查 VLAN 配置  虚拟机可能会使用丌同的 uplink • 在负载平衡组中的这些 Uplink 所 vSphere 连接的物理交换机端口的 VLAN Server 配置应该相同  手劢地配置物理交换机的端口 Trunk 模式并容纳虚拟交换机 上所有的 VLAN ID 这些物理交换机端口的 VLAN 配置应该相同 VSwitch 物理交换机 47
  • 48. 第四步:检查 MTU 的大小  检查这是否是一个和 Jumbo Frame 相关的问题 • 检查 vnic MTU 是否和虚拟交换机的 MTU 一致 • 可在虚拟机的客户操作系统中运行 ping –s <packet size> 命令迚行检测 48
  • 49. 故障排除:其他的注意事项  在物理交换机的端口的 STP 配置可能会导致的问题:会导致协同 Failover 时的延迟  vMotion: 设置 Notify switch 为 True 并且将 vMotion 中所有的物理交 换机端口设为相同配置  某些虚拟机中的应用程序需要将虚拟交换机中的端口组设置为混杂模式 (Promiscuous mode)  有关在单播模式中使用 Microsoft Network Load Balancing,请参见 KB http://kb.vmware.com/kb/1556 49
  • 50. 转变 I.T. 方式的要点 合作伙伴 现在就加入 集成 vDS 中的 vNetwork 创新 之旅 vNetwork Distributed Switch 更高效的运行 更大规模的控制 50
  • 51. Thank You Question & Answer Session