RDMA for Windows Server 2012

2,474 views
2,341 views

Published on

RDMA for Windows Server 2012

メラノックステクノロジーズジャパン株式会社
Infiniband DAY [06] Business Conference for Enterprise/Web Service

Published in: Technology
0 Comments
5 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,474
On SlideShare
0
From Embeds
0
Number of Embeds
27
Actions
Shares
0
Downloads
0
Comments
0
Likes
5
Embeds 0
No embeds

No notes for slide

RDMA for Windows Server 2012

  1. 1. RDMA for Windows Server 2012メラノックステクノロジーズジャパン株式会社IB-Day 6 : February 1st, 2013
  2. 2. 最先端のE2Eソリューションを実現するラインナップ Storage Server / Compute Switch / Gateway Front / Back-End Virtual Protocol Interconnect Virtual Protocol Interconnect 56G IB & FCoIB 56G InfiniBand 10/40/56GbE & FCoE 10/40/56GbE Fibre Channel Comprehensive End-to-End InfiniBand and Ethernet Portfolio ICs Adapter Cards Switches/Gateways Host/Fabric Software Cables© 2013 Mellanox Technologies 2
  3. 3. Solid State Deviceの特性を活かすストレージサーバ フラッシュメモリのコモディティ化はSSDストレージの利用を促進 • SSDは共有ストレージへのアクセス競合を緩和し、ランダムI/O性能を劇的に向上 SSDは最小のレイテンシーと低消費電力のストレージを実現 • 最高性能だがまだ高価なSSDを低価格で利用するには、SSDのアプリケーションへの 応答性能を妨げない、低レイテンシーなインターコネクト技術による外部共有が必須Component Latency (usec)InfiniBand 0.7Ethernet RDMA (RoCE) 1.3Ethernet TCP 6Fibre Channel 20SSD Read 25Disk Read 6000 Total: 45usec Total: 25.7usec Fibre Channelでは、 SSDのアドバンテージを阻害してしまう InfiniBandとRDMAベースのEthernetがSSDの共有には最適! © 2013 Mellanox Technologies 3
  4. 4. Storage Acceleration Serverによるストレージ高速化 1、既存の外付けストレージ共有システム 2、ストレージサーバ経由接続型システム アプリケーション/DB サーバ アプリケーション/ DB サーバ SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD 40/56Gbps 4Gbps FC Switch InfiniBand Switch ストレージ SSD SSD アクセラレーション サーバ IB+DRBDでミラーリング FC RAID ストレージの統合に際しては、処理が特定のI/Oに集中しがちになるので、 SSDのような高速ドライブの必要性が高まる。 FC RAID FC RAID搭載のキャッシュメモリは数GBと小容量  SSDを利用することでキャッシュヒット率を大幅に改善可能 DBのマスターテーブルなどへのアクセスが遅い  DBのマスターテーブルもSSDキャッシュから読込み可能 最新の高価な8Gbps FCでもIOボトルネックが発生  8Gbps FCの7倍のスループット、50万IOPS/SSDの性能 高性能なSSDの完全なフェイルオーバーができない  SSDをレプリケーションモードにすることで二重化が可能 FCにSSDを装着しても通信遅延で性能は半減  SSD搭載サーバとIBで接続、直付けと同等の応答性能 © 2013 Mellanox Technologies 4
  5. 5. OracleのEngineered Systemsで活用されるInfiniBand Oracle Weblogic Server Grid • 30 Compute Servers • 360 Compute Cores • 2.8 TB DRAM • 960 GB Solid-State Disk Mellanox InfiniBand Network • 40 Gb/s InfiniBand Links • 1.2 micro second latency • 10Gb/s Ethernet connectivity to data center Integrated Storage Appliance • Central storage for system images • Clustered for HA • 40 TB SAS disk storage • 4 TB read cache • 72 GB write cache© 2013 Mellanox Technologies 5
  6. 6. Oracle RACにインフィニバンドを採用するメリット  I/O性能を33%向上  DB処理能力を62%向上 1Gb/s EthernetとFibreChannelの コンビネーションと  システムコストを35%削減 インフィニバンドで比較  レスポンス時間の短縮により、生産性向上 * Common performance 80 benchmark Time to run 1 million SKU 70 Reduced through 60 fulfillment planning operation run-time 50 by 62% Minutes 40 Gigabit Source: 30 Ethernet 20 10 InfiniBand One million SKU*© 2013 Mellanox Technologies 6
  7. 7. Enterprise Data Centerの最適化におけるMSとの連携 SMB Direct • Windows Server 2012では、サーバ・アプリケーションの性能向上に効果的なリモート・ ファイル・ストレージを提供 - SMB Direct (SMB – Server Message Block) • InfiniBand RDMAまたはEthernet RoCEを活用することで最高の性能を実現 - RoCE – RDMA over Converged Ethernet - InfiniBand及びRoCE用ドライバは Windows Server 2012に組み込まれて提供 • 公表されている利用例 - 高速データベース(SQL+SMB), クラウド環境のIO統合(Hyper-V+SMB) • 10G Ethernetの5倍の性能(Windows Server 2012 Betaでの参考性能結果) - PCIe Gen2サーバで計測されたQBR InfiniBandと一般的な10Gbps Ethernetの比較 - PCIe Gen3サーバで計測されたFBR InfiniBandでは10GbEの10倍の性能 • デモンストレーション環境を提供可能 © 2013 Mellanox Technologies 7
  8. 8. SMB Direct (SMB over RDMA)とは? 新しい企業ユーザー向けSMBファイルストレージ • ファイルストレージの処理に要するCPU負荷を最小化 • 低いレインテンシーによって高速NICの特長を最大限活用 File Client File Server • Fibre Channelに相当する機能を低価格に実現 Application User 従来からのSMBファイルストレージの強み Kernel • 簡単なプロビジョニング、管理、移行 • コンバージドネットワークの活用 SMB Client SMB Server • アプリケーションや管理者設定の変更の必要無し Network w/ Network w/ NTFS RDMA support RDMA support SCSI ハードウェアの要件 • RDMAを利用できるネットワークインタフェース • InfiniBandもしくはRoCE (Ethernet)のサポート RDMA RDMA Adapter Adapter Disk ロードバランスやフェイルオーバーには SMBマルチチャネルを使用© 2013 Mellanox Technologies 8
  9. 9. Windows Server 2012で完成されたソリューション1. RDMAを活用したSMB Direct (InfiniBand, RoCE) • CPUの負荷軽減・低レイテンシー(1μs)と広帯域(56Gbps)の両立2. SMB マルチチャネル Hyper-V Parent 1 Config VHD Child 1 Disk … Hyper-V Parent N Config VHD Child N Disk • 複数のインタフェースでロードバランス 1 • 複数のインタフェースでフェイルオーバー 2 NIC1 NIC2 NIC1 NIC23. SMBの透過的なフェールオーバー • 計画的/非計画的なイベントの両方にゼロ・ダウンタイムで対応4. SMB スケール・アウト特性 Administrator Switch 1 Switch 2 • クラスタ・ノードに渡って動的なファイル共有 6 75. Clustered Shared Volumes (CSV) • 仮想マシン構成ファイルへの透過的なアクセス NIC1 NIC2 NIC1 NIC2 切り替えもSMBで高速化 86. SMB PowerShell 4 4 Share • ファイル共有の管理 3 Share • SMB機能のイネーブル/ディセーブル CSV CSV 57. SMB Performance Counters 5 File Server 1 File Server 2 • ストレージ性能をリアルタイムに可視化 • disk countersに相当する機能の提供 Disk Disk Disk Disk8. SMBイベント管理 Shared SAS Storage © 2013 Mellanox Technologies 9
  10. 10. Microsoft’s Cluster in the Box (CiB) Reference Design Mellanox VPI Interconnect Solutions At least one node and storage always 10GE, RoCE or Infiniband Network Network available, despite failure or replacement of x8 PCIe Server Enclosure x8 PCIe any component. Server A Server B 1/10G Ethernet cluster connect CPU CPU Dual power domains x8 PCIe x4 SAS x8 PCIe Storage through x4 SAS Controller Storage midplane through Controller Internal interconnect between nodes, x4 SAS midplane B x4 SAS controllers SAS A port SAS Expander 0 1 … 23 s Expander port s Flexible PCIe slot for LAN options External SAS ports for JBOD expansion A ports External JBOD B ports SAS SAS Expander 0 1 … 23 Expander Office-level power and acoustics for entry- level NAS Additional JBODs …© 2013 Mellanox Technologies 10
  11. 11. ハードウェアによるI/O Virtualizationのメリット VM VM VM VM VM VM VSA OS OS OS OS OS OS vHCA Direct Virtual File System Virtual File RDM (VMFS) A System (VMFS) RDMA To remote VSAs RDMA (for data replication) Local 8Gb FC / 10GbE SAN iSCSI HBA/CNA Disks/Flash Mellanox ConnectX 40/56Gbps (same one used for networking) VMのI/Oボトルネック  VMに対する十分なI/O性能 • iSCSI: 400MB/s and 50K IOPs • ~5,000MB/s and 190K IOPs with VMFS • FC: 800MB/s and 100-200K IOPs • 700K IOPs with SR-IOV on guest VM 拡張性の無いI/O  制限の無い拡張性 • Same performance limit with Multiple VMs • Single target can handle a Million IOPs • SAN performance bottlenecks • Multiple targets scale linearly IT機器数が多く非効率な投資  IT機器導入コストと管理コストの最適化 • Millions of $s for FC SAN Infrastructure • Use the same server Hardware, same NIC/HCA, • High operational expenses and just add disks© 2013 Mellanox Technologies 11
  12. 12. Products Announced: X-IO Storage More than 15GB/sec Throughput Demonstrated Remote Storage Systems Windows Server 2012 with SMB 3.0 PCIe 3.0 based Servers - HP DL380p G8 Mellanox 56Gbps FDR Infiniband adapters & Switches© 2013 Mellanox Technologies 12
  13. 13. Products Announced: Supermicro More than 10GB/sec Throughput Demonstrated under Hyper-V  Hyper-V with Windows Server 2012 RC  Supermicro PCIe 3.0 based Servers, File Server & JBOD  LSI MegaRAID SAS 9285 storage controllers with LSI FastPath I/O acceleration software  OCZ’s Talos 2R SSDs© 2013 Mellanox Technologies 13
  14. 14. Thank You© 2013 Mellanox Technologies 14

×