Insight Technology, Inc.                                                                 Big Data Solution Division       ...
Overview Presentation         InfinibandやSSDを含め、最近のハードウェアテクノロ         ジーは、日々進歩しています。                                      ...
Agenda.       1.    About Me…       2.    Why SQLServer 2012 is Super hot !?       3.    A new feature of the SMB 3.0     ...
About me ...         2011.8 Insight Technology に入社。         Oracle, SQL Server のエンジニアとして         経験を活かしてコンサルを目指すも、、、      ...
Why SQLServer2012 is Super hot ??         ・AlwaysOn (高可用性 ↑ )         ・Column Store Index (DWH機能 ↑ )         ・SMB3.0 をSQL2...
AlwaysOn         以前は、、可用性を向上させるためにWSFCやDBMなどの         技術でシステムを構築。         ※WSFC:SANやiSCSIの共有ストレージが必要         ※DBM:監視サーバが必要...
Column Store Index         Databaseのデータ(行データ)から、特定の列(カラム)だ         けを取り出し、圧縮してインデックスを作成する機能です。         DISTINCT や GROUP BY...
A new feature of the SMB 3.0         高速なストレージを使用可能にする         注目すべき新機能は、、、         ・SMBダイレクト         ・SMBマルチチャンネルCopyright...
SMB Direct          SMB Direct (SMB over RDMA)は、          Windows Server 2012に実装されている新し          いストレージプロトコルで、RDMA機能をもつ   ...
CPU Offload          Transport、NetworkレイヤをHCAのチップが          ハードウェアで処理します。                                                 ...
SMB Direct Performance      Ex) StorageにFlash Memory を使用した場合                  Configuration                 MB/sec        ...
SMB Multichannel                      Multiple RDMA NICs                         複数のパスがある場合、                            SM...
Using SMB Direct & Multichannel   Without Multichannel   •No automatic failover   •Can’t use full bandwidth    –Only one N...
Next…Attempts to validate         今回は、Insight Qube というハードウェアを         SQLServerのベンチマーク検証に使いました。         ※製品紹介ではなく、構成について説明...
What is Insight Qube ??         SSD, SATA3, PCI Express, InfiniBand で         構成されたクラスター型ハードウェア。       ~ Image ~       ・SS...
Configuration                                  SQLServer                        InfiniBand * 5                            ...
SQLServer Node                                                                 HCA(PCIe 2.0x8)                            ...
Storage Node                                                                 Intel Xeon E5620                             ...
Future of SQLServer with HW Innovation         Windows 2012の SMB3.0 の機能により、         Infiniband がサポートされ、SQL 2012 では、       ...
続きは、marioさんにお願いします。         ご静聴有難うございました。         The next speaker is mario.         Groet !Copyright © 2012 Insight Techn...
SQL Server 2012 using  SMB3 file shares  By Mario Broodbakker, Insight         Technology Inc                             ...
whoami• Joined Insight Technology in August 2011  mostly worked on SQL Server DMA.  Helped ITI acquiring Oracle DMA  techn...
Windows 2012 SMB• New version of SMB (Server Message Block  protocol): SMB3.0• New features that can be used for SQL  Serv...
SMB Direct 1• RDMA: Remote Direct Memory Access  – Low latency protocol  – Low CPU overhead    SQL   Server               ...
SMB Direct 2• Direct memory copy by NIC hardware (must  be RDMA capable)  – Bypass TCP/IP and OS stack: while NIC    hardw...
Advantages SMB• Ease of use: everybody ‘understands’ file  shares• No configuration or specialist knowledge  necessary to ...
SQL Server on SMB• Possible since SQL Server 2008R2  http://sqlcat.com/sqlcat/b/technicalnotes/archive/2010/05/07/top-10-h...
Verify RDMA• Why? SMB can choose to use RDMA or IP at  runtime• Also not all inbox drivers (and firmware  combinations) wo...
PowerShell commands                      29
Mellanox toolboxC:¥Program Files¥Mellanox¥MLNX_VPI¥IB¥Tools>ibstatCA ibv_device0     CA type:     Number of ports: 1     F...
Benchmarking your setup• Verify if all components work as expected  – Use an IO generator tool like sqlio or iometer  – Un...
Things to think about..• Extent allocation: defaults to 1 extent (64k)  per file (round robin) ‘proportional fill’• Use –E...
Insight Qube test                                        disks2.5 GB/sec     SQL Server                                   ...
Summary• SMB, RDMA, Infiniband combination  scales very well, mostly limited by PCI bus  speeds• Easy to understand and ad...
3x SQLIO 128KB reads                       35
DB Server Query from 3 SMB servers                                     36
SMB (file) Server 3                      37
SQLIO test run against 1 SMB server                                      38
無断転載を禁ず     この文書はあくまでも参考資料であり、掲載されている情報は予告なしに変更されることがあります。     株式会社インサイトテクノロジーは本書の内容に関していかなる保証もしません。また、本書の内容に関連したいかなる     ...
Upcoming SlideShare
Loading in …5
×

B14 SQL Server over SMB using infiniBand and SSD by Mario Broodbakker/市川明

1,080 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,080
On SlideShare
0
From Embeds
0
Number of Embeds
31
Actions
Shares
0
Downloads
46
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

B14 SQL Server over SMB using infiniBand and SSD by Mario Broodbakker/市川明

  1. 1. Insight Technology, Inc. Big Data Solution Division Akira IchikawaCopyright © 2012 Insight Technology, Inc. All Rights Reserved. 1
  2. 2. Overview Presentation InfinibandやSSDを含め、最近のハードウェアテクノロ ジーは、日々進歩しています。 ↓ 最新のハードウェアテクノロジーの恩恵を SQLServer 2012のストレージとして使えるようになりました。 ↓ 最新のハードウェアを使い、どの程度 SQLServer のパ フォーマンスがでるかを検証してみました。Copyright © 2012 Insight Technology, Inc. All Rights Reserved. 2
  3. 3. Agenda. 1. About Me… 2. Why SQLServer 2012 is Super hot !? 3. A new feature of the SMB 3.0 4. SMB Direct Performance. 5. What is Insight Qube ?? 6. Configuration. 7. Future of SQL Server with Hardware Innovation. Copyright © 2011 InsightCopyright © 2012 Insight Technology, Inc. All Rights Reserved. Technology, Inc. All 3
  4. 4. About me ... 2011.8 Insight Technology に入社。 Oracle, SQL Server のエンジニアとして 経験を活かしてコンサルを目指すも、、、 2012.4 ~ Bigdata に関わる業務をこなす 日々を送っています。Copyright © 2012 Insight Technology, Inc. All Rights Reserved. 4
  5. 5. Why SQLServer2012 is Super hot ?? ・AlwaysOn (高可用性 ↑ ) ・Column Store Index (DWH機能 ↑ ) ・SMB3.0 をSQL2012からサポート・・・★ ⇒ SMBファイルサーバをSQLServerのストレージ として使えるため、高速にデータ転送可能。Copyright © 2012 Insight Technology, Inc. All Rights Reserved. 5
  6. 6. AlwaysOn 以前は、、可用性を向上させるためにWSFCやDBMなどの 技術でシステムを構築。 ※WSFC:SANやiSCSIの共有ストレージが必要 ※DBM:監視サーバが必要 2012では、AlwaysOnで可用性を向上。プライマリに対 して複数のセカンダリにレプリカが作成可能で、障害発生 時の自動的なF/O, バックアップ, 負荷分散などを実現。 ※共有ストレージは不要で、ファイルサーバをクラスタ化Copyright © 2012 Insight Technology, Inc. All Rights Reserved. 6
  7. 7. Column Store Index Databaseのデータ(行データ)から、特定の列(カラム)だ けを取り出し、圧縮してインデックスを作成する機能です。 DISTINCT や GROUP BYを使う集計などが高速化され、 夜間バッチ処理やDWHの集計処理で威力を発揮します。 ※集計処理において、Column Store Index を利用する と50倍~100倍の高速化を実現。(インデックス付きのス キャンより高速化されている)Copyright © 2012 Insight Technology, Inc. All Rights Reserved. 7
  8. 8. A new feature of the SMB 3.0 高速なストレージを使用可能にする 注目すべき新機能は、、、 ・SMBダイレクト ・SMBマルチチャンネルCopyright © 2012 Insight Technology, Inc. All Rights Reserved. 8
  9. 9. SMB Direct SMB Direct (SMB over RDMA)は、 Windows Server 2012に実装されている新し いストレージプロトコルで、RDMA機能をもつ NetworkAdapter(HCA)をサポート。 Remote Direct Memory Access(RDMA)とは、独立したシ ステムのメインメモリ間、システムとストレージ間のデータ転送 でOSを介さないため、高スループット、低レイテンシの通信を行 うことができる。 ※CPU負荷も軽減Copyright © 2012 Insight Technology, Inc. All Rights Reserved. 9
  10. 10. CPU Offload Transport、NetworkレイヤをHCAのチップが ハードウェアで処理します。 Reference by Mellanox TechnologysCopyright © 2012 Insight Technology, Inc. All Rights Reserved. 10
  11. 11. SMB Direct Performance Ex) StorageにFlash Memory を使用した場合 Configuration MB/sec %CPU RDMA (IOS:512KB) 5,792 ~ 4.8 LOCAL(IOS:512KB) 5,808 ~ 6.6 RDMAを使うことで、リモートディスクのスループットは、ロ ーカルと比較して、99 % のスループットを達成。 参考: OCZ Talos2 R (Read 550MB/s) * 14, PCIe 2.0 x8 2.21GB/s Reference by Jose Barretos BlogCopyright © 2012 Insight Technology, Inc. All Rights Reserved. 11
  12. 12. SMB Multichannel Multiple RDMA NICs 複数のパスがある場合、 SMB Client ネットワーク帯域幅を集約 NIC NIC 可能で自動的にフォールト IB IB トレラントを確保。 Switch Switch 自動でRDMA機能を持つ IB IB NICを認識して、RDMAを 使ってデータ転送を行う。 NIC NIC IB IB SMB Server Reference by Microsoft TechEd 2012Copyright © 2012 Insight Technology, Inc. All Rights Reserved. 12
  13. 13. Using SMB Direct & Multichannel Without Multichannel •No automatic failover •Can’t use full bandwidth –Only one NIC engaged –RDMA capability not used With Multichannel •Automatic NIC failover •Combined NIC bandwidth available –Multiple NICs engaged –Multiple RDMA connections Reference by Jose Barretos Blog 13
  14. 14. Next…Attempts to validate 今回は、Insight Qube というハードウェアを SQLServerのベンチマーク検証に使いました。 ※製品紹介ではなく、構成について説明致します。Copyright © 2012 Insight Technology, Inc. All Rights Reserved. 14
  15. 15. What is Insight Qube ?? SSD, SATA3, PCI Express, InfiniBand で 構成されたクラスター型ハードウェア。 ~ Image ~ ・SSD(Read:500MB/s) ⇒ SATA3(帯域:600MB/s) ・SSD * 6 (Read:3GB/s) ⇒ PCIe2.0x8(帯域:500MB/s * 8) ・Storage Node(3GB/S) ⇒ InfiniBand(帯域:QDR 4GB/s)Copyright © 2012 Insight Technology, Inc. All Rights Reserved. 15
  16. 16. Configuration SQLServer InfiniBand * 5 Fabric(40Gb/s) InfiniBand Switch(8 port) Network adapter Storage-1 Storage-2 Strage-3 HCA * 5 Storage SSD SSD SSD SSD(60GB) * 6Copyright © 2012 Insight Technology, Inc. All Rights Reserved. 16
  17. 17. SQLServer Node HCA(PCIe 2.0x8) Intel Xeon L5640 @ 2.27 GHz 6 processors(*2) Memory 4GB*12 DDR3-1333 Unbuffered ECCCopyright © 2012 Insight Technology, Inc. All Rights Reserved. 17
  18. 18. Storage Node Intel Xeon E5620 @ 2.40 GHz 4 processors Memory 2GB * 2 DDR3-1333 Registered ECC SATA3 x4 ⇔ SAS HCA(PCIe 2.0x8)Copyright © 2012 Insight Technology, Inc. All Rights Reserved. 18
  19. 19. Future of SQLServer with HW Innovation Windows 2012の SMB3.0 の機能により、 Infiniband がサポートされ、SQL 2012 では、 データファイルをSMBの共有ファイル上に置ける ようになり、高速なストレージへのアクセスが可 能になりました。 今後ハードウェアの進化に応じて、SQLServer のパフォーマンス向上が期待できます。Copyright © 2012 Insight Technology, Inc. All Rights Reserved. 19
  20. 20. 続きは、marioさんにお願いします。 ご静聴有難うございました。 The next speaker is mario. Groet !Copyright © 2012 Insight Technology, Inc. All Rights Reserved. 20
  21. 21. SQL Server 2012 using SMB3 file shares By Mario Broodbakker, Insight Technology Inc 21
  22. 22. whoami• Joined Insight Technology in August 2011 mostly worked on SQL Server DMA. Helped ITI acquiring Oracle DMA techniques in 2003 already.• Before that: over 10 years of performance engineering work on Oracle and SQL Server, working for Baan, Compaq and HP in Holland and USA.• Started DBA career 25 years ago.. 22
  23. 23. Windows 2012 SMB• New version of SMB (Server Message Block protocol): SMB3.0• New features that can be used for SQL Server: – SMB Direct: SMB using RDMA (see next slides) – SMB Multichannel, use multiple NICs for throughput and failover (demo, if time permits) – VSS (volume snapshot service) for SMB file shares, to enable backup/restore – SMB transparent failover (not yet on IQube..) – PowerShell scriptable 23
  24. 24. SMB Direct 1• RDMA: Remote Direct Memory Access – Low latency protocol – Low CPU overhead SQL Server user SMB SMB Client Server NTFS kernel RDMA RDMA network network RDMA RDMA NIC NIC 24
  25. 25. SMB Direct 2• Direct memory copy by NIC hardware (must be RDMA capable) – Bypass TCP/IP and OS stack: while NIC hardware copies data, CPU can do other work • Transport Offload • Zero Copy • Kernel Bypass• Can be used over any RDMA capable NIC like Infiniband, (10Gb) Ethernet.• Different protocols: Infiniband, iWarp, RoCE• SMB client decides when to use RDMA 25
  26. 26. Advantages SMB• Ease of use: everybody ‘understands’ file shares• No configuration or specialist knowledge necessary to manage – Out-of-the-box (almost): SMB Multichannel, automatic failover, auto detection – DBA can use standard perfmon counters to understand IO load 26
  27. 27. SQL Server on SMB• Possible since SQL Server 2008R2 http://sqlcat.com/sqlcat/b/technicalnotes/archive/2010/05/07/top-10-hidden-gems-in-sql-2008-r2.aspx – Create database and logfiles on shares: Create Database tpch100g on Primary (name=tpch100g, filename=¥¥fs1¥disk1¥tpch100g.mdf,size=10mb,filegrowth=0), FileGroup iqdemo ..etc.. – But needs Windows 2012 to use SMB Direct – Make sure SQL Server (domain) account has permissions on the file share, and folders. – SQL Server 2012: System DB on file share: install root directly on share – SQL Server AlwaysOn Failover Cluster supported http://www.sqlskills.com/blogs/jonathan/post/Failover-Clustering-without-a-SAN-SQL-Server-2012-and-SMB-for-Shared-Storage.aspx 27
  28. 28. Verify RDMA• Why? SMB can choose to use RDMA or IP at runtime• Also not all inbox drivers (and firmware combinations) work. – Perfmon Counters: RDMA Activity, SMB Direct Connection .(SMB Server/Client Shares) – PowerShell: Get-NetAdapterRDMA, Get- SmbServerNetworkInterface, Get- SmbClientNetworkInterface – netstat.exe -xan | ? {$_ -match “445”} 28
  29. 29. PowerShell commands 29
  30. 30. Mellanox toolboxC:¥Program Files¥Mellanox¥MLNX_VPI¥IB¥Tools>ibstatCA ibv_device0 CA type: Number of ports: 1 Firmware version: 0x2000903e8 Hardware version: 0xb0 Node GUID: 0x002590ffff2ed2bc System image GUID: 0x002590ffff2ed2bf Port 1: State: Active Physical state: LinkUp Rate: 40 Real rate: 32.00 (QDR) Base lid: 16 LMC: 0 SM lid: 15 Capability mask: 0x90580000 Port GUID: 0x002590ffff2ed2bd 30
  31. 31. Benchmarking your setup• Verify if all components work as expected – Use an IO generator tool like sqlio or iometer – Understand that you are generating serious amounts of IO. Therefore use multiple processes and multiple threads – Start testing local IO, then move on to network – Use big (>10GB) test files to get smooth performance – Get a TPC-H kit from tpc.org (and scripts from full disclosure reports posted by vendors) 31
  32. 32. Things to think about..• Extent allocation: defaults to 1 extent (64k) per file (round robin) ‘proportional fill’• Use –E to get 64 extent proportional fill• Traceflags: -T834 (large pages), -T2301 (DSS optimizations http://support.microsoft.com/kb/920093• Minimal logging options for dataloading, see also: – Microsoft Data loading performance guide http://msdn.microsoft.com/en-us/library/dd425070.aspx 32
  33. 33. Insight Qube test disks2.5 GB/sec SQL Server s ib 4.2 GB/sec Windows 2012 IB Switch 6.5 GB/sec ib IB card: 3.5 GB/sec ibPCI-E Gen2x8 4 GB/sec ib ib 33
  34. 34. Summary• SMB, RDMA, Infiniband combination scales very well, mostly limited by PCI bus speeds• Easy to understand and administer• Know your system, benchmark your components and system.. or• Insight Qube can do it for you ! 34
  35. 35. 3x SQLIO 128KB reads 35
  36. 36. DB Server Query from 3 SMB servers 36
  37. 37. SMB (file) Server 3 37
  38. 38. SQLIO test run against 1 SMB server 38
  39. 39. 無断転載を禁ず この文書はあくまでも参考資料であり、掲載されている情報は予告なしに変更されることがあります。 株式会社インサイトテクノロジーは本書の内容に関していかなる保証もしません。また、本書の内容に関連したいかなる 損害についても責任を負いかねます。 本書で使用している製品やサービス名の名称は、各社の商標または登録商標です。Copyright © 2012 Insight Technology, Inc. All Rights Reserved. 39

×