HPCフォーラム2015 A-2 グローバル設計環境に欠かせないHP ProLiantサーバー久保田隆志

© Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HPC フォーラム 2015
テクニカルコンピューティング最前線～HP-CAST Japan ～
グローバル設計環境に欠かせない
HPProLiantサーバー
2015年4月24日
日本ヒューレット・パッカード株式会社
プリセールス統括本部
サーバー技術本部シニアITスペシャリスト
久保田隆志

© Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.2
Agenda
はじめに
eVDIを考える上での注意事項
eVDIを支えるHP Server製品
仮想化ソフトウェア比較
まとめ
※ eVDI = Engineering VDIの略
ご注意
本セッションで使用するスライドの右上に「投影のみ」と記載されているロードマップ等
の社外秘情報につきましてはお手元の資料には含まれておりません。
予め、ご了承ください。

はじめに
今、HPが取り組んでいること

EBC SingaporeEBC Tokyo
APJ eVDI ソリューションセンター紹介
Note WS
Zbook
Thin Client
T820
管理サーバー
CB/File/WANem
eVDI Host
WS460c Gen8
K3100M x6
eVDI Host
DL380p Gen8
GRID K2 x2
管理サーバー
CB/File/WANem
eVDI Host
WS460c Gen8
GRID K2 x1
Note WS
Zbook
Thin Client
T820
GatewayGateway
Internet
HP社内
VPN接続
HP Intranet
HP社外

グローバル設計環境におけるデータの一元化
北米開発拠点
日本データセンター
eVDIサーバー
アジア開発拠点
欧州開発拠点
CAD Data
大変チャレンジングなものです
が、いくつかのお客様で実際に
走っているProjectです

eVDIを考える上での注意事項
システム特性

NUMAアーキテクチャを正しく理解する
ユニファイドメモリアクセス
• 全てのメモリがCPU間で共有される
• アクセススピードは全てのCPU間で同じ
NUMA (Non-Uniform Memory Access)
• メモリはソケット毎に制御される
• ソケットをまたいだアクセスは遅くなる
システム特性で注意しておくべきこと
CPU Socket 0
RAM RAM
RAMRAM
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
PCIe PCIe
GPU 1
CPU Socket 1
RAM RAM
RAMRAM
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
PCIe PCIe
GPU 3
QPI
Storage Storage
GPU 2GPU 0
CPU Socket 0
0
1
2
3
4
5
6
7
PCIe
CPU Socket 1
8
12
9
13
10
14
11
15
PCIe GPU 1
Storage
GPU 0 Chipset
RAM RAM
RAMRAM
RAM RAM
RAMRAM

vCPU と Process のスケジューリング
NUMAアーキテクチャを正しく理解する
Hypervisorのスケジューリング
• Hypervisorは仮想マシンが稼働するvCPUを決定する
• この場合、GPU/Memoryアクセスという観点で最適化されない可能性がある
• 結果、ベンチマーク結果がばらつく
CPU Socket 0
GPU 0
RAM RAM
RAMRAM
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
PCIe PCIe
GPU 1
CPU Socket 1
GPU 2
RAM RAM
RAMRAM
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
PCIe PCIe
GPU 3
QPI
安定したパフォーマンスをえるために、最適
化処理（チューニング）が必要

NUMAアーキテクチャにおける最適化/非最適化の例
CPU Socket 0
GPU 0
RAM RAM
RAMRAM
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
PCIe PCIe
GPU 1
CPU Socket 1
GPU 2
RAM RAM
RAMRAM
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
PCIe PCIe
GPU 3
QPI
CPU Socket 0
GPU 0
RAM RAM
RAMRAM
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
PCIe PCIe
GPU 1
CPU Socket 1
GPU 2
RAM RAM
RAMRAM
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
PCIe PCIe
GPU 3
QPI
最適化
CPU Socket 0
GPU 0
RAM RAM
RAMRAM
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
PCIe PCIe
GPU 1
CPU Socket 1
GPU 2
RAM RAM
RAMRAM
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
PCIe PCIe
GPU 3
QPI
CPU Socket 0
GPU 0
RAM RAM
RAMRAM
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
PCIe PCIe
GPU 1
CPU Socket 1
GPU 2
RAM RAM
RAMRAM
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
PCIe PCIe
GPU 3
QPI
非最適化

ワークステーション仮想化に必要なこと
ハードウェアが目指すべき方向
• 1CPU + 1GRID のセットを1筐体内にできるだけたくさん載せる
• Bridge chip等を使用してたくさんGRIDが載せられるというだけのシステムはほとんど意味がない
• 高クロック/多コアのCPUの搭載
仮想化ソフトウェアが目指すべき方向
• NUMAを意識したHypervisorのスケジューリング
VMwareのアプローチ。但し、GPUを固定する方法がない。
• 最適化させるためのチューニング項目の用意
Citrixのアプローチ。但し、非常に面倒。

eVDIを支えるHPサーバー製品

NVIDIA + HP : eVDIプラットフォーム
Quadro
Grid
Tesla
WS460c Gen9
DL380 Gen9
Apollo 2000
eVDI
HPC

Broadest range of high performance, high density professional graphics
HP ProLiant WS460c Gen9 Graphics Server Blade
Graphics
Gen8世代のグラフィッ
クスを踏襲。今年後半
に向けて新しい世代へ
移行していく
Storage
Smart Arrayの選択肢
の拡充
CPU
Intel® Xeon® E5-2600
v3 プロセッサ採用に
よるパフォーマンス
向上
• OneViewもWS460cに対応し本格的にサーバーの仲間に
• そして、これからはGraphics Server Bladeと呼んでください

Gen9における基本スペック
HP ProLiant WS460c Gen9
Compute
Intel® Xeon® E5-2600 v3 Series, 4/6/8/10/12/14/16/18
PCIe 3.0, 2 available mezzanine slot
Memory HP Smart Memory (16) DDR4, up to 2133MHz (512GB max)
Storage
Standard HP Dynamic Smart Array B140i
Choice of HP Smart HBA H244br or HP Smart Array P244br
for performance or additional features
HP SmartDrives 2 SFF max, HDD/SSD, 12Gb SAS support
Networking Choice of 2x10GbE, FlexFabric 10Gb, FlexFabric 10/20 Gb, RoCE, VXLAN
USB Ports/SD/Other 1 x USB 3.0, 1 x Micro-SD, future support for Optional Dual Micro SD/ Optional M.2 Support
GPU Support
NVIDIA Quadro K3100M, K6000, K5000, K4000,
GRID MXM, GRID K1, K2;
AMD FirePro S4000X (plan)
Power & Cooling Enclosure-based (94% Platinum Plus)
Industry Compliance ASHRAE A3 (limited configurations)
※ 青字がGen8からの進化部分

CPUの種類
Intel Xeon E5-2600v3 series Processor Option Kits
Proc Model 2630L 2650L 2603 2623 2637 2609 2643 2620 2630 2667 2640 2650 2660 2670 2680 2690 2683 2695 2697 2698 2699
Wattage 55 65 85 105 135 85 135 85 85 135 90 105 105 120 120 135 120 120 145 135 145
Cores Count 8 12 6 4 4 6 6 6 8 8 8 10 10 12 12 12 14 14 14 16 18
Threads 16 24 6 8 8 6 12 12 16 16 16 20 20 24 24 24 28 28 28 32 36
Frequency (GHz) 1.8 1.8 1.6 3.0 3.5 1.9 3.4 2.4 2.4 3.2 2.6 2.3 2.6 2.3 2.5 2.6 2.0 2.3 2.6 2.3 2.3
Cache (MB) 20 30 15 10 15 15 20 15 20 20 20 25 25 30 30 30 35 35 35 40 45
QPI (GT/S) 8 9.6 6.4 8 9.6 6.4 9.6 8 8 9.6 8 9.6 9.6 9.6 9.6 9.6 9.6 9.6 9.6 9.6 9.6
Turbo Yes Yes No Yes Yes No Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes
Memory speed
(DDR4)
1866 2133 1600 1866 2133 1600 2133 1866 1866 2133 1866 2133 2133 2133 2133 2133 2133 2133 2133 2133 2133
Wide Heat Sink X X X X X

OSのサポートについて
Microsoft Windows
Virtualization
Windows Server 2012 R2
Windows 7 Pro (64-bit), Enterprise (64-bit)
Windows 8.1 Pro (64-bit)
Linux
最新情報については www.hp.com/go/ossupport を参照ください。
VMware vSphere 5/6, Horizon View
Citrix XenServer 6.5, XenDesktop
Red Hat Enterprise Linux Desktop 6.5, 6.6, 7.0 (later)
SUSE Linux Enterprise Desktop 11/12(later)

HP MultiGPU Carrier = 複数のグラフィックスを載せた基板
GPUパススルーを最大限に活かすHPのテクノロジー
6枚のGPUを持ったブレードサーバー
NVIDIA Quadro K3100M 6枚
HP ProLiant WS460c Gen9
Graphics Expansion Blade
HP MultiGPU Carrier 2枚

小中規模向けのラックマウント製品
HP ProLiant DL380 Gen9
DL380 Gen9に2枚搭載可能
その他選択可能なGPU
• NVIDIA Quadro K2200 x3
• NVIDIA Tesla K40c x2
NVIDIA GRID K1
NVIDIA GRID K2
一般的なVDIユーザー向け
CADユーザー向け

DL380 Gen9 拡張性に関する改善ポイント
Graphics
空きPCIeスロット
Graphics
空きPCIeスロット
標準搭載NIC
1GbE x4
増設NIC
• HP Ethernet 1Gb 4-port Adptr
• HP Ethernet 10Gb 2-port Adptr
• HP FlexFabric 10Gb 2-port Adptr
前面
背面
ディスク増設用
スペース
HDD 8本
拡張性に課題があったGen8の欠点を克服
• PCIeスロットを消費することなくNICの増設が可能
• 搭載HDD本数の増加、FC接続が可能に

HP ProLiant マルチノードサーバー最新モデル
HP Apollo 2000 System
• 前面アクセスホットプラグHDD
• リアケーブル & リアI/O
Apollo r2200
Apollo r2600
Apollo r2800
w/SAS ZoningHP ProLiant XL170r Gen9 HP ProLiant XL190r Gen9

プラットフォームの選択
ブレード
WS460c Gen9 Graphics Expansion Blade
• ブレードによる優れた管理性
• ネットワークコスト削減
ブレード以外のプラットフォーム
お手軽：DL380 Gen9
• 通常のラックマウントタイプ
• 1台で16WSリソースを提供可能
高集約：Apollo 2000
• サイズは2Uのラックマウント
• 1台で32WSリソースを提供可能
機種
10Uにおける
仮想WS数
DL380 Gen9 80
Apollo 2000 160
WS460c Gen9 128
3つの中から選択
※ 1GPU 4分割時
単純な集約率ではなく、ネットワーク
コストや管理性に対する考慮も必要

クライアント仮想化を支えるHPプラットフォーム
HP ProLiant BL460c HP ProLiant WS460c Gen9
HP BladeSystem
c7000 Enclosure
大規模展開、管理性を重視する場合
Bladeによる集約
小中規模環境の場合
ラックマウントよる集約
HP ProLiant DL380 Gen9
※ 今後 Apollo 2000が登場

仮想化ソフトウェア比較
VMwarevs.Citrix

最新バージョンの比較
VMware Horizon View vs. Citrix XenDesktop
VMware Horizon View 6.1 Citrix XenDesktop 7.6
Hypervisor • 性能：✔✔✔
• 機能：✔✔✔
• vGPU対応：✔✔
• 性能：✔✔
• 機能：✔
• vGPU対応：✔✔✔
画面転送プロトコル PCoIP
• CPU消費率の削減
• NW消費帯域の削減
• オフロード処理の専用のカードを用意
HDX3D Pro
• 画質をある一定レベルで保ちながら消費帯域
を押さえる改善が継続的に行われている
• オフロード処理はGRIDの機能を使用（予定）
管理性 • 仮想環境： ✔✔✔
• ユーザー環境：✔
• 仮想環境：✔
• ユーザー環境：✔✔✔
コメント • HA構成不可
• ESXiの信頼性・パフォーマンス
• HA構成が可能
• XenServerのパフォーマンス課題
• HDX3D ProのCPU使用率
パフォーマンスはVMwareだが、使い勝手ではCitrix

XenServer 6.5 － EUCという観点で必要な機能の追加
Hypervisor
64-Bit Control Domain
64bit化によるスケーラビリティ・パフォーマンスの向上
In-Memory Read-Cache
ストレージ負荷を軽減しIOPSを向上
vGPU Improvements
1ホストあたり96vGPUまでのサポート

vSphere ESXi 6.0 － Enterprise向けの機能を整備・拡張する正常進化
Hypervisor
vSphere 6.0新機能の概要
http://blogs.vmware.com/jp-cim/2015/03/vmware-vsphere-6-0-
%E6%96%B0%E6%A9%9F%E8%83%BD%E3%81%AE%E6%A6%82%E8%A6%81%E3%81%AB%E3%81%A4
%E3%81%84%E3%81%A6.html
eVDIに関連するところ
• vSphere Virtual Volumes
外部ストレージアレイを仮想マシン単位で管理
• NVIDIA GRID vGPUへの対応

最新バージョンでの比較
Hypervisor
0
0.5
1
1.5
SPEC viewperf 11.0
CATIA
Hypervisorパフォーマンス比較
XenServer 6.5 ESXi 6.0
条件
• 同じハードウェアで、Horizon
View 6.1とXenDesktop 7.6を入れ
替えたvGPU環境での比較
• XenServer 6.5ではNUMAに対す
る最適化を実施
• ESXi 6.0はNUMA対応のスケ
ジューリングに任せる
最大で20%のパフォーマンス差

画面転送プロトコル
VMwareの主張
PCoIPはUDPなのでそもそも遅延に対して強
く特別な対策は不要
Citrixの主張
CloudBridge等のWANアクセラレータを使用
することで遅延に対する対策を行う。
またFramehawkによりWANアクセラレータ
なしで遅延への対応を予定
http://blogs.citrix.com/2014/05/28/a-
video-is-the-next-best-thing-hdx-
with-framehawk/
遅延に対する取組みの差

画面転送プロトコル
VMwareの主張
Horizon View 6.1でCPU使用率を大幅に改善
また、PCoIP処理を完全にオフロードさせる
ためにAPEX 2800を用意
Citrixの主張
GRIDに搭載されているASICを利用すること
でエンコード処理（NVENC）をCPUからオ
フロードさせる予定
画質を改善する取組み（次スライド参照）
をXenDesktop 7.6で実施しており、これと
オフロード処理を組み合わせることで、き
れいな画面を低CPU消費率で実現予定。
CPU使用率に対する取組み

XenDesktop 7.6で追加された描画モード
Lossless Build to Lossless Visually Lossless
Build to Visually
Lossless
Default H.264
Encoder Compatibility Encoder Deep Compression Encoder
Image quality
when moving
Lossless JPEG H.264 Visually Lossless Default H.264 Default H.264
Image quality
when suspended
Lossless Lossless H.264 Visually
Lossless
H.264 Visually
Lossless
Default H.264
Network
bandwidth
Very High
Sample:64Mbps
High – Very High
Sample:30Mbps
High
Sample: NA
Low – High
Sample: NA
Low
Sample:3Mbps
Operability
Bad Bad Middle Middle - Good Good
Encoding power High High Middle Low - Middle Low
Decoding power High High Middle Low - Middle Low
High
Middle
High
Middle Middle
Low Quality
High Low
Bad Good
High Quality

VMwareとCitrixの比較まとめ
EnterpriseからEUCへ
vGPU対応を完了
ESXi 6.0の改善でパフォーマンス向上
Horizon View 6.1でPCoIPの大幅改善
EUCに磨きをかける
vGPUへいち早い対応
XenServer 6.5以降における改善をコミット
HDX 3D Proの継続的な改善
• GRID ASICへのオフロード
• Framehawkの採用
vs.
弊社eVDIソリューションセンターで比較いただけます

今後の課題や期待していること...
今後の展開
Linux Guest OSへの対応
VMware、Citrix両社ともLinux VDIへの対応を進めている
ただ、GPU対応については不明
CPUやメモリは足りるのか
GPUの集約が進むほど、CPUコア数やメモリ容量が顕在化
画面転送プロトコル処理の軽減・オフロード化が必須に
メモリは、64GB、128GB DIMMの登場で解消されていく
OpenCL対応が進めば、グラフィックス仮想化でもHAやvMotionが可能に？
最終的にはシステムメモリとGPUメモリの区別がなくなる

まとめ
eVDIを支えるプラットフォームの拡充
• WS460c Gen9でGRID集約率の課題の改善
• Apollo 2000でさらなる高集約化
eVDIデモ環境を活用ください
• リアルな海外接続での操作を体感
• VMwareとCitrixの比較
単なるPOCや検証環境だけでなく、本格的な大規模案件をこなして
いるHPに是非お問い合わせください。

HPCフォーラム2015 A-2 グローバル設計環境に欠かせないHP ProLiantサーバー久保田隆志

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to HPCフォーラム2015 A-2 グローバル設計環境に欠かせないHP ProLiantサーバー久保田隆志

Similar to HPCフォーラム2015 A-2 グローバル設計環境に欠かせないHP ProLiantサーバー久保田隆志 (20)

More from 日本ヒューレット・パッカード株式会社

More from 日本ヒューレット・パッカード株式会社 (12)

Recently uploaded

Recently uploaded (9)