オープンソースカンファレンス2015広島の講演資料です。

1. @OSC 2015 Hiroshima
仮想化＆ストレージの基礎と
インフラの新しいトレンド『ハイパーコンバージドインフラ』
Satoshi Shimazaki (Tw:@smzksts)
Senior Systems Engineer, Nutanix Japan G.K.

2. 4
Nutanix について
ITインフラの管理を
極限までシンプルにすることで
アプリケーションやサービスの提供に
集中できるようにする
1400 customers
Over 70 countries
6 continents
Founded in 2009
$300M+ sales run rate
1000+ employees

3. 5
Agenda
• 仮想化とストレージの基礎
• これまでのインフラ環境が抱える課題
• ハイパーコンバージドインフラとは
• Nutanixの技術解説

4. 仮想化とストレージの基礎

5. 7
ごく一般的な、ここ数年の仮想インフラ環境
クラスタ
共有ストレージ
FC/iSCSI SAN
ライブマイグレーション、HAなどの機能を活用した運用
仮想マシン

6. 8
最近のトレンド？
Self-service Portal (Private Cloud)

7. これまでの仮想化環境が抱える課題

8. 10
構築のステップ - FC-SAN環境の例
サーバー
SAN
共有
ストレージ RAIDグループ設定
LUN作成
LUNマッピング
ゾーニング
フォーマット
マウント
FCドライバ設定
マルチパス設定
設置・結線(SAN,LAN)
ハイパーバイザーより下のレイヤーの管理はあまり変わっていない

9. 11
多くの仮想化インフラが抱える問題
1. 根本的に複雑
2. スケーラビリティの制約
3. 非効率なサイロ化/分断

10. ハイパーコンバージドインフラとは

11. 13
ハイパーコンバージドインフラ
ソフトウェア処理で、仮想化環境のサーバーと共有ストレージを単一HWに統合
サーバー
SAN
共有
ストレージ
• 拡張しやすい
• スモールスタート
• とにかくシンプル

12. 14
ハードウェアとして見た場合
• x86サーバー
＋ローカル
ストレージ
• ブレードシステム
ではない
• 各ノードが独立
• 電源やファン等
一部のユニットのみ共有
ハイパーコンバージドインフラ ＝ ソフトウェア

13. 15
Nutanix はハイパーコンバージドインフラ市場のリーダー
52% market share
“
“
“
Nutanix has been a key player in the
emergence of the hyperconverged
market and was early to demonstrate
demand for the technology.”
Leading position in mindshare, as well
as market share.”
Nutanix systems have diversified from
targeted or specialized workloads like
VDI to Tier 1 applications and highly
virtualized general business workloads
like SAP, Oracle, Microsoft Exchange,
SQL Server, SharePoint, Splunk, and
Unified Communications.”

14. 16
Gartner Magic Quadrant for Integrated System
• Gartnerによる製品ベンダーに対する評価レポート
• http://www.gartner.com/technology/reprints.do?id=1-
2L2T232&ct=150812&st=sb
• 対象：下記カテゴリ
• Integrated stack system (ISS)
 Oracle Exadata Database Machine や Teradata など（用途特化）
• Integrated infrastructure system (IIS)
 VCE Vblock など（ベンダー検証済み従来型システム）
• Hyperconverged integrated system (HCIS)
 Nutanix など

15. 2014

16. 2015

17. 2015

18. 2014→2015

19. 22
Nutanixの基本コンセプト – WebスケールIT
GoogleやFacebookのデータセンター
• 超大規模をどうやって運用管理するか？
• 故障への対応、スケーラビリティの確保、TCO抑制
汎用的なHWを使用する
すべてをソフトウェアで制御する
計算処理やデータを分散させる
普通のIT環境にも大きなメリット

20. Nutanixの技術解説

21. 24
Nutanixの基本アーキテクチャ
仮想マシン Nutanix Controller VM
(ノードあたり1つずつ)
VM VM VM CVM
Hypervisor
X86
VM VM VM CVM
Hypervisor
X86
VM VM VM CVM
Hypervisor
X86
KVM
Node 1
単一のストレージプール(NDFS)
Node 2 Node N
共有ストレージ
装置が不要
Nutanix CVM = 分散仮想ストレージアプライアンス (+ α)
データ階層化

22. 25
Controller Virtual Machine (CVM)
•Nutanixクラスタのすべてのノード上で1つずつ動作
•Linuxベース
•ユーザ空間で実行されるVM
多様なHypervisorへの対応
Hypervisorとは別に更新管理
•PCI Pass-throughで物理サーバーの
ディスクコントローラを直接認識
•Hypervisorとは内部仮想スイッチ経由で通信
(vSphere:NFS, Hyper-V:SMB 3.0, KVM:iSCSI)
•LAN経由で他のノード上のCVMと互いに通信
（監視、データ分散処理）

23. 26
書き込みI/Oの詳細：RF2 (2コピー保持)の場合
•データは常にローカルのディスクに書き込み
•筐体内ではなく筐体間でのデータ冗長性
•高いI/O性能を確保するため、複製は複数のノードに分散される
Node
Guest
VM
Hypervisor
Controller
VM
Storage
Node
Hypervisor
Controller
VM
Storage
Node
Hypervisor
Controller
VM
Storage

24. 27
読み込みI/Oの詳細：RF2 (2コピー保持)
•基本的にローカルディスクから読み込むため
高速、かつ筐体間のトラフィックが少ない
•ライブマイグレーションを行った後など、データが
ローカルにない場合のみ他のノードから読み込む
Node
Guest
VM
Hypervisor
Controller
VM
Storage
Node
Hypervisor
Controller
VM
Storage
Node
Hypervisor
Controller
VM
Storage

25. 28
Node
Hypervisor
Controller
VM
Storage
Node
Hypervisor
Controller
VM
Storage
vMotion/Live Migration
•移行後のノード上からもデータに可能
•データローカリティはアクセスされたデータから順次
Node
Guest
VM
Hypervisor
Controller
VM
Storage

26. 29
Node
Hypervisor
Controller
VM
Storage
Node
Hypervior
Controller
VM
Storage
High Availability
•再起動先のノードからもデータにアクセス可能
•データローカリティの処理も順次行う
•新たなコピーを作成し、継続的に冗長性を確保
–回復に使用するデータも分散しているため、処理が高速
Node
Guest
VM
Hypervisor
Controller
VM
Storage
Guest
VM

27. 30
Q: あるノードで、CVMが停止した場合の影響は？
A)VMはそのノード上で問題なく動き続ける
B) ゲストOS内でI/Oエラーが発生したのを検知して、
VMがライブマイグレーションされる
C) ハイパーバイザーがストレージ障害として検出し、
HA機能の動作によって、VMが他のノードで再起動される

28. 31
冗長データパス
CVMのアップグレード時にもサーバーのCPU, Memをそのまま使える

29. 32
ここまでのまとめ
• シンプル
• No-SAN
• ローカルストレージ
• 高速
• データローカリティ
• キャッシュ
• データ階層化
• 堅牢
• 分散コントローラー
• 筐体間レプリケーション
• 冗長性の自動修復

30. 33
1 click upgrade
NutanixのWeb UI で
アップグレードを実行可能
• ローリングアップグレード
CVM
• 新しいバージョンを自動検出
• Webから自動ダウンロード可
Hypervisor
& Disk Firmware
• 予めバイナリをアップロード

31. 34
リニアな拡張性
• 1サーバー単位の拡張が可能（シャーシ単位ではない）
• ローカルストレージを活用したアーキテクチャのため、
ノード数に比例して全体性能と容量が向上
• ストレージ容量拡張専用のタイプのノードも登場
計算能力
メモリ容量
I/O性能
データ容量
Pay-as-you-grow
ノード数

32. 35
拡張の流れ
1. (LANに接続)
2. (電源ON)
3. 既存環境のWeb UIに入る
4. 自動検出されたことを確認
5. 追加したいノードを選択
6. CVM, Hypervisor, IPMIの
IPアドレスを指定しSave
7. ストレージ容量が
増えたことを確認

33. 36
用途に合わせた幅広いモデルを提供、混在も可能
“Our System was up and
running in 30 minutes!”
–Ken Farley, Gunner IT
Download Customer Success Story
 Balanced resources
for branch office,
retail stores, &
remote offices
 Power and space
savings up to 80%
 Single management
interface
NX-1000
 Fastest
performance for
compute-
intensive
workloads
 Highest
supported VM
density
 Available with
FIPS-2 Level 2
encryption
NX-3000
 3x more storage
and 2x server flash
capacity than
general purpose
offering
 Full range of CPU
offerings to
accommodate
multiple workloads
 Available with
FIPS-2 Level 2
encryption
NX-6000
 Tailored for Tier 1
business critical
workloads such as
Microsoft SQL
Server, Exchange,
SharePoint, SAP,
and Oracle
 4x more SSD
accommodates a
much larger active
data set
NX-8000
 GPU and PCoIP
offload
 Seamlessly
integrates graphics
intensive users in
VDI deployments
 Ideal for any user
currently running
workstations with
GPU cards installed
NX-7000
 All flash solution
 Tailored for Tier 1/0
mission and business
critical apps
 Ideal for customers
requiring consistent
low latency across
entire data set
NX-9000

34. 37
ストレージとしての機能も強力
性能と管理性
•データローカリティ
•階層化とキャッシュ
•圧縮、重複排除
•スナップショットと
クローン
•シャドウクローン
データ保護
•バックアップ
•ディザスタリカバリ
•クラウド
バックアップ
•3rd party
バックアップ
信頼性
•データ多重化
•データパスの冗長化
•整合性チェック
•筐体故障の影響回避
セキュリティ
•暗号化
•2要素認証
•ロックダウン
Nutanix Distributed File System (NDFS) NDFS
VM VMVM VMVM VM
Node 1 Node 2 Node N

35. 38
多様なバックアップ方式を要件に応じて選択可能
VM Local Snapshots
Remote Snapshots
DR Cluster
Primary Cluster
Local Off-Cluster backups
On-Site Secondary
Public Cloud
(AWS)

36. 39
あらゆる規模・あらゆるアプリケーションに適応

37. 40
事例
• 国内150社以上
• VDI, サーバー仮想化、クラウド、DB、Splunk、etc…
• 広島県内の公開事例
• 株式会社エネルギアコミュニケーションズ 様
 次世代サービスおよびインフラ等検証用のテストベッド
– 柔軟な拡張性（ノード数上限なし、1ノードずつ追加可能）
– スケールアウトに応じた最適な投資（急激に跳ね上がらない）
– パフォーマンスの可視化

38. 41
ここまでのまとめ - Nutanixの特徴
• シンプル
• No-SAN
• ローカルストレージ
• 高速
• データローカリティ
• キャッシュ
• データ階層化
• 堅牢
• 分散コントローラー
• 筐体間レプリケーション
• 冗長性の自動修復
• 運用性
• ブラウザベースのGUI, CLI, API
• One-click
• 拡張性
• 自動認識
• 最小限の設定項目
• リニアな性能向上
• 汎用性
• 多機能
• 多様な選択肢（Hypervisor, HW)

39. 42
Make Cloud Invisible
Make Virtualization Invisible
Make Storage Invisible

40. Hyper-VESXi
Nutanix
Acropolis
Hypervisor
(AHV)
Containers
DellSuperMicro
One Click
Provisioning
Acropolis
Prism
XCP
. . .
AWS Azure
App Mobility Fabric
Distributed Storage Fabric
One Click
Planning
One Click
Remediation
One Click
Upgrades

41. • Nutanix Announces Invisible Infrastructure Era
– https://www.youtube.com/watch?v=CWdgdqAMduI
• 見どころ
– 40:00頃～
HypervisorをESXiからAcropolis Hypervisorに入れ替え
https://youtu.be/CWdgdqAMduI?t=2400
– 53:44頃～
VMをESXiからAWSへ移行
https://youtu.be/CWdgdqAMduI?t=3224
– 55:44頃～
コンテナをオンプレ・クラウドに同時展開
https://youtu.be/CWdgdqAMduI?t=3344

43. 52
構成イメージ
Nutanix Community Edition（AHV）の起動イメージを
USBメモリから読み込む
CVM CVM CVM
KVM KVM KVM
VM VM VM VM VM VM

44. 53
Community Edition 最小システム要件
MinimumRequirements
Servers 1, 3 & 4 servers
CPU Intel CPUs, 4-cores minimum, with VT-x support
Memory 16GB minimum
Storage Subsystem RAID0 (LSI HBAs) or AHCI storage sub-systems
Hot Tier (SSD) One SSD per node minimum, ≥ 200GB per node
Cold Tier (HDD) One HDD per node minimum, ≥ 500GB per node
Networking Intel NICs

45. 54
Example Systems
Cisco
Cisco UCS C220 M3
CPU: Intel Xeon E5-2609v2 2.5GHz, RAM: 24GB DDR3
SSD: Cisco Enterprise Value SSD - 240 GB
HDD: Cisco - 500 GB - 2.5" SFF - SATA 6Gb/s - 7200 rpm
NIC: Broadcom NetXtreme II 5709
Dell
Dell PowerEdge R220
CPU: Intel Xeon E3-1220v3 3.1GHz, RAM: 32GB DDR3
SSD: Kingston SSDNow E50 - 480GB
HDD: 7.2k RPM SATA 3Gbps 2.5in - 1TB
NIC: On-Board LOM 1GBE (LAN on Motherboard)
HP
HP ProLiant DL320e Gen8 v2
CPU: Intel Xeon E3-1220v3 3.1GHz, RAM: 32GB DDR3
SSD: Kingston SSDNow E50 - SSD - 240 GB
HDD: HP Midline HDD - 500 GB - SATA 6Gb/s - 7200 rpm
NIC: HP Ethernet 1Gb 2-port NC332i Adapter
Super
Micro
SuperMicro SuperServer 1018D-73MTF
CPU: Intel Xeon E3-1220v3 3.1GHz, RAM: 32GB DDR3
SSD: Seagate Pulsar.2 Enterprise SAS SSD - 200GB
HDD: Seagate Constellation.2 SATA 6Gb/s 7.2K RPM 64M - 500GB
NIC: Intel I210AT - Dual Gigabit Ethernet LAN

46. 55
自宅でやるなら（例）
物理4コア以上のベアボーン
• GIGABYTE BRIX Pro など
Nested環境
• Intel VT-x Passthroughできるもの
• VMware Player, Workstation, Fusion, ESXi
• KVM?
• メモリ
• 16GB程度
• 少ない場合にはページングファイルのサイズを増やす

47. 56
先人の知恵
Nutanix ブログコンテスト エントリー記事
• http://j.mp/nutanixblog
• 記事の例
 Nested環境へのインストール
 AMD CPU へのインストール
 Non-SSD へのインストール
 Multi-node Cluster の構築

48. 57
Nutanix Community Meetup の紹介
対象：ITインフラエンジニア
毎月1回、技術勉強会を開催中！
過去資料掲載中
詳細は http://j.mp/nutanix

49. 58
まとめ
• Nutanixで仮想化環境を徹底的にシンプルに
→手がかからない = Invisible
• 無償のコミュニティエディションでお試し
• 将来的にはクラウドやコンテナもシームレスに

50. Thank You & Please Join
http://j.mp/nutanix
デモをご覧になりたい方は、ぜひブースにお越しください！