AHVでみるCVM Autopathの仕組み

© 2016 IIJ Global Solutions Inc. 1
株式会社IIJグローバルソリューションズ
フランちゃんウフフなシステムエンジニア
おおかわかずひと
AHVでみるCVM Autopathの仕組み
Nutanix Community Meetup #11

本日の内容
1.自己紹介 / 会社紹介
2.はじめに
3.検証環境の構成について (Nutanix CE Nested on ESXi)
4.Autopathの仕組み
5.まとめ
※時間がなかったので軽めです、スミマセン… 営業が…

1. 自己紹介

おおかわかずひと 0x21歳
• Twitter@SatchanP (意識低い系)
• IIJグローバルソリューションズアカウントSE
• プリ & ポストセールス設計構築運用障害対応(なんでも屋)
• 元ウェブ系インフラエンジニア
• 得意言語 : C Perl Python
• 苦手言語 : Java Ruby
• 二次属性 : アイマス (やよい真美)
: 東方 (フランちゃん咲夜さん)
: 艦これ (Верный 響)
• 趣味 : 自動車ラリー(Driver/Co-Driver)
: 自転車
: ダム巡りダムカード集め
• 実はNPP受験してません！
自己紹介

自己紹介

Nutanix CEにも使える自作サーバTipsについてはコチラ
• 自作サーバー同窓会 #6 kauli自作サーバの歴史と稼働率向上施策
@SatchanP
https://www.youtube.com/watch?v=291qvUwKNsg

自己紹介

• 株式会社 IIJグローバルソリューションズ
• インターネットイニシアティブ 100%持ち株子会社
• もともとIBMのNW部門
• 法人向けネットワークインテグレーションが強み
• 新たな事業の柱として基盤まるごとやることに
• 手を動かせるサーバ得意なエンジニアがまだ数名
• 最近会社のイベントがあるときは高確率で出張なことが多い
(タダ酒飲みたい…)
軽く会社紹介

2. はじめに

まず最初にCVM Autopathとは
Hyper Visor
Node A
CVM A
NDFS
Storage
NFS
Hyper Visor
Node B
CVM B
NFS
CVM障害時にハイパーバイザまで巻き込まれない冗長化機能
NDFS
Storage
NFS

• セミナーで講師をしていたちょっと綺麗なお姉さん(たぶん年
下)から、CVMはAutopathがあるから落ちても「大・丈・
夫☆」とだけ説明してもらう
• その場では質問までいたらず
• 「誰かに聞かれたときにやっぱ説明できないとまずいよね」
と思い調査
• 冗長化の仕組みとか説明できないとSEtositeださい！
• 動作確認自体は以前に自宅Nutanix CEクラスタで確認ずみ
• 要望もあり社内用の検証環境を作るついでに、改めて動作確
認と説明用の資料集め
CVM Autopathに疑問を持ったわけ

3. 検証環境の構成について
Nutanix CE Nested on ESXi

• ネストした構造の動かし方(HV on HV…)
• ハードウェアエミュレーションのため
スペックが厳しいCVMを割と楽に並べてクラスタが組める
※具多的なスペックは後述
• ただしパフォーマンスはお察し
• clusterコマンドがないって焦ったらAHVだった
という笑い話も
Nutanix CE on Nested ESXiとは
ESXi
KVM
Nested

コア数は論理拡張前提、そこそこのスペックがあれば動作可能
参考 : 平均約1.6GHz / 1CVM
3台クラスタなら 2GHz 4Core もあれば十分
Nutanix CE Nested on ESXi ハードウェアスペック目安 (CPU)

気になるメモリ使用量
参考 : 平均約13G Byte / 1CVM
メモリのオーバーコミット(シェアード, 圧縮)を考慮すると
ざっくり最低 32GByte ※RF2
Nutanix CE Nested on ESXi ハードウェアスペック目安 (メモリ)

• CPU : Core i5 / i7
• メモリ : 32GByte
• HDD : 500Gくらい(シンプロピジョニング)
• SSD : なくても動く
• NIC : 1口(ESXiに対応してるもの)
• ESXiが評価版でいいならパソコンを使えば10万かからない
※当然これで動かなくても保証できません、挑戦者もとむ！
Nutanix CE Nested on ESXi クラスタ最低(?)ハードウェア構成

• 基本はネットに落ちている通り
• バーチャルポートグループの無差別(promiscuous)モード
を有効にしないと、CVMが外と通信することができない
Nutanix CE Nested on ESXi 構築時注意すること
ESXi
vDS, vSS
KVM
CVM
00:00:00:00:00:aa
AHV
00:00:00:00:00:bb
VPort1
00:00:00:00:00:bb
しか通過できない
Bridge

• IIJ GIO/VW上に構築 (従量なNutanix On Demandが嫌という時は是非ｗ)
• VMware ESXi 5.5
• Nutanix CE 3VM
• HDD : iSCSI 500GB
• SSD : なし
• NIC : GIOサービスに準じる(NWサービス2口)
検証環境のHW構成について

検証環境構成図
ESXi
(GIO VW)
AHV
NFS
iSCSI
vDS
KVM
CVM
A
AHV
KVM
CVM
B
AHV
KVM
CVM
C
vPort-Group-LAN1

4. Autopathの仕組み

• 知れば納得、超シンプル
1) Zookeeperがノード障害を検知
2) 障害検知後、CVM障害を起こしたHVの設定を変更する
(Zeus?)
3) CVM宛の通信経路をNW的に生きてるノードに曲げる
4) Autopath フェイルオーバー成功
Autopath の仕組みについて

CVM Autopath を図にすると
Hyper Visor
Node A
CVM A
NDFS
Storage
NFS
Hyper Visor
Node B
CVM B
NFS
NDFS
Storage
NFS
192.168.5.2
192.168.5.2
192.168.5.1

192.168.5.0/24のダイレクトコネクトで経路をあてている
Autopath の仕組みについて (Before)

/32のロンゲストマッチで192.168.5.0/24より優先してファ
イルオーバーホストの192.168.5.102に向けている？
Autopath の仕組みについて (After)

ZookeeperがCVM障害を検知
10:50:58,604 - 10.5.1.101(CVM A) Timeout
Autopath の仕組みについて (Zookeeperのログ)

Autopath の仕組みについて (Zookeeperのログ)
ZookeeperがCVM Aを無慈悲に切り離し
10:51:00,700 - 10.5.1.101(CVM A) グッバイフォーエバー

5. まとめ

• 期待していたほど難しいことはなにもしてなかった
(思ってたほど大物のネタにならなかった…)
• ソフトウェアで冗長性を確保するNutanixらしいいい例
• HWばっかにお金かけるI○Mとか少しは見習ってほしい
• 手抜きでゴメンナサイ…
CVM Autopath まとめ

ご清聴ありがとうございました
お問い合わせ先株式会社IIJグローバルソリューションズ
TEL： 03-6777-5700
info@iijglobal.co.jp
http://www.iijglobal.co.jp/

AHVでみるCVM Autopathの仕組み

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (8)

Similar to AHVでみるCVM Autopathの仕組み

Similar to AHVでみるCVM Autopathの仕組み (20)

AHVでみるCVM Autopathの仕組み