Egenera BladeFrame をお使いの方々向けに，マルチベンダーサーバー環境に対応するようになった PAN Manager 7 と，ラックサーバーに対応するようになる PAN Manager 8 をご説明しています．

1. PAN Manager 7/8 のご説明
2014年10月7日
イージェネラ株式会社

2. そもそもPAN Manager とは
• サーバの稼働率，可用性向上ための三大機能
– 用途を限定しないサーバ（物理サーバの再利用）
– N+1 高可用性(HA): ハードウェア障害を検出し、待機
ハードウェアに自動切替
– N+1 災害復旧(DR): システム構成情報をXML ファイ
ルで保持し、待機システムを起動
• 前提
– サーバは全てSAN ブート(サーバの内蔵ディスクは
使用しない)
– I/O 仮想化対応のハードウェアがあること

3. PAN Manager の歴史
ハードウェアベンダー
のI/O 仮想化機能
を利用するPAN7 シ
リーズを開発しました
Egenera BladeFrame Dell PAN System
2001
良いI/O 仮想化機構
を持つハードウェアが
なかったので，自前で
作りました
BladeFrame は高い！PAN
Manager だけ使いたいというお客
様の声にお答えしました
PAN7 for Fujitsu BX900
PAN7 for NEC SIGMABLADE
PAN7 for IBM BladeCenter
PAN7 for HP c7000
2008 2011 - 2013

4. I/O 仮想化とは…
~ I/O 仮想化が，無い時~
HBA が変わったら，そのままでは絶対に動きません．
OS を格納しているディスクに到達できなくなります
HBA
NIC
OS
データ
CPU
IO
HUB
RAM
ネットワーク
NIC が変わったら，ネットワーク通信を復活させるために，
OS を起動してから新しいデバイスを認識させて，チーミ
ングやIP アドレスの再設定が必要な場合もあります

5. BladeFrame で作った自前のI/O 仮想化機構とは
cBlade でmap を保持
この部分がごっそり変わっても問題無し！
RAM vSCSI GISCSI
CLAN
CPU
IO
HUB
vEth
OS
データ
vSCSI のtarget0 のlun0
(9.0.0.101)
vSwitch
ソフトウェア的にMAC アドレスを持っ
ているので如何様にでも…
この他に，SAN Boot を
実現するためにPXE で
ミニOS をブートしたり…
いろいろやってます

6. 余談… pBlade 間通信はcBlade を通りませ
ん！
p5 veth0
p4 veth0
p3
veth1
veth0
p2 veth0
p1 veth0
BladeFrame
Egenera Confidential – Do not copy
c1
eth1
c2
eth1
switch2
switch1
Every pServer’s veth has a software-based
Ethernet switch
/proc/egenera/.../ethX
cBlade’s VeRN also contains a
software-based Ethernet switch per
vSwitch with reth uplink
veth RVIs are connecting all the blades
attached to the same vswitch
A vSwitch in PAN is actually a distributed switching mechanism among the blades. Every pBlade has a software-based Ethernet
switch in itself. Please remember that the switch resides in the veth driver of egen mods.

7. ハードウェアベンダーのI/O 仮想化機構とは
• MACアドレス/WWN，ストレージ
ブートパラメータをハードに固定
せず，可変にする機構
– NIC: 10GE登場〜
– HBA: HBA rename とか…
• かつ，それが外部から設定可能
• サーバーのI/O 経路をある程度
集約し，サーバーの物理的な移
動に追従する機構…スイッチ
– ネットワーク: VLAN⇔ポートの設定
– SAN: Zoning の設定
• やっていることは普通のネット
ワーク管理やSAN管理と一緒だ
が，サーバーの稼働状況に合わ
せて実施するというハードルが…

8. ハードウェアベンダーのI/O 仮想化機構とは
(続き)
ベンダー技術・製品名備考
HP Virtual Connect 基本，c7000 のみ
富士通VIOM BX900, BX400 のみ
IBM BOFM
IFM
BladeCenter
Flex System
NEC … 特に売り出していない筈です
当然，ベンダーによって管理手法は異なりますし，ベンダー内でもこのあたりの
管理ソフトは全く一貫性がなく，適当にリリースされています．
PAN Manager により，ベンダー間，ベンダー内のツールの差異が吸収できるの
です！

9. PAN7 システム構成~ HP c7000 の場合
FlexFabric モジュールFlexFabric モジュール
c7000 背面
OAモジュールOAモジュール
PAN OPServer
2台
管理NW
業務NW
SAN
intnet

10. PAN7 構成のポイント
• PAN Manager は外立てのPAN OPServer
(POPS) で稼働
• 管理NW (OOB: Out-Of-Band Management
NW) と，業務NWが分離
• PAN Manager の操作はOOB から実施
• POPS は業務NWにも接続し，pServer のヘル
スチェック，PAN Agent 通信を行う(専用
VLAN: intnet)

11. POPS 要求スペック
Component Minimum Requirement(s)
CPU Sockets 1
CPU Cores 4
CPU Speed 2.13GHz
RAM 8GB
Memory Clock Speed 800MHz
Disk Space 300GB
Network BMC x1 (IPMI 2.0 compliant) + 100Mbit x4
OS RHEL6.5+ (64bit)

12. PAN7 でのフェイルオーバー
(3タイプの死活監視)
BEEP (RFC 3080)
PAN heartbeat agent PAN Manager
Operating System
VMkernel
PAN Manager
PAN Manager
BMC
ping
Managed/Enhanced モード
ping
Managed/Basic モード
電源の状態
Unmanged モード

13. BladeFrame vs PAN7
比較項目BladeFrame PAN7
pServer のI/O 帯域1.25Gbps x2 10Gbps x2
Uplink のI/O 帯域Ethernet: 1Gbps
FC: 2Gbps
Ethernet: 10Gbps
FC: 8Gbps
フェイルオーバー時間(Blade
抜去)
4分〜8分〜
OS 追従遅い
対応不可の場合も(ESXi)
早い
ストレージ管理cBlade で見えるLUN (9.X.Y.Z)
をpServer に付ける
• vHBA のWWN，Boot
Target を設定(面倒)
• Storage Group をpServer
に付ける(BladeFrame 並
に簡単)
pServer のI/O 経路冗長化自動自動(PAN Tools による)
vBlade 有り有り(PAN7.7 以降: VMI)

14. PAN7 導入時の注意点
• ストレージ関連
– ストレージ接続サーティフィケーションにEgenera は関与しませ
ん
– ストレージベンダーとサーバーベンダー間で確認していただけ
ればOK です
– ただしStorageManager 機能を使う場合，ストレージベンダー，
機種が限定されます
• EMC, 3PAR, Eternus, NetApp, NEC
• ネットワーク関連
– intnet 用に10.252.0.0/14 のアドレスが予約されます(変更可
能ですが，/14 のサイズは変更できません)
• その他
– BladeFrame はcBlade を核としてpBlade との時刻同期を行い
ましたが，PAN7 ではそのような仕組みはありません

15. PAN MANAGER FOR RACKSERVER

16. PAN Manager 8
• 新Emulex CNA とミドルウェアの登場により，ラックサーバーをpNode とすること
が可能に！
– Emulex Emulex OCec14102-UX-Cloudcard
– Emulex OpenWorks Connecter
• 対応機種
– サーバー
• HP DL シリーズ(G6, G7, Gen8)
• 富士通RX200 S8，CX400/CX2550 M1
– ToR スイッチ
• Brocade VDX6740
• Cisco Nexus 5548UP
LAN
Storage
Cloud Director ToR Switch
CloudCard
PAN Manager
DMF Server

17. Emulex OpenWorks Connector との連携
http://www.emulex.com/pr/2014-0825/

18. 日本でも一部検証済み(2014/5)
Fabric Switch
Cisco Nexus 5548UP
PAN Manager
HP DL380p Gen8
pNode/Stateless Server
HP DL380p Gen8
CPU: Intel(R) E5-2690
v2 RAM: 128GB
Emulex Cloud Card
OOB Switch
HP ProCurve 2848
SAN Storage Array
HP 3PAR StoreServ 7400
Cloud Card

19. PAN Manager for Rack Server (製品版) の機器構成
~ BladeFrameに準じたトポロジ~
LAN
SAN
pNode
:
最大256台
:
PAN Manager
OOB Switch
Fabric Switch
10Gbps
LAN
SAN
:
sBlade
最大24枚
:
ICMB
RS-485
pBlade
cBlade
1.25Gbps
PAN Manager for Rack Server
BladeFrame
1.25Gbps CLAN ファブリック
↓
10G イーサネットファブリック

20. 製品版構成例
• ストレージ入りAll-In-One ラック
• pNode (pBlade) 枚数: 24
• BladeFrame と同じ
• pNode のハードウェアタイプは
異機種ミックス可能

21. 導入イメージ
Rack とBlade の混在
PAN 管理対象1U ラックサーバ37x5=185台，ブレードサーバ16x3=48台PAN Manager
ストレージ
ネットワーク