OSC 2011 Tokyo/Fall 自宅SAN友の会のセッション資料です。 Infinibandをお手軽に試してみました。

1. 自宅SAN友の会（#jitakusan）
島崎 聡史（＠smzksts）

2. 島崎聡史（twitter: @smzksts）
- 自宅SAN友の会 主宰
 メーカー系研修ベンダーの講師
とある仮想化、クラウド、
- サーバ仮想化＆ストレージ研修を担当
- VMware Certified Instructor （VCI） シンクライアントベンダー
- Xen, KVM, Solaris Containers のSE
- プライベートクラウド（Eucalyptus） - XenServer
- デスクトップ仮想化 - Cloudstack
- XenDesktop, XenApp
インフラ系流行りモノ担当 便利屋さん。
#jitakusan #osc11tk Page 2

3. #jitakusan #osc11tk Page 3

4. 自宅SAN
- iSCSI
- Fibre Channel
- 中古HW＋OSCでお安く
自宅ラック
- スチールラック同等の
スペース
- 高密度集約、高可動性
- 安全性
#jitakusan #osc11tk Page 4

5. 今回の基本方針
-省スペース
-低コスト
＋ 短時間でできる
＋ 初心者向け
これからお話するトピックは、
私自身が初心者です。
#jitakusan #osc11tk Page 5

6. IPoIB (IP over Infiniband)で
CentOSのNFSサーバと
Citrix XenServerをつないでみた
#jitakusan #osc11tk Page 6

7. IPoIBとは
- Infiniband上でIP通信を行う機能
Infinibandとは
- InfiniBand(インフィニバンド)とは、非
常に高いRAS（信頼性・可用性・保守
性)を持つ基幹系・HPC系のサーバ/クラ
スター用高速I/Oバスアーキテクチャ及
びインターコネクトのこと。
※Wikipediaより引用
#jitakusan #osc11tk Page 7

8. 構成ごとの理論スループット
SDR DDR QDR FDR EDR HDR NDR
2 4 8 14 26 125 750
1X
Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s
8 16 32 56 104 500 3000
4X
Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s
24 48 96 168 312 1500 9000
12X
Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s
#jitakusan #osc11tk Page 8

9. あんまり
家になさそう
#jitakusan #osc11tk Page 9

10. 1.ハードウェアの入手
2.ソフトウェアの入手
3.インストールと設定
#jitakusan #osc11tk Page 10

11. 例によってネットオークションで
HCA（Host Channel Adopter = Infinibandカード）
- ポート単価￥3K～6K 程度（SDR 10G）
IBケーブル
- ￥3K～6K 程度
IBスイッチ
- 希に見かける程度。 直結構成なら
1万円未満で可能！
（※マシン費用は除く）
#jitakusan #osc11tk Page 11

12. CentOS
- そもそも無償
Citrix XenServer
- 最新バージョン 6.0（2011/11/19現在）
- 無償エディション or 評価版でOK
IB HCAのドライバやユーティリティ 無料です
※一部コンテンツは有料だったりしません
- メーカーサイトからダウンロード
- 無償
#jitakusan #osc11tk Page 12

13. Citrix CentOS 5.7
XenServer 6.0
VM格納用
サーバ：富士通 MX130S1
VM稼働用 NFSサーバ
HCA：Mellanox Infinihost III
#jitakusan #osc11tk Page 13

14. # cd /var/tmp
# wget
http://www.mellanox.com/downloads/ofed/MLNX_OFED_LINUX-
1.5.3-1.0.0.2-rhel5.7-i686.iso
※Mellanoxのサイトにディストリビューション、バージョン、アーキテクチャ
ごとのISOイメージがあるので、そのアドレスをあらかじめ確認
# mount -o loop MLNX_OFED_LINUX-1.5.3-1.0.0.2-rhel5.7-
i686.iso /mnt
# /mnt/mlnxofedinstall
※インストーラが実行されます
#jitakusan #osc11tk Page 14

15. # vi /etc/sysconfig/network-scritps/ifcfg-ib0
DEVICE=ib0
TYPE=Infiniband
BOOTPROTO=static
BROADCAST=192.168.9.255
IPADDR=192.168.9.101
NETMASK=255.255.255.0
NETWORK=192.168.9.0
ONBOOT=yes
# chkconfig opensmd on ※ネットワーク内の1台のみ
# shutdown -r now
#jitakusan #osc11tk Page 15

16. ドライバの準備
- MellanoxのドライバはXenServer用にビルドされていない
- XenServer上では直接ドライバをビルドできない
- DDK（Driver Development Kit 仮想アプライアンス）でビ
ルドし、XenServerにコピーする
- DDKはCitrixからDLし、XenServerにインポートする
- XenServer6.0（5.6fp1以降）はCentOS 5.5（RHEL5.5）
32bit用のドライバが利用可能
#jitakusan #osc11tk Page 16

17. [root@localhost ~]# mount /dev/xvdb /mnt
[root@localhost ~]# /mnt/mlnxofedinstall
The 2.6.32.12-0.7.1.xs6.0.0.529.170661xen kernel is installed, but do not have drivers
available.
Cannot continue. ※そのままインストールはできません。
[root@localhost ~]# cp /mnt/src/OFED-1.5.3-1.0.0.tgz /var/tmp
[root@localhost ~]# cd /var/tmp/
[root@localhost tmp]# tar xvfz OFED-1.5.3-1.0.0.tgz
(※省略）
[root@localhost OFED-1.5.3-1.0.0]# ls
BUILD_ID LICENSE README.txt RPMS SRPMS install.pl ofed.conf uninstall.sh
[root@localhost OFED-1.5.3-1.0.0]# ./install.pl
(※省略）
[root@localhost OFED-1.5.3-1.0.0]# ls -R RPMS/centos-release-5-5.el5.centos/i686/
RPMS/centos-release-5-5.el5.centos/i686/:
libibverbs-1.1.4-1.23.g6ccf63e.i386.rpm libmthca-1.0.5-
0.1.gbe5eef3.i386.rpm
(※省略）
このrpmファイルをXenServerにコピーすると、rpmコマンドでインストールで17
#jitakusan #osc11tk Page

18. 普通のNICならば、
XenServerの管理情報にNICを登録
仮想スイッチ（Linux BridgeやOpen vSwitch
）はEthernet用のため、IPoIBの場合は仮想
スイッチを使わずに通信させる
＝先ほどのCentOSと同様に、ifcfg-ib0を作成
#jitakusan #osc11tk Page 18

19. XenServerのGUIメニューで必要事項を記入
- SR名
- NFSサーバの情報
- アドレス
- パス
- NFSオプション
#jitakusan #osc11tk Page 19

20. Infinibandも安価に試せる
- HWのライフサイクルが1周したものは
大抵中古が出回っている
- 今回は手っ取り早く使ってみただけで、
もっと色々できる。
私も初心者です
- まず、手を動かして触ってみる！
#jitakusan #osc11tk Page 20