自宅SAN友の会(#jitakusan)島崎 聡史(@smzksts)
島崎聡史(twitter: @smzksts)    - 自宅SAN友の会 主宰   メーカー系研修ベンダーの講師                                            とある仮想化、クラウド、    - ...
#jitakusan #osc11tk   Page 3
自宅SAN    - iSCSI    - Fibre Channel      - 中古HW+OSCでお安く  自宅ラック    - スチールラック同等の      スペース    - 高密度集約、高可動性    - 安全性#jitaku...
今回の基本方針    -省スペース    -低コスト    + 短時間でできる    + 初心者向け    これからお話するトピックは、    私自身が初心者です。#jitakusan #osc11tk   Page 5
IPoIB (IP over Infiniband)で   CentOSのNFSサーバと   Citrix XenServerをつないでみた#jitakusan #osc11tk          Page 6
IPoIBとは    - Infiniband上でIP通信を行う機能  Infinibandとは    - InfiniBand(インフィニバンド)とは、非      常に高いRAS(信頼性・可用性・保守      性)を持つ基幹系・HPC...
構成ごとの理論スループット              SDR     DDR   QDR    FDR    EDR    HDR    NDR              2      4      8      14     26     1...
あんまり           家になさそう#jitakusan #osc11tk   Page 9
1.ハードウェアの入手  2.ソフトウェアの入手  3.インストールと設定#jitakusan #osc11tk   Page 10
例によってネットオークションで  HCA(Host Channel Adopter = Infinibandカード)    - ポート単価¥3K~6K 程度(SDR 10G)  IBケーブル    - ¥3K~6K 程度  IBスイッチ...
CentOS    - そもそも無償  Citrix XenServer    - 最新バージョン 6.0(2011/11/19現在)    - 無償エディション or 評価版でOK  IB HCAのドライバやユーティリティ       ...
Citrix                                     CentOS 5.7      XenServer 6.0                                                  ...
# cd /var/tmp  # wget  http://www.mellanox.com/downloads/ofed/MLNX_OFED_LINUX-  1.5.3-1.0.0.2-rhel5.7-i686.iso    ※Mellano...
# vi /etc/sysconfig/network-scritps/ifcfg-ib0  DEVICE=ib0  TYPE=Infiniband  BOOTPROTO=static  BROADCAST=192.168.9.255  IPA...
ドライバの準備    - MellanoxのドライバはXenServer用にビルドされていない    - XenServer上では直接ドライバをビルドできない    - DDK(Driver Development Kit 仮想アプライアンス...
[root@localhost ~]# mount /dev/xvdb /mnt[root@localhost ~]# /mnt/mlnxofedinstallThe 2.6.32.12-0.7.1.xs6.0.0.529.170661xen ...
普通のNICならば、   XenServerの管理情報にNICを登録  仮想スイッチ(Linux BridgeやOpen vSwitch   )はEthernet用のため、IPoIBの場合は仮想   スイッチを使わずに通信させる   =先ほ...
XenServerのGUIメニューで必要事項を記入    - SR名    - NFSサーバの情報      - アドレス      - パス    - NFSオプション#jitakusan #osc11tk        Page 19
Infinibandも安価に試せる    - HWのライフサイクルが1周したものは      大抵中古が出回っている    - 今回は手っ取り早く使ってみただけで、      もっと色々できる。  私も初心者です    - まず、手を動かし...
Upcoming SlideShare
Loading in...5
×

OSC 2011 Tokyo/Fall 自宅SAN友の会 (Infinibandお試し編)

5,284
-1

Published on

OSC 2011 Tokyo/Fall 自宅SAN友の会のセッション資料です。
Infinibandをお手軽に試してみました。

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
5,284
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
25
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

OSC 2011 Tokyo/Fall 自宅SAN友の会 (Infinibandお試し編)

  1. 1. 自宅SAN友の会(#jitakusan)島崎 聡史(@smzksts)
  2. 2. 島崎聡史(twitter: @smzksts) - 自宅SAN友の会 主宰  メーカー系研修ベンダーの講師 とある仮想化、クラウド、 - サーバ仮想化&ストレージ研修を担当 - VMware Certified Instructor (VCI) シンクライアントベンダー - Xen, KVM, Solaris Containers のSE - プライベートクラウド(Eucalyptus) - XenServer - デスクトップ仮想化 - Cloudstack - XenDesktop, XenApp インフラ系流行りモノ担当 便利屋さん。#jitakusan #osc11tk Page 2
  3. 3. #jitakusan #osc11tk Page 3
  4. 4. 自宅SAN - iSCSI - Fibre Channel - 中古HW+OSCでお安く 自宅ラック - スチールラック同等の スペース - 高密度集約、高可動性 - 安全性#jitakusan #osc11tk Page 4
  5. 5. 今回の基本方針 -省スペース -低コスト + 短時間でできる + 初心者向け これからお話するトピックは、 私自身が初心者です。#jitakusan #osc11tk Page 5
  6. 6. IPoIB (IP over Infiniband)で CentOSのNFSサーバと Citrix XenServerをつないでみた#jitakusan #osc11tk Page 6
  7. 7. IPoIBとは - Infiniband上でIP通信を行う機能 Infinibandとは - InfiniBand(インフィニバンド)とは、非 常に高いRAS(信頼性・可用性・保守 性)を持つ基幹系・HPC系のサーバ/クラ スター用高速I/Oバスアーキテクチャ及 びインターコネクトのこと。 ※Wikipediaより引用#jitakusan #osc11tk Page 7
  8. 8. 構成ごとの理論スループット SDR DDR QDR FDR EDR HDR NDR 2 4 8 14 26 125 750 1X Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s 8 16 32 56 104 500 3000 4X Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s 24 48 96 168 312 1500 9000 12X Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s#jitakusan #osc11tk Page 8
  9. 9. あんまり 家になさそう#jitakusan #osc11tk Page 9
  10. 10. 1.ハードウェアの入手 2.ソフトウェアの入手 3.インストールと設定#jitakusan #osc11tk Page 10
  11. 11. 例によってネットオークションで HCA(Host Channel Adopter = Infinibandカード) - ポート単価¥3K~6K 程度(SDR 10G) IBケーブル - ¥3K~6K 程度 IBスイッチ - 希に見かける程度。 直結構成なら 1万円未満で可能! (※マシン費用は除く)#jitakusan #osc11tk Page 11
  12. 12. CentOS - そもそも無償 Citrix XenServer - 最新バージョン 6.0(2011/11/19現在) - 無償エディション or 評価版でOK IB HCAのドライバやユーティリティ 無料です ※一部コンテンツは有料だったりしません - メーカーサイトからダウンロード - 無償#jitakusan #osc11tk Page 12
  13. 13. Citrix CentOS 5.7 XenServer 6.0 VM格納用 サーバ:富士通 MX130S1 VM稼働用 NFSサーバ HCA:Mellanox Infinihost III#jitakusan #osc11tk Page 13
  14. 14. # cd /var/tmp # wget http://www.mellanox.com/downloads/ofed/MLNX_OFED_LINUX- 1.5.3-1.0.0.2-rhel5.7-i686.iso ※Mellanoxのサイトにディストリビューション、バージョン、アーキテクチャ ごとのISOイメージがあるので、そのアドレスをあらかじめ確認 # mount -o loop MLNX_OFED_LINUX-1.5.3-1.0.0.2-rhel5.7- i686.iso /mnt # /mnt/mlnxofedinstall ※インストーラが実行されます#jitakusan #osc11tk Page 14
  15. 15. # vi /etc/sysconfig/network-scritps/ifcfg-ib0 DEVICE=ib0 TYPE=Infiniband BOOTPROTO=static BROADCAST=192.168.9.255 IPADDR=192.168.9.101 NETMASK=255.255.255.0 NETWORK=192.168.9.0 ONBOOT=yes # chkconfig opensmd on ※ネットワーク内の1台のみ # shutdown -r now#jitakusan #osc11tk Page 15
  16. 16. ドライバの準備 - MellanoxのドライバはXenServer用にビルドされていない - XenServer上では直接ドライバをビルドできない - DDK(Driver Development Kit 仮想アプライアンス)でビ ルドし、XenServerにコピーする - DDKはCitrixからDLし、XenServerにインポートする - XenServer6.0(5.6fp1以降)はCentOS 5.5(RHEL5.5) 32bit用のドライバが利用可能#jitakusan #osc11tk Page 16
  17. 17. [root@localhost ~]# mount /dev/xvdb /mnt[root@localhost ~]# /mnt/mlnxofedinstallThe 2.6.32.12-0.7.1.xs6.0.0.529.170661xen kernel is installed, but do not have driversavailable.Cannot continue. ※そのままインストールはできません。[root@localhost ~]# cp /mnt/src/OFED-1.5.3-1.0.0.tgz /var/tmp[root@localhost ~]# cd /var/tmp/[root@localhost tmp]# tar xvfz OFED-1.5.3-1.0.0.tgz(※省略)[root@localhost OFED-1.5.3-1.0.0]# lsBUILD_ID LICENSE README.txt RPMS SRPMS install.pl ofed.conf uninstall.sh[root@localhost OFED-1.5.3-1.0.0]# ./install.pl(※省略)[root@localhost OFED-1.5.3-1.0.0]# ls -R RPMS/centos-release-5-5.el5.centos/i686/RPMS/centos-release-5-5.el5.centos/i686/:libibverbs-1.1.4-1.23.g6ccf63e.i386.rpm libmthca-1.0.5-0.1.gbe5eef3.i386.rpm(※省略)このrpmファイルをXenServerにコピーすると、rpmコマンドでインストールで17#jitakusan #osc11tk Page
  18. 18. 普通のNICならば、 XenServerの管理情報にNICを登録 仮想スイッチ(Linux BridgeやOpen vSwitch )はEthernet用のため、IPoIBの場合は仮想 スイッチを使わずに通信させる =先ほどのCentOSと同様に、ifcfg-ib0を作成#jitakusan #osc11tk Page 18
  19. 19. XenServerのGUIメニューで必要事項を記入 - SR名 - NFSサーバの情報 - アドレス - パス - NFSオプション#jitakusan #osc11tk Page 19
  20. 20. Infinibandも安価に試せる - HWのライフサイクルが1周したものは 大抵中古が出回っている - 今回は手っ取り早く使ってみただけで、 もっと色々できる。 私も初心者です - まず、手を動かして触ってみる!#jitakusan #osc11tk Page 20
  1. ¿Le ha llamado la atención una diapositiva en particular?

    Recortar diapositivas es una manera útil de recopilar información importante para consultarla más tarde.

×