シーサーでのInfiniBand導入事例

2,189 views

Published on

シーサーでのInfiniBand導入事例

シーサー株式会社
石川直人
Infiniband DAY [06] Business Conference for Enterprise/Web Service

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,189
On SlideShare
0
From Embeds
0
Number of Embeds
43
Actions
Shares
0
Downloads
0
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

シーサーでのInfiniBand導入事例

  1. 1. シーサーでの InfiniBand 導入事例Infiniband DAY [06] シーサー株式会社 石川直人
  2. 2. 何につかってるか● ストレージのファブリックにInfiniBand SRP ○ 仮想化環境 XenServer のストレージとして ○ 運用開始1年半くらい● DBサーバーのサーバー間通信にIPoIB ○ 自社サービス Seesaaブログで利用 ○ MySQL Master / Slaveの通信 ○ 運用開始10ヶ月程度
  3. 3. XenServerでSRPを使う● SRP (SCSI RDMA Protocol) ○ InfiniBand ULPの1つ ○ 比較的早いプロトコル ○ マルチパスの利用可● XenServer ではSRPのサポート無し● XenServer 5.5 ○ OFED 1.4.2● Scientific Linux 6.2 (ストレージ) ○ OFED 1.5.4 ○ SCST 2.2.0 SRP target
  4. 4. 10GbE 24port 10GbE 24port 共用&管理ネットワークXenServer 5.5 sp2 HP DL380 HP DL380 Xeon E5620x2 Xeon E5620x2 144GB MEM 144GB MEM IB QDR 2port x1 IB QDR 2port x1 10GbE 2port x2 10GbE 2port x2 InfiniBand SRP SAN IB QDR 36port IB QDR 36port マルチパスによる冗長化SL6.2 DRBD SCST HP DL180 HP DL180 Xeon E5645x2 Xeon E5645x2 24GB MEM IPoIB 24GB MEM 900GB 10KRPMx25 DRBD 900GB 10KRPMx25 1.2TB ioDrive 1.2TB ioDrive IB QDR 2port x1 IB QDR 2port x1
  5. 5. 主なセットアップ項目●XenServer へのOFEDインストール ○ XenServer 5.5 / OFED 1.4.2 ○ DDK (Driver Development Kit)上でOFED をmake●SRPターゲット ○ SL6.2 / OFED 1.5.4 / scst 2.2.0●DRBD セットアップ ○ デュアルプライマリ●DM-multipath の設定 ○ XenServer 側は srp イニシエータ設定でマルチパス有 効に(SRPHA_ENABLE=yes)
  6. 6. XenServer + SRP 稼働状況● パフォーマンス ○ スループットはストレージの限界値近くでた ○ fio 4kランダムリード ■ ioDrive ● SRP で半分劣化→VMで3割劣化 ● 100kiops -> 50k -> 35k ■ HDD ● 5000程度のiops ● SRP -> Dom0 -> VM まで顕著な劣化はなかった● 稼働1年半でSRPに起因するトラブル無し ○ 稼働するVMは中規模サービスのDB/ファイルサーバー が複数個 ○ 手動フェールオーバー等のオペレーションはしてない
  7. 7. XenServer + SRP その他● XenServer 5.5 が安定していた ○ srpモジュール組み込み、 multipath の挙動 ○ マイグレーション時のNW断● iSCSI on IPoIB ○ スループットは出る ○ ランダムIOはSRPより劣る● XenServer でiSER ○ ib_iser 組み込み失敗(5.5,5.6,6.0)● XenServer 6.0 srp ○ scsi_transport_srpを有効にすれば利用可 ○ multipath 時のフェールオーバーに時間がかかる ○ マイグレーション時に完全停止が発生してしまう
  8. 8. SeesaaブログでInfiniBandを使う● サービス規模 ○ 月間で2600万ユニークユーザ、16億PV● データベースにMySQLを利用 ○ 5.1.x / utf8 / 全てMyISAM ○ テーブルのサイズ合計は1TB程度 ○ マスター+スレーブ3台の計4台  ○ ストレージにioDrive ○ クラスタリング等はおこなっていない● InfiniBand を用いて障害復旧時間の短縮 ○ マスタ障害時はスレーブから復旧 ○ リモートからのコピー時間=復旧時間
  9. 9. ブログMySQL構成レプリケーションは一 1Gbps Swtich日一回短時間でおこなう 冗長化 db1 db2 db101 db102 マスタDB スレーブ/バックアップ スレーブ/参照用 スレーブ/参照用 IPoIB 40Gbps HP DL360 G7 Infiniband QDR switch の帯域幅 Xeon X5650x2 8GBx6=48GB MEM 負荷の高いテーブルを ioDrive 領域に、 低いテーブルを HDD領域に配置 SAS 2.5 146GB 15KRPMx2 raid1 SAS 2.5 600GB 10KRPMx5 raid10 + ioDriveDuo 1.2TB Scientific Linux 6.2 / OFED 1.5.4
  10. 10. MySQL + IPoIB 稼働状況● マスタ・スレーブ間の通信はIPoIB ○ 10ヶ月程度の運用でネットワークの障害は無い● 障害時のオペレーション ○ レプリケーションの再構築が主な作業 ○ 再構築には生ファイルのコピーをおこなう ○ コピーには rsync ではなくnfsを利用している ○ nfs 上の cp -a で GB/sec のスループット ○ =1TBで15分程度
  11. 11. OFED IPoIB セットアップ# OFEDの取得とインストールwget http://www.openfabrics.org/downloads/OFED/ofed-1.5.4/OFED-1.5.4.tgztar zxvf OFED-1.5.4.tgz && cd OFED-1.5.4vi ofed.conf # インストールパッケージの指定 ipoib=y./install.pl -c ofed.conf # RPMが作成され、インストールがおこなわれるvi /etc/infiniband/openib.conf # IPOIB_LOAD=yes# /etc/init.d/openibd にて ibX でネットワークインターフェースが作成されますcat /etc/sysconfig/network-scripts/ifcfg-ib0DEVICE=ib0TYPE=InfinibandBOOTPROTO=staticIPADDR=10.11.1.11PREFIX=24NETWORK=10.11.1.0BROADCAST=10.11.1.255ONBOOT=yes
  12. 12. まとめ● InfiniBand を用いることにより ○ 仮想化環境では高いスループットと低遅延なストレージ を構築、運用ができている ○ データベース環境では40Gbpsのスループットを生かし、 障害復旧の時間を狭められるためシンプルな構成と運 用が可能

×