DRBD/Heartbeat/Pacemakerで作るKVM仮想化クラスタ

DRBD/Heartbeat/Pacemaker で作る KVM 仮想化クラスタ株式会社サードウェア久保元治 2 台のサーバのみでライブマイグレーションを実現

目次
目的
設計
iSCSIストレージ・クラスタ
ネットワーク
パフォーマンス

目的
仮想化の可能性と問題の検証
Nagios、JP1 (Windows)など監視系から載せてみたい
ライブマイグレーションは実現したい
冗長構成
物理サーバの故障やメンテナンスに備える
予算の制約
物理サーバ2台でどこまで実現できるか

設計
CentOS 5.5、KVMを採用
iSCSIターゲットをHAクラスタで構成
2台のサーバのどちらかでiSCSIターゲットが動作
2台のiSCSIイニシエータは仮想IPアドレスにアクセス
ネットワークの工夫
ボンディングとジャンボフレーム
ゲストOSの追加・削除に対応させる
DRBDの上でLVMを動作させる

設計リアルタイム・レプリケーションサーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータサーバ 1 KVM DRBD ( プライマリ ) QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲット 1 2 3 4 iSCSI イニシエータサーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータサーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 iSCSI ターゲット iSCSI イニシエータ DRBD ( セカンダリ )

設計リアルタイム・レプリケーションサーバ 1 KVM DRBD QEMU ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータサーバ 1 KVM DRBD ( プライマリ ) QEMU ゲスト OS 2 LVM2 iSCSI ターゲット 1 2 3 4 iSCSI イニシエータサーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータサーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 iSCSI ターゲット iSCSI イニシエータ DRBD ( セカンダリ ) QEMU ゲスト OS １ QEMU ゲスト OS １ライブマイグレーション

設計リアルタイム・レプリケーションサーバ 1 KVM QEMU QEMU ゲスト OS １ゲスト OS 2 iSCSI イニシエータサーバ 1 KVM QEMU QEMU ゲスト OS １ゲスト OS 2 iSCSI イニシエータサーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲットサーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 iSCSI ターゲット iSCSI イニシエータ DRBD ( セカンダリ ) DRBD LVM2 iSCSI ターゲット DRBD ( プライマリ ) LVM2 iSCSI ターゲット 1 2 3 4 フェールオーバ

設計リアルタイム・レプリケーションサーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータサーバ 1 KVM DRBD ( プライマリ ) QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータサーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲットサーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 1 2 3 4 iSCSI イニシエータ DRBD ( プライマリ ) QEMU QEMU ゲスト OS １ゲスト OS 2 QEMU QEMU ゲスト OS １ゲスト OS 2 ダウン！物理サーバがダウン

設計ボンディング iSCSI アクセス用ボンディング DRBD データ用 SAS SAS SAS SAS RAID (BBWC) eth0 eth1 eth2 eth3 eth4 eth5 SAS SAS SAS SAS RAID (BBWC) eth0 eth1 eth2 eth3 eth4 eth5 LAN 監視用

iSCSIストレージクラスタ
iSCSIターゲット
DRBD/Heartbeat/Pacemaker/ietd
DRBD上にLVMを構成
注意点
iSCSIイニシエータ、libvirtdはiSCSIターゲット起動後に起動するよう、クラスタリソースとして制御する

iSCSIストレージクラスタ primitive main_t01_target ocf:heartbeat:iSCSITarget params implementation="iet" iqn="iqn.2006-05.jp.onisi:kvmsv:t01" tid="1" portals="10.0.1.65:3260" op start interval="0" timeout="30" op stop interval="0" timeout="30" op monitor interval="50" timeout="30" primitive main_t01lv01 ocf:heartbeat:iSCSILogicalUnit params implementation="iet" lun="1" target_iqn="iqn.2006-05.jp.onisi:kvmsv:t01" path="/dev/vg/t01lv01" op start interval="0" timeout="30" op stop interval="0" timeout="30" op monitor interval="50" timeout="30" primitive post_ip1 ocf:heartbeat:IPaddr2 params ip="10.0.xxx.yyy" cidr_netmask="24" op monitor interval="50" timeout="30" primitive post_ip2 ocf:heartbeat:IPaddr2 params ip="192.168.aaa.bbb" cidr_netmask="24" op monitor interval="50" timeout="30" primitive post_portunblock _iscsi ocf:heartbeat:portblock params protocol="tcp" action="unblock" portno="3260" op start interval="0" timeout="30" op stop interval="0" timeout="30" op monitor interval="50" timeout="30" primitive pre_lvm ocf:heartbeat:LVM params volgrpname="vg" op monitor interval="50" timeout="30" op start interval="0" timeout="30" op stop interval="0" timeout="30" primitive pre_portblock_iscsi ocf:heartbeat:portblock params protocol="tcp" action="block" portno="3260" op start interval="0" timeout="30" op stop interval="0" timeout="30" op monitor interval="50" timeout="30"

iSCSIストレージクラスタ primitive res_drbd_r0 ocf:linbit:drbd params drbd_resource="r0" op monitor interval="10" op start interval="0" timeout="240" op stop interval="0" timeout="100" primitive res_iscsi lsb:iscsi primitive res_libvirtd lsb:libvirtd op start interval="0" timeout="120" op stop interval="0" timeout="300" group all pre_portblock_iscsi pre_lvm main_t01_target main_t01lv01 post_ip1 post_ip2 post_portunblock_iscsi ms ms_drbd_r0 res_drbd_r0 meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true" clone c_iscsi res_iscsi meta clone-node-max="1" clone-max="2" globally-unique="false" clone c_libvirtd res_libvirtd meta clone-node-max="1" clone-max="2" globally-unique="false" location l_all all 100: kvmsv001.onisi.jp colocation col_all inf: all ms_drbd_r0:Master order o_all 0: ms_drbd_r0:promote all:start order o_all_iscsi inf: all c_iscsi order o_iscsi_libvirtd inf: c_iscsi c_libvirtd property default-resource-stickiness="200" no-quorum-policy="ignore" stonith-enabled="false"

ネットワーク
230MB/sec >> 1G bps
ネットワークがボトルネックに
ボンディング(mode=0)だけでは不十分
ジャンボフレーム(mtu 9000)を追加

ネットワーク参考: KVMネットワーク構成ガイド for RHEL 5.4 ( 日本 IBM Linux/OSS サポート・センター ) eth0 eth1 eth2 eth3 eth4 eth5 bond0 bond1 VLAN サービス提供サーバ管理 Heartbeat DRBD レプリケーション Heartbeat iSCSI アクセスゲスト間通信

パフォーマンス
ネットワーク性能はnetperfで測定
DRBDの性能測定 dd if=/dev/zero of=.... bs=100M count=50 oflag=dsync
bonnie++なども有用だが実施できず

パフォーマンスサーバ本体 HP Proliant DL 360 G7 メモリ 18GB RAID コントローラ P410i (BBWC 512MB) ハードディスク SAS 300GB 10,000rpm×6 (RAID5) ネットワーク 1000BaseT

パフォーマンス eth0 bonding (eth0+eth1) bonding (eth0+eth1+eth2) bonding (eth0+eth1+eth2+eth3) 1500 940 Mbps 1500 1213 Mbps 1500 1498 Mbps 1500 2092 Mbps bonding (eth0+eth1) 9000 1964 Mbps ネットワーク構成 MTU 性能

パフォーマンス DRBD 構成前の HDD への直接書き込み 141 MB/sec DRBD 領域に直接書き込み 230 MB/sec ローカル iSCSI ターゲットに書き込みリモート iSCSI ターゲットに書き込み 1 ゲスト、仮想ディスクに書き込み 2 ゲスト、仮想ディスクに同時書き込み 310 MB/sec 122 MB/sec 172 MB/sec 126 MB/sec

最後に
多少のスケーラビリティ
KVMホスト追加可能
仮想環境入門に最適
ゲストOS管理は課題
コマンドベースでの追加・削除が必要
virt-managerはまだVLANをサポートしていない

http://b.hatena.ne.jp	3
http://twitter.com	1
http://a0.twimg.com	1
http://paper.li	1
http://translate.googleusercontent.com	1

DRBD/Heartbeat/Pacemakerで作るKVM仮想化クラスタ

by 株式会社サードウェア

Accessibility

Categories

Upload Details

Usage Rights

5 Embeds 7

Statistics