詳細はブログ記事にて http://www.koemu.com/blog/2010/10/30/bpstudy38/

1. 2010/10/29
BPStudy#38@EBISU
303
斎藤
祐⼀一郎
(id:koemu)

2. 1. VMware
HAを使うと、特別な設定
をしなくても簡単にHA構成が組める
よ！
◦ 多分VMware以外でも応⽤用できると思います
2. VMを使うと少数のサーバでも美しく
業務を分けられるようになるよ！
 資料は後でblogにアップします
2010/10/29
2
Copyright(C) 2010 Yuichiro Saito

3. 1. ⾃自⼰己紹介
2. VM化以前の状況
3. システムリプレース時の要求
4. 導⼊入時に⽐比較した構成
5. 現状の構成
6. 導⼊入後のメリット
7. 注意点
8. 今後構築されたい⽅方へ
9. おわりに
2010/10/29
3
Copyright(C) 2010 Yuichiro Saito

4.  斎藤
祐⼀一郎
◦ id: koemu
◦ 所属 (株)インタラクティブブレインズ
◦ ARや3Dサーバサイドレンダリングシステ
ム構築に関するSEをしています
◦ その傍らで社内の情報システム管理担当
◦ 以前は株式のテクニカル分析に関するシ
ステムも組んでました
◦ ⾃自転⾞車車とスキーが好きです
2010/10/29
Copyright(C) 2010 Yuichiro Saito
4

5. 2010/10/29
5
Copyright(C) 2010 Yuichiro Saito
• 他の業務を巻き添えにして⽌止まる
• ⼤大企業のように業務毎にサーバを⽤用意できなかった
• 障害切り分けを複雑化させてしまう
• 業務の例: DNS, LDAP
, WebDAV,メール, ML, SVN, Redmine, Proxy, Reverse Proxy, Web
たった3台のサーバに10の業務
• 障害が起きると修理完了まで業務停⽌止
冗⻑⾧長化されていない機材
• 創業期(5年以上前)に買ったものらしい
• 昨今のサーバに⽐比べてとても⾮非⼒力力
• 保守部品がないものもあり故障したら修理ほぼ不能
機材の⽼老老朽化と保守切れ

6. リプレースしないとまずい。
さて、どうするか。
2010/10/29
Copyright(C) 2010 Yuichiro Saito
6

7.  サーバ本体の可⽤用性を次の通りとした。
 基幹のため、データを守るべくパブリッ
ククラウドは選定から外れた。
 ネットワークを冗⻑⾧長化すると予算をオー
バーするので今回はあきらめた。
求められる⽔水準
可⽤用性指標
対象サービス
10分以内に復帰し業務
影響を最⼩小限に抑える
99.950%
メール
(POP3,
SMTP,
IMAP),
ML,
LDAP,
DNS
30分程度で復帰できれ
ば問題ない業務
99.900%
WebDAV,
SVN,
Redmine
2 3時間程度で復帰で
きれば問題ない業務
99.500%
リバースプロキシ,
プロキシ
2010/10/29
7
Copyright(C) 2010 Yuichiro Saito

8.  レガシー案
◦ 重要なシステムのみ
冗⻑⾧長化
 VM案
◦ VMware HAで全て
冗⻑⾧長化
冗⻑⾧長化対応
ストレージ
メール,ML,
LDAP
,DNS
WebDAV,
SVN,
Redmine
Proxy,
Reverse-P
,
DNS
3Dレンダリング
テストサーバ群
Proxy,
Reverse-P
,
DNS
3Dレンダリング
テストサーバ群
冗⻑⾧長化対応
ストレージ
VMware
vSphere 4
VMware
vCenter
2010/10/29
8
Copyright(C) 2010 Yuichiro Saito

9. 台数が変わらない。
2010/10/29
9
Copyright(C) 2010 Yuichiro Saito

10.  ⼩小規模⽤用のEssential Plusは、ホスト3台分
セットで、OEM価格だと33万円だった。
(保守費⽤用は別途いるけど27万円/5年)
 マシン1台分のコストを上乗せすれば、
VMwareのHA構成が組めることがわかった。
2010/10/29
10
Copyright(C) 2010 Yuichiro Saito

11. VM案で決定
価格はマシン1台分しか変わらないし
やれることが増える
2010/10/29
Copyright(C) 2010 Yuichiro Saito
11

12. 運⽤用中の仮想サーバ
 業務毎に仮想サーバを分けている。
 運⽤用状況をわかりやすくするため、2
台のうち1台のみを通常は利⽤用。⽚片⽅方
はホットスタンバイ(⾊色が薄いサーバ)。
Copyright(C) 2010 Yuichiro Saito
12
DNS,
LDAP
WebDAV
Redmine
SVN
メール,
ML
経理DB
開発⽤用
テストサーバ群
VMware
vCenter
(管理専⽤用)
2010/10/29

13.  機種: IBM BladeCenter S + HS22
 OS: Ubuntu Linux 10.04 LTS
 CPU: Xeon L5518 x 2
 RAM: 24GB
 NIC: 4枚刺し (2枚1組のBonding)
 ローカルHDD: RAID1 72GB x 2
◦ イメージは共有HDDにあるので⼩小さくてOK
 共有HDD: RAID5 147GB x 11 (+予備1)
◦ 共有SASタイプ
コントローラ冗⻑⾧長化済
◦ ⼀一杯HDDがあると書き込みが分散して相対的に
速くなる
◦ アレイ構築に1⽇日かかるのにびっくり
2010/10/29
Copyright(C) 2010 Yuichiro Saito
13

14.  下記はある平⽇日の全VMのCPU負荷を重ねた
グラフである
 7台動いているが超余裕
200%いかない
◦ 上限は1,600%(16スレッド)なので注意
 ⽐比較的重たいのはメール・ML⽤用仮想サーバ
2010/10/29
Copyright(C) 2010 Yuichiro Saito
14

15.  下記はある平⽇日のメール・ML⽤用仮想
サーバのLoad Average(以下LA)である
 先ほどのグラフと同じ⽇日のデータ
 以前のマシンだとLAは1を常に超えてい
たが現状は最⼤大0.4
2010/10/29
Copyright(C) 2010 Yuichiro Saito
15

16. 内容
後
前
ハード障害
待機系にフェイルオーバ
してすぐに復帰可能
修理するまで復帰不可能
ミドル障害
他の業務を巻き込まなく
なり影響範囲が限定
Apacheが落ちると多く
を巻き込んで被害甚⼤大
障害切り分け
原則1サーバ1業務のため
障害切り分けが楽
複数のサービスがうごめ
きどれが原因か探るのが
⾯面倒
マシン調達
直ちに準備可能
逐次買う必要があった
メンテナンス
IDCに⾏行行かなくてもOSイ
ンストールやメンテがで
き作業時間短縮可能
OSインストールはIDCで
⾏行行う必要あり
構築
イメージテンプレート化
で即座に⽴立立ち上げ
同じような作業を繰り返
す必要あり(OSインス
トールなど)
2010/10/29
Copyright(C) 2010 Yuichiro Saito
16

17.  好きなOSをチョイスできる
◦ パブリッククラウドではOSが限定される
 イメージのテンプレート化でさくさく作業可能
◦ 2ヶ⽉月で全システムを移⾏行行完了
 マシン調達の⼿手間とリードタイムからの解放
◦ さらば稟議書！
◦ 場所や電源の確保も考えなくてよくなる
◦ 固定資産が増えないので経理の⼈人やB/Sにも優しい
(と思う)
 VMイメージのメリット
◦ 万⼀一の場合はディスクイメージごと丸ごとロール
バックできる。スナップショットも活⽤用する。
◦ ミドルウェア
アップデート試験がやりやすい。
2010/10/29
17
Copyright(C) 2010 Yuichiro Saito

18. 
VMware
HA
≠
完全無停⽌止。⼀一度マシンが
停⽌止して、再起動することで復帰となる。
◦ 完全無停⽌止(FT)はべらぼうに⾼高い
◦ 機材障害からのみ守れると思うべき
◦ ミドルウェアの障害対策(MySQL等)は複数の仮
想サーバを⽤用意し回避するのが⼿手っ取り早い
◦ いずれにしても障害時試験はすること
 サーバをいっぱいあげたくてもグローバルIP
が枯渇して叶わないことがある。
◦ 外部公開にはリバースProxyも活⽤用
 ホストが4台以上になるときは、ライセンス
は全て買い直し。
◦ そんなに増やす頃にはもっと儲かってるだろう
2010/10/29
18
Copyright(C) 2010 Yuichiro Saito

19.  ディスクとRAM容量
◦ これらが多いほどたくさんの仮想サーバがあげられる。
◦ ただ、仮想サーバを⼊入れすぎるとCPUやI/Oのパワーが⾜足
りなくなって持て余す可能性あり。バランスもある。
 ⽴立立ち上げる仮想サーバの注意
◦ 連続⾼高負荷(バッチ等)がかかるサーバは仮想化から除外す
ることも考慮する。他の仮想サーバに影響が出る。
◦ GPUを使う仮想サーバは今のところ無理。
 共有ディスクの構築
◦ コントローラはケチってはダメ。I/Oパフォーマンスに悪
影響。Write
Backキャッシュ必須。
◦ SAS(3Gb)とiSCSI(1Gb)では、SASのほうがスループッ
ト・レイテンシともに良好であった。⼩小規模ならSASも⼀一
考の価値あり。
 VMはベンダーからOEM提供があると安く調達可能
2010/10/29
Copyright(C) 2010 Yuichiro Saito
19

20.  運⽤用の悩みが解消できた
◦ 仮想化で障害の悩みはずいぶんと解消可能
 中⼩小企業におけるプライベートクラウド
の可能性
◦ 中⼩小企業はこれまで多くサーバを買えなかっ
たが、仮想化することで業務細分化ができる
ようになる。⼤大企業の仮想化とは逆。
 パブリッククラウドで動く仮想サーバの
挙動についても想像がつくようになる
◦ 思ったほど速くないのは⾃自分のサーバは重い
仮想マシンばかりのクラスタだった、とか…
2010/10/29
20
Copyright(C) 2010 Yuichiro Saito

21. 2010/10/29
21
Copyright(C) 2010 Yuichiro Saito