MD Infra history
- 3. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
本発表について
私がラクスに入社した2012年以降での、MailDealerを提供するインフラ基盤の変
遷についてご紹介し、現在までの過程におけるシステム構成や問題・課題につい
て説明します。
あわせて、インフラ基盤の見直しによる効果と、最終的にどのように生産性向上
に結び付いたかについても発表いたします。
- 4. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
インフラ歴史年表
・MailDealerのインフラ基盤における歴史
2012 2013 2014 2015 2016 2017 2018 2019 2020 2021
物理サーバ全盛期
仮想化の過渡期（3Tier構成）
HCI基盤への統合
一部、物理サーバでの運用継続
- 7. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
老朽化した機器が大半を占める（Mail Dealerは、2001年にサービス提供開始）
極細帯域のネットワーク環境
サービス拡大に伴う物理サーバとデータセンターラック数の肥大化
ファシリティコスト :増加
トラブルの頻度 :増加
サーバ構築コスト :増加
構築リードタイム :⾧期化
生産性向上への改善取組み :低下
データセンターへの移動 :しんどい
問題・課題点
「やってられへん」
- 9. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
仮想化の過渡期（2013年～）
前述の問題点を軽減するため、3Tier構成の仮想基
盤を新規導入。
主な特徴
「物理サーバ」「ストレージ専用ネットワーク＝SAN」「共有ストレージ」を組
み合わせて構成
各製品に対する習熟が求められ、それぞれに管理ツールが必要
仮想化ソフトウェアと各製品との親和性・互換性を考慮した設計と運用
が重要となる
ディスクI/O(read/write)性能は、専用ストレージ製品のスペックに大き
く依存する
仮想化
共有ストレージ
サーバ
ストレージ ストレージ ストレージ
サーバ サーバ
SAN
サービスネットワーク
サーバ
サーバ
サーバ
サーバ
サーバ
サーバ
ハイパーバイザー
・・・・・
- 10. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
導入効果および問題・課題
＜導入効果＞
• 仮想化の推進により、ファシリティコスト削減
• 新規サーバ構築のコスト削減、リードタイム短縮
＜新たな問題＆課題＞
• オール仮想化は断念（大容量サーバは仮想化すると性能劣化）
• 仮想基盤システム構成が複雑なので、構築および運用管理コスト増加
• 仮想基盤内での障害ポイントが多く、トラブル時は影響範囲も広大化
• トラブルシューティングの難易度もアップ
- 11. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
仮想化の完遂に向けて（2019年～）
前述の問題解消のため、HCIの仮想基盤を導入。
HCI（ハイパーコンバージドインフラ）とは
ラック型サーバのみで構成
共有ストレージ製品とSANも不要
→ ローカルストレージ×ソフトウェアで共有ストレージを構成
非常にシンプルな構成
ソフトウェアのアップグレードでディスクI/O性能の向上も
仮想基盤のスケールアウトが容易なアーキテクチャ
ネットワーク
仮想化
サーバ
Disk
サーバ
Disk
サーバ
Disk
論理ストレージボリューム
ハイパーバイザー
・・・・・・・
- 12. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
ネットワーク
仮想化
サーバ
Disk
サーバ
Disk
サーバ
Disk
論理ストレージボリューム
ハイパーバイザー
・・・・・
仮想化
共有ストレージ
サーバ
ストレージ ストレージ ストレージ
サーバ サーバ
SAN
サービスネットワーク
サーバ
サーバ
サーバ
サーバ
サーバ
サーバ
ハイパーバイザー
・・・・
・
全環境をHCI仮想基盤に統合（2020年）
大容量サーバも、仮想化できた。これにより、トータル数百台規模のオール仮想化を達成。
→旧環境は廃止
引退 引退
バックアップ系サーバは、
物理筐体での運用継続
- 14. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
さらなるファシリティ管理コストの削減
仮想基盤システムの拡張性アップ
スッキリ♪
仮想化
サーバ
Disk
サーバ
Disk
サーバ
Disk
論理ストレージボリューム
ハイパーバイザー
・・・・・
仮想化
サーバ
Disk
サーバ
Disk
サーバ
Disk
ハイパーバイザー
・・・・・・・・
サーバ
Disk
サーバ
Disk
論理ストレージボリューム
仮想基盤クラスタを容易に
スケールアウトできる
物理筐体・設備が減少し
管理コストを削減
- 15. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
自動化
オール手動作業
サーバ構築までのリードタイム短縮
サーバ構築完了までのリードタイムを比較
物理サーバの調達
納品＋
設置
1~2時間
2時間
0.5～1カ月 2時間～3日
一部自動化
1時間～3日
昔
今
OSセッ
トアップ
APPイン
ストール
その他設定
(外部サービス連携)
1時間 1時間
仮想マシン
デプロイ
OSセッ
トアップ
APPイン
ストール
その他設定
(外部サービス連携)
大幅に短縮 → サービス拡大スピードの向上に寄与
- 16. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
サーバ台数とハード障害件数の推移
MailDealerのサーバ台数は、2012年～現在までに約2倍に増加。
（数百台レベルで増加）
ハードウェア関連の障害件数については、2013年以降右肩下がりで減少。
（2012年は記録なし）
もし、物理サーバのまま運用していたら、サーバ台数の増加に伴い、
物理レイヤの対応コストが膨らみ続けて業務が破綻していたと推測。
2012 2013 2014 2015 2016 2017 2018 2019 2020
ハード障害件数の推移
仮想化
HCI導入
- 18. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
業務の自動化に向けた取り組みを推進中。
・生産性のある取り組み時間を確保
・構成管理ツール等の導入により、インフラのコード化に着手
・オール仮想化により「Infra as Code」の効果を発揮
Infra as Codeの実現
コード ツール
OS・アプリケーション
CPU・Memory・
周辺インターフェイス
ディスクボリューム
オール仮想化することで、
コード化の範囲が拡大
業務の自動化により、さらなる
生産性の向上につなげていきたい
- 19. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
現在の業務イメージ（一部、実装途中）
現地での物理レイヤ作業は
最小限に。
オフィス
データセンター
仮想化
サーバ
Disk
サーバ
Disk
サーバ
Disk
論理ストレージボリューム
ハイパーバイザー
・・・・・
IPMI
(ハードウェア管理イン
ターフェイス)
・電源管理
・ハードウェア状態確認
・その他ハードウェア操作
playbook
API
・サーバのデプロイ
・アプリのセットアップ
・その他メンテ作業
・（構成管理）
- 20. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
個人負担増加
改善取組の時間が
取れない
生産性・品質の
低下
トラブル増加
対応工数増加
負のスパイラルからの脱却
非生産性の時間
削減
改善取組の時間
確保
自動化の推進
生産性・品質の
向上
チーム標準化
物理サーバ全盛期 オール仮想化後の現在
- 22. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
トラブルがなくなった訳ではなく、
新たな課題も
仮想基盤の適切なキャパシティ管理
ネットワークや仮想化ソリューション仕様に起因するトラブル
求められるスキルアップ＆チーム平準化
オール仮想化に適したバックアップ
- 23. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
まとめ
物理サーバ全盛期から少しずつ仮想化を推進し、オール仮想化を達成できた
ことで、Maildealerのサービス拡大にも耐えれるインフラ基盤を実現。
また、従来からの様々な問題課題をクリアし、生産性の高い業務時間を確保。
これにより、自動化などの取り組みを進め、さらなる業務効率化を図っている。
しかし、オール仮想化ならではの新たな問題やトラブルもある為、それらの解
消に向けて引き続き取り組みが必要。
- 24. #RAKUSMeetup
©2021 RAKUS Co., Ltd.
今後の展望
必要課題も踏まえ、以下のような取り組みを計画。
1. インフラ構成管理スキルの拡充（絶対的なスキル不足。自分が。）
2. 実用的なバックアップ仕組みの実装
3. パブリック＋オンプレのハイブリッドクラウド環境
4. ネットワーク仮想化
