DMM.comのインフラのこれから 株式会社DMM.comラボ渡辺憲一 2015年7月24日(金曜日)14：10-18：40 VIOPS10 WORKSHOP Virtualized Infrastructures Workshop [10]

1. DMM.comのインフラのこれから
2015-07-24 VIOPS10 WORKSHOP
DMM.comラボ 渡辺 憲一

2. • 渡辺 憲一 (twitter.com/wataken44)
• 経歴
• ~ 2015-01: 某サーバベンダ
• LSIとかサーバとか作ってました
• 2015-02 ~: DMM.comラボ
• インフラ担当の部署(サーバ・ミドルウェアの構築・運用)
• ツチノコブログの中の人(ライトノベルの人)
• 1ユーザ企業の現在のインフラと将来のインフラの方向・課題の話をします
自己紹介
1

3. DMM.com
2

4. 増えるサービス
3

5. 増えるユーザ
4

6. • とりあえず「クラウド = IaaS」としておく
⇒「蛇口をひねればコンピュータ資源が利用できる」の実現
• 仮想化基盤としてVM・仮想NWが提供できる
• 調達・運用がAPIなどで簡単に行える
• 付加価値がついていることもある
• AWSのRDS/S3など
• SoftLayerのベアメタルサーバ提供
クラウドとは
5

7. DMMのインフラの遷移
6
?
現在
(物理3000台くらい)
すこし未来 かなり未来
On Premise
Public Cloud
On Premise
Public Cloud
クラウド
▼
ゲーム
動画 www
Private Cloud
動画
www
ゲーム
クラウドの次
▼
ツチノコ
ツチノコ

8. • サービス数が増えていくのでサービスあたりの手間を減らしたい
• DMMの場合は「面白いことをやる」という方針
• DMM以外でもサービス数が増えるのはおそらく同じ
• 個別のサービスごとにサーバ・ストレージがある
• これはそのうち解消していくはず
インフラの課題
7

9.  月間転送容量をベースに比較した参考情報
• 取得できる情報の粒度、精度がそれぞれ別の為、あくまで参
考情報
8
現在 – トラフィックの比率
40 4: :
オンプレミス CDN パブリック
クラウド
1

10. • 350台~の物理サーバ、管理は主にCapistrano
現在 – wwwサーバ
9
LBLB
srv apache srv apache srv apache
srv MySQL srv MySQL srv MySQL srv MySQL
LBLB LBLB
1G
1G
350台~ 物理サーバ
2CPU Xeon
Local HDD
20台~
構成はまちまち
350台~ 物理サーバ
2CPU Xeon

11. • 100台程度の物理サーバ、管理はssh
• 総容量4PB程度(raw)、最近は1PB/年のペースで増加
現在 – 動画配信(streaming)
10
srv GlusterFS srv GlusterFS
srv 配信
10G
10G
配信
GlusterFS
配信
100台程度
物理サーバ
2CPU Xeon

12. • 100台程度のVM(AWS, c3.2xlarge)+AWSの各種機能
• 他タイトルもゲームごとにプラットフォームや構成を決定
現在 – ゲーム(刀剣乱舞)
11
RDS
ELB
VM
RDS
ELB
VM
RDS
ELB
VM
100台~ c3.2xlarge

13. • 1VMでwordpressが動作
• http://tsuchinoko.dmmlabs.com/
現在 – ツチノコブログ
12
VM
(´・ω・`)しょんぼり

14. • Cisco UCS+VMware基盤を構築済
• 物理サーバ100台、管理はCisco UCS Manager
• 搭載VM数は順調に増加中(230VM~)
• 他の基盤も試行・検討中(CloudStack, OpenStackなど)
すこし未来 – Private Cloudに向けて
13
srv
VM
Nexus
NFS Storage

15. • Public Cloud or On Premise ？ ⇒ どっちも残る
• 動画配信は On Premise
• ゲームはタイトルごとに適切なものを選択
• On Premise の中で Private Cloud の位置づけは？ ⇒ 拡大する
• Betterな仮想化基盤というだけでも十分だが、
APIが提供されることのメリットは大きい
かなり未来 – IaaSの行く末
14

16. 共通
共通
• PaaSは流行する？ ⇒ わからない
• 共通化レイヤを上げるという点では正しそう
• 大規模な事例はまだ聞かない
かなり未来 – PaaSへの延長？
15
Server
Hypervisor
OS
Middleware
App
Server
Hypervisor
OS
Middleware
App
Server
Hypervisor
OS
Middleware
App
Server
Hypervisor
OS
Middleware
App
IaaS PaaS
？

17. 多数のサーバ IaaS
asm機械語
• 仮説1: 市場 or 製品が成熟してないから？
• 仮説2: IaaSの段階でAPIが提供されて満足したから？
• 仮説3: 実は正しくない抽象化だから？
かなり未来 – PaaSが流行してない理由
16
抽象度 低 抽象度 高
C
FORTRAN
本当に必要だったもの?
PaaS?

18. • コンテナは？ ⇒ アプリケーション側が対応してくれるなら
• インフラ側から見ると、VMとあまり変わらない(はず)
• 今の市場を見る限り、PaaSとセットで考えることにしたい
• ベアメタルクラウドは？ ⇒ あまり重要じゃなさそう
• インフラ側から見ると、IaaS上のVMに誘導すべき
• 「Cloud Nativeなアプリケーションを書いてください」
• どうしても物理サーバが必要な案件は個別対応
かなり未来 – その他予想
17

19. • 「クラウド = 便利なIaaS」として、その次を考えた
• インフラの課題 = そもそものゴール
「サービス数が増えるので、サービスあたりの手間を減らしたい」
• DMMのインフラ
• 現在: サービスごとにシステムがあり、物理サーバも多い
• すこし未来: IaaS に進んでいる
• かなり未来: IaaS は拡大しそうだが、PaaS/コンテナはよくわからない
まとめ
18

20. 19