ディー・エヌ・エー様 発表「DeNAオンプレミスでこれからやろうと考えていること」 小野 篤司 (株式会社ディー・エヌ・エー) アジェンダ - どうしてオンプレの環境が必要なのか - 取り組みたいこと --- 1. サーバ運用とネットワーク運用の統合 --- 2. ストレージサービス --- 3. 仮想サーバの性能アップ - OpenStackでの取り組み

1. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
オンプレで、
これからやろうとし
てること
Dec 2, 2015
Atsushi Ono
IT Platform Dept
DeNA Co., Ltd.

2. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
自己紹介
氏名
小野 篤司(ono atsushi)
入社
2004/03月
所属
システム本部IT基盤部 部長
経歴
金融系SierからDeNAへ
一貫してインフラ管理
DeNAではEC,ゲーム,エンターテイメント,諸処の新規事業系含め
ほぼ全ての事業に関与
著書
Mobageを支える技術
2

3. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
本日お話すること
3

4. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
 技術にDeep Diveする話しではないです
 DeNAの次世代インフラの”構想”のお話です
⁃ 妄想ではなく絶賛取組中です
4

5. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
どうしてオンプレの環境が必要なの？
AWSでいいのでは？
本題の前に、
5

6. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
AWSはとてもいいサービス
 データを社外に出したくない？
 クラウドは不安？
6
 自分がスタートアップ始めたら、まず使うと思います
 海外でサービスローンチしたい
 初期投資抑えたい、でもサービスヒット時にはしっかりスケールさせた
い
そんなこと言うひと、
もうあまりいませんよね

7. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ネックは？
 コストです
 OPEXで考えれば、、、、
7
全く無視出来ないコスト差があるので、
DeNAでは当面オンプレが主力です。
考えても、
ペイしません。

8. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
サーバ運用とネットワーク運用の統合
取り組みたいこと、その１
8

9. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
DeNA IT基盤部の体制
IT基盤部
Network G 1G 2G
9
他部門
依頼
依頼
依頼
依頼

10. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
これでも運用できるけど、
 スピード感高める為に、
⁃ Network担当ヘの“依頼業務”をなくしたい
⁃ アプリケーション、サーバ、ネットワーク one stopで対応出来る人
材増やしたい
• 敷居が高い？ そんなことはない
• 会社、個人のキャリアパス双方にwin/winのはず
 どうやる？
⁃ SDN、LBaaS/FWaaSの活用
⁃ LinuxベースのネットワークOSの導入
• 必然的にwhite box switchの導入になる
• 従来のアプライアンス機比でコストダウンも狙えるかもしれない
10

11. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
サーバ管理者にとってのメリット
 SDN、LBaaS/FWaaS
⁃ VLAN作成、Network ACL設定の敷居を下げてくれる
⁃ ロードバランサー設定の敷居を下げてくれる
• DeNAでは実現済
⁃ NAT設定の敷居を下げてくれる
11
 LinuxベースのネットワークOS
⁃ Configuration管理がサーバと一元化できる
• By chef、ansible、pupetなど
• アカウントをLDAP,ADで管理など
⁃ トラブルシューティングのとっかかり敷居を下げてくれる
• 慣れ親しんだLinuxコマンド
• Scriptさくっと書いて障害調査
AWS likeはGood

12. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ということで、
 BigSwitch
 Cumulus Linux
 White box switch
 HAProxy,BIG-IP,NetScaler
こんなところを(今は)具体的に考えています。
12

13. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ストレージサービス
取組みたいこと、その２
13

14. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
仮想環境での運用上の課題
再セットアップして追加
14
VM VM VM VM VM VM VM VM VM VM VM VM
VM VM VM VM VM VM VM VM VM VM VM VM
・・・
✖
✖
VM VM VM VM VM VM
1hostに大量のguestを積んでいると、
これが非常に面倒くさい。。。

15. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
こうしてなくしたい
15
VM VM VMVM VM VM
✖
Servers
Storage pool
再構築作業自体なくなる
可用性もN+1で済む
Guestのイメージと重要なデータを配置
VM VM VM

16. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ということで、
 Ceph使えればと思ってます
⁃ 実は性能はそこまで求めてない
⁃ IO incentiveはmysqlくらい。そこは外してスタートかも
16

17. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
仮想サーバの性能アップ
取組みたいこと、その３
17

18. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
DeNAではハードウェアリソースの有効活用を追求
 通常VM単位で分けそうなケースでもプロセス単位で運用
⁃ ゲーム用WAFは１つのappサーバで複数ゲームに対応
⁃ mysql,memcachedなどをマルチプロセスで管理
18
VMによるOverheadを避ける
デメリットもなくはない。
例えばセキュリティ観点
運用担当のアクセス範囲を制限し難くなる
例えば運用観点
ポータビリティがない
コンテナで解決を？

19. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ということで、
 Docker? 多分違いそう
⁃ アプリケーションコンテナよりOSコンテナがいいのかな、と思って
ます
• 運用を考えるとvm likeに扱えるメリットが大きそう
 知識不足感が強く要リサーチです
19

20. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
やっぱりOPENSTACKを使おうと思ってます
これらはそれぞれでも取り組めますが、
20

21. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
単なるIaaSならなくてもいい
 DeNAでは以前からインフラ管理をソフトウェア的に扱い、運用効率を
高めてきた
⁃ IaaSという発想は以前からあり、実践されている
 代表例、mbgaclone。通称モバクロ
21

22. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
DEMO
22

23. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
 並列で複数hostに同時にcloningも可能
 P2V,P2P,V2V,V2P全てに対応
 IaaSに関してはこれをフル活用すれば大概は効率的な運用できる
23

24. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
OpneStack何がよい？
 SND,LBaaS/FWaaS,SDSといったものをintegrationする中心として有
効
⁃ 各OSS、プロダクトがOpenStack対応を強化してきている
 自社内製の開発コストより効率的な可能性がある
⁃ 自社開発は属人化/属社化しやすい
⁃ mbgacloneもironic+heatで代替できるかもしれない
24

25. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
まとめ
 SDN、LBaaS/FWaaS
 Linuxベース ネットワークOS
 SDS
 Container
DeNAでは、今こういったものに取り組んでいます。
25

26. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
予告
26
2016/01/29 [FRI] 13:00-18:00
Shibuya Hikarie Hall A/B
進捗をお伝え出来ればと思いますので、
是非お越し下さい。

27. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ご清聴ありがとうございました
27