Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
オンプレで、
これからやろうとし
てること
Dec 2, 2015
Atsushi Ono
IT Platform Dept
DeNA Co., ...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
自己紹介
氏名
小野 篤司(ono atsushi)
入社
2004/03月
所属
システム本部IT基盤部 部長
経歴
金融系SierからDeNA...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
本日お話すること
3
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
 技術にDeep Diveする話しではないです
 DeNAの次世代インフラの”構想”のお話です
⁃ 妄想ではなく絶賛取組中です
4
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
どうしてオンプレの環境が必要なの?
AWSでいいのでは?
本題の前に、
5
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
AWSはとてもいいサービス
 データを社外に出したくない?
 クラウドは不安?
6
 自分がスタートアップ始めたら、まず使うと思います
 ...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ネックは?
 コストです
 OPEXで考えれば、、、、
7
全く無視出来ないコスト差があるので、
DeNAでは当面オンプレが主力です。
考えて...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
サーバ運用とネットワーク運用の統合
取り組みたいこと、その1
8
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
DeNA IT基盤部の体制
IT基盤部
Network G 1G 2G
9
他部門
依頼
依頼
依頼
依頼
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
これでも運用できるけど、
 スピード感高める為に、
⁃ Network担当ヘの“依頼業務”をなくしたい
⁃ アプリケーション、サーバ、ネットワー...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
サーバ管理者にとってのメリット
 SDN、LBaaS/FWaaS
⁃ VLAN作成、Network ACL設定の敷居を下げてくれる
⁃ ロードバ...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ということで、
 BigSwitch
 Cumulus Linux
 White box switch
 HAProxy,BIG-IP,N...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ストレージサービス
取組みたいこと、その2
13
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
仮想環境での運用上の課題
再セットアップして追加
14
VM VM VM VM VM VM VM VM VM VM VM VM
VM VM VM ...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
こうしてなくしたい
15
VM VM VMVM VM VM
✖
Servers
Storage pool
再構築作業自体なくなる
可用性もN+1で...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ということで、
 Ceph使えればと思ってます
⁃ 実は性能はそこまで求めてない
⁃ IO incentiveはmysqlくらい。そこは外してス...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
仮想サーバの性能アップ
取組みたいこと、その3
17
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
DeNAではハードウェアリソースの有効活用を追求
 通常VM単位で分けそうなケースでもプロセス単位で運用
⁃ ゲーム用WAFは1つのappサーバ...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ということで、
 Docker? 多分違いそう
⁃ アプリケーションコンテナよりOSコンテナがいいのかな、と思って
ます
• 運用を考えるとvm...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
やっぱりOPENSTACKを使おうと思ってます
これらはそれぞれでも取り組めますが、
20
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
単なるIaaSならなくてもいい
 DeNAでは以前からインフラ管理をソフトウェア的に扱い、運用効率を
高めてきた
⁃ IaaSという発想は以前か...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
DEMO
22
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
 並列で複数hostに同時にcloningも可能
 P2V,P2P,V2V,V2P全てに対応
 IaaSに関してはこれをフル活用すれば大概は...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
OpneStack何がよい?
 SND,LBaaS/FWaaS,SDSといったものをintegrationする中心として有
効
⁃ 各OSS、プ...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
まとめ
 SDN、LBaaS/FWaaS
 Linuxベース ネットワークOS
 SDS
 Container
DeNAでは、今こういった...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
予告
26
2016/01/29 [FRI] 13:00-18:00
Shibuya Hikarie Hall A/B
進捗をお伝え出来ればと思い...
Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
ご清聴ありがとうございました
27
Upcoming SlideShare
Loading in …5
×

DeNAがオンプレでこれからやろうとしてること - OpenStack最新情報セミナー 2015年12月

10,922 views

Published on

ディー・エヌ・エー様 発表「DeNAオンプレミスでこれからやろうと考えていること」

小野 篤司 (株式会社ディー・エヌ・エー)

アジェンダ
- どうしてオンプレの環境が必要なのか
- 取り組みたいこと
--- 1. サーバ運用とネットワーク運用の統合
--- 2. ストレージサービス
--- 3. 仮想サーバの性能アップ
- OpenStackでの取り組み

Published in: Technology
  • Be the first to comment

DeNAがオンプレでこれからやろうとしてること - OpenStack最新情報セミナー 2015年12月

  1. 1. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. オンプレで、 これからやろうとし てること Dec 2, 2015 Atsushi Ono IT Platform Dept DeNA Co., Ltd.
  2. 2. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 自己紹介 氏名 小野 篤司(ono atsushi) 入社 2004/03月 所属 システム本部IT基盤部 部長 経歴 金融系SierからDeNAへ 一貫してインフラ管理 DeNAではEC,ゲーム,エンターテイメント,諸処の新規事業系含め ほぼ全ての事業に関与 著書 Mobageを支える技術 2
  3. 3. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 本日お話すること 3
  4. 4. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.  技術にDeep Diveする話しではないです  DeNAの次世代インフラの”構想”のお話です ⁃ 妄想ではなく絶賛取組中です 4
  5. 5. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. どうしてオンプレの環境が必要なの? AWSでいいのでは? 本題の前に、 5
  6. 6. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. AWSはとてもいいサービス  データを社外に出したくない?  クラウドは不安? 6  自分がスタートアップ始めたら、まず使うと思います  海外でサービスローンチしたい  初期投資抑えたい、でもサービスヒット時にはしっかりスケールさせた い そんなこと言うひと、 もうあまりいませんよね
  7. 7. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ネックは?  コストです  OPEXで考えれば、、、、 7 全く無視出来ないコスト差があるので、 DeNAでは当面オンプレが主力です。 考えても、 ペイしません。
  8. 8. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. サーバ運用とネットワーク運用の統合 取り組みたいこと、その1 8
  9. 9. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. DeNA IT基盤部の体制 IT基盤部 Network G 1G 2G 9 他部門 依頼 依頼 依頼 依頼
  10. 10. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. これでも運用できるけど、  スピード感高める為に、 ⁃ Network担当ヘの“依頼業務”をなくしたい ⁃ アプリケーション、サーバ、ネットワーク one stopで対応出来る人 材増やしたい • 敷居が高い? そんなことはない • 会社、個人のキャリアパス双方にwin/winのはず  どうやる? ⁃ SDN、LBaaS/FWaaSの活用 ⁃ LinuxベースのネットワークOSの導入 • 必然的にwhite box switchの導入になる • 従来のアプライアンス機比でコストダウンも狙えるかもしれない 10
  11. 11. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. サーバ管理者にとってのメリット  SDN、LBaaS/FWaaS ⁃ VLAN作成、Network ACL設定の敷居を下げてくれる ⁃ ロードバランサー設定の敷居を下げてくれる • DeNAでは実現済 ⁃ NAT設定の敷居を下げてくれる 11  LinuxベースのネットワークOS ⁃ Configuration管理がサーバと一元化できる • By chef、ansible、pupetなど • アカウントをLDAP,ADで管理など ⁃ トラブルシューティングのとっかかり敷居を下げてくれる • 慣れ親しんだLinuxコマンド • Scriptさくっと書いて障害調査 AWS likeはGood
  12. 12. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ということで、  BigSwitch  Cumulus Linux  White box switch  HAProxy,BIG-IP,NetScaler こんなところを(今は)具体的に考えています。 12
  13. 13. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ストレージサービス 取組みたいこと、その2 13
  14. 14. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 仮想環境での運用上の課題 再セットアップして追加 14 VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM ・・・ ✖ ✖ VM VM VM VM VM VM 1hostに大量のguestを積んでいると、 これが非常に面倒くさい。。。
  15. 15. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. こうしてなくしたい 15 VM VM VMVM VM VM ✖ Servers Storage pool 再構築作業自体なくなる 可用性もN+1で済む Guestのイメージと重要なデータを配置 VM VM VM
  16. 16. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ということで、  Ceph使えればと思ってます ⁃ 実は性能はそこまで求めてない ⁃ IO incentiveはmysqlくらい。そこは外してスタートかも 16
  17. 17. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 仮想サーバの性能アップ 取組みたいこと、その3 17
  18. 18. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. DeNAではハードウェアリソースの有効活用を追求  通常VM単位で分けそうなケースでもプロセス単位で運用 ⁃ ゲーム用WAFは1つのappサーバで複数ゲームに対応 ⁃ mysql,memcachedなどをマルチプロセスで管理 18 VMによるOverheadを避ける デメリットもなくはない。 例えばセキュリティ観点 運用担当のアクセス範囲を制限し難くなる 例えば運用観点 ポータビリティがない コンテナで解決を?
  19. 19. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ということで、  Docker? 多分違いそう ⁃ アプリケーションコンテナよりOSコンテナがいいのかな、と思って ます • 運用を考えるとvm likeに扱えるメリットが大きそう  知識不足感が強く要リサーチです 19
  20. 20. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. やっぱりOPENSTACKを使おうと思ってます これらはそれぞれでも取り組めますが、 20
  21. 21. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 単なるIaaSならなくてもいい  DeNAでは以前からインフラ管理をソフトウェア的に扱い、運用効率を 高めてきた ⁃ IaaSという発想は以前からあり、実践されている  代表例、mbgaclone。通称モバクロ 21
  22. 22. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. DEMO 22
  23. 23. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.  並列で複数hostに同時にcloningも可能  P2V,P2P,V2V,V2P全てに対応  IaaSに関してはこれをフル活用すれば大概は効率的な運用できる 23
  24. 24. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. OpneStack何がよい?  SND,LBaaS/FWaaS,SDSといったものをintegrationする中心として有 効 ⁃ 各OSS、プロダクトがOpenStack対応を強化してきている  自社内製の開発コストより効率的な可能性がある ⁃ 自社開発は属人化/属社化しやすい ⁃ mbgacloneもironic+heatで代替できるかもしれない 24
  25. 25. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. まとめ  SDN、LBaaS/FWaaS  Linuxベース ネットワークOS  SDS  Container DeNAでは、今こういったものに取り組んでいます。 25
  26. 26. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 予告 26 2016/01/29 [FRI] 13:00-18:00 Shibuya Hikarie Hall A/B 進捗をお伝え出来ればと思いますので、 是非お越し下さい。
  27. 27. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ご清聴ありがとうございました 27

×