Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to DMMのアジリティを加速するVMware Cloud on AWS～AWSとオンプレのいいとこどり～
Similar to DMMのアジリティを加速するVMware Cloud on AWS～AWSとオンプレのいいとこどり～ (20)
Recently uploaded
Recently uploaded (8)
DMMのアジリティを加速するVMware Cloud on AWS～AWSとオンプレのいいとこどり～
- 1. © DMM.com DMMのアジリティを加速する VMware Cloud on AWS ～AWSとオンプレのいいとこどり～ 合同会社DMM.com ITインフラ本部 インフラ部 基盤開発チーム 高橋 尚史
- 2. © DMM.com 2 高橋 尚史 (たかはし なおし) 汎用系DBAから個人向けISPインフラエン ジニアを経て2013年11月DMM.com入社。 DMM.comではほぼ一貫して自社サービス の仮想基盤・IaaSの構築運用に携わってい ます。 - vSphere わかるかも (7年) - NSX-T すこしわかるかも (2年) - AWS ワカラナイ (1年未満) 自己紹介
- 3. © DMM.com 3 手のひらと世界にいろどりを。 人類の想像をはるかにこえるスピードとス ケールで、私たちの生活は変化しています。 どんな明日も、私たちは喜びと驚きに溢れ るサービスを創りたい。 About DMM.com 40以上の幅広いサービスを展開 DMM.com サービスについて
- 4. © DMM.com 4 DMM.com Tech Value
- 6. © DMM.com DMM.com サービスインフラ概要と 課題 - プロジェクトと共通サービス - VPCとオンプレミス 6
- 7. © DMM.com 各プロジェクトと共通サービス • 各プロジェクト • 事業サービスに直結 • 独自性 • アジリティ • 共通サービス • 各プロジェクトに提供 • 会員顧客、課金など • 一貫性 7
- 8. © DMM.com 直近1年間のサービスインフラ動向 • 各プロジェクト • AWS採用事例が多数 • VPC増加 • 共通サービス • オンプレミス主体 • コンポーネント・機能分離の取り組み 8
- 9. © DMM.com 単純化すると 各プロジェクト = AWS = VPC 共通サービス = オンプレミス = vSphere 9
- 10. © DMM.com DMM AWS標準 - VPC • 1プロジェクトにつき3VPC • 開発用 • ステージング用 • 本番用 • VPCおかわりも可 • VPC間通信 • 隔離がデフォルト • VPC - オンプレミス通信 • 要件に応じて適宜Direct Connect設定 10 Prod AWS Project-1-VPCs StagingDev
- 11. © DMM.com 11 (現) VPCとオンプレミス Prod 100+ Projects 300+ VPCs 6000+ VMs AWS Direct Connect Project-1-VPCs StagingDev Prod Project-2-VPCs StagingDev Project-n-VPCs… On-premise vSphere …増え続けるVPC …DXピアも増えていく
- 12. © DMM.com 現構成の課題 12 • Direct Connect依存 • NWボトルネック • NW運用負荷 • 耐障害性 • 共通サービス • 各VPCとの連携 • 機能分離など改善は着実にすすめているが…
- 13. © DMM.com 実現したいこと 13 • 各プロジェクトの”アジリティ”をスポイルすることなく 一貫性のある共通サービス基盤を提供したい • 共通サービスのモダン化を着実にすすめていける基盤を 提供したい
- 14. © DMM.com AWS Transit Gateway + VMware Cloud on AWS 14
- 15. © DMM.com AWS Transit Gateway • 複数のVPC間ルーティングを一元管理 • リファレンスデザイン - Isolated VPCs with Shared Service 15 VPC A VPC B VPC C AWS Transit Gateway Customer Gateway VPC D Shared Services or ? VMC 参照: https://docs.aws.amazon.com/ja_jp/vpc/latest/tgw/transit-gateway-isolated-shared.html
- 16. © DMM.com VMware Cloud on AWS 16 (新) Transit Gateway + VMC On-premise vSphere Prod AWS Project-1-VPCs StagingDev Prod Project-2-VPCs StagingDev Project-n-VPCs… Direct Connect AWS AWS Transit Gateway Isolated VPCs with Shared “SDDC”
- 17. © DMM.com AWS Transit Gateway + VMware Cloud on AWS POC (NWスループット) 17
- 18. © DMM.com POC – SDDCサマリ 18
- 19. © DMM.com SDDC - ネットワーク 概要 19
- 20. © DMM.com スループット測定 • VPC インスタンスとVMC VM間で双方向iperf2を実行 • VPC: t3.micro / Amazon Linux 2 • VMC: 4CPU / 2GB MEM / CentOS 8 20 VPC AWS VPCs AWS VMC VMC AWS Transit Gateway $ iperf –c x.x.x.x –P 4
- 21. © DMM.com 測定結果1 VPC -(TGW)- VMC 21 VPC AWS VPCs AWS VMC VMC AWS Transit Gateway 方向 Bandwidth VPC => VMC 945 Mbps VMC => VPC 945 Mbps
- 22. © DMM.com NW測定2 VPC -(TGW)- VMC (VPN×2) 22 VPC AWS VPCs AWS VMC VMC AWS Transit Gateway 方向 Bandwidth VPC => VMC 1.91 Gbps VMC => VPC 965 Mbps ※ ※VMCのNSX-T(2.3)のECMPが2-tuple (src ip, dst ip) になるため。 ⇒複数IP、並列度を上げて再度測定
- 23. © DMM.com NW測定2-1 VPC -(TGW)- VMC (VPN×2) 23 VPC AWS VPCs AWS VMC VMC AWS Transit Gateway 方向 Bandwidth VMC => VPC 2.55 Gbps $ iperf –c x.x.x.1 –P 100 –t 300 –p 5001 & $ iperf –c x.x.x.2 –P 100 –t 300 –p 5002 & $ iperf –c x.x.x.3 –P 100 –t 300 –p 5003 & $ iperf –c x.x.x.4 –P 100 –t 300 –p 5004
- 24. © DMM.com NWスループット測定結果 24 • とても良好 • VPN追加するだけでリニアに向上
- 26. © DMM.com TGW + VMC 導入効果 26 • 各プロジェクトのアジリティ向上 • ネイティブサービスをフル活用 • Direct Connect運用負荷低減 • 共通サービスの最適な配置 • 共通APIエンドポイント ⇒ VMC • バックエンド・重量級ワークロード ⇒ オンプレミス
- 29. © DMM.com クラウド上のSDDCスタックとして 29 • VMware Cloudは”SDDC as a Service” • Google Cloud Platform/ Microsoft AzureにもSDDCを展開 • マルチクラウド • 一貫性のある共通サービス基盤 • 各パブクラのネイティブサービスをフル活用 • 気づいたらKubernetes readyになっている…?!
- 30. © DMM.com 30