vmware-meetup7

Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved.
2021年1⽉20⽇
クラウドプラットフォーム本部技術１コンピュート
道下幹也
Yahoo! JAPANのIaaS
with VMware

Speaker
2
• 名前 : 道下幹也
• 所属 : ヤフー株式会社プライベートクラウドチーム
• 仕事 : 社内向けIaaS構築・運⽤、検証
• VMware、GPUが絡む領域を担当

Agenda
3
• Yahoo! JAPANのIaaSとVMware環境について
• VMware環境の構成・構築
• VMware環境の運⽤

Agenda
4
• Yahoo! JAPANのIaaSとVMware環境について

背景/ヤフーのIaaS
5
- OpenStack: IaaS基盤を実現するOSS
- 稼働実績: 2013年~
- クラスタ数: 200+
- HV: 21,000+ （ESXi: 1700+）
- VM: 170,000+
- 運⽤⼈数: 20+ ( 開発や検証も兼任 )

ヤフーのVMware環境
汎⽤クラスタ
OpenStack + QEMU / KVM
基本的なIaaSの構成
ベーシックな仮想化
6
特殊クラスタ
OpenStack + VMware
特殊な要件の場合
BackendとしてVMwareを利⽤
（現在 32vCenterほど存在）

なぜVMwareを使うのか︖
7
管理者
制約
オペレーション
困難
クリティカルに
なりにくい
障害対応⾃体が
減る

なぜOpenStackを使うのか︖
8
OpenStack
ユーザ
汎⽤クラスタ
vSphere
特殊クラスタ
ユーザ

なぜOpenStackを使うのか︖
9
OpenStack
ユーザ
汎⽤クラスタ
vSphere
特殊クラスタ
ユーザ
OpenStack

OpenStack + VMware
10
nova
ESXi
vCenter
glance
ESXi
vDS
DataStore
neutron

OpenStack + VMware
11
nova
ESXi
vCenter
glance
ESXi
vDS
DataStore
neutron

OpenStack + VMware
12
nova
ESXi
vCenter
glance
ESXi
vDS
DataStore
neutron

OpenStack + VMware
13
nova
ESXi
vCenter
glance
ESXi
vDS
DataStore
neutron

OpenStack + VMware
14
nova
ESXi
vCenter
glance
ESXi
vDS
DataStore
neutron

Agenda
15
• Yahoo! JapanのVMware環境について

OpenStack on k8s with VMware
16
OpenStack
コントローラコンテナ
Kubernetes
443/tcp
利⽤者／管理者
仮想マシンの起動
ネットワーク構築
SnapShot作成
…etc
仮想マシン起動
PortGoup作成
OVF export + upload
…etc
ESXi
vSphere
vCenter
( 参考資料 ) Yahoo! JAPANにおけるOpenStack on Kubernetes導入までの道のり

環境の⼀元管理
17
OpenStack
Kubernetes
管理者
vSphere
OpenStack
OpenStack
…
vSphere
QEMU / KVM
…
コントローラが怪しい
→ k8s側確認
コントローラ以外かも
→ バックエンド側確認
Controller側 Backend側

現在の構成
18
namespace: A namespace: B
…
vSphere
OpenStack
Charts
helm upgrade
deploy
コントローラ
コンテナ
コントローラ
コンテナ
vSphere
value value
A B
構築
スクリプト

VMware環境の構築の流れ
19
1. vSphereの構築
2. (Optional) Under Cloud （K8s）構築／増強
3. OpenStack Controllerのデプロイ

vSphere構築
20
1. vCenter⽤ESXiの設定（⼿動）
2. vCenterデプロイ（vcsa-deploy）、NTP設定など（⼿動）
3. データセンター、クラスター作成／ホスト追加（スクリプト）
4. vDS作成（⼿動）
5. クラスタ毎にESXi1台設定し、ホストプロファイル抽出（⼿動）
6. ホストプロファイルの全台適⽤（スクリプト）
7. 全ESXiのコンプライアンスチェック（スクリプト）
ESXi
vSphere
vCenter

Under Cloud / OpenStack Controller構築
21
• Under Cloud （k8sクラスタ）
• 都度構築が必要なわけではないので今回は省略
• クラスタが増えるとNodeを追加し対応
• Chefにより構築、増強の⾃動化
• OpenStack Controller Container構築
1. 新規構築⽤のHelmのValues（yamlファイル）を記載
2. GitにValuesをpush、merge
3. Jenkinsで⾃動デプロイ
OpenStack
Kubernetes

デプロイの所要時間
22
• ⼿元に物が揃っていると規模にもよるが数⽇〜1W程度。
• 概ねvSphere側の構築に時間がかかる
• OpenStack Controller側は早いと数⼗分で完了
• トラブルが発⽣することもあるが、⾃動化の恩恵で構築
のみを⾒ると所要時間はとても短い。

Agenda
23
• Yahoo! JapanのVMware環境について

VMware環境の監視の構成
24
OpenStack
ESXi
Kubernetes
vSphere
vCenter
ワークフロー
監視
SmokePing
SNMP
Syslog
snmptrapd
Splunk

VMware環境の運⽤
25
• アラート対応
• 基本的にその⽇のアラート当番の⼈が対応する。
• 既知の事象については対応マニュアルが存在する。
• 多くの場合、このマニュアルで対応可能。
• 運⽤
• 未知のアラートの対応や定常運⽤、関連ツール開発は3⼈。
• VMware環境は安定性が⾼いため問題なく回っている。
• クラスタ数が多いためバージョンアップなどは。。。

まとめ
26
• OpenStack on k8s with VMwareの形で利⽤
• OpenStackのバックエンドとしてVMware
• OpenStack Controllerはk8s上で動作
• 全体として障害に強い作り
• 構築は極⼒⾃動化
• VMware側の構築時間が課題
• 監視はVMware側の内部監視、外部監視＋OpenStack
のワークフロー監視
• 概ねのアラートはマニュアルで機械的に対応可能

vmware-meetup7

Recommended

Recommended

More Related Content

What's hot

What's hot (19)

Similar to vmware-meetup7

Similar to vmware-meetup7 (20)

Recently uploaded

Recently uploaded (7)

vmware-meetup7