ヤフーのプライベートクラウドとクラウドエンジニアの業務について

Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.
2018年8月9日
1
ヤフー株式会社インフラ技術1部プライベートクラウド北田駿也
ヤフーのプライベートクラウドと
クラウドエンジニアの業務について

whoami
北田駿也(Shunya Kitada)
• 2013年新卒入社、プライベートクラウドチーム所属
• OpenStack開発・運用、その他システム開発・運用
• 今日話すこと
• ヤフーのプライベートクラウドについて
• クラウドエンジニアの業務について
2

ヤフーのプライベート
クラウドについて

ヤフーのプライベートクラウド
= プライベートIaaS(Infrastructure as a Service)
4
ヤフーのインフラ（データセンタ、ネットワークなど）
ヤフーのIaaS
物理サーバ
仮想マシン
物理的なサーバ、
ネットワーク、ストレージ
などのリソースを仮想化
して提供するサービス
実際の物理サーバ数よりも多くの
仮想マシンを作って提供している
VM: 100000+ 台
on HV: 7000+ 台
ヤフーのサービス専用のクラウド

サーバの仮想化
5
仮想マシンプロセス
OS
プロセス
OS
プロセス
OS
OS
プロセス
OS
プロセス
仮想化
ハイパーバイザ、
親機と呼びます

6
OS
プロセス
OS
プロセス
OS
OS
プロセス
OS
プロセス
仮想化
ハイパーバイザ、
親機と呼びます
なぜ仮想化するのか？メリットは？

仮想化のメリット: 作成削除が速い
7
OS
OS
プロセス
OS
プロセス
マシンがほしいマシンはもういらない
プロセス起動
するだけ
プロセス停止
するだけ
物理サーバは用意す
るのに数カ月かかる
物理サーバは破棄する
のにも数ヶ月かかる

仮想化のメリット: 増減が容易
8
OS
プロセス
OS
プロセス
マシンが100台ほしい
OS
プロセス
…

仮想化のメリット: 変化できる
9
OS
OS
プロセス
OS
プロセス
CPU、メモリ、ディ
スクのリソース
もっとほしい！
リソースを割当てるだけ

仮想化のメリット: リソース効率化
10
OS
OS
プロセス
OS
プロセス
CPUは1割使え
れば十分
CPUは2割使
えれば十分
Xeon
CPU
まだ余裕

仮想化のデメリット: ノイジーネイバ
11
OS
OS
プロセス
OS
プロセス
CPUは9割使うぞ！
CPUは2割使え
れば十分
（あれ？処理が
重い・・・）
Xeon
CPUちょっとつらい！
リソースの効率化、割
当て計算が必要！

仮想化のメリット: 移動できる
12
OS
プロセス
OS
プロセス
マイグレーション
ハイパーバイザA ハイパーバイザB
ノイジーネイバのマシン
退避や余裕のあるマシ
ンにプロセスを寄せる

13
ヤフーのIaaS
仮想マシン
• 作成削除が早く、増減が容易
• 変化できる
• リソース効率化
• ノイジーネイバ
• 移動できる
？

ヤフーとOpenStack
ヤフーのIaaSはOpenStackで構築されています
• OpenStackとはIaaSを構築するためのOSS（Open Source
Software）
• 手順に従ってサーバにソフトウェアをインストール、設定するだけ
で、IaaSクラウドを作ることができる
• 自宅のPCでも作れます！
14
Open Source Software

15
ヤフーのIaaS
物理サーバ
仮想マシン
= プライベートIaaS(Infrastructure as a Service)
ユーザはインフラを意
識せずに、仮想的なリ
ソースを利用できる
OpenStackで構築されている

クラウドエンジニアの
仕事

どんな仕事やってるの？
開発業務
• 新規クラスタの構築、デプロイ構成管理
• 監視基盤構築・改善、バグ調査・改善
• コンピュート最適化、最新機器検証
• その他（ストレージ、ネットワーク、機能検証）
運用業務
• チケット問い合わせ対応
• アラート対応
17
DevOps
チーム全員が開発も
運用もやるよ！

新規クラスタ構築
1つのOpenStackのセットを作ること
18
認証システム
(Keystone)
イメージ配信システム
(Glance)
ネットワーク管理システム
(Neutron)
コンピュート管理システム
(Nova)
WebUIダッシュボード
(Horizon)
ハイパーバイザ
のプール
物理サーバ数
50 – 500台
大規模なシステム
構築ができる！

ヤフーのOpenStackクラスタ
19
データセンタA
データセンタB
データセンタC
OpenStackクラスタ C1
OpenStackクラスタ C2
OpenStackクラスタ B1
OpenStackクラスタ B2
OpenStackクラスタ A1
OpenStackクラスタ A2
全クラスタ数は 80+

クラスタ数の増加遷移
20
2013年 2018年
80+クラスタ
クラスタ数
0

クラスタ数の増加遷移
21
2013年 2018年
80+クラスタ
10000+ 台のサーバを
監視、運用してる！
どうやって？
クラスタ数
0

デプロイ構成管理、監視
• デプロイ構成管理ツール: Chef
• ブートストラップ、構成チェック: Fabric
• コンテナオーケストレーション: Kubernetes
• 監視: Sensu
• メトリクス: Graphite、InfluxDB、Graphana
22
OpenStack以外にもOSSがたくさん！

コンピュートの最適化
• リソースの高効率利用のため
• 例えば 100VM 載るホストの効率が 10% 上がれば、もう
10VM 利用可能！
• 仮想化のオーバーヘッドの削減
• オーバーヘッドを減らすことで VM を高速に動作させること
が可能
23
最適化された仮想マシンは、
最適化されてない物理マシンを超える
物理マシン、仮想マシン、OSの知識が活かせる！

24
ヤフーのIaaS （= OpenStack）
物理サーバ
仮想マシン
データセンタチーム
ネットワークチーム
ハードウェアチーム
クラウドチーム
メディア、広告、サイエンス
全社のサービスを動かすための基盤を作るのが、
インフラ・クラウドエンジニアの仕事です

最後に
• クラウドエンジニアはフロントエンドからバックエン
ド、OS、インフラまで幅広い知識が求められる
• 特に低レイヤーの知識が活かせる！
• 知的好奇心旺盛な人におすすめ
• いろんなことがいっぱい知れる！
25

EOP

ヤフーのプライベートクラウドとクラウドエンジニアの業務について

More Related Content

What's hot

Similar to ヤフーのプライベートクラウドとクラウドエンジニアの業務について

More from Yahoo!デベロッパーネットワーク

ヤフーのプライベートクラウドとクラウドエンジニアの業務について