ヤフーのプライベートクラウドとクラウドエンジニアの業務について

Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.
2018年8月9日
1
ヤフー株式会社インフラ技術1部プライベートクラウド北田駿也
ヤフーのプライベートクラウドと
クラウドエンジニアの業務について

whoami
北田駿也(Shunya Kitada)
• 2013年新卒入社、プライベートクラウドチーム所属
• OpenStack開発・運用、その他システム開発・運用
• 今日話すこと
• ヤフーのプライベートクラウドについて
• クラウドエンジニアの業務について
2

ヤフーのプライベート
クラウドについて

ヤフーのプライベートクラウド
= プライベートIaaS(Infrastructure as a Service)
4
ヤフーのインフラ（データセンタ、ネットワークなど）
ヤフーのIaaS
物理サーバ
仮想マシン
物理的なサーバ、
ネットワーク、ストレージ
などのリソースを仮想化
して提供するサービス
実際の物理サーバ数よりも多くの
仮想マシンを作って提供している
VM: 100000+ 台
on HV: 7000+ 台
ヤフーのサービス専用のクラウド

サーバの仮想化
5
仮想マシンプロセス
OS
プロセス
OS
プロセス
OS
OS
プロセス
OS
プロセス
仮想化
ハイパーバイザ、
親機と呼びます

6
OS
プロセス
OS
プロセス
OS
OS
プロセス
OS
プロセス
仮想化
ハイパーバイザ、
親機と呼びます
なぜ仮想化するのか？メリットは？

仮想化のメリット: 作成削除が速い
7
OS
OS
プロセス
OS
プロセス
マシンがほしいマシンはもういらない
プロセス起動
するだけ
プロセス停止
するだけ
物理サーバは用意す
るのに数カ月かかる
物理サーバは破棄する
のにも数ヶ月かかる

仮想化のメリット: 増減が容易
8
OS
プロセス
OS
プロセス
マシンが100台ほしい
OS
プロセス
…

仮想化のメリット: 変化できる
9
OS
OS
プロセス
OS
プロセス
CPU、メモリ、ディ
スクのリソース
もっとほしい！
リソースを割当てるだけ

仮想化のメリット: リソース効率化
10
OS
OS
プロセス
OS
プロセス
CPUは1割使え
れば十分
CPUは2割使
えれば十分
Xeon
CPU
まだ余裕

仮想化のデメリット: ノイジーネイバ
11
OS
OS
プロセス
OS
プロセス
CPUは9割使うぞ！
CPUは2割使え
れば十分
（あれ？処理が
重い・・・）
Xeon
CPUちょっとつらい！
リソースの効率化、割
当て計算が必要！

仮想化のメリット: 移動できる
12
OS
プロセス
OS
プロセス
マイグレーション
ハイパーバイザA ハイパーバイザB
ノイジーネイバのマシン
退避や余裕のあるマシ
ンにプロセスを寄せる

13
ヤフーのIaaS
仮想マシン
• 作成削除が早く、増減が容易
• 変化できる
• リソース効率化
• ノイジーネイバ
• 移動できる
？

ヤフーとOpenStack
ヤフーのIaaSはOpenStackで構築されています
• OpenStackとはIaaSを構築するためのOSS（Open Source
Software）
• 手順に従ってサーバにソフトウェアをインストール、設定するだけ
で、IaaSクラウドを作ることができる
• 自宅のPCでも作れます！
14
Open Source Software

15
ヤフーのIaaS
物理サーバ
仮想マシン
= プライベートIaaS(Infrastructure as a Service)
ユーザはインフラを意
識せずに、仮想的なリ
ソースを利用できる
OpenStackで構築されている

クラウドエンジニアの
仕事

どんな仕事やってるの？
開発業務
• 新規クラスタの構築、デプロイ構成管理
• 監視基盤構築・改善、バグ調査・改善
• コンピュート最適化、最新機器検証
• その他（ストレージ、ネットワーク、機能検証）
運用業務
• チケット問い合わせ対応
• アラート対応
17
DevOps
チーム全員が開発も
運用もやるよ！

新規クラスタ構築
1つのOpenStackのセットを作ること
18
認証システム
(Keystone)
イメージ配信システム
(Glance)
ネットワーク管理システム
(Neutron)
コンピュート管理システム
(Nova)
WebUIダッシュボード
(Horizon)
ハイパーバイザ
のプール
物理サーバ数
50 – 500台
大規模なシステム
構築ができる！

ヤフーのOpenStackクラスタ
19
データセンタA
データセンタB
データセンタC
OpenStackクラスタ C1
OpenStackクラスタ C2
OpenStackクラスタ B1
OpenStackクラスタ B2
OpenStackクラスタ A1
OpenStackクラスタ A2
全クラスタ数は 80+

クラスタ数の増加遷移
20
2013年 2018年
80+クラスタ
クラスタ数
0

クラスタ数の増加遷移
21
2013年 2018年
80+クラスタ
10000+ 台のサーバを
監視、運用してる！
どうやって？
クラスタ数
0

デプロイ構成管理、監視
• デプロイ構成管理ツール: Chef
• ブートストラップ、構成チェック: Fabric
• コンテナオーケストレーション: Kubernetes
• 監視: Sensu
• メトリクス: Graphite、InfluxDB、Graphana
22
OpenStack以外にもOSSがたくさん！

コンピュートの最適化
• リソースの高効率利用のため
• 例えば 100VM 載るホストの効率が 10% 上がれば、もう
10VM 利用可能！
• 仮想化のオーバーヘッドの削減
• オーバーヘッドを減らすことで VM を高速に動作させること
が可能
23
最適化された仮想マシンは、
最適化されてない物理マシンを超える
物理マシン、仮想マシン、OSの知識が活かせる！

24
ヤフーのIaaS （= OpenStack）
物理サーバ
仮想マシン
データセンタチーム
ネットワークチーム
ハードウェアチーム
クラウドチーム
メディア、広告、サイエンス
全社のサービスを動かすための基盤を作るのが、
インフラ・クラウドエンジニアの仕事です

最後に
• クラウドエンジニアはフロントエンドからバックエン
ド、OS、インフラまで幅広い知識が求められる
• 特に低レイヤーの知識が活かせる！
• 知的好奇心旺盛な人におすすめ
• いろんなことがいっぱい知れる！
25

EOP

ヤフーのプライベートクラウドとクラウドエンジニアの業務について

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to ヤフーのプライベートクラウドとクラウドエンジニアの業務について

Similar to ヤフーのプライベートクラウドとクラウドエンジニアの業務について (20)

More from Yahoo!デベロッパーネットワーク

More from Yahoo!デベロッパーネットワーク (20)

Recently uploaded

Recently uploaded (14)

ヤフーのプライベートクラウドとクラウドエンジニアの業務について