Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
窪野安彦
2017年2月16日
ヤフーのサービス開発を
10倍早くした社内PaaS構築の今と
これから

自己紹介
1
窪野安彦
・システム統括本部プラットフォーム開発本部所属
（サービスの基盤となるようなシステムを担当）
・2004年入社
（当時はC言語でゴリゴリに書いてました）
・※Cloud Foundry®の環境構築と社内導入を行っています。
※Cloud Foundryは、Cloud Foundry, Incの登録商標です。

アジェンダ
2
何故PaaSを導入したのか？
どんな風に使っているのか？
• 具体的な使い方
• デモ
PaaSの先にあるもの

10年前の開発で使われていたもの
アーキテクチャ
• Apache + apache_module + 独自template
開発ツール
• emacs + gcc + gmake & Jail
• CVS
パイプライン・デプロイ
• CI等は特になし
• デプロイは、scp *.so & apache restart
4

10年前の思想
5
コンピュータは貴重なリソース
頑張るのは人

現在の開発で使われているもの
アーキテクチャ
• OpenStack + LAMP + KVS + ・・・
開発ツール
• OpenStack + phpstorm とかのIDE・・・
• GHE
パイプライン・デプロイ
• CI/CD
• 独自パッケージシステム
• 等
6

我々の課題
7
使う道具は変わったけど
思想(≒アーキテクチャ)が
進化してない

問題点
8
あるサービスの例

あるサービスの例
9
FTP CP
社外RDBMS
WEB
API
BatchCache
SCP

問題点
10
よくある課題

よくある課題
11
FTP CP
社外
WEB
API
Batch
SCP
RDBMSCache

Cronがこけてbatchが止まる
12
FTP CP
社外
WEB
API
Batch
SCP
RDBMSCache

キャッシュファイルのscpに失敗する
13
FTP CP
社外
WEB
API
Batch
SCP
RDBMSCache

アクセスが増えてサーバの増設が必要になる
14
FTP CP
社外
WEB
API
Batch
SCP
RDBMSCache

15
FTP CP
社外
WEB
API
Batch
SCP
RDBMSCache
もっと手間がかからないようにでき
ないか？

問題点
16
例えば

例えば
17
FTP CP
社外
WEB
API
Batch
SCP
RDBMSCache

夜中にこけるバッチ
18
FTP CP
社外
WEB
API
Batch
SCP
RDBMSCache

夜中にこけるバッチ
19
FTP CP
社外
WEB
API
Batch
SCP
RDBMSCache

FaaSMQ
cronをやめてMQとかFaaSにする
20
FTP CP
社外
WEB
API
SCP
※FaaS = Function as a Service
RDBMSCache

FaaSMQ
もっと手間がかからなくなるかも
21
FTP CP
社外
WEB
API
SCP
RDBMSCache

FaaSMQ
キャッシュのscpに失敗する
22
FTP CP
社外
WEB
API
SCP
RDBMSCache

FaaSMQ
キャッシュのscpに失敗する
23
FTP CP
社外
WEB
API
SCP
RDBMSCache

FaaSMQ
キャッシュファイルはやめてKVSを立てる
24
FTP CP
社外
WEB
API
RDBMSKVS

FaaSMQ
もうscpで失敗しません
25
FTP CP
社外
WEB
API
RDBMSKVS

FaaSMQ
サーバの増設が必要になったら？
26
FTP CP
社外
WEB
API
KVS RDBMS

FaaSMQ
サーバの増設が必要になったら？
27
FTP CP
社外
WEB
API
RDBMSKVS

FaaSMQ
ここには新しい技術が必要だった
28
FTP CP
社外
WEB
API
RDBMSKVS

問題点
29
まだ他にも課題がある

問題
30
バージョンアップとか
セキュリティ対応が
多すぎる問題

膨大なサーバ群
31
物理、仮想サーバの合計
10万台以上
※弊社独自の調査 2015年6月時点

お客様のデータを守るために
32
～膨大なサーバのソフトウエア更新～
・リリース作業
・脆弱性対応
・ソフトウェアバージョンアップ

問題
33
あるプロジェクトの例

あるプロジェクトの例
34
プログラム開発
担当エンジニア
バージョンアップ・
セキュリティ対応
あるプロジェクトの
サーバ

エンジニアが少ないと毎月の対応が大変
35

そのうち機能追加や改修もできなくなる
36

担当エンジニアがテンパる
37

問題
38
そこで

担当を分けてみる
39

専任がいれば分業できるので
40

本来やりたかった開発に集中できる
41

42

43

問題点
44
ただし社内の全チームで
それができるわけではない

よくある課題
45
そこで

ヤフーには沢山のサービスがある
46

多くのサービスで問題が起こっている
47

それぞれのサポートをしてあげたいけど
48

現実的には厳しい
49

そこでまとめて面倒を見ることができれば？
50

Nice
51

52
ここでPaaSの出番！！！

53
次から具体的な使い方の
説明をします。

55
まずは

56
PaaSとは？

PaaSとは？
57
PaaS
=Platform as a Service

PaaSとは？
58
物理サーバ IaaS PaaS(CF)
アプリケーション
◯ ◯ ◯
ランタイム
◯ ◯ ☓
ミドルウェア
◯ ◯ ☓
OS
◯ ☓ ☓
ハードウェア
◯ ☓ ☓
ネットワーク
◯ ☓ ☓

PaaSとは？
59
◯ ◯ ◯
ランタイム
◯ ◯ ☓
ミドルウェア
◯ ◯ ☓
OS
◯ ☓ ☓
ハードウェア
◯ ☓ ☓
ネットワーク
◯ ☓ ☓
IPアドレスを用意する

PaaSとは？
60
◯ ◯ ◯
ランタイム
◯ ◯ ☓
ミドルウェア
◯ ◯ ☓
OS
◯ ☓ ☓
ハードウェア
◯ ☓ ☓
ネットワーク
◯ ☓ ☓
サーバをラッキングする

PaaSとは？
61
◯ ◯ ◯
ランタイム
◯ ◯ ☓
ミドルウェア
◯ ◯ ☓
OS
◯ ☓ ☓
ハードウェア
◯ ☓ ☓
ネットワーク
◯ ☓ ☓
OSをインストール

PaaSとは？
62
◯ ◯ ◯
ランタイム
◯ ◯ ☓
ミドルウェア
◯ ◯ ☓
OS
◯ ☓ ☓
ハードウェア
◯ ☓ ☓
ネットワーク
◯ ☓ ☓
WEBサーバを
インストール

PaaSとは？
63
◯ ◯ ◯
ランタイム
◯ ◯ ☓
ミドルウェア
◯ ◯ ☓
OS
◯ ☓ ☓
ハードウェア
◯ ☓ ☓
ネットワーク
◯ ☓ ☓
PHPを
インストール

PaaSとは？
64
◯ ◯ ◯
ランタイム
◯ ◯ ☓
ミドルウェア
◯ ◯ ☓
OS
◯ ☓ ☓
ハードウェア
◯ ☓ ☓
ネットワーク
◯ ☓ ☓
プログラムをデプロイ

PaaSとは？
65
◯ ◯ ◯
ランタイム
◯ ◯ ☓
ミドルウェア
◯ ◯ ☓
OS
◯ ☓ ☓
ハードウェア
◯ ☓ ☓
ネットワーク
◯ ☓ ☓
以前は全部
やっていましたが

PaaSとは？
66
◯ ◯ ◯
ランタイム
◯ ◯ ☓
ミドルウェア
◯ ◯ ☓
OS
◯ ☓ ☓
ハードウェア
◯ ☓ ☓
ネットワーク
◯ ☓ ☓
最近はここだけ
やるのが主流

PaaSとは？
67
◯ ◯ ◯
ランタイム
◯ ◯ ☓
ミドルウェア
◯ ◯ ☓
OS
◯ ☓ ☓
ハードウェア
◯ ☓ ☓
ネットワーク
◯ ☓ ☓
サービス開発エンジニアが
アプリケーション開発に
集中できるようになる！！！

68
Cloud Foundry®とは？
※Cloud Foundryは、Cloud Foundry, Incの登録商標です。
Cloud Foundryとは？

69
オープンソースのPaaSプラットフォーム
• 多くのベンダーで採用
Cloud Foundryベースのプロダクトなので、
他プラットフォームのノウハウも参考にできる
• 動作環境を選ばない
複数のIaaS(OpenStackなど)や
仮想化基盤を利用できる
• 拡張性が高い
好みの開発言語やデータベースなどを追加・拡張して
独自のPaaSとしてカスタマイズしやすい
Cloud Foundryとは？

70
なにが嬉しいのか？

プログラムをデプロイするだけで
サーバを構築してくれる
71
cf push {アプリケーション名} {オプション}
{アプリケーション名}：開発者がデプロイするアプリを一意に認識
-n：ホスト名（例. hoge）
-d：ドメイン（例. example.co.jp）
実行URLはオプションで指定した “ホスト名” + “ドメイン” となる
hoge.example.co.jp

CF
Droplet
何が起こっているのか？
72
Droplet
Container
OS
push
Runtime
Application
Extension
App
xxx.yahoo.co.jp

デモ１
73
Cloud Foundryを使った
アプリケーションの
デプロイ

デモ1 - 1：アプリケーションのデプロイ
74
必要な物は
ソースコードと
設定ファイルのみ

デモ1 - 2：PHPのバージョンを上げてみる
75
変更箇所は
設定ファイルのみ

自己紹介
76
田口雅浩
・CTO室SWATチームに所属
（社内の技術的な課題解決のため、様々なサービスや
基盤システムをサポート）
・2007年新卒入社、ヤフオク!開発を経て、SWATへ
・現在ではPaaSの導入に向けて、CI/CDのサポート

77
デモ1

78
CI/CDはどうしよう？

CI/CDはどうしよう？
79
CFと相性が良さそうなもの
モダンな開発手法に合ったもの
パイプラインが見える化されてる
YAMLでパイプラインが書ける
前提条件
Concourseのメリット

80
Concourseに決定

パイプラインの構成要素
81
パイプラインは「Tasks」「Resources」「Jobs」の3要素で構
成されています。
Resource
Job
Resource
入力出力
• Task
• Task

デモ 2
82
Concourseを使った
パイプラインのデモ

Concourse CF
Concourseを使ったパイプラインデモ
83
check test deploy
notification xxx.yahoo.co.jp
commit
GHE
MYM
push
MYM
message
CF

84
デモ2

PaaS導入の旅
86
2016年
先行サービス
2017年
本格導入
2018年
拡大

とにかくサービスが沢山ある
87
増え続けてきたサービス
１００以上 (2016年9月末時点)
開発言語の違い
C、Perl、C++、PHP、Node.js、Java...
素材提供：アフロ

それぞれアーキテクチャも違う
88
例）新規サービス等例）コマース系サービス等
小規模サービス大規模サービス
API
Gate
way
sear
ch
list
cart
logic
logic
logic

共通のアーキテクチャを全社展開するのは難しい
89

組織毎に対応策を見つける
90
組織内エバンジェリスト(非公式)
今のところ２０人ぐらい
それぞれの組織・サービスに合った
導入方法を進めている

推進体制イメージ
91
現場エンジニア
組織内
エバンジェリスト
社内推進プロジェクト
ショッピング
担当
ショッピング
エンジニア
ショッピング
エンジニア
オークション
担当
オークション
エンジニア
メディア担当
メディアエン
ジニア

今までは独自技術で開発スピードアップをしていた
92
・検索エンジン
・フラットファイルDB
・プロセス間通信技術
・パッケージ管理

独自技術の多くは簡単にはCFで動かない
93
写真：アフロ

既存システムとの連携が必要
94
app2app1
FE API
etc
KVS
DB
API Gateway
独自技術独自技術独自技術独自技術
システムログ
アプリケーションログ
router
Prox
y
MQ FaaS

95
PaaSを構築してからも
やることが沢山ある

96
さらに

97
PaaSはあくまでも道具
使い方はもっと重要

開発手法との融合が必要
98
写真：アフロ

最終的に
99
お客様に
付加価値を届けるスピードを
「１０倍」にしていきたい

まとめ

まとめ
101
• 付加価値の高い開発に集中するため
• CF
• Concourse
• 社内普及・既存機能との融合
• 開発手法のバージョンアップ

102
ご清聴ありがとう
ございました

Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから

More Related Content

What's hot

Viewers also liked

Similar to Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから

More from Yahoo!デベロッパーネットワーク

Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから