高負荷に耐えうるWebApplication Serverの作り方

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

高負荷に耐えうる
WebApplication Server
の作り方
GMOインターネット株式会社
次世代システム研究室
石山雄太
1/71

Xin chào！
Toi ten la Ishiyama Yuta.
GMO Internet inc.
次世代システム研究室
(Innovation and Technology System Office)
アシスタントマネージャー(As...

Goal
高負荷に耐えうる WebApplication の Architecture
を設計する際に
・どこで対策するか
・どのように作るか
をご紹介します。
Programing codeではなくinfraよりの説明になり
ます。高負荷対策...

section 0
対象とするWebApplicationの説明（前提）
section 1
どういった案があるか説明（抽象的）
section 2
設定の説明（具体的）
pages 71.
Agenda
4

Section 0
対象とするWebApplicationの説明（前提）
5

PJ code「C2」
スマートフォン向けゲームのサーバーにて行った負荷
対策を元に説明します
・[OS] CentOS7
・[WEBサーバー] NGINX
・[APIサーバー] NGINX + PHP-FPM
・[CACHE] Memcach...

全体構成図
7
LB
API
CACHE
memcached
DB
WEB・・・
master
・・
CACHE
Redis
slave
s/m
slave backup
s/m
slave backup
s/m
slave backup
s/...

全体構成図 ~改善ポイント~
8
LB
API
CACHE
memcached
DB
WEB・・・
master
・・
CACHE
Redis
slave
s/m
slave backup
s/m
slave backup
s/m
slave ...

Section 1
どういった案があるか説明（抽象的）
9

◆ scaleup （1台の性能を上げる）
性能が高いサーバーハードウエアを利用して性
能を上げる
◆ scaleout（台数を増やす）
サーバーを増やして合計の処理性能を上げる
◆ 他
programing codeの最適化
OS / Mid...

WEBサーバー
scaleup
scaleout
キャッシュ付きreverse proxy
CDN
11

「高性能サーバーを利用する」
静的HTMLや画像や動画ファイルなどContentsを配信するWEBサ
ーバーにおいて、scaleup時に重要視するのは、
CPU clock/core数です
Memoryはswapしない程度にあれば大丈夫です
C...

「サーバーを複数台用意して負荷分散」
LoadBalancerにて接続先WEBサーバーを振り分け
ます
サーバー台数が増えた分、合計の
CPU/Memory/Ephemeral Port等が増えるので同時
に対応できるrequest数が増えます...

「Nginxのキャッシュ付きリバースプロキシーで
キャッシュしたContentsを返却する」
response内容をキャッシュしておいて返却します
都度requestを処理してresponse内容をつくるより
もキャッシュからレスポンスするので...

外部の有料サービスである
CDN(Contents Delivery Network)
を利用する
・CDNを簡単に説明すると、クライアントからのアクセスを
変わりに受けてくれるキャッシュサービスです
・全世界に配信サーバーを持っていてクライア...

APIサーバー
scaleup
scaleout
16

「高性能サーバーを利用する」
※WEBサーバーと同様です
APIサーバーはProgramを動作させるので
CPUとMemoryを重視してサーバーを構成します
大量のrequestを受けるWebApplicationの場合、
Scaleupだけだ...

「サーバーを複数台用意して負荷分散」
大量のrequestを受けつつprogramからCacheサ
ーバーやDBへアクセスするので、port枯渇が起
きやすいので APIサーバーのScaleoutは重要で
す
C2ではAPIサーバーを27台使っ...

◆同じユーザー/sessionが同じAPIサーバーに振
り分けられるか保証されない
=>どのサーバーに振り分けられても問題ない作
りにすることが大事
・他
Sticky Sessionを使うとLoadBalancerがcookieを元に同一サ
...

◆Ephemeral port（自由に使える短命port）
の枯渇
Linuxはportを65535まで持っていて、通信などで自由に使え
るportは一般的に 32768 ~ 61000 の 28232個のportを利用可
能です
Epheme...

◆APIサーバーのScaleout最大数は DBの同時接
続数が限界になる
APIサーバーが多数のrequestを受けられてもDB同時接続数を超
えた際にDB接続待ちが発生してしまう
DBサーバーの限界を超えたAPIサーバー台数を用意しても無...

Cacheサーバー
22

「Query結果をキャッシュ」
DBへの問い合わせを減らすことが出来て、
memoryからキャッシュ情報を取得できるので高
速に処理できる
キャッシュ方法
・memcached
・redis
・file cache
・etc
Cache ~~
...

お手軽でおすすめ
・メモリにキャッシュされ高速にキャッシュ情報を参照可能
・情報の永続化（保存）はできない
・サーバーが故障してもキャッシュなのでサービス継続可能
・memcachedのscaleoutは簡単
クライアント側のmemcahced...

・memoryの不足
memcachedはmemoryにキャッシュするので
memory量を超えて保存できない
・Ephemeral portの枯渇
memcachedへの通信は都度TCPセッションがは
られるのでportの枯渇が起きやすい
=...

高機能でおすすめ
・メモリにキャッシュされ高速にキャッシュ情報を参照可能
・情報の永続化（保存）ができる
・Ranking計算が得意（SortedSet）
・master/slave構成やクラスターを組める
・pub/subもできる
・hype...

・サーバーのmemory以上にキャッシュは出来な
い
Storageに永続化可能でもmemory以上にキャッ
シュすることはできないのでMemory管理が重要
Cache ~Redis/気をつける事~
27

DBサーバー
28

◆DBサーバーを分ける（scaleout）
・Replication（read用DBを増やして負荷分散）
・Vertical Sharding（機能毎にDBを分割）
・Horizontal Sharding（データ毎にDBを分割）
◆データ保存...

登録を担当するMasterDBと参照を担当する
SlaveDBに分けてwriteとreadの負荷分散を行う
MasterDBへの登録がほぼリアルタイムで
SlaveDBへコピーされる（完全に同時ではない）
MySQL(MariaDB), Pos...

◆レプリケーション例
masterDBとslaveDB
一番台数が少ないシンプルな形
DB ~Replication~
master
slave
31
Replication向き

◆レプリケーション例
3レイヤーのレプリケーション構成
masterDB > slave & masterDB > slave
DB ~Replication~
master
slaveslave/
master
slave backup
32...

DBを機能毎に分けて使う（垂直分割）
ユーザー情報をA-DBに、ログ情報をB-DBに保
存するなど
ユーザー情報の参照ならばA-DBへ接続するよ
うにプログラムで開発して実現する
機能毎なのでシンプル
デメリットは１つの機能へのアクセスが多い場...

Programで接続先DBを使い分ける
・User系テーブルならばUserDBへ
・Log系テーブルならばLogDBへ
◆垂直分割例
機能毎にDBを分割
・User系DB
・Log系DB
DB ~Vertical sharding~
slave...

DBをデータ毎に分けて使い分ける（水平分割）
ユーザーIDの剰余(mod)や日付期間等によって登
録するDBサーバーをわける
プログラムで計算して接続先DBを使い分ける
ユーザー情報などデータがルールによって保存
されているDBが変わってしまい...

◆データ毎の水平分割例
[ルール] user_id の偶数(even) / 奇数(odd) などで分ける
DB ~Horizontal sharding~
slave/
master
slave backup
36
user_id even
...

◆C2での水平分割例
C2ではDB Serverを2セット、DB schemaを8分割しています
[ルール] user_id % 8 で8分割（剰余算 mod）
DB負荷が上がったら最大8台のDB Serverへ分割可能です
※mod 128に...

Table毎に保存するFileをわける
１つのTableの保存領域をルールを決めて複数にわけることで
参照時に目的のデータを探す（Seek）時間が短くなる
Table A
100,000,000(1 hundred million) recor...

CREATE TABLE文
CREATE TABLE `log_training`(
`id` bigint unsigned auto_increment NOT NULL COMMENT '管理用ID'
,`user_id` int uns...

◆ Table partitioningのイメージ図
Table log_training
DB ~table partitioning~
40
1つのTable
保存領域がわか
れている
クエリのWHERE句にuser_idを指定して検索する...

DBは設定できるパラメータが多数あり、要件に合わせて設定
を変更する必要があります
（具体的な設定は section 2 にて）
DB ~設定~
41

Linux Kernel パラメータの変更
・Memory
・OpenできるFile Descripterを増やす
・起動できる Process 数を増やす
・Disk設定
・Network設定
・Ephemeral port を増やす
などの...

Section 2
設定の説明（具体的）
43

WEB/APIサーバー
LoadBalancer
Nginx
php-fpm
44

LoadBalancer
LoadBalancerでアクセスサーバーを振り分ける
Global IP/port と振り分け先のサーバーIP/portを登録する
GlobalIPへのrequestが振り分け先サーバーどれか1台に渡される
（例）G...

LoadBalancer
（例）GMOアプリクラウドでの設定方法 / 振り分けサーバー2台
46

Nginx ~説明~
Nginxは http daemon であり Non blocking I/O
と async I/O により大量のアクセスに対応する
ことが可能
URLによる L7 Load balancing が可能
Luaスクリプト...

Nginx ~conf~
/etc/nginx.conf の重要パラメータ
worker_processes
nginxのプロセスをいくつ起動するか
worker_connections
worker１つあたりの最大接続数
multi_acce...

WebサーバーでPHPを動作させるDaemon
PHPのFastCGI実装の一つ
FPM (FastCGI Process Manager)
FastCGIとは
requet毎に生成破棄されるCGIプロセスを保持するようにし
て高速に再利用でき...

重要な設定
pm.max_children
php-fmpの最大worker数, この値が一番大事！
server memoryが許すまで大きめの値を設定したい
下記コマンドで消費メモリを測定
ps aux | grep php-fpm | a...

ログの確認が重要
負荷テストを行うとエラーログにmax_childrenが足りないな
ど情報が出ていることがある
忘れずに確認しよう
php-fpm ~php-fpm.conf~
51

Cacheサーバー
memcached
Redis
52

Cache ~memcached~
/etc/sysconfig/memcached 重要なパラメータ
MAXCONN = 65535
最大接続数, Ephemeral port以上に設定
CACHESIZE = 3000 (MB)
利用可能物...

Cache ~memcached~
「気をつける事」
・memcachedサーバーは負荷テストを行うとport枯渇により
接続エラーになりやすい
=>サーバー台数を多めに用意するのがおすすめ
・memcachedサーバーへのTCP接続が高負荷な...

重要なパラメータ
maxclients 50000
最大接続数
maxmemory 14gb
最大Memoryサイズ
多数のパラメータがあるが上記は最低限サーバーリソースに
合わせて設定する必要がある
Cache ~Redis~
55

◆ Replication構成は可能な限り3台以上の構成にすることをお
すすめします
1台余剰のSlaveDBがあると
・リアルタイムでDBを参照できる
・エンドユーザーに影響せずに重い集計クエリを実行できる
・DBへの書き込みを止めてBack...

◆ Backupは mysql dir毎コピーを取る方法がおす
すめ
・tarコマンド等で /var/lib/mysql 毎バックアップする
・/var/lib/mysql/master.infoファイルにreplication設定や
binl...

c2の要件において効果が高かったパラメータ
※システム要件によって効果的なパラメータは異なるためシステム毎に要検討
負荷テストにおいて設定した値
max_connections: 10000
connection数上限エラーが発生したためMem...

innodb_lock_wait_timeout: 5
lock待ちが長すぎてconnection上限エラーが発生しやすかったので変更
->5sec以上のlock waitは失敗として終了させて全体が詰まることを減少
innodb_io_cap...

c2でのmy.cnf設定（Ansible template）
character_set_server: utf8mb4
max_connections: 10000
max_connect_errors: 50
transaction-iso...

# Set .._log_file_size to 25 % of buffer pool size
innodb_log_file_size: 2G
innodb_log_buffer_size: 64M
innodb_support_xa:...

$# replication server_id: "{{ ansible_all_ipv4_addresses[0].split('.')[3] }}" log_slave_updates: ON # binlog log_bin: mysql...$

Linux Kernel
Parameter
63

Kernel設定の変更によりServer自体の処理性能
が大きくあがります
DB Server や API Server など要件に合わせて
設定を調整することが大切です
※次ページから具体的な設定を紹介します
Kernel設定 ~~
64

重要な Linux kernel設定
net.core.somaxconn=65535
TCP接続数最大Port数に設定するのがおすすめ
net.ipv4.ip_local_port_range=10000 65535
Ephemeral p...

fs.file-max=10000000
OS全体でOpenできるfile数
kernel.threads-max=1000000
OS全体で起動できるthread数
vm.swappiness=0
Swap処理を積極的に行うどうか 0=可能な...

net.core.netdev_max_backlog=10240
パケット受信時にキューに繋ぐことができるパケットの最大数
net.ipv4.tcp_max_syn_backlog=4096
ソケット当たりのSYNを受け付けてACKを受け取っ...

/etc/security/limits.conf にos user毎にopen可能なfile
descripterや起動できる process数を設定
設定値をあげることで Too many open files エラーが発生しに
くくなる
...

systemdはprocess起動が柔軟に行える
processがOpenできるFile数や起動できるprocess数を動的に
変更可能
大量のfile descripterを必要とするDBサーバー等では上げておく
必要がある
（例）
/etc...

以上になります
ご清聴ありがとうございました
「cảm ơn」
質問があればどうぞ
（Any Question?）
終わり
71