Phương pháp và chiến lược đối ứng tải trong Web Application Server

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

高負荷に耐えうる WebApplication Server
の作り方
Phương Pháp Và Chiến Lược Đối Ứng Tải
Trong Web App Server
GMOインターネット株式会社GMO Internet ...

Xin chào！
Tôi tên là Ishiyama Yuta.
GMO Internet inc.
次世代システム研究室
(Innovation and Technology System Office)
アシスタントマネージャー(As...

Goal
Câu hỏi khi thiết kế kiến trúc Web App để đáp ứng tải
lớn:
 Giải quyết ở điểm nào trên hệ thống?
 Giải quyết như th...

Section 0
対象とするWebApplicationの説明（前提）
Giới thiệu dự án Web Application đã thực hiện (tiền đề)
Section 1
どういった案があるか説明（抽象的）
P...

Section 0
対象とするWebApplicationの説明（前提）
Giới thiệu dự án Web Application đã thực hiện (tiền đề)
5

PJ code「C2」:
Là hệ thống của 1 dự án game lớn dành cho smartphone
・[OS] CentOS7
・[WEB server] NGINX
・[API server] NGINX + ...

全体構成図 Sơ đồ cấu hình tổng thể
7
LB
API
CACHE
memcached
DB
WEB・・・
master
・・
CACHE
Redis
slave
s/m
slave backup
s/m
slave ba...

Sơ đồ cấu hình tổng thể – Những điểm giải quyết
8
LB
API
CACHE
memcached
DB
WEB・・・
master
・・
CACHE
Redis
slave
s/m
slave b...

Section 1
どういった案があるか説明（抽象的）
Phương án giải quyết?
9

◆ Scaleup (Nâng cao tính năng server)
Dùng server cấu hình cao để nâng cao tốc độ xử lý
◆ Scaleout (Tăng số lượng server)
...

WEB SERVER
Scaleup
Scaleout
キャッシュ付きreverse proxy (reverse proxy với cache)
CDN
11

 Dùng server cấu hình cao
 Khi scaleup server để đáp ứng nhanh các request dạng
HTML, ảnh, video cần chú trọng
CPU clock...

 Chuẩn bị nhiều server để phân tán tải
 Dùng LoadBalancer để phân bổ kết nối tới WEB SERVER
 Khi số lượng server tăng, ...

 Trả về Contents đã được cache tại Reverse proxy (của Nginx)
 Trả lại content response đã được cached sẵn để rút ngắn th...

C2 sử dụng dịch vụ CDN(Contents Delivery Network) có trả
phí của bên thứ 3
・CDN: dịch vụ cache nội dung tĩnh
・CDN có serve...

API SERVER
scaleup
scaleout
16

 Sử dụng server tính năng cao
 Cơ bản giống WEB SERVER, nhưng đề cao khả năng xử lý
 Vì API server chạy code của ứng dụ...

Chuẩn bị nhiều server để phân tán tải
大量のrequestを受けつつprogramからCacheサーバーやDBへアクセスす
るので、port枯渇が起きやすいので APIサーバーのScaleoutは重要です
...

◆Cạn kiệt Ephemeral port (cổng tạm)
Linux có 65535 cổng, trong đó 28232 port (32768 ~ 61000) có thể
sử dụng tự do để truyề...

Không đảm bảo được request từ user/session giống nhau đi
vào API server giống nhau
=>Cần thiết kế để dù có đi vào server n...

 Số lượng của API server vượt số lượng kết nối đồng thời
của DB
 Khi API server nhận nhiều request có thể phát sinh đợi ...

Cache server
22

Cache kết quả Query
Giúp giảm truy cập đến DB, nâng cao tốc độ xử lý bằng việc lấy
thông tin cache từ bộ nhớ
Phương pháp c...

Dễ dùng
 Thông tin được cache trong memory nên thao tác đọc sẽ rất nhanh
 Không thể lưu thông tin lâu dài, bị mất data n...

 Thiếu memory
memcached lưu data trên memory nên không thể lưu nếu kích
thước data vượt quá memory
 Cạn kiệt Ephemeral p...

Tính năng cao
 Thông tin cache trên Memory nên xử lý đọc khá nhanh
 Có thể lưu thông tin trên đĩa cứng
 Khá mạnh trong ...

Không thể cache quá memory của server
Có thể lưu data lâu dài trên Storage nhưng vì không
thể cache quá memory nên cần quả...

DB SERVER
28

 Phân chia DB server（scaleout）
・Replication
Tăng số lượng DB chuyên read data và phân chia tải
・Vertical Sharding
Phân ch...

MasterDB đảm nhận ghi và SlaveDB đảm nhận đọc dữ liệu,
thực hiện chia tải cho ghi và đọc dữ liệu
Việc ghi đến MasterDB và ...

 Ví dụ Replication
1 masterDB và 1 slaveDB
Cấu hình đơn giản với số lượng server ít nhất
DB ~Replication~
master
slave
31...

 Ví dụ Replication
Kiến trúc Replication 3 layer
masterDB > slave & masterDB > slave
DB ~Replication~
master
slaveslave/
...

Phân loại DB theo chức năng (Chia DB theo chiều dọc)
Lưu thông tin user vào A-DB, lưu thông tin log vào B-DB,…
Cần code ch...

Chia kết nối đến DB bằng program code
・Những table Liên quan đến User thì kết
nối đến UserDB
・Những table liên quan đến lo...

Phân chia DB theo data để sử dụng (Chia theo chiều ngang)
Phân chia DB Server mà user đăng ký vào dựa theo số dư userID (m...

 Ví dụ chia theo chiều ngang
Nguyên tắc: Chia theo tính chẵn – lẽ của user_id
DB ~Horizontal sharding~
slave/
master
slav...

 Ví dụ tách DB theo chiều ngang ở project C2
 Ở project C2: phân chia DB Server thành 2 set, 8 DB schema.
Rule: Tách 8 s...

Lưu theo từng table và chia File
Bằng việc quyết định nguyên tắc rồi phân chia khu vực lưu trong 1 Table thành
nhiều phần:...

CREATE TABLE文
CREATE TABLE `log_training`(
`id` bigint unsigned auto_increment NOT NULL COMMENT '管理用ID'
,`user_id` int uns...

 Sơ đồ Table partitioning
Table log_training
DB ~table partitioning~
40
Khu vực lưu 1
Table đang
được phân chia
Khi chỉ đ...

DB server có nhiều parameter để thay đổi. Cần thay đổi thiết
lập phù hợp với yêu cầu của hệ thống
（Cụ thể trình bày ở Sect...

Một số thiết lập parameter trên Linux Kernel
・Memory
・Tăng số lượng File có thể Open
・Tăng số lượng Process có thể khởi độ...

Section 2
設定の説明（具体的）
Giải thích cài đặt (Chi tiết)
43

WEB/API SERVER
LoadBalancer
Nginx
php-fpm
44

LoadBalancer
Điều hướng access đến server bằng LoadBalancer
Global IP/port と振り分け先のサーバーIP/portを登録するGlobalIPへのrequestが振り
分け先...

LoadBalancer
（VD）Cách thiết lập bằng GMO App Cloud/ điều hướng về 2 server đích
46

Nginx ~Giải thích~
Nginx là http daemon, có khả năng đối ứng lượng access lớn
bằng Non blocking I/O và async I/O
Có khả nă...

Nginx ~conf~
/etc/nginx.conf の重要パラメータ
Parameter quan trọng
worker_processes
Khởi động bao nhiêu worker process
worker_conn...

FPM (FastCGI Process Manager)
Daemon để thực hiện PHP script trên Web server
Một trong những chức năng FastCGI của PHP
Fas...

Setting quan trọng
pm.max_children
Số lượng worker lớn nhất của php-fmp, giá trị này là quan trọng
nhất
Nên thiết lập giá ...

Kiểm tra log khi test tải
Khi tiến hành test chịu tải:các trường hợp các thông tin như
max_children bị thiếu,… sẽ được xuấ...

Cache Server
memcached
Redis
52

Cache ~memcached~
Các Parameter quan trọng trong
/etc/sysconfig/memcached
MAXCONN = 65535
Số lượng kết nối tối đa, cần lớn...

Cache ~memcached~
Cần lưu ý
・Memcached server: Khi test tải, dễ phát sinh lỗi kết nối do cạn kiệt port
=>nên chuẩn bị nhiề...

Các parameter quan trọng
maxclients 50000
Số lượng kết nối tối đa
maxmemory 14gb
Size Memory tối đa
Mặc dù có nhiều parame...

 Khi dùng Replication: nếu có thể nên thiết lập với 3 server trở lên
Khi thừa 1 server SlaveDB
・Có thể đọc DB realtime
・C...

 Nên backup bằng cách copy từng mysql dir
・Back up mỗi thư mục /var/lib/mysql bằng tar command.
・Trong file /var/lib/mysq...

Parameter đã có hiệu quả cao trong C2
※Vì parameter có hiệu quả khác nhau tùy theo yêu cầu của hệ thống nên cần điều
tra t...

innodb_lock_wait_timeout: 5
Thời gian đợi lock quá dài sẽ dễ phát sinh lỗi vượt giới hạn connection
-> lockwait trên 5 sec...

Setting my.cnf tại C2（Ansible template）
character_set_server: utf8mb4
max_connections: 10000
max_connect_errors: 50
transa...

# Set .._log_file_size to 25 % of buffer pool size
innodb_log_file_size: 2G
innodb_log_buffer_size: 64M
innodb_support_xa:...

$# replication server_id: "{{ ansible_all_ipv4_addresses[0].split('.')[3] }}" log_slave_updates: ON # binlog log_bin: mysql...$

Linux Kernel
Parameter
63

Bằng việc thay đổi thiết lập Kernel, khả năng xử lý
của Server sẽ mạnh hơn
Cần điều chỉnh setting DB Server, API Server ph...

Các thiết lập Linux kernel quan trọng
net.core.somaxconn=65535
Số lượng kết nối TCP: nên cài đặt số lượng Port tối đa
net....

fs.file-max=10000000
Số lượng file có thể Open (trên toàn OS)
kernel.threads-max=1000000
Số lượng thread có thể khởi động ...

net.core.netdev_max_backlog=10240
Số lượng packet tối đa có thể đưa vào hàng đợi khi nhận packet
net.ipv4.tcp_max_syn_back...

Thiết lập /etc/security/limits.conf : Thiết lập file descripter có thể open và
số lượng process có thể khởi động
File desc...

Systemd có thể khởi động process khá linh hoạt
Có thể thay đổi số lượng File có thể Open và số lượng process có thể khởi
đ...

以上になります
ご清聴ありがとうございました
「Cảm ơn các bạn đã lắng nghe」
質問があればどうぞ
（Any Question?）
終わり
71