Mysql基于ssd flashcache实践

MySQL+SSDFlashcache优化实践
天羽@

Who am I
天羽
tianyu@taobao.com
@tb天羽
SI
Oracle
Mysql
16:26
2

议题
方案选型
性能调优
稳定测试
16:25
3

方案选型-选型目标
数据量
30亿
读写压力与分布
TPS 500*16（峰值）
QPS 7000*16 （峰值）
成本与余量
150亿，5倍压力 tps 2500 qps 35000
15:46
4

方案选型-选型目标
15:46
5

方案选型-对比测试
Mysqltps --supersmack
15:46
6

方案选型-ioDrive VS ssd
CPU —> 北桥 —> 南桥 —> SAS/RAID 控制器 —> 背板 —> 磁盘
15:46
7

方案选型- ioDrive VS ssd
15:46
8

Fusion IO
ioDrive 320G MLC
官方数据
4PB 1W次
测试数据
逻辑写134G/天，物理写809G/天，
(4000*1024/8098)/356=14年
15:46
9

方案选型- Flashcache介绍
15:46
10

Flashcache介绍
元数据开销: 24byte in-memory(300G/4k,1.8G),16 byte on-flash
…
…
1 set = 512 blocks
…
15:46
11

Flashcache测试
业务性能压测
风险评估
DB各种异常down机
DDL、数据订正
数据库备份等维护操作
15:45
12

业务压测-DB数据
%user 45% %iowait 8.20
BPhit 99.3%flashcache hit 98.2%
/proc/flashcache_setutil 79441(2MB)个util99%
15:45
13

业务压测-应用RT
RT（1/4的热点数据） = 7ms
RT（3/4的非热点数据） = 18ms
RT（写Update）=7ms
线上压力4000 qps 1.2ms
15:45
14

引入cache
15:45
15

问题
预热
数据丢失
非业务操作干扰Cache效率
风险与管理
未知?
15:45
16

Troubleshoot
预热
cachehit测试,169G用8-13分钟左右，221MB/s
数据丢失验证
各种down机后，持续监控cachehit%
备份/copy文件对cahce的影响
白名单
增加风险点
fio状态、温度、寿命、cachehit监控
15:45
17

未知?
开机attach时间
Hang
DDL hang、Dmsetup hang、copy hang
FIX：调整FLASHCACHE_COPY_PAGES and FLASHCACHE_ASYNC_SIZE
dosync.fast_remove=0再dmsetup remove会hang
FIX：Fast_remove=1，主动刷并限制力度,调整合并后写块上限
验证：dmsetup remove ，完全4K往SAS刷，不hang。每秒100M/S，100G需17分钟
15:45
18

DDL测试
数据量
单表130W 数据量，2GB
SAS写入
加索引(83MB/S)>其他DML(5MB/S) > 平时2.5MB/S
DDL时间
扩字段，减字段，重命名，改类型，删字段，1分钟07秒
加索引9s,删索引0.08s
第1个操作用5分钟，和很多tps抢锁，表load到内存
15:45
19

议题
15:45
方案选型
性能调优
稳定测试
20

Flashcache配置
白名单
cache_all=0
LRU
reclaim_policy=1
脏刷新率
dirty_thresh_pct=90
快速remove
fast_remove = 1
刷出力度
max_clean_ios_set=2
max_clean_ios_total=4
15:45
21

OS优化
内存
numa=off
FS mount参数
noatime,nodiratime,barrier=0
IO调度器
scheduler deadline
nr_requests 512 增大队列长度 default 128
read_ahead_kb 16 减少预读default 128
15:45
22

MYSQL优化
日志
1、减少切换次数
innodb_log_file_size=1300m
innodb_log_files_in_group=3
2、独立硬盘
redo log 240G/天
并发线程
innodb_thread_concurrency
15:45
23

MYSQL优化
IO
innodb_io_capacity
innodb_read_io_threads
innodb_write_io_threads
未定
innodb_change_buffering=none
adaptive_flushing
ssd随机写,不需要顺序化的额外代价
15:45
24

里程碑
15:45
25

里程碑
15:45
26

议题
方案选型
性能调优
稳定测试
15:45
27

场景设计
Down
硬件故障
断网
Hang
cpu/mem/io/db threads/日志空间满
Slow
异常sql/DDL/备份/清除binlog / threads running
APP/Cache异常
15:45
28

稳定测试
连接数突然上升
因为充分预热的原因，请求都在bufferpool，所以撑得住
Threads running
Threads running
15:38
29

监控
readhit读命中
writehit 写命中
dirtywrhit脏写命中
cache_pct cache数据块占总空间比例
dirty_pct dirty数据块占总空间比例
lg_written逻辑写
phy_written物理写
fio_status Healthy(状态标志)
reserves 预留空间百分比 10%预警
Internal temperature 温度
15:38
30

运维
OS crash或重启OS
1、检测fio是否attach，如果attach就flashcache_load
2、准备flashcache参数
3、挂载FS
4、预热（目前没有自动做，默认是关闭的）
5、启动mysqld，并加入flashcache白名单
手工运维脚本
15:38
31

Q&A
Do what you want,@北京&杭州
天羽 tianyu@taobao.com
15:40
32
THANK YOU

Mysql基于ssd flashcache实践

by gettyying on Jul 14, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

Statistics

Mysql基于ssd flashcache实践 — Presentation Transcript