1. Performance Tuning
by qiuzhiwei

2. 文件系统:XFS
XFS，一种高性能的日志文件系统，最早于
1993年，由Silicon Graphics为他们的IRIX操作系
统而开发，是IRIX 5.3版的默认档案系统。2000
年5月，Silicon Graphics以GNU通用公共许可证
释出这套系统的源代码，之后被移植到Linux 内
核上。XFS 特别擅长处理大文件，同时提供平滑
的数据传输。

3. IOZONE:EXT* VS XFS

6. MySQL数据库几个主要的访问模式：

7. MySQL数据库几个主要的访问模式：
a)同步读取InnoDB存储引擎页面输入;

8. MySQL数据库几个主要的访问模式：
a)同步读取InnoDB存储引擎页面输入;
b)异步写入InnoDB存储引擎页面输出;

9. MySQL数据库几个主要的访问模式：
a)同步读取InnoDB存储引擎页面输入;
b)异步写入InnoDB存储引擎页面输出;
c)同步改写InnoDB存储引擎事务日志;

10. MySQL数据库几个主要的访问模式：
a)同步读取InnoDB存储引擎页面输入;
b)异步写入InnoDB存储引擎页面输出;
c)同步改写InnoDB存储引擎事务日志;
d)同步添加MySQL数据库二进制日志。

11. 在高性能环境中，重要的是选择一个在以上四种
访问模式下都能提高效率的文件系统。如果这是一
个读写密集型系统，要求XFS能够有效的刷新页面，
就像支持挂起每个索引节点(或文件)的写操作。XFS
的元数据效率能够使同步写操作的速度高于其他文
件系统。
直到最近，XFS成为唯一的大型Linux文件系统，
支持文件对齐。InnoDB数据文件块大小是固定的，条
纹边界上对齐可能会增加额外的5%以上的 I/O性
能。一般来说，XFS能够使大多数工程支持并行工作
负载，多个分配组允许元数据操作的并行方式，而不
仅数据。另外，生产系统还有其他的操作问题， 例如
如果表文件被使用，想要尽快断开链接，DROP
TABLE和其他文件remoavls(如TRUNCATE)才不会
使整个操作拖延太久。XFS文件系统是更好的选择。

12. XFS的主要特性包括：
a)数据完全性
采用XFS文件系统，当意想不到的宕机发生后，
首先，由于文件系统开启了日志功能，所以你磁
盘上的文件不再会意外宕机而遭到破坏了。不论
目前文件系统上存储的文件与数据有多少，文件
系统都可以根据所记录的日志在很短的时间内迅
速恢复磁盘文件内容。

13. XFS的主要特性包括：
b)传输特性
XFS文件系统采用优化算法，日志记录对整体文
件操作影响非常小。XFS查询与分配存储空间非
常快。xfs文件系统能连续提供快速的反应时间。
曾经对XFS、JFS、Ext3、ReiserFS文件系统进行
过测试，XFS文件文件系统的性能表现相当出
众。

14. XFS的主要特性包括：
c)可扩展性
XFS 是一个全64-bit的文件系统，它可以支持上百万
T字节的存储空间。对特大文件及小尺寸文件的支持
都表现出众，支持特大数量的目录。最大可支持的文
件大 小为263 = 9 x 1018 = 9 exabytes，最大文件系
统尺寸为18 exabytes。XFS使用高的表结构(B+树)，
保证了文件系统可以快速搜索与快速空间分配。XFS
能够持续提供高速操作，文件系统的性能不受目录
中目录及文件数量的限制。

15. XFS的主要特性包括：
d)传输带宽
XFS 能以接近裸设备I/O的性能存储数据。在单
个文件系统的测试中，其吞吐量最高可达7GB每
秒，对单个文件的读写操作，其吞吐量可达4GB
每秒。

16. 格式化参数：
mkfs.xfs -f -i size=512,attr=2 -l lazy-count=1 -d
su =1m,sw=2 /dev/mapper/cachedev
(sas盘su使用64k，flashcache使用1m,sw为使用
盘的数量,raid1 sw=2,raid sw=5)

17. 挂载参数：
mount -o defaults,rw,noatime,nodiratime,
noikeep,nobarrier,allocsize=8M,attr2,largeio,
inode64,swalloc /dev/sdb1 /u01

18. RAID:
独立磁盘冗余数组（RAID, Redundant Array
of Independent Disks），旧称廉价磁盘冗余数组
（RAID, Redundant Array of Inexpensive
Disks），简称硬盘阵列。其基本思想就是把多个
相对便宜的硬盘组合起来，成为一个硬盘阵列
组，使性能达到甚至超过一个价格昂贵、容量巨
大的硬盘。

19. 对于数据库应用：
raid可以提供数据备份技术、扩展存储空间和
提高存储性能。关于raid 0，raid 1，raid0+1，
raid1+0，raid 5这些理论基础不重复提及，自行
google。
对于数据库应用，通常我们换选择raid1+0。他
在磁盘空间成本和安全性方面和raid5差不多，但
是在性能方面(IOPS)却明显优越于raid5，所以对
于OLTP系统，我们一般使用raid1+0。

20. Cache：
对于一块中高端的RAID，缓存是必不可少的。一
般raid卡使用的DDR2内存颗粒，和我们的内存条几
乎相同，adaptec的缓存叫DRAM，根据硬件技术的
发展DDR3肯定会跟上的。
说到缓存技术就必须说一下两种缓存模式。
write through： 系统的写入请求直接写入硬盘，安全
性很高，性能很低。
write back： 系统的写入请求先存放到缓存，再根据
时机统一回写到硬盘中，由于缓存的写速度远远高
于磁盘，所以这种方式性能可以大大提高。

21. BBWC:
为了挖掘更好的RAID写入性能，DBA肯定想打开write back功
能，让数据库飞起来。但是这个时候出现了一个非常严重的安全问
题，就是突然断电导致数据丢失的问题(上面提过raid卡使用的是
RAM存储器，断电丢失数据，但是系统层已经认为这些数据已经写
入硬盘，所以系统层不能提供任何保护措施)，数据丢失肯定是不能
接收的。那该如何呢？
针对这个问题出现了BBWC–Battery-Backed Write Cache.
BBWC的核心就是BBU电池备份单元，它就是一块锂电池，在系统
开机的情况下处于充电状态，一旦遇到断电，就会给缓存提供刷新
所需的电流，保持数据不丢失，直到下次开机时把数据写回到磁盘
上。有的BBU和raid卡的内存做在一个模块上，有些是raid卡通过一
个连接线连接一个电池

22. BBWC的缺点：

23. BBWC的缺点：
1、每隔1-2年需要跟换电池，维护麻烦，管理员容易
忘记这个事情，如果机器不很远的机房单独去机房
换电池，成本就高了。

24. BBWC的缺点：
1、每隔1-2年需要跟换电池，维护麻烦，管理员容易
忘记这个事情，如果机器不很远的机房单独去机房
换电池，成本就高了。
2、更换电池需要停机，并且需要把机器下架，拆开。

25. BBWC的缺点：
1、每隔1-2年需要跟换电池，维护麻烦，管理员容易
忘记这个事情，如果机器不很远的机房单独去机房
换电池，成本就高了。
2、更换电池需要停机，并且需要把机器下架，拆开。
3、由于电池也是一个故障点，所以需要管理员花更
多的时间来关心电磁的工作情况

26. BBWC的缺点：
1、每隔1-2年需要跟换电池，维护麻烦，管理员容易
忘记这个事情，如果机器不很远的机房单独去机房
换电池，成本就高了。
2、更换电池需要停机，并且需要把机器下架，拆开。
3、由于电池也是一个故障点，所以需要管理员花更
多的时间来关心电池的工作情况
4、电池能够提供的供电时间最多72小时，初始化需
要充电数小时才能使用

27. BBWC的缺点：
1、每隔1-2年需要跟换电池，维护麻烦，管理员容易
忘记这个事情，如果机器不很远的机房单独去机房
换电池，成本就高了。
2、更换电池需要停机，并且需要把机器下架，拆开。
3、由于电池也是一个故障点，所以需要管理员花更
多的时间来关心电池的工作情况
4、电池能够提供的供电时间最多72小时，初始化需
要充电数小时才能使用
5、电池不环保

28. FBWC：
针对BBWC的缺点，出现了FBWC –Flash-
Based Write Cache。
FBWC的原理就是再系统以外停电的时候，利
用一组“超级电容”中存储的电量，在较短的时间
内(大约1分钟),将缓存中的数据备份到RAID卡上
的大容量FLASH闪存中，知道下次开机再把数据
回写到硬盘中。
FBWC和BBWC几乎完成的目的是一样的，但
是实现方式不同。

29. FBWC的优点：

30. FBWC的优点：
针对BBWC的缺点，出现了FBWC–Flash-
Based Write Cache。
FBWC的原理就是再系统以外停电的时候，利
用一组“超级电容”中存储的电量，在较短的时间
内(大约1分钟),将缓存中的数据备份到RAID卡上
的大容量FLASH闪存中，知道下次开机再把数据
回写到硬盘中。
FBWC和BBWC几乎完成的目的是一样的，但
是实现方式不同。

31. RAID配置：

32. RAID配置：
a.条带大小：
在RAID配置时，提交装机申请时指定，
flashcache设置条带大小为1M.SAS盘采用默认
64K

33. RAID配置：
b.LSI raid卡配置
/opt/MegaRAID/Megacli/MegaCli -LDSetProp -
CachedBadBBU -Lall -aALL
/opt/MegaRAID/Megacli/MegaCli -LDSetProp -
DisDskCache -Lall -aALL
/opt/MegaRAID/Megacli/MegaCli -LDSetProp -
NORA -Lall -aALL
/opt/MegaRAID/Megacli/MegaCli -LDSetProp -WB
-Lall -aALL
/opt/MegaRAID/Megacli/MegaCli -LDSetProp -
Direct -Lall -aALL

34. RAID配置：
设置电池断电依然使用cache；不使用磁盘
cache；不进行预读；设置cache策略为WB；direct
模式
ssd设置cache策略为WT
/opt/MegaRAID/MegaCli -LDSetProp -WT -Lall
-aALL

35. Linux system:

36. Linux system:
a.sys 文件系统设置
echo ’16′ >/sys/block/sdb/queue/read_ahead_kb
echo ’512′ > /sys/block/sdb/queue/nr_requests
echo ‘deadline’ >/sys/block/sdb/queue/scheduler
echo ’16′ >/sys/block/sdc/queue/read_ahead_kb
echo ’512′ > /sys/block/sdc/queue/nr_requests
echo ‘deadline’ >/sys/block/sdc/queue/scheduler

37. Linux system:
Linux有四种IO调度算法：CFQ，Deadline，Anticipatory和
NOOP，CFQ是默认的IO调度算法。完全随机的访问环境下，
CFQ与Deadline，NOOP性能差异很小，但是一旦有大的连续
IO，CFQ可能会造成小IO的响应延时增加，所以数据库环境
建议修改为deadline算法，表现更稳定。
IO调度算法都是基于磁盘设计，所以减少磁头移动是最重
要的考虑因素之一，但是使用Flash存储设备之后，不再需要
考虑磁头移动的问题，可以使用NOOP算法。NOOP的含义就
是NonOperation，意味着不会做任何的IO优化，完全按照请
求来FIFO的方式来处理IO。

38. Linux system:
减少预读：
/sys/block/sdb/queue/read_ahead_kb，默认
128，调整为16
增大队列：
/sys/block/sdb/queue/nr_requests，默认128，调
整为512

39. Linux system:
b.ulimit限制
打开文件限制。open file limit 。目前为10240
max locked memory限制。Unlimited

40. Linux system:
c.大页使用以及内存swap
使用大页的系统，为连接和操作系统预留8G
以上。
sysctl.conf增加swappness=0

41. Numactl:

42. Numactl:
NUMA的内存分配策略有四种：

43. Numactl:
NUMA的内存分配策略有四种：
1.缺省(default)：总是在本地节点分配（分配在
当前进程运行的节点上）；

44. Numactl:
NUMA的内存分配策略有四种：
1.缺省(default)：总是在本地节点分配（分配在
当前进程运行的节点上）；
2.绑定(bind)：强制分配到指定节点上；

45. Numactl:
NUMA的内存分配策略有四种：
1.缺省(default)：总是在本地节点分配（分配在
当前进程运行的节点上）；
2.绑定(bind)：强制分配到指定节点上；
3.交叉(interleave)：在所有节点或者指定的节
点上交织分配；

46. Numactl:
NUMA的内存分配策略有四种：
1.缺省(default)：总是在本地节点分配（分配在
当前进程运行的节点上）；
2.绑定(bind)：强制分配到指定节点上；
3.交叉(interleave)：在所有节点或者指定的节
点上交织分配；
4.优先(preferred)：在指定节点上分配，失败则
在其他节点上分配。

47. Numactl:
因为NUMA默认的内存分配策略是优先在进程
所在CPU的本地内存中分配，会导致CPU节点之
间内存分配不均衡，当某个CPU节点的内存不足
时，会导致swap产生，而不是从远程节点分配内
存。这就是所谓的swap insanity现象。

48. Numactl:
MySQL采用了线程模式，对于NUMA特性的支
持并不好，如果单机只运行一个MySQL实例，我
们可以选择关闭NUMA，关闭的方法有三种：1.硬
件层，在BIOS中设置关闭；2.OS内核，启动时设
置numa=off；3.可以用numactl命令将内存分配策
略修改为interleave（交叉），有些硬件可以在
BIOS中设置

49. Numactl:
如果单机运行多个MySQL实例，我们可以将
MySQL绑定在不同的CPU节点上，并且采用绑定
的内存分配策略，强制在本节点内分配内存，这
样既可以充分利用硬件的NUMA特性，又避免了
单实例MySQL对多核CPU利用率不高的问题。

50. Q&A?

51. Thanks !!!
gtalk:zqtommyora25@gmail.com
mail:zhiwei.qiu@kadang-inc.com