Downloaded 30 times
![单查询不能有效利用多核
• 对某些查询，可以并行处理
• 例如：SELECT count(*) FROM table WHERE
col1 BETWEEN a AND b;
• 我们完全可以把[a,b]区间分成小区间并发：
• SELECT count(*) FROM table WHERE col1
BETWEEN a AND x1;
• SELECT count(*) FROM table WHERE col1
BETWEEN x1 AND x2;
• …
• SELECT count(*) FROM table WHERE col1
BETWEEN xn AND b;](https://image.slidesharecdn.com/mysql-130121203620-phpapp01/85/MySQL-4-320.jpg)
Uploaded byLixun Peng
对MySQL的一些改进想法和实现
文档讨论了MySQL的瓶颈及改进建议，包括并行处理查询、优化数据文件利用、缩短锁的持有时间、提升b树的并发性和实现数据的有效聚合。提出了具体解决方案，如将查询分段并发、使用共享表空间来避免全局锁、优化事务日志写入时的锁机制和利用b-link协议改进b树锁定机制。最后，提出了利用binlog实现数据闪回的建议，称这一过程可以使MySQL更强大。
More Related Content
![[DCTPE2011] 8) 多伺服器/高效能的Drupal 主機解決方案--James Liu](https://cdn.slidesharecdn.com/ss_thumbnails/drupalcamp2011-james-110804000525-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
对MySQL的一些改进想法和实现
- 1. 对MySQL的一些 改进想法和实现 彭立勋 WWW.PengLiXun.COM 淘宝核心系统研发
- 2. MySQL目前存在的瓶颈 • 单查询不能有效利用多核 • 单文件不能有效利用多路径 • 数据文件扩展全局锁 • 事务写日志持有锁太久 • 两级B树锁不能有效并发 • 拆分数据无法有效聚合 • 误操作数据不能有效闪回 • ……
- 3. 如何解决？ • 并发 • 拆分锁 •缩短锁的持有时间
- 4. 单查询不能有效利用多核 • 对某些查询，可以并行处理 • 例如：SELECTcount(*) FROM table WHERE col1 BETWEEN a AND b; • 我们完全可以把[a,b]区间分成小区间并发： • SELECT count(*) FROM table WHERE col1 BETWEEN a AND x1; • SELECT count(*) FROM table WHERE col1 BETWEEN x1 AND x2; • … • SELECT count(*) FROM table WHERE col1 BETWEEN xn AND b;
- 5. 单文件不能有效利用多路径 • 在innodb_per_table下，每个表一个独立文件 • 如果没有好的RAID卡？如果有多个SSD？…… •其实InnoDB的数据结构已经支持单表空间多文 件——因为共享表空间就支持多文件！ • 对独立表空间也把fil_space_t- >chain(fil_node_t)用起来 • 如何计算page和node_id的对应关系？ • 除最后一个文件都必须固定大小 • 固定表空间文件数量
- 6. 数据文件扩展全局锁 • fil_system->mutex锁定所有表空间操作 • 怎么解决？ •5.6：扩展文件用fil_space_t->being_extend标 记即可 • 我们的方案：预扩展
- 7. 事务写日志持有锁太久 • 写事务日志整个过程持有log_sys->mutex • 有必要吗？ •写日志时已经知道要写的日志有多长。 • 因此没有必要 • 如何解决？ • 用log_sys->mutex申请一段可以写日志的空间 ，释放锁后再写，后面需要提交的事务继续申 请后面的位置即可。
- 8. 两级B树锁不能有效并发 • InnoDB的B-tree只有两个Latch，非叶子节点使 用index->latch，叶子节点使用page->latch。 • 如果B-Tree要扩展节点，对不起，整个B-Tree 都需要锁定。 • 解决方案： • 利用B-Link和IM协议来操作B-Tree。 • 为每层页加锁，而不是整个非叶子节点加锁。
- 9. 拆分数据无法有效聚合 • MySQL最常见的用法？拆分！ • 拆完以后，数据想换个维度分析怎么办？ •现在只能依赖中间件…… • MySQL已经准备好了干嘛不用？所有 SlaveIO/SQL相关函数都用Master_info*传递复 制信息。 • 为每个函数传递不同的Master_info*即可实现多 主！
- 10.
- 11.
- 12. 误操作数据无法有效闪回 • 如果bug不小心损坏了数据怎么办…… • 现在的办法：最近的全备+binlog •但是……binlog里有完整的操作数据啊～为何不 用？ • 将binlog中的Log_event修改为逆操作类型！从 文件尾部向头部执行，逆转操作！ • MySQL也可以像Oracle一样闪回～
- 13.
- 14.