Quad项目中MySQL使用的一点总结

1. MySQL总结

2. Schema优化
 varchar的长度。影响临时表排序消耗内存，性能。
 Memory引擎是不支持blob和text类型的。临时表？
 5.0.3版本之前的mysql，varchar最大长度255. 之后的版
本没有限制，但是受max row size 65535 bytes的限制。
对于utf8，最大可能的长度是varchar(21844)。

3. 最左匹配原则
B-Tree类型的联合索引 index1(a, b, c)
 全值匹配： where a = a1 and b = b1 and c = c1
 最左匹配： where a = a1
 范围匹配: where a > a1
 Where a = a1 and b > b1
 Where a > a1 and b = b1 会使用索引，但只使用索引中
的a部分。

4. 使用索引排序
 在order by字句中，必须和where条件一样，最左匹配。
 排序方向必须一致。不能有升有降序。
 唯一的例外，是索引前缀字段都是常量时。例如：
联合索引 index1(a, b, c)
order by a,b,c;
Where a = a1 order by b,c;
Where a = a1 and b = b1 order by c;
Where a > a1 order by a, b;
where a = a1 and b > b1 order by b;
可以使用索引排序。

5. 导致索引无效的sql写法
 Where a + 1 = 5; (等式的字段一段为表达式)
 where year(create_time) = 2013; (函数操作)
 Where id = 345; (隐式类型转换，id是varchar类型)
 Where name like ‘%abc’ (非左前缀查询)

6. 聚簇索引
数据分布：
 MyISAM：按数据插入的顺序存储在磁盘上。
 InnoDB：聚簇索引。数据行存储在主索引的叶子页中。
InnoDB聚簇索引带来影响：
 主索引顺序写入性能最好。Uuid主键性能差。
 对主索引值的update开销很大。(强制移动被更新的行)
 二级索引不存储数据行的物理地址，而存储主键值。使
用二级索引查询，需要两次索引查找。

7. 定位问题sql的工具
 Explain
 Show full processlist
 Mysqldumpslow
 SQL_NO_CACHE， force index关键字有时候也是有用
的。

8. explain

9. Explain输出
特别关注：
Possible_keys, key, key_len
rows: mysql认为执行这个query它必须要examine的数据行
数。
Extra： using index的出现，索引覆盖查询。
Using filesort
Using temporary

10. mysqldumpslow
mysqldumpslow -s c -t 10 ./slow_queries.log
Count: 56 Time=2.15s (120s) Lock=0.00s (0s) Rows=0.0 (0),
quad[quad]@[10.58.16.14]
insert ignore into quad_mobile_contact_match_item (uploader_id,
contact_phone_number, contact_qd_user_id, contact_name, is_followed,
create_time,update_time) values(N,'S', N, 'S', N, N,N)
Count: 16 Time=2.43s (38s) Lock=0.18s (2s) Rows=0.0 (0), quad[quad]@2hosts
update quad_user_anchor set anchor=N where user_id=N and anchor<=N

11. 备份和恢复
 数据安全的保障：定期snapshot备份+主从同步
 推荐工具： xtrabackup
 Snapshot备份要同时保存主从同步的偏移量。
 误操作发生后的数据恢复：恢复到最近的snapshot，分
析binlog，执行除误操作以外的其它sql，恢复数据。
 mysql/bin/mysqlbinlog

12.  总结一下quad中曾遇到的

13. Insert操作的batch优化
 Mysql jdbc驱动中默认的做法是每次addBatch放进一个
List，executeBatch时依次取出，顺序发送。相当于没有
批量操作。
 开启批量操作的方式：连接参数增加
rewriteBatchedStatements=true. Jdbc驱动版本大于
5.1.13
 写法要正确。 循环addBatch，最后executeBatch.

14. 正确使用utf8mb4
启用utf8mb4的正确方式：
 服务端配置character-set-server=utf8mb4
 Connector/J的连接参数中不要加characterEncoding默
认值是autodetect。
 字段类型设置：
`user_name` varchar(100) CHARACTER SET utf8mb4 COLLATE
utf8mb4_unicode_ci
http://dev.mysql.com/doc/refman/5.5/en/connector-j-reference-charsets.html

15. 诡异的主键冲突错误
什么情况下，insert的时候发生发生duplicate key错误，错
误日志中说主键123已存在。 但去数据库中select却发现并
不存在key为123的记录？
Insert into t_table values (123,’’), (123, ‘’);

16. 主从延时问题
写程序的时候考虑主从的问题。
避免写完主库立即读从库。
加群弱提示消息： 写入群成员表， 读群成员表查到所有
群成员，发送弱提示推送。
改写为：
读群成员表，写入群成员表。 读出的成员，加上新加入的
成员，发送弱提示推送。

17. Online sharding
Sharding大家都懂。但是不长时间停服怎么做。
迁数据。
工程师更新一版中间程序，双写。
补数据。
更新程序，sharding完成。
存储过程？

18. 利用mysql更新的原子性
Update tb set status = 1 where id = $id and status = 0;
异步任务调度
Quad用户注册取id?
仅适用于并发竞争比较少的情况。
很多时候update语句的where条件中要带有对被update字
段值的判定。例如 quad_user_anchor中anchor的update。