1. “云存储系统”赏析系列三：SQL与NOSQL 2011.8 日照：rizhao.ych@taobao.com 1

3. 从单机到多机

4. SQL与NOSQL融合

5. 奇技淫巧2

6. 单机存储引擎 3

8. 问题

9. 索引数据量 > 内存：随机读取问题

10. 锁冲突

11. 结论：B+ Tree存储引擎单机服务的数据量有限

12. NOSQL解决方法

13. 减少索引量

14. 数据静态化，定期合并4

16. 优化方法：减少索引量

17. 实现思路

18. 数据追加到磁盘文件

19. 内存中存放key => 记录位置索引

20. 减少key占用的内存

21. 对key求md5

22. 对keyhash后保留若干位，内存中一个key对应磁盘中若干条记录，需要去重

23. 定期合并

24. 参考系统：Bitcask5

26. 静态数据 + 动态数据，定期合并，减少锁冲突

27. 解决随机写问题

28. 实现思路

29. 数据先写入Memtable

30. Memtable定期dump为SSTable

31. 多个小SSTable不断合并生成大SSTable，减少随机读

32. SSTable只读，无锁，可使用bloom filter减少随机读

33. 参考系统：Leveldb6

35. 随机读取

36. 一次写入，多次读取：搜索

37. 增强单机服务能力，节省成本

38. 友好的分布式支持，如支持迁移部分而不是整个库的数据7

39. 从单机到多机 8

41. Hash 模 N，N为机器分组数

42. 机器增加删除，N值变化，数据分布改变

43. Hash分桶

44. 对key取模后分到Q个桶中

45. Q值与机器数无关，机器上下线数据分布不变

46. Hash散列后数据划分天然均匀

47. 实例：Tair系统9

49. 将表格按照key有序地划分为连续块(start_key, end_key]

50. 每个连续块类似B+ Tree的叶子节点

51. 每个块的数据不均匀，需要动态分裂与合并

52. 支持scan操作，但实现复杂

53. 实例：Google Bigtable10

55. 将机器分成group，每个group内的机器存放的数据完全相同

56. 问题：数据迁移量太大，线上几乎无法成功；group内部增加副本也几乎不成功；

57. 假设服务数据量1TB，内部传输带宽限制20MB/s，增加副本的时间为1TB / 20MB/s = 50000s，大约10几个小时；

58. 迁移过程中机器再次出现故障怎么办？11

60. 文件系统层解决数据持久化问题，表格系统层解决服务问题

61. 数据迁移瞬间完成

62. 实例：Google Bigtable

63. 动态数据与静态数据分离

64. 动态数据量小，迁移瞬间完成；

65. 静态数据不变化，迁移或rebalance与GFS类似；

66. 实例：TaobaoOceanbase12

67. SQL与NOSQL融合 13

69. 解决特定存储难题，如大表Join，大数据量下（如10TB）的全表事务操作

70. 解决可扩展性问题，做到机器加入/删除自动化；

71. 解决OLAP分析型问题；

72. 集群规模大可节省成本；

73. 中型公司

74. 解决特定问题，如引入Redis做读库而不是自己开发一套；

75. 精通关系型数据库的定制及优化的人员很少，人员成本较高；

76. MysqlFlashcache优化；

77. 底层系统极限调优；

78. 数据库分库分表，自动切换&扩容中间层；14

80. 划分entity group，entity group内部实现RDBMS功能，entity group之间弱关联获取可扩展性；

81. 事务：entity group内部支持事务；

82. 索引：Local index + global index；

83. 行式存储引擎（OLTP）+ 列式存储引擎（OLAP）；15

84. 奇技淫巧 16

86. 内部网络减少数据复制时间

87. 业务上历史数据静态化，如文档，图片上传类应用

88. 分裂问题：手工或定期触发分裂

89. FacebookNews Feed Analytics

90. 广告统计系统单用户过大问题

91. 多机写复杂性：Oceanbase前期采用单机写

92. 绕开Paxos

93. Zookeeper使用方式松耦合

94. 机房内Linux HA自动切换，机房之间手工切换17

96. 主备强同步

97. Skip List or 块链实现copy-on-write Memtable

98. 内存管理：通用定长内存池 + 特定数据结构内存管理

99. 降低Cache锁粒度

100. 考虑宕机的情况下高效生成有序ID

101. 任务区分优先级，对低优先级任务限速

102. 考虑宕机的情况下做到数据和索引文件的原子更新

103. 多机同步数据校验

104. 解决fsync不保证commit log记录持久化到磁盘的问题

105. etc…18

106. 个人博客：http://nosqlnotes.net 19 谢谢