沪江去 Windows 实践 - 从 SQL Server 到 MySQL

1. 沪江去 Windows 实践 -
从 SQL Server 到 MySQL
@3D 2018-05-17

2. 关于我 - 狄敬超
๏沪江技术中⼼心平台架构部
架构师
๏负责 去 Windows MySQL
数据库迁移 / Metrics 监
控报警 / OpenResty
based Gateway 等
๏曾任堆糖⽹网平台研发负责
⼈人，5 年年内经历了了 PV 从
万到亿的变化

3. ⼤大纲
๏ 产⽣生背景和⾯面临的问题
๏ 全量量离线迁移
๏ 在线增量量迁移

4. 产⽣生背景
๏ 沪江成⽴立于 2001 年年
๏ .net ⽣生态：成本、⼈人才、技术把控
๏ C# -> Java
๏ ASP.net -> Spring Boot
๏ SQL Server -> MySQL

5. 异构数据库迁移问题
๏ 所有字段类型是否对应？
๏ 逻辑算⼦子和函数？
๏ 存储过程处理理？
๏ MySQL SQL 解析器器性能？

6. 数据库分表和表结构调整
๏ 表名和字段名的调整
๏ ⽼老老表设计不不合理理，拆表
๏ 数据量量过⼤大，分表：Range /
Hash / Date / Router

8. ⽂文档和团队先⾏行行
๏ Guide to Migrating from Microsoft SQL Server to MySQL
๏ Datatypes 数据类型对应表
๏ Predicates 逻辑算⼦子对应表
๏ Operators & Data Functions 函数对应表
๏ MySQL 开发规范
๏ 数据库表结构设计（字段、索引、存储过程）
๏ SQL 查询规范
๏ MySQL 熟悉程度摸底调查和相关培训

9. 市⾯面上的 ETL ⼯工具
๏Database migration and
synchronization tools ：国外⼀一家提
供数据库迁移解决⽅方案的公司
๏DataX ：阿⾥里里巴巴开发的数据库同步
⼯工具
๏yugong ：阿⾥里里巴巴开发的数据库迁
移⼯工具
๏MySQL Workbench ：MySQL 提供
的 GUI 管理理⼯工具，包含数据库迁移
功能
๏Data Integration - Kettle ：国外的⼀一
款 GUI ETL ⼯工具
๏Ispirer ：提供应⽤用程序、数据
库异构迁移⽅方案的公司
๏DB2DB 数据库转换⼯工具 ：⼀一个
国产的商业数据库迁移软件
๏Navicat Premium ：经典的数据
库管理理⼯工具，带数据迁移功能
๏DBImport ：个⼈人维护的迁移⼯工
具，⾮非常简陋陋，需要付费

10. 全量量离线迁移流程

12. 如何做在线增量量迁移
๏ 增量量数据如何获得？
๏ 数据⼀一致性？
๏ 增量量数据重消费？

13. 增量量迁移⽅方案

14. alibaba/yugong
๏ Oracle -> MySQL
๏ 全量量 / 增量量（Oracle 物化视图）
๏ 异构⽀支持
๏ 编码
๏ 库名 / 表名 / 字段名
๏ 字段个数

15. 增量量过程

16. 增量量迁移需要的条件
๏ 增量量变化：⽀支持增量量获得增量量数据库变化
๏ 延迟：获取变化数据这个动作耗时需要尽
可能低
๏ 幂等⼀一致性：变化数据的消费应当做到幂
等，即不不管⽬目标数据库已有数据什什么状态，
都可以⽆无差别消费

17. Change Data Capture 原理理

18. CDC ⻓长什什么样⼦子

19. CDC Change Table

20. CDC 查询

21. CDC 查询结果
1 删除
2 插⼊入
3 更更新前数据
4 更更新后数据

22. Metrics

23. CDC Benchmark
๏ CDC 的开启/关闭
๏ 过程会导致若⼲干个 Process Block
๏ ⼤大流量量请求下⾯面（15k TPS）过程会导致若 20 个左右 Process Block
๏ 对服务器器的 IO / CPU ⽆无明显波动
๏ 开启/关闭瞬间会带来 mssql.sql-statistics.sql-compilations 剧烈烈波动
๏ CDC 开启后
๏ ⼤大流量量请求下⾯面对 QPS / Page IO ⽆无明显波动
๏ 对服务器器的 IO / CPU ⽆无明显波动
๏ CDC 开启后可以在 16k TPS 下正常⼯工作

24. CDC Influence

25. 在线增量量迁移流程

26. 使⽤用 Canal 回滚流程

29. yugong 6 项功能增强
๏ SQL Server <-> MySQL
๏ ⽀支持 SQL Server 增量量迁移
๏ ⽀支持复合主键迁移
๏ ⽀支持迁移过程中完成 Range / Time / Mod / Hash 分
表
๏ ⽀支持新增、删除字段
๏ ⽀支持 Canal binlog 作为数据源

30. yugong 4 项⼯工程增强
๏ ⽀支持使⽤用 YAML 作为配置格式
๏ 调整 yugong 为 fat jar 模式运⾏行行
๏ ⽀支持表名、字段名⼤大⼩小写格式变
化，驼峰和下划线⾃自由转换
๏ ⽀支持表名、字段名细粒度⾃自定义

31. 获得的成果
๏ 42 个系统：⽤用户、订单、⽀支付、
电商、学习、社群、内容和⼯工具
๏ 迁移的数据总规模接近百亿
๏ 最⼤大单表数据超过 2 亿
๏ 没有发⽣生⼀一起事故

32. Reference
๏ https://github.com/alibaba/yugong
๏ https://docs.oracle.com/cd/
B10500_01/server.920/a96567/
repmview.htm
๏ https://docs.microsoft.com/en-us/
previous-versions/sql/sql-
server-2008/dd266396(v=sql.100)

33. Q & A