Submit Search
Upload
淘宝数据库架构演进历程
•
Download as PPT, PDF
•
32 likes
•
4,983 views
Z
zhaolinjnu
Follow
1.淘宝数据库发展的三个阶段 2.用户,商品,交易现在的架构 3. 2010双11大促的挑战 4. MySQL源代码研究的一些思路 5. 淘宝自主数据库Oceanbase原理介绍
Read less
Read more
Education
Technology
News & Politics
Report
Share
Report
Share
1 of 42
Download now
Recommended
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Chao Zhu
对My sql dba的一些思考
对My sql dba的一些思考
thinkinlamp
数据仓库
数据仓库
thinkinlamp
数据架构方面的一些探讨
数据架构方面的一些探讨
Chao Zhu
X program-within-a-month
X program-within-a-month
Chao Zhu
電子商務資料分析 上課投影片
電子商務資料分析 上課投影片
Ethan Yin-Hao Tsui
2017 更新版 : 使用 Power BI 資料分析工具於傳染病應用 (Power BI Platform for Communicable Disea...
2017 更新版 : 使用 Power BI 資料分析工具於傳染病應用 (Power BI Platform for Communicable Disea...
Jian-Kai Wang
数据挖掘理论与实践
数据挖掘理论与实践
medcl
Recommended
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Chao Zhu
对My sql dba的一些思考
对My sql dba的一些思考
thinkinlamp
数据仓库
数据仓库
thinkinlamp
数据架构方面的一些探讨
数据架构方面的一些探讨
Chao Zhu
X program-within-a-month
X program-within-a-month
Chao Zhu
電子商務資料分析 上課投影片
電子商務資料分析 上課投影片
Ethan Yin-Hao Tsui
2017 更新版 : 使用 Power BI 資料分析工具於傳染病應用 (Power BI Platform for Communicable Disea...
2017 更新版 : 使用 Power BI 資料分析工具於傳染病應用 (Power BI Platform for Communicable Disea...
Jian-Kai Wang
数据挖掘理论与实践
数据挖掘理论与实践
medcl
MySQL - checklist для новичка в Highload
MySQL - checklist для новичка в Highload
Sveta Smirnova
MySQL Best Practices - OTN LAD Tour
MySQL Best Practices - OTN LAD Tour
Ronald Bradford
High Availability Using MySQL Group Replication
High Availability Using MySQL Group Replication
OSSCube
Mix ‘n’ Match Async and Group Replication for Advanced Replication Setups
Mix ‘n’ Match Async and Group Replication for Advanced Replication Setups
Pedro Gomes
2010丹臣的思考
2010丹臣的思考
zhaolinjnu
Online MySQL Backups with Percona XtraBackup
Online MySQL Backups with Percona XtraBackup
Kenny Gryp
Successful Scalability Principles - Part 1
Successful Scalability Principles - Part 1
Ronald Bradford
Requirements the Last Bottleneck
Requirements the Last Bottleneck
Karwin Software Solutions LLC
MySQL Server Defaults
MySQL Server Defaults
Morgan Tocker
MySQL InnoDB Cluster and MySQL Group Replication @HKOSC 2017
MySQL InnoDB Cluster and MySQL Group Replication @HKOSC 2017
Ivan Ma
Multi Source Replication With MySQL 5.7 @ Verisure
Multi Source Replication With MySQL 5.7 @ Verisure
Kenny Gryp
10x Performance Improvements - A Case Study
10x Performance Improvements - A Case Study
Ronald Bradford
Mysql展示功能与源码对应
Mysql展示功能与源码对应
zhaolinjnu
MHA (MySQL High Availability): Getting started & moving past quirks
MHA (MySQL High Availability): Getting started & moving past quirks
Colin Charles
MySQL InnoDB 源码实现分析(一)
MySQL InnoDB 源码实现分析(一)
frogd
Lessons Learned: Troubleshooting Replication
Lessons Learned: Troubleshooting Replication
Sveta Smirnova
Explain
Explain
Ligaya Turmelle
MySQL High Availability Deep Dive
MySQL High Availability Deep Dive
hastexo
Why MySQL Replication Fails, and How to Get it Back
Why MySQL Replication Fails, and How to Get it Back
Sveta Smirnova
MySQL InnoDB Cluster - A complete High Availability solution for MySQL
MySQL InnoDB Cluster - A complete High Availability solution for MySQL
Olivier DASINI
Java@taobao
Java@taobao
vanadies10
Sybase Analytic Appliance
Sybase Analytic Appliance
focusbi
More Related Content
Viewers also liked
MySQL - checklist для новичка в Highload
MySQL - checklist для новичка в Highload
Sveta Smirnova
MySQL Best Practices - OTN LAD Tour
MySQL Best Practices - OTN LAD Tour
Ronald Bradford
High Availability Using MySQL Group Replication
High Availability Using MySQL Group Replication
OSSCube
Mix ‘n’ Match Async and Group Replication for Advanced Replication Setups
Mix ‘n’ Match Async and Group Replication for Advanced Replication Setups
Pedro Gomes
2010丹臣的思考
2010丹臣的思考
zhaolinjnu
Online MySQL Backups with Percona XtraBackup
Online MySQL Backups with Percona XtraBackup
Kenny Gryp
Successful Scalability Principles - Part 1
Successful Scalability Principles - Part 1
Ronald Bradford
Requirements the Last Bottleneck
Requirements the Last Bottleneck
Karwin Software Solutions LLC
MySQL Server Defaults
MySQL Server Defaults
Morgan Tocker
MySQL InnoDB Cluster and MySQL Group Replication @HKOSC 2017
MySQL InnoDB Cluster and MySQL Group Replication @HKOSC 2017
Ivan Ma
Multi Source Replication With MySQL 5.7 @ Verisure
Multi Source Replication With MySQL 5.7 @ Verisure
Kenny Gryp
10x Performance Improvements - A Case Study
10x Performance Improvements - A Case Study
Ronald Bradford
Mysql展示功能与源码对应
Mysql展示功能与源码对应
zhaolinjnu
MHA (MySQL High Availability): Getting started & moving past quirks
MHA (MySQL High Availability): Getting started & moving past quirks
Colin Charles
MySQL InnoDB 源码实现分析(一)
MySQL InnoDB 源码实现分析(一)
frogd
Lessons Learned: Troubleshooting Replication
Lessons Learned: Troubleshooting Replication
Sveta Smirnova
Explain
Explain
Ligaya Turmelle
MySQL High Availability Deep Dive
MySQL High Availability Deep Dive
hastexo
Why MySQL Replication Fails, and How to Get it Back
Why MySQL Replication Fails, and How to Get it Back
Sveta Smirnova
MySQL InnoDB Cluster - A complete High Availability solution for MySQL
MySQL InnoDB Cluster - A complete High Availability solution for MySQL
Olivier DASINI
Viewers also liked
(20)
MySQL - checklist для новичка в Highload
MySQL - checklist для новичка в Highload
MySQL Best Practices - OTN LAD Tour
MySQL Best Practices - OTN LAD Tour
High Availability Using MySQL Group Replication
High Availability Using MySQL Group Replication
Mix ‘n’ Match Async and Group Replication for Advanced Replication Setups
Mix ‘n’ Match Async and Group Replication for Advanced Replication Setups
2010丹臣的思考
2010丹臣的思考
Online MySQL Backups with Percona XtraBackup
Online MySQL Backups with Percona XtraBackup
Successful Scalability Principles - Part 1
Successful Scalability Principles - Part 1
Requirements the Last Bottleneck
Requirements the Last Bottleneck
MySQL Server Defaults
MySQL Server Defaults
MySQL InnoDB Cluster and MySQL Group Replication @HKOSC 2017
MySQL InnoDB Cluster and MySQL Group Replication @HKOSC 2017
Multi Source Replication With MySQL 5.7 @ Verisure
Multi Source Replication With MySQL 5.7 @ Verisure
10x Performance Improvements - A Case Study
10x Performance Improvements - A Case Study
Mysql展示功能与源码对应
Mysql展示功能与源码对应
MHA (MySQL High Availability): Getting started & moving past quirks
MHA (MySQL High Availability): Getting started & moving past quirks
MySQL InnoDB 源码实现分析(一)
MySQL InnoDB 源码实现分析(一)
Lessons Learned: Troubleshooting Replication
Lessons Learned: Troubleshooting Replication
Explain
Explain
MySQL High Availability Deep Dive
MySQL High Availability Deep Dive
Why MySQL Replication Fails, and How to Get it Back
Why MySQL Replication Fails, and How to Get it Back
MySQL InnoDB Cluster - A complete High Availability solution for MySQL
MySQL InnoDB Cluster - A complete High Availability solution for MySQL
Similar to 淘宝数据库架构演进历程
Java@taobao
Java@taobao
vanadies10
Sybase Analytic Appliance
Sybase Analytic Appliance
focusbi
深入淺出 AWS 大數據工具
深入淺出 AWS 大數據工具
Amazon Web Services
《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf
markmind
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
Jazz Yao-Tsung Wang
民间秘方
民间秘方
dynasty
如何快速实现数据编织架构
如何快速实现数据编织架构
Denodo
高可用数据库平台及日常管理经验介绍
高可用数据库平台及日常管理经验介绍
uptodate
高可用数据库平台架构及日常管理经验介绍.ppt
高可用数据库平台架构及日常管理经验介绍.ppt
Frank Cai
Ocean base内部探秘
Ocean base内部探秘
gettyying
Selling sybase hds solution for banking
Selling sybase hds solution for banking
focusbi
基于用户行为的数据分析
基于用户行为的数据分析
mysqlops
淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)
vanadies10
博晓通企业介绍和典型客户201504 (完整版)
博晓通企业介绍和典型客户201504 (完整版)
Yu Zhang
天涯论坛的技术进化史-Qcon2011
天涯论坛的技术进化史-Qcon2011
Yiwei Ma
Emc keynote 1130 1200
Emc keynote 1130 1200
Chiou-Nan Chen
阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf
markmind
Analytics in a Day.pptx
Analytics in a Day.pptx
LigangJin
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDB
Monster Supreme
新浪高可用数据库平台及日常管理经验介绍
新浪高可用数据库平台及日常管理经验介绍
helbreathszw
Similar to 淘宝数据库架构演进历程
(20)
Java@taobao
Java@taobao
Sybase Analytic Appliance
Sybase Analytic Appliance
深入淺出 AWS 大數據工具
深入淺出 AWS 大數據工具
《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
民间秘方
民间秘方
如何快速实现数据编织架构
如何快速实现数据编织架构
高可用数据库平台及日常管理经验介绍
高可用数据库平台及日常管理经验介绍
高可用数据库平台架构及日常管理经验介绍.ppt
高可用数据库平台架构及日常管理经验介绍.ppt
Ocean base内部探秘
Ocean base内部探秘
Selling sybase hds solution for banking
Selling sybase hds solution for banking
基于用户行为的数据分析
基于用户行为的数据分析
淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)
博晓通企业介绍和典型客户201504 (完整版)
博晓通企业介绍和典型客户201504 (完整版)
天涯论坛的技术进化史-Qcon2011
天涯论坛的技术进化史-Qcon2011
Emc keynote 1130 1200
Emc keynote 1130 1200
阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf
Analytics in a Day.pptx
Analytics in a Day.pptx
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDB
新浪高可用数据库平台及日常管理经验介绍
新浪高可用数据库平台及日常管理经验介绍
More from zhaolinjnu
MySQL aio
MySQL aio
zhaolinjnu
Redis介绍
Redis介绍
zhaolinjnu
Hbase源码初探
Hbase源码初探
zhaolinjnu
Mysql参数-GDB
Mysql参数-GDB
zhaolinjnu
Hash
Hash
zhaolinjnu
Inno db internals innodb file formats and source code structure
Inno db internals innodb file formats and source code structure
zhaolinjnu
More from zhaolinjnu
(6)
MySQL aio
MySQL aio
Redis介绍
Redis介绍
Hbase源码初探
Hbase源码初探
Mysql参数-GDB
Mysql参数-GDB
Hash
Hash
Inno db internals innodb file formats and source code structure
Inno db internals innodb file formats and source code structure
Recently uploaded
taibif_資料標準概念介紹_20240509_20240509_20340509.pdf
taibif_資料標準概念介紹_20240509_20240509_20340509.pdf
jhujyunjhang
10.2.1 马来西亚各州名称的由来六年级历史单元练习马来西亚各州名称的由来练习
10.2.1 马来西亚各州名称的由来六年级历史单元练习马来西亚各州名称的由来练习
PUAXINYEEMoe
啟思中國語文 - 中二 單元一 - 孟嘗君列傳 - 記敍的方法和人稱1.pptx
啟思中國語文 - 中二 單元一 - 孟嘗君列傳 - 記敍的方法和人稱1.pptx
businesshealthwise
taibif_開放資料流程-清理資料01-通則_20240509_20240509.pdf
taibif_開放資料流程-清理資料01-通則_20240509_20240509.pdf
jhujyunjhang
1.🎉“黑客”如何修改成绩?🤔🎉 在这个信息爆炸的时代,我们经常会看到各种作弊手段。但是你知道吗?有一种作弊方式可能比你想象中更巧妙:它就是——黑客![单...
1.🎉“黑客”如何修改成绩?🤔🎉 在这个信息爆炸的时代,我们经常会看到各种作弊手段。但是你知道吗?有一种作弊方式可能比你想象中更巧妙:它就是——黑客![单...
微信 tytyqqww业务接单
法国蒙彼利埃国家高等建筑学院毕业证制作/德语歌德B1证书/加拿大新斯科舍省农业学院文凭加急制作一个
法国蒙彼利埃国家高等建筑学院毕业证制作/德语歌德B1证书/加拿大新斯科舍省农业学院文凭加急制作一个
michaelell902
Recently uploaded
(6)
taibif_資料標準概念介紹_20240509_20240509_20340509.pdf
taibif_資料標準概念介紹_20240509_20240509_20340509.pdf
10.2.1 马来西亚各州名称的由来六年级历史单元练习马来西亚各州名称的由来练习
10.2.1 马来西亚各州名称的由来六年级历史单元练习马来西亚各州名称的由来练习
啟思中國語文 - 中二 單元一 - 孟嘗君列傳 - 記敍的方法和人稱1.pptx
啟思中國語文 - 中二 單元一 - 孟嘗君列傳 - 記敍的方法和人稱1.pptx
taibif_開放資料流程-清理資料01-通則_20240509_20240509.pdf
taibif_開放資料流程-清理資料01-通則_20240509_20240509.pdf
1.🎉“黑客”如何修改成绩?🤔🎉 在这个信息爆炸的时代,我们经常会看到各种作弊手段。但是你知道吗?有一种作弊方式可能比你想象中更巧妙:它就是——黑客![单...
1.🎉“黑客”如何修改成绩?🤔🎉 在这个信息爆炸的时代,我们经常会看到各种作弊手段。但是你知道吗?有一种作弊方式可能比你想象中更巧妙:它就是——黑客![单...
法国蒙彼利埃国家高等建筑学院毕业证制作/德语歌德B1证书/加拿大新斯科舍省农业学院文凭加急制作一个
法国蒙彼利埃国家高等建筑学院毕业证制作/德语歌德B1证书/加拿大新斯科舍省农业学院文凭加急制作一个
淘宝数据库架构演进历程
1.
淘宝数据库架构演进历程 丹臣 /
赵林 数据架构师 2010-12-12
2.
3.
淘宝的数据很美丽
4.
淘宝数据库发展三阶段
5.
6.
7.
8.
数据库里的数据 第一,二阶段的单台数据库里,用户,商品,交易等数据都在一起,存在许多的关联查询,应用完全耦合 用户
商品 交易 评价 收藏
9.
10.
11.
12.
13.
14.
一台高端存储的处理能力 480 块盘的
hdisk , max IOPS 6w 注意应用可以接受的 IO response time, 以及 IOPS 点。比如 3w IOPS 以上,会达到 20ms 以上
15.
16.
17.
18.
19.
20.
21.
22.
数据库系统余量
23.
24.
25.
商品访问框架 主键查询 卖家查询
淘宝商品的几个主要的查询: a. 主键查询通过分布式数据库,以及分布式缓存系统解决 b. 卖家商品管理类查询,这一类的查询数据量大,并且还有 like 查询的需求,通过实时搜索解决 商品 分布式缓存 分布式数据库 实时搜索 注:考虑不同的读载体的技术实现,性能,成本
26.
27.
28.
29.
30.
31.
光棍节大促 活动前,经过了充分的准备与系统评估工作: CDN
面临的压力最大,预估流量将会达到 280G 左右,准备了各个层面的系统降级方案。
32.
33.
34.
35.
36.
37.
异地多数据中心的数据同步 杭州 青岛
other
38.
39.
40.
41.
42.
Editor's Notes
MySQL 到 Oracle,PC server 到 IBM 小型机的迁移,极大的提升了数据库的处理能力,在高端存储的帮助下, IO 能力也得到了极大的提升,使大家能够在较长一段时间内,集中精力做业务,数据库系统能够快速响应业务发展的各种需求 小型机硬件不断升级,高端存储不断扩展, Oracle 商业软件费用增加,公司面临成本压力,我们的技术没有得到提升 再好的硬件也有极限,集中式始终存在要命的扩展问题,整个系统出现 IOPS ,连接数等各种瓶颈 随着公司的发展,各类技术人才开始汇集,我们可以有所作为
Download now