Submit Search
Upload
一个“兼职Dba”的数据库运维经验谈
•
Download as PPT, PDF
•
2 likes
•
1,365 views
Liang Xie
Follow
Xiaomi Mysql DBA
Read less
Read more
Technology
Report
Share
Report
Share
1 of 20
Download now
Recommended
简单介绍一下在线，实时和离线数据平台的一些进展和问题
大型电商的数据服务的要点和难点
大型电商的数据服务的要点和难点
Chao Zhu
automation self-service mysql, database as a service
自助工具助Dba提升效率
自助工具助Dba提升效率
Chao Zhu
nosql usage at vips
No sql@vip new
No sql@vip new
Chao Zhu
数据架构方面的一些探讨
数据架构方面的一些探讨
数据架构方面的一些探讨
Chao Zhu
2014-04-19 在 ACOUG 活动上的分享，介绍了豆瓣数据架构的演进过程，以及过程中遇到的问题、目前正在面临的挑战等。
豆瓣数据架构实践
豆瓣数据架构实践
Xupeng Yun
Describe the experience learnt from running pptv operation team;
中大型规模的网站架构运维 Saac
中大型规模的网站架构运维 Saac
Chao Zhu
my working summary as data platform & application leader at vipshop
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Chao Zhu
Taobao数据库这5年
Taobao数据库这5年
yp_fangdong
Recommended
简单介绍一下在线，实时和离线数据平台的一些进展和问题
大型电商的数据服务的要点和难点
大型电商的数据服务的要点和难点
Chao Zhu
automation self-service mysql, database as a service
自助工具助Dba提升效率
自助工具助Dba提升效率
Chao Zhu
nosql usage at vips
No sql@vip new
No sql@vip new
Chao Zhu
数据架构方面的一些探讨
数据架构方面的一些探讨
数据架构方面的一些探讨
Chao Zhu
2014-04-19 在 ACOUG 活动上的分享，介绍了豆瓣数据架构的演进过程，以及过程中遇到的问题、目前正在面临的挑战等。
豆瓣数据架构实践
豆瓣数据架构实践
Xupeng Yun
Describe the experience learnt from running pptv operation team;
中大型规模的网站架构运维 Saac
中大型规模的网站架构运维 Saac
Chao Zhu
my working summary as data platform & application leader at vipshop
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Chao Zhu
Taobao数据库这5年
Taobao数据库这5年
yp_fangdong
基于MySQL的分布式数据库实践
基于MySQL的分布式数据库实践
基于MySQL的分布式数据库实践
jackbillow
说明： 和已有DAL软件（如许超前手机之家DAL、陈思儒Amoeba/贺贤懋Cobar等）不一样，在前端访问方式的选择上，抛弃JDBC方式，而是为同一个dalet数据服务，同时提供自定义TCP长连接和HTTP长连接两种接口。 因而通过抛弃JDBC可以获得多方面的好处—— 1）可减少S端协议解析和查询分析的开销； 2）也简化C端编程。 3）后端存储就不再限于RDB了，而可以是任意NOSQL、文件、缓存、甚至是Tuxedo等在线服务。 4）可以实现无状态了，更容易横向扩展。 5）从接口上就可消除join等关键字的误用，避免引起服务端负担过重。
20120613联动优势数据访问层DAL架构和实践4（刘胜）最新特性
20120613联动优势数据访问层DAL架构和实践4（刘胜）最新特性
liu sheng
在厦门爱特咖啡分享的新浪微博Feed服务架构
新浪微博Feed服务架构
新浪微博Feed服务架构
XiaoJun Hong
velocity 2010 beijing
Alibaba数据库运维最佳实践
Alibaba数据库运维最佳实践
freezr
summarized the lessons and experiences we gained through one big promotion support; We scale the site to 3x-6x capacity within a month;
X program-within-a-month
X program-within-a-month
Chao Zhu
mysql archtect
Jkcn MySQLDB 架构
Jkcn MySQLDB 架构
Louis liu
2013年8月新员工培训topic-Feed服务架构
Feed服务架构-新浪微博新员工培训议题
Feed服务架构-新浪微博新员工培训议题
XiaoJun Hong
艺龙旅行网架构案例分享-Qcon2011
艺龙旅行网架构案例分享-Qcon2011
Yiwei Ma
主要介绍Fqueue的设计实现和常见的队列使用场景，并讲解一个Fqueue的真实使用场景
高性能队列Fqueue的设计和使用实践
高性能队列Fqueue的设计和使用实践
孙立
DBaaS In Xiaomi
D baa s_in_xiaomi
D baa s_in_xiaomi
hdksky
淘宝双11双12案例分享
淘宝双11双12案例分享
淘宝双11双12案例分享
vanadies10
介绍在性能、实时数据流、存储扩展性以及feed展示方面的架构设计。
大数据时代feed架构 (ArchSummit Beijing 2014)
大数据时代feed架构 (ArchSummit Beijing 2014)
Tim Y
有几张图尚未 加入，所以暂不提供下载，待我重看录像修订之后放出。 罗马不是一天建成的，豆瓣的技术架构也是随着用户规模的增长一直在持续变化中。在本次演讲中，豆瓣的首席架构师洪强宁将与大家一起分享从上线时的单台服务器架构开始一直到现在的豆瓣架构变迁历程。 个人简介 洪强宁，2002年毕业于清华大学，现任北京豆瓣互动科技有限公司首席架构师。洪强宁和他带领的技术团队致力于用技术改善人们的文化和生活品质，在网站架构、性能、可伸缩性上进行深入研究。豆瓣网曾获软件中国2006年度最佳技术应用网站。
豆瓣网技术架构变迁
豆瓣网技术架构变迁
reinhardx
Indroduction of the java middleware at taobao.com, presenting the born, architecture of the three main product of java middleware.
淘宝Java中间件之路 it168
淘宝Java中间件之路 it168
vanadies10
Downloaded from CSDN download channel.
张铁安：Feed系统架构浅析
张铁安：Feed系统架构浅析
Leechael
新浪微博新员工培训及其技术交流活动topic，主要阐述从中小系统发展到大型系统的技术演化过程
大规模数据库存储方案
大规模数据库存储方案
XiaoJun Hong
天涯论坛的技术进化史-Qcon2011
天涯论坛的技术进化史-Qcon2011
Yiwei Ma
Introduction of the changine of the architecture of taobao.com. Also some information of the basic production at taobao.com
淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)
vanadies10
新浪微博分布式缓存与队列-2013版
新浪微博分布式缓存与队列-2013版
新浪微博分布式缓存与队列-2013版
XiaoJun Hong
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
knuthocean
小米Hadoop&hbase微实践
小米Hadoop&hbase微实践
Liang Xie
Hadoop Adventures At Spotify (Strata Conference + Hadoop World 2013)
Hadoop Adventures At Spotify (Strata Conference + Hadoop World 2013)
Adam Kawa
More Related Content
What's hot
基于MySQL的分布式数据库实践
基于MySQL的分布式数据库实践
基于MySQL的分布式数据库实践
jackbillow
说明： 和已有DAL软件（如许超前手机之家DAL、陈思儒Amoeba/贺贤懋Cobar等）不一样，在前端访问方式的选择上，抛弃JDBC方式，而是为同一个dalet数据服务，同时提供自定义TCP长连接和HTTP长连接两种接口。 因而通过抛弃JDBC可以获得多方面的好处—— 1）可减少S端协议解析和查询分析的开销； 2）也简化C端编程。 3）后端存储就不再限于RDB了，而可以是任意NOSQL、文件、缓存、甚至是Tuxedo等在线服务。 4）可以实现无状态了，更容易横向扩展。 5）从接口上就可消除join等关键字的误用，避免引起服务端负担过重。
20120613联动优势数据访问层DAL架构和实践4（刘胜）最新特性
20120613联动优势数据访问层DAL架构和实践4（刘胜）最新特性
liu sheng
在厦门爱特咖啡分享的新浪微博Feed服务架构
新浪微博Feed服务架构
新浪微博Feed服务架构
XiaoJun Hong
velocity 2010 beijing
Alibaba数据库运维最佳实践
Alibaba数据库运维最佳实践
freezr
summarized the lessons and experiences we gained through one big promotion support; We scale the site to 3x-6x capacity within a month;
X program-within-a-month
X program-within-a-month
Chao Zhu
mysql archtect
Jkcn MySQLDB 架构
Jkcn MySQLDB 架构
Louis liu
2013年8月新员工培训topic-Feed服务架构
Feed服务架构-新浪微博新员工培训议题
Feed服务架构-新浪微博新员工培训议题
XiaoJun Hong
艺龙旅行网架构案例分享-Qcon2011
艺龙旅行网架构案例分享-Qcon2011
Yiwei Ma
主要介绍Fqueue的设计实现和常见的队列使用场景，并讲解一个Fqueue的真实使用场景
高性能队列Fqueue的设计和使用实践
高性能队列Fqueue的设计和使用实践
孙立
DBaaS In Xiaomi
D baa s_in_xiaomi
D baa s_in_xiaomi
hdksky
淘宝双11双12案例分享
淘宝双11双12案例分享
淘宝双11双12案例分享
vanadies10
介绍在性能、实时数据流、存储扩展性以及feed展示方面的架构设计。
大数据时代feed架构 (ArchSummit Beijing 2014)
大数据时代feed架构 (ArchSummit Beijing 2014)
Tim Y
有几张图尚未 加入，所以暂不提供下载，待我重看录像修订之后放出。 罗马不是一天建成的，豆瓣的技术架构也是随着用户规模的增长一直在持续变化中。在本次演讲中，豆瓣的首席架构师洪强宁将与大家一起分享从上线时的单台服务器架构开始一直到现在的豆瓣架构变迁历程。 个人简介 洪强宁，2002年毕业于清华大学，现任北京豆瓣互动科技有限公司首席架构师。洪强宁和他带领的技术团队致力于用技术改善人们的文化和生活品质，在网站架构、性能、可伸缩性上进行深入研究。豆瓣网曾获软件中国2006年度最佳技术应用网站。
豆瓣网技术架构变迁
豆瓣网技术架构变迁
reinhardx
Indroduction of the java middleware at taobao.com, presenting the born, architecture of the three main product of java middleware.
淘宝Java中间件之路 it168
淘宝Java中间件之路 it168
vanadies10
Downloaded from CSDN download channel.
张铁安：Feed系统架构浅析
张铁安：Feed系统架构浅析
Leechael
新浪微博新员工培训及其技术交流活动topic，主要阐述从中小系统发展到大型系统的技术演化过程
大规模数据库存储方案
大规模数据库存储方案
XiaoJun Hong
天涯论坛的技术进化史-Qcon2011
天涯论坛的技术进化史-Qcon2011
Yiwei Ma
Introduction of the changine of the architecture of taobao.com. Also some information of the basic production at taobao.com
淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)
vanadies10
新浪微博分布式缓存与队列-2013版
新浪微博分布式缓存与队列-2013版
新浪微博分布式缓存与队列-2013版
XiaoJun Hong
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
knuthocean
What's hot
(20)
基于MySQL的分布式数据库实践
基于MySQL的分布式数据库实践
20120613联动优势数据访问层DAL架构和实践4（刘胜）最新特性
20120613联动优势数据访问层DAL架构和实践4（刘胜）最新特性
新浪微博Feed服务架构
新浪微博Feed服务架构
Alibaba数据库运维最佳实践
Alibaba数据库运维最佳实践
X program-within-a-month
X program-within-a-month
Jkcn MySQLDB 架构
Jkcn MySQLDB 架构
Feed服务架构-新浪微博新员工培训议题
Feed服务架构-新浪微博新员工培训议题
艺龙旅行网架构案例分享-Qcon2011
艺龙旅行网架构案例分享-Qcon2011
高性能队列Fqueue的设计和使用实践
高性能队列Fqueue的设计和使用实践
D baa s_in_xiaomi
D baa s_in_xiaomi
淘宝双11双12案例分享
淘宝双11双12案例分享
大数据时代feed架构 (ArchSummit Beijing 2014)
大数据时代feed架构 (ArchSummit Beijing 2014)
豆瓣网技术架构变迁
豆瓣网技术架构变迁
淘宝Java中间件之路 it168
淘宝Java中间件之路 it168
张铁安：Feed系统架构浅析
张铁安：Feed系统架构浅析
大规模数据库存储方案
大规模数据库存储方案
天涯论坛的技术进化史-Qcon2011
天涯论坛的技术进化史-Qcon2011
淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)
新浪微博分布式缓存与队列-2013版
新浪微博分布式缓存与队列-2013版
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
Viewers also liked
小米Hadoop&hbase微实践
小米Hadoop&hbase微实践
Liang Xie
Hadoop Adventures At Spotify (Strata Conference + Hadoop World 2013)
Hadoop Adventures At Spotify (Strata Conference + Hadoop World 2013)
Adam Kawa
The slides go through the high-level process of generating personalized playlists for all Spotify's users, using Apache big data products extensively. Presentation given at Apache: Big Data Europe conference on September 29th, 2015 in Budapest.
How Apache Drives Music Recommendations At Spotify
How Apache Drives Music Recommendations At Spotify
Josh Baer
Discover how the world of big data is evolving and becoming faster, more reliable and better organized-- powering many of the cooler new features that you see in the client today!
The Evolution of Big Data at Spotify
The Evolution of Big Data at Spotify
Josh Baer
From http://www.csdn.net/article/2015-12-17/2826501 《小米金融技术主管方流： 大数据在互联网金融中的应用》 方流在主题演讲中重点介绍了DW建设的业务架构及开发工具，包括log利器Scribe、ETL利器之Hadoop/Hdfs、DW利器之HBase、数据分析利器Hive/Sentry、OLAP利器Impala、数据迁移利器之sqoop、机器学习利器之spark。同时重点分析了用户金融画像并针对大数据反欺诈，给出了自己的探索实践，防止盗号，提供异常环境监测/手机验证；防止身份伪造，采用实名认证；鉴定虚假资料，进行交叉验证。
BDTC2015 小米-大数据和小米金融
BDTC2015 小米-大数据和小米金融
Jerry Wen
At Spotify we collect huge volumes of data for many purposes. Reporting to labels, powering our product features, and analyzing user growth are some of our most common ones. Additionally, we collect many operational metrics related to the responsiveness, utilization and capacity of our servers. To store and process this data, we use scalable and fault-tolerant multi-system infrastructure, and Apache Hadoop is a key part of it. Surprisingly or not, Apache Hadoop generates large amounts of data in the form of logs and metrics that describe its behaviour and performance. To process this data in a scalable and performant manner we use … also Hadoop! During this presentation, I will talk about how we analyze various logs generated by Apache Hadoop using custom scripts (written in Pig or Java/Python MapReduce) and available open-source tools to get data-driven answers to many questions related to the behaviour of our 690-node Hadoop cluster. At Spotify we frequently leverage these tools to learn how fast we are growing, when to buy new nodes, how to calculate the empirical retention policy for each dataset, optimize the scheduler, benchmark the cluster, find its biggest offenders (both people and datasets) and more.
Hadoop Operations Powered By ... Hadoop (Hadoop Summit 2014 Amsterdam)
Hadoop Operations Powered By ... Hadoop (Hadoop Summit 2014 Amsterdam)
Adam Kawa
Data infrastructure at Spotify
Data at Spotify
Data at Spotify
Danielle Jabin
Slides from a talk I gave at Scandinavian Developers Conference 2012 on the architecture of Spotify. The slides follows a story of playing a track and the steps to get there.
Spotify architecture - Pressing play
Spotify architecture - Pressing play
Niklas Gustavsson
Big Data At Spotify
Big Data At Spotify
Adam Kawa
The slides from my session on Apache Storm architecture at Hadoop Summit Europe 2014.
Hadoop Summit Europe 2014: Apache Storm Architecture
Hadoop Summit Europe 2014: Apache Storm Architecture
P. Taylor Goetz
Viewers also liked
(10)
小米Hadoop&hbase微实践
小米Hadoop&hbase微实践
Hadoop Adventures At Spotify (Strata Conference + Hadoop World 2013)
Hadoop Adventures At Spotify (Strata Conference + Hadoop World 2013)
How Apache Drives Music Recommendations At Spotify
How Apache Drives Music Recommendations At Spotify
The Evolution of Big Data at Spotify
The Evolution of Big Data at Spotify
BDTC2015 小米-大数据和小米金融
BDTC2015 小米-大数据和小米金融
Hadoop Operations Powered By ... Hadoop (Hadoop Summit 2014 Amsterdam)
Hadoop Operations Powered By ... Hadoop (Hadoop Summit 2014 Amsterdam)
Data at Spotify
Data at Spotify
Spotify architecture - Pressing play
Spotify architecture - Pressing play
Big Data At Spotify
Big Data At Spotify
Hadoop Summit Europe 2014: Apache Storm Architecture
Hadoop Summit Europe 2014: Apache Storm Architecture
Similar to 一个“兼职Dba”的数据库运维经验谈
如何根据业务特点进行MySQL DB优化
如何针对业务做DB优化
如何针对业务做DB优化
Jinrong Ye
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDB
Monster Supreme
Web爬虫那点事
Web爬虫那点事
Web爬虫那点事
Yihua Huang
Tdsql在微众银行核心交易系统中的实践 雷海林
Tdsql在微众银行核心交易系统中的实践 雷海林
Tdsql在微众银行核心交易系统中的实践 雷海林
Cheng Feng
110412 mongodb介紹以及在水银中的应用 * 讲者：温铭+金浩+王斌 * 时间：19：00-20：00 * 地点：金山大厦12F大会议室 * 列席：面向安全平台组，同时欢迎对交流内容感兴趣的其他同事出席
110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercury
Zoom Quiet
美丽说的架构发展与变迁
美丽说的架构发展与变迁 New
美丽说的架构发展与变迁 New
翀 刘
浅谈 My sql 性能调优
浅谈 My sql 性能调优
thinkinlamp
MySQL 应用优化实践
MySQL应用优化实践
MySQL应用优化实践
mysqlops
对MySQL应用的一些总结
对MySQL应用的一些总结
Lixun Peng
Zabbix in PPTV
Zabbix in PPTV
ViSenze - Artificial Intelligence for the Visual Web
王龙：百度数据库架构演变与设计
王龙：百度数据库架构演变与设计
YANGL *
Mysql HandleSocket技术在SNS Feed存储中的应用
Mysql HandleSocket技术在SNS Feed存储中的应用
Mysql HandleSocket技术在SNS Feed存储中的应用
iammutex
基于My sql的分布式数据库实践 公开
基于My sql的分布式数据库实践 公开
YANGL *
手机之家新系统介绍及架构分享_手机之家_imobile.com.cn
imobile-beta技术沙龙
imobile-beta技术沙龙
posestudio
Bdwf11 netezza james_zheng
Bdwf11 netezza james_zheng
bigdatawf
MySQL 網路參考架構
MySQL 網路參考架構
郁萍 王
20141128（刘胜）UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索
20141128（刘胜）UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索
20141128（刘胜）UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索
liu sheng
手机之家 (Imobile.com.cn) 在 Beta 技术沙龙上的分享 PPT
手机之家新系统介绍及架构分享
手机之家新系统介绍及架构分享
Dahui Feng
This talks presents the Delta Lake Architecture in QCon @ Shanghai. The slides is in Chinese.
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
Xiao Li
ppt of the 1st. CIOS by alibaba.com
网站存储经验谈pdf
网站存储经验谈pdf
Yu Lin
Similar to 一个“兼职Dba”的数据库运维经验谈
(20)
如何针对业务做DB优化
如何针对业务做DB优化
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDB
Web爬虫那点事
Web爬虫那点事
Tdsql在微众银行核心交易系统中的实践 雷海林
Tdsql在微众银行核心交易系统中的实践 雷海林
110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercury
美丽说的架构发展与变迁 New
美丽说的架构发展与变迁 New
浅谈 My sql 性能调优
浅谈 My sql 性能调优
MySQL应用优化实践
MySQL应用优化实践
对MySQL应用的一些总结
对MySQL应用的一些总结
Zabbix in PPTV
Zabbix in PPTV
王龙：百度数据库架构演变与设计
王龙：百度数据库架构演变与设计
Mysql HandleSocket技术在SNS Feed存储中的应用
Mysql HandleSocket技术在SNS Feed存储中的应用
基于My sql的分布式数据库实践 公开
基于My sql的分布式数据库实践 公开
imobile-beta技术沙龙
imobile-beta技术沙龙
Bdwf11 netezza james_zheng
Bdwf11 netezza james_zheng
MySQL 網路參考架構
MySQL 網路參考架構
20141128（刘胜）UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索
20141128（刘胜）UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索
手机之家新系统介绍及架构分享
手机之家新系统介绍及架构分享
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
网站存储经验谈pdf
网站存储经验谈pdf
一个“兼职Dba”的数据库运维经验谈
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
Download now
![一个“兼职 DBA” 的数据库运维经验谈 ,[object Object],[object Object]](https://image.slidesharecdn.com/dba-120229222958-phpapp01/85/Dba-1-320.jpg)
![一个“兼职 DBA” 的数据库运维经验谈 ,[object Object],06 年毕业，曾服役过金山、 Oracle 、淘宝， 2011 年初加入小米，司职米聊服务端开发码农，同时兼职负责维护米聊的数据库和一些公司安全事宜，目前正参与开发海量小文件分布式存储系统 MFS( 类似淘宝的 TFS) 小米在过去一年一直没有一个专职 DBA ，碰巧之前偶在 Oracle 和淘宝喜欢学习数据库，所以”被迫”成了兼职 DBA 。。。 哦，对了还有，我不会写 PPT 也不太会表达 ~!@#$%^](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)