Submit Search
Upload
Ocean base --千亿级海量数据库-lamper_日照
•
Download as PPTX, PDF
•
3 likes
•
1,082 views
K
knuthocean
Follow
Report
Share
Report
Share
1 of 20
Download now
Recommended
05 杨志丰
05 杨志丰
锐 张
淘宝Ocean base云存储实践 2011架构师大会
淘宝Ocean base云存储实践 2011架构师大会
knuthocean
oceanbase.淘宝.云存储,实践,nosql,数据库,存储
Oceanbase-淘宝云存储实践
Oceanbase-淘宝云存储实践
mysqlops
淘宝分布式数据处理实践
淘宝分布式数据处理实践
isnull
Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照
Shaoning Pan
高并发服务端架构 常用分布式存储比较 分析需求,做好平衡 如何做到RAS(可靠,可用,可扩展); 利用硬件,分级存储
浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华
zhuozhe
#Lamp人#淘宝数据魔方的系统架构 -长林
#Lamp人#淘宝数据魔方的系统架构 -长林
drewz lin
云计算环境中Ssd在cassandra测试的性能表现
云计算环境中Ssd在cassandra测试的性能表现
july19850903
Recommended
05 杨志丰
05 杨志丰
锐 张
淘宝Ocean base云存储实践 2011架构师大会
淘宝Ocean base云存储实践 2011架构师大会
knuthocean
oceanbase.淘宝.云存储,实践,nosql,数据库,存储
Oceanbase-淘宝云存储实践
Oceanbase-淘宝云存储实践
mysqlops
淘宝分布式数据处理实践
淘宝分布式数据处理实践
isnull
Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照
Shaoning Pan
高并发服务端架构 常用分布式存储比较 分析需求,做好平衡 如何做到RAS(可靠,可用,可扩展); 利用硬件,分级存储
浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华
zhuozhe
#Lamp人#淘宝数据魔方的系统架构 -长林
#Lamp人#淘宝数据魔方的系统架构 -长林
drewz lin
云计算环境中Ssd在cassandra测试的性能表现
云计算环境中Ssd在cassandra测试的性能表现
july19850903
海量统计数据的分布式MySQL集群——MyFOX
海量统计数据的分布式MySQL集群——MyFOX
aleafs
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
knuthocean
baidu hdfs原理科普ppt
Hdfs introduction
Hdfs introduction
baggioss
介绍列式存储、位图技术
列式存储、位图技术研究及应用
列式存储、位图技术研究及应用
3908282
基于Hbase的实时计算分享
基于Hbase的实时计算分享
yiihsia
Beijing Meetup - Jan 2018
Using Alluxio in Tencent's News and Personalized Push Services
Using Alluxio in Tencent's News and Personalized Push Services
Alluxio, Inc.
BDTC 2013 Beijing China
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统
hdhappy001
110412 mongodb介紹以及在水银中的应用 * 讲者:温铭+金浩+王斌 * 时间:19:00-20:00 * 地点:金山大厦12F大会议室 * 列席:面向安全平台组,同时欢迎对交流内容感兴趣的其他同事出席
110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercury
Zoom Quiet
introduction of hdfs
Hdfs
Hdfs
baggioss
introducation of hdfs
Hdfs
Hdfs
baggioss
Redis 介绍 - 田琪
Redis 介绍 -田琪
Redis 介绍 -田琪
Shaoning Pan
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践
Min Zhou
Distributed Data Analytics at Taobao
Distributed Data Analytics at Taobao
Distributed Data Analytics at Taobao
Min Zhou
BDTC 2013 Beijing China
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
hdhappy001
分布式构架简介 草稿
分布式构架简介 草稿
guestd7133d1
#LAMP人#第14期《海量数据挖掘与应用 – e淘专场》 之 《海量用户数据处理及其在一淘广告和推荐中的应用》- 夏辉(赤霞)
海量用户数据处理及其在一淘广告和推荐中的应用
海量用户数据处理及其在一淘广告和推荐中的应用
Shaoning Pan
2011年3月珠三角技术沙龙深圳小沙龙主题
Dfs ning
Dfs ning
Andy Shi
Practice on Hadoop Big Data.
Hadoop大数据实践经验
Hadoop大数据实践经验
Schubert Zhang
BDTC 2013 Beijing China
罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群
hdhappy001
Titulo: Implementação de um PMO em Lisarb Alunos:Aristoteles Clington Fonseca de Almeida,Jorge Manuel,Josefa Mateus, Cidade: BBS Disciplina: PMO Turma: Turma V Data:10-07-2015 Hora:15:51 Comentarios: Publico até ápos a correção
Implementação de um PMO em Lisarb
Implementação de um PMO em Lisarb
Marco Coghi
Titulo: Projeto LISARB para TODOS - Rev01 Alunos:André Luís Silva Gabriel,André Rosental Maciel,Filipe Batista Ribeiro,Gleysson Augusto Marzagão,Marcelo F C Frade,Túlio Lisboa Soares, Cidade: Belo Horizonte Disciplina: PMO Turma: GP55 Data:06-03-2015 Hora:18:11 Comentarios:Caro Prof. Marco, Estou realizando nova postagem devido à atualização do documento. Publico até ápos a correção
Projeto LISARB para TODOS - Rev01
Projeto LISARB para TODOS - Rev01
Marco Coghi
Tutorial ensinando os principais conceitos da tecnologia AJAX.
Tutorial de ajax
Tutorial de ajax
Clayton Silva
More Related Content
What's hot
海量统计数据的分布式MySQL集群——MyFOX
海量统计数据的分布式MySQL集群——MyFOX
aleafs
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
knuthocean
baidu hdfs原理科普ppt
Hdfs introduction
Hdfs introduction
baggioss
介绍列式存储、位图技术
列式存储、位图技术研究及应用
列式存储、位图技术研究及应用
3908282
基于Hbase的实时计算分享
基于Hbase的实时计算分享
yiihsia
Beijing Meetup - Jan 2018
Using Alluxio in Tencent's News and Personalized Push Services
Using Alluxio in Tencent's News and Personalized Push Services
Alluxio, Inc.
BDTC 2013 Beijing China
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统
hdhappy001
110412 mongodb介紹以及在水银中的应用 * 讲者:温铭+金浩+王斌 * 时间:19:00-20:00 * 地点:金山大厦12F大会议室 * 列席:面向安全平台组,同时欢迎对交流内容感兴趣的其他同事出席
110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercury
Zoom Quiet
introduction of hdfs
Hdfs
Hdfs
baggioss
introducation of hdfs
Hdfs
Hdfs
baggioss
Redis 介绍 - 田琪
Redis 介绍 -田琪
Redis 介绍 -田琪
Shaoning Pan
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践
Min Zhou
Distributed Data Analytics at Taobao
Distributed Data Analytics at Taobao
Distributed Data Analytics at Taobao
Min Zhou
BDTC 2013 Beijing China
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
hdhappy001
分布式构架简介 草稿
分布式构架简介 草稿
guestd7133d1
#LAMP人#第14期《海量数据挖掘与应用 – e淘专场》 之 《海量用户数据处理及其在一淘广告和推荐中的应用》- 夏辉(赤霞)
海量用户数据处理及其在一淘广告和推荐中的应用
海量用户数据处理及其在一淘广告和推荐中的应用
Shaoning Pan
2011年3月珠三角技术沙龙深圳小沙龙主题
Dfs ning
Dfs ning
Andy Shi
Practice on Hadoop Big Data.
Hadoop大数据实践经验
Hadoop大数据实践经验
Schubert Zhang
BDTC 2013 Beijing China
罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群
hdhappy001
What's hot
(19)
海量统计数据的分布式MySQL集群——MyFOX
海量统计数据的分布式MySQL集群——MyFOX
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
Hdfs introduction
Hdfs introduction
列式存储、位图技术研究及应用
列式存储、位图技术研究及应用
基于Hbase的实时计算分享
基于Hbase的实时计算分享
Using Alluxio in Tencent's News and Personalized Push Services
Using Alluxio in Tencent's News and Personalized Push Services
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统
110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercury
Hdfs
Hdfs
Hdfs
Hdfs
Redis 介绍 -田琪
Redis 介绍 -田琪
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践
Distributed Data Analytics at Taobao
Distributed Data Analytics at Taobao
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
分布式构架简介 草稿
分布式构架简介 草稿
海量用户数据处理及其在一淘广告和推荐中的应用
海量用户数据处理及其在一淘广告和推荐中的应用
Dfs ning
Dfs ning
Hadoop大数据实践经验
Hadoop大数据实践经验
罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群
Viewers also liked
Titulo: Implementação de um PMO em Lisarb Alunos:Aristoteles Clington Fonseca de Almeida,Jorge Manuel,Josefa Mateus, Cidade: BBS Disciplina: PMO Turma: Turma V Data:10-07-2015 Hora:15:51 Comentarios: Publico até ápos a correção
Implementação de um PMO em Lisarb
Implementação de um PMO em Lisarb
Marco Coghi
Titulo: Projeto LISARB para TODOS - Rev01 Alunos:André Luís Silva Gabriel,André Rosental Maciel,Filipe Batista Ribeiro,Gleysson Augusto Marzagão,Marcelo F C Frade,Túlio Lisboa Soares, Cidade: Belo Horizonte Disciplina: PMO Turma: GP55 Data:06-03-2015 Hora:18:11 Comentarios:Caro Prof. Marco, Estou realizando nova postagem devido à atualização do documento. Publico até ápos a correção
Projeto LISARB para TODOS - Rev01
Projeto LISARB para TODOS - Rev01
Marco Coghi
Tutorial ensinando os principais conceitos da tecnologia AJAX.
Tutorial de ajax
Tutorial de ajax
Clayton Silva
Tx history-ch-20.3
Tx history-ch-20.3
AvantK
Titulo: Horta Urbana Alunos:Ana Silvia Preuss Zamaro,Fernanda,Fernanda Klippel, Cidade: Disciplina: Turma: Data:07-06-2013 Hora:22:43 Comentarios:Projeto ofereceu uma excelente visão de projeto, inclusive na troca de experiências e ampliação de conhecimentos. Grupo: Fernanda Klippel, Ana Silvia, Claudia Gaspar, Flavia, Bernardo Simaos e Felipe.(descrito no trabalho) Publico até ápos a correção
Horta Urbana
Horta Urbana
Marco Coghi
Brecha digital
Propuesta para contribuir a disminuir la brecha digital
Propuesta para contribuir a disminuir la brecha digital
MarianHucul114
Capítulo 3 do livro fundamentos da astronomia. Cujo tema aborda o sistema solar.
Capítulo 3 o sistema solar_Fundamentos da Astronomia
Capítulo 3 o sistema solar_Fundamentos da Astronomia
Beatriz Furtado
Viewers also liked
(7)
Implementação de um PMO em Lisarb
Implementação de um PMO em Lisarb
Projeto LISARB para TODOS - Rev01
Projeto LISARB para TODOS - Rev01
Tutorial de ajax
Tutorial de ajax
Tx history-ch-20.3
Tx history-ch-20.3
Horta Urbana
Horta Urbana
Propuesta para contribuir a disminuir la brecha digital
Propuesta para contribuir a disminuir la brecha digital
Capítulo 3 o sistema solar_Fundamentos da Astronomia
Capítulo 3 o sistema solar_Fundamentos da Astronomia
Similar to Ocean base --千亿级海量数据库-lamper_日照
Hantuo openstack
Hantuo openstack
OpenCity Community
本报告先简要介绍淘宝网的业务和背后网站系统的主要组成部分,描述所使用的主要软件和当前的系统规模,以及未来的技术挑战,当前的淘宝网站系统是完全采用开源软件和自主开发。 接着,叙述淘宝系统的主要发展过程,在系统规模较小时主要采用商用软件,随着规模越来越大商用软件逐步无法满足需求,不得不采用开源软件结合自主开发,一方面通过使用开源软件提高系统开发的效率,另一方面通过自主开发可以按需求在架构上取舍将系统性能做到极致,这里会举三个例子说明,一是淘宝如何逐步建设世界上最大的面向图片的CDN系统,采用高性价比的混合存储系统,目前有1000Gbps流量的承载能力,今年会发展到约2400Gbps,二是根据网页使用图片的特定抛弃目录空间实现了高可扩展的对象存储系统TFS,目前部署了6PB多的存储空间,存放了4PB多的图片,今年会建设到12PB的存储空间,三是将淘宝的核心数据库从基于IBM小型机、Oracle商用数据库和EMC高端存储的解决方案迁移基于PC服务器加MySQL数据库,结合高速非易失的PCI-E存储设备和多层次的系统优化,实现近百倍的性能提升,非常轻松地应付双11和双12的大促活动。这个过程可以总结出商用软件不能满足大规模系统的需求,采用开源软件与自主开发相结合,有更好的可控性,更高的可扩展性,规模效应使得研发投入都有更高的产出。 然后,描述淘宝的开源策略,淘宝系统中使用大量的开源软件,并在开源软件的基础上进行改进和定制,并把工作成果回馈给上流的开源社区,例如淘宝维护了自己的Linux内核树并不断地向Linux社区贡献patch,目前淘宝在对Linux内核贡献补丁数的公司排名为115,开源了基于Nginx的Tengine服务器,以及向Oracle回馈了JVM的补丁和MySQL的补丁,向Apache回馈hadoop和hbase的补丁等等。淘宝建设了淘蝌蚪开源平台,并开源多年开发主力的基础软件,如分布式存储系统TFS、分布式缓存和K/V系统TAIR、海量数据库OceanBase、分布式数据库中间件 TDDL、手机自动化测试框架Athrun等等。淘宝针对数据密集型应用的特点定制了低功耗服务器,先应用在CDN系统中,淘宝创建了greencompute.org网站,并开源了低功耗服务器的硬件规格和应用测试数据,阿里云开源了直流服务器,和业界一起推进绿色计算。 淘宝是开源系统的受益者,并积极参与开源生态系统的建设,促进开源生态系统的发展,积累更好的口碑,凝聚人才,迎接未来更大的技术挑战。
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
Wensong Zhang
A talk I gave on OpenSourceChina conference in Dec 2015. The talk is about how netflix builds its data pipeline platform to handle hundreds of billions of events a day. How everybody should leverage the same streaming architecture to build their apps.
Streaming architecture zx_dec2015
Streaming architecture zx_dec2015
Zhenzhong Xu
Selling sybase hds solution for banking
Selling sybase hds solution for banking
focusbi
Hbase架构简介、实践
Hbase架构简介、实践
Hbase架构简介、实践
Li Map
Altibase介绍
Altibase介绍
小新 制造
数据库发展研究报告
《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf
markmind
With hundreds of new and sometimes disparate tools, it’s hard to keep pace. Amazon Web Services provides a broad and fully integrated portfolio of cloud computing services to help you build, secure and deploy your big data applications. Attend this webinar to get an overview of the different big data options available in the AWS Cloud – including popular big data frameworks such as Hadoop, Spark, NoSQL databases, and more. Learn about ideal use cases, cases to avoid, performance, interfaces, and more. Finally, learn how you can build valuable applications with a real-life example.
深入淺出 AWS 大數據工具
深入淺出 AWS 大數據工具
Amazon Web Services
Hbase
Hbase
baggioss
This talks presents the Delta Lake Architecture in QCon @ Shanghai. The slides is in Chinese.
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
Xiao Li
Tup2 人人网张铁安
Tup2 人人网张铁安
yongboy
人人网技术经理张铁安 Feed系统结构浅析
人人网技术经理张铁安 Feed系统结构浅析
isnull
Downloaded from CSDN download channel.
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析
Leechael
#LAMP人#第14期《海量数据挖掘与应用 – e淘专场》 之 《大型互联网广告应用系统架构》
大型互联网广告应用系统架构
大型互联网广告应用系统架构
Shaoning Pan
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
Wensong Zhang
taobao,cdn,tfs,cache,lvs,分布式,基础设施,淘宝,阿里巴巴,图片存储,海量数据,集群,架构
Taobao base
Taobao base
mysqlops
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
lovingprince58
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
drewz lin
ppt of the 1st. CIOS by alibaba.com
网站存储经验谈pdf
网站存储经验谈pdf
Yu Lin
网站存储经验谈-pdf
网站存储经验谈-pdf
Yu Lin
Similar to Ocean base --千亿级海量数据库-lamper_日照
(20)
Hantuo openstack
Hantuo openstack
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
Streaming architecture zx_dec2015
Streaming architecture zx_dec2015
Selling sybase hds solution for banking
Selling sybase hds solution for banking
Hbase架构简介、实践
Hbase架构简介、实践
Altibase介绍
Altibase介绍
《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf
深入淺出 AWS 大數據工具
深入淺出 AWS 大數據工具
Hbase
Hbase
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
Tup2 人人网张铁安
Tup2 人人网张铁安
人人网技术经理张铁安 Feed系统结构浅析
人人网技术经理张铁安 Feed系统结构浅析
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析
大型互联网广告应用系统架构
大型互联网广告应用系统架构
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
Taobao base
Taobao base
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
网站存储经验谈pdf
网站存储经验谈pdf
网站存储经验谈-pdf
网站存储经验谈-pdf
Ocean base --千亿级海量数据库-lamper_日照
1.
OceanBase千亿级海量数据库 2011.5 日照:rizhao.ych@taobao.com
1
2.
3.
Oceanbase技术方案
4.
收藏夹应用案例
5.
系统展望2
6.
7.
数据规模:百TB级,百台机器
8.
OLTP:几十万QPS,几万TPS
9.
OLAP:支持千万级记录实时计算
10.
支持事务
11.
强一致性 (vs. 弱一致性、最终一致性)
12.
可用性:5个9
13.
运维简单性:不再拆库,自动扩容3
14.
15.
数据容量大、可扩展性好、容错能力强
16.
17.
海量数据存储特点的进一步分析
18.
数据量大但修改量较小,一千亿 * 1%*
100B = 100G
19.
区分最新修改的增量数据和以前的基准数据?
20.
OceanBase = RDBMS
+ 云存储
21.
增量数据(增删改操作):单机之内存+SSD
22.
基准数据:静态B+树,多机
23.
数据读取 :基准数据+增量数据
24.
数据写入 :增量数据
25.
事务:集中化写事务+分布式读事务5
26.
27.
增量数据服务器UpdateServer:主+备,实时修改(内存+SSD)
28.
基准数据服务器ChunkServer:多台,B+树叶子节点(磁盘或SSD)
29.
30.
随机读,不支持范围查询;
31.
Hash划分均匀;
32.
两种Hash:取模Hash与一致性Hash
33.
实例:Tair,Memcache,Dynamo,Cassandra
34.
分布式B+ Tree
35.
随机读和顺序扫描,支持范围查询;
36.
顺序划分不均匀,需要叶子节点分裂合并
37.
实例:Bigtable & HBase,Google
Megastore
38.
Oceanbase数据结构
39.
增量数据:单机B+树
40.
基准数据:分布式B+树
41.
新的基准数据 = 老的基准数据
+ 增量数据7
42.
43.
基准数据服务器ChunkServer
44.
机器动态上下线
45.
增量数据服务器UpdateServer
46.
内存+SSD服务,多网卡,万兆网卡
47.
备提供读服务
48.
可靠性
49.
基准数据服务器ChunkServer
50.
数据存储多份,一般为3份
51.
增量数据服务器UpdateServer
52.
Commit log +
RAID 1磁盘
53.
实时本地热备(主+备) + 准实时异地热备
54.
定位服务器RootServer
55.
实时本地热备(主+备) + 准实时异地热备8
56.
57.
单机写事务 +分布式读事务
58.
支持跨表事务
59.
一致性选择
60.
弱一致性
61.
最终一致性
62.
强一致性
63.
本地实时同步,异地准实时同步9
64.
65.
RootServer总体协调
66.
负载均衡因素:内存,磁盘等资源占用,读写负载等;
67.
数据迁移:迁移过程不影响对外服务
68.
读写分离
69.
ChunkServer只读,简化设计并提高读性能
70.
UpdateServer采用copy-on-write数据结构,写不影响读
71.
Oceanbase系统读和写基本不干扰10
72.
73.
在线修改schema
74.
没有随机写,SSD友好
75.
内置数据压缩,减少机器数量和网络数据流量
76.
在线(不停机)系统版本升级11
77.
78.
内存容量
79.
新增的记录:1千万条/天,1KB/条10GB/天
80.
记录的修改:1亿条/天,100B/条10GB/天
81.
网络:100,000QPS,100B/条10MB/s
82.
磁盘
83.
Commit log
(bin log):Group commit
84.
改进方案
85.
SSD
86.
多网卡、万兆网卡
87.
…12
88.
89.
需求:查找一个用户的所有收藏的所有商品详情
90.
收藏信息表保存收藏信息条目,40亿+
91.
收藏商品表保存收藏的商品详细信息,4亿+
92.
执行两张表的暴力Join?一个用户可以收藏数千商品
93.
冗余商品详细信息到收藏表?一件商品可被数十万用户收藏13
94.
95.
收藏夹数据 = 基准数据
+ 增量数据
96.
基准数据:收藏信息表冗余存储商品详情信息
97.
增量数据:收藏信息表和商品详情表分别存放到UpdateServer内存中
98.
操作步骤:顺序读取基准数据中用户的收藏信息及商品详情; 将增量数据中的用户收藏信息更新到读取结果中; 将增量数据中的用户收藏的商品信息更新到读取结果中;
14
99.
100.
101.
4 ChunkServer,
2 * E5520 @2.27HZ, 10 * 300GB SAS, 16GB
102.
21亿条记录, 压缩后160GB *
3, 10k块, 随机读, cache基本不命中16/26 响应时间长:同步读 -> 预读 CS load高:全异步模型
103.
104.
2 * E5520
@ 2.27HZ, 24G, 千兆网卡
105.
待优化点
106.
优化网络框架内存分配:优化后 QPS >
10W
107.
减少任务队列导致的上下文切换:优化后 QPS >
20W
108.
结论:UPS不是性能瓶颈17
109.
110.
数据拷贝:Direct IO,权衡接口模块化与性能
111.
内存分配:内存池,线程缓存
112.
锁:线程缓存,减少Cache锁冲突,copy-on-write数据结构
113.
上下文切换:替换基于任务队列的网络模型
114.
多UpdateServer?
115.
不求大而全,但求明晰的技术发展路线图
116.
取决于业务需求18
117.
118.
列式存储
119.
Blob支持
120.
MapReduce
121.
TPC-E
122.
代码开源
123.
…19
124.
个人博客:http://nosqlnotes.net 20 谢谢
Download now