Submit Search
Upload
Tcpcopy benchmark
•
0 likes
•
237 views
Louis liu
Follow
MySQL TCPCOPY TEST
Read less
Read more
Technology
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 9
Download now
Download to read offline
Recommended
Tcpcopy 阿里技术沙龙
Tcpcopy 阿里技术沙龙
drewz lin
Hadoop compress-stream
Hadoop compress-stream
Schubert Zhang
for old version of hadoop (0.
Rpc原理与实现
Rpc原理与实现
wavefly
a brief view of rpc, eg: hessian
Bluemix Node-Red Part I
Bluemix Node-Red Part I
Joseph Chang
Node-RED 是簡單容易一手的視覺化的開發工具, 最適合用來做PaaS平台上的微服務組裝, 透過元件的拖拉組合, 讓複雜的串流資料處理變得簡單明瞭. 本講義是為Node-RED初學者所編纂, 歡迎跟著slide 的介紹動手做做看.
Lvs基本原理和配置课件
Lvs基本原理和配置课件
galen700
高性能并发Web服务器实现核心内幕
高性能并发Web服务器实现核心内幕
ideawu
Static server介绍
Static server介绍
sun jamie
Static-Server 是一个实验性的文件存储服务系统,可以用于多个web站点的文件统一存取,可实现分布式的部署,故障转移,同步复制。
Ajax设计技术
Ajax设计技术
yiditushe
Recommended
Tcpcopy 阿里技术沙龙
Tcpcopy 阿里技术沙龙
drewz lin
Hadoop compress-stream
Hadoop compress-stream
Schubert Zhang
for old version of hadoop (0.
Rpc原理与实现
Rpc原理与实现
wavefly
a brief view of rpc, eg: hessian
Bluemix Node-Red Part I
Bluemix Node-Red Part I
Joseph Chang
Node-RED 是簡單容易一手的視覺化的開發工具, 最適合用來做PaaS平台上的微服務組裝, 透過元件的拖拉組合, 讓複雜的串流資料處理變得簡單明瞭. 本講義是為Node-RED初學者所編纂, 歡迎跟著slide 的介紹動手做做看.
Lvs基本原理和配置课件
Lvs基本原理和配置课件
galen700
高性能并发Web服务器实现核心内幕
高性能并发Web服务器实现核心内幕
ideawu
Static server介绍
Static server介绍
sun jamie
Static-Server 是一个实验性的文件存储服务系统,可以用于多个web站点的文件统一存取,可实现分布式的部署,故障转移,同步复制。
Ajax设计技术
Ajax设计技术
yiditushe
AppEx 云加速
AppEx 云加速
txpeng
AppEx云加速技术
C1000K高性能服务器构建技术
C1000K高性能服务器构建技术
Feng Yu
并发1000K的TCP高性能服务器构建技术
百姓网如何优化网速-Qcon2011
百姓网如何优化网速-Qcon2011
Yiwei Ma
Pm 04 华胜天成openstack实践汇报-20120808
Pm 04 华胜天成openstack实践汇报-20120808
OpenCity Community
基于用户行为的数据分析
基于用户行为的数据分析
mysqlops
用户行为,数据分析,数据挖掘,旅游,酷讯网
腾讯大讲堂40 web类服务用户体验优化综述
腾讯大讲堂40 web类服务用户体验优化综述
PMCamp
腾讯大讲堂40 web类服务用户体验优化综述
大数据时代feed架构 (ArchSummit Beijing 2014)
大数据时代feed架构 (ArchSummit Beijing 2014)
Tim Y
介绍在性能、实时数据流、存储扩展性以及feed展示方面的架构设计。
基于云计算平台的移动Iptv系统设计及负载均衡技术研究
基于云计算平台的移动Iptv系统设计及负载均衡技术研究
liangxiao0315
About Thrift
About Thrift
jiaqing zheng
Thrift
Thrift
jiaqing zheng
Hbase在淘宝的应用与优化 修改
Hbase在淘宝的应用与优化 修改
yp_fangdong
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
Scourgen Hong
基于Erlang的
基于Erlang的
hnoutman
基于Erlang的开发
twMVC#31網站上線了然後呢
twMVC#31網站上線了然後呢
twMVC
分享關於網站上線之後,如何透過各種工具和方法來幫助網站的營運,讓網站能夠根據需求隨時調整改變,並同時兼顧網站的穩定性,讓網站的營運不再是一份辛苦的工作,還能透幫助網站不斷改善變的更好。
四天学会Ajax
四天学会Ajax
mornone
深入浅出Netty l.t
深入浅出Netty l.t
oleone
Cdc@ganji.com
Cdc@ganji.com
Tailor Cai
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
Wensong Zhang
本报告先简要介绍淘宝网的业务和背后网站系统的主要组成部分,描述所使用的主要软件和当前的系统规模,以及未来的技术挑战,当前的淘宝网站系统是完全采用开源软件和自主开发。 接着,叙述淘宝系统的主要发展过程,在系统规模较小时主要采用商用软件,随着规模越来越大商用软件逐步无法满足需求,不得不采用开源软件结合自主开发,一方面通过使用开源软件提高系统开发的效率,另一方面通过自主开发可以按需求在架构上取舍将系统性能做到极致,这里会举三个例子说明,一是淘宝如何逐步建设世界上最大的面向图片的CDN系统,采用高性价比的混合存储系统,目前有1000Gbps流量的承载能力,今年会发展到约2400Gbps,二是根据网页使用图片的特定抛弃目录空间实现了高可扩展的对象存储系统TFS,目前部署了6PB多的存储空间,存放了4PB多的图片,今年会建设到12PB的存储空间,三是将淘宝的核心数据库从基于IBM小型机、Oracle商用数据库和EMC高端存储的解决方案迁移基于PC服务器加MySQL数据库,结合高速非易失的PCI-E存储设备和多层次的系统优化,实现近百倍的性能提升,非常轻松地应付双11和双12的大促活动。这个过程可以总结出商用软件不能满足大规模系统的需求,采用开源软件与自主开发相结合,有更好的可控性,更高的可扩展性,规模效应使得研发投入都有更高的产出。 然后,描述淘宝的开源策略,淘宝系统中使用大量的开源软件,并在开源软件的基础上进行改进和定制,并把工作成果回馈给上流的开源社区,例如淘宝维护了自己的Linux内核树并不断地向Linux社区贡献patch,目前淘宝在对Linux内核贡献补丁数的公司排名为115,开源了基于Nginx的Tengine服务器,以及向Oracle回馈了JVM的补丁和MySQL的补丁,向Apache回馈hadoop和hbase的补丁等等。淘宝建设了淘蝌蚪开源平台,并开源多年开发主力的基础软件,如分布式存储系统TFS、分布式缓存和K/V系统TAIR、海量数据库OceanBase、分布式数据库中间件 TDDL、手机自动化测试框架Athrun等等。淘宝针对数据密集型应用的特点定制了低功耗服务器,先应用在CDN系统中,淘宝创建了greencompute.org网站,并开源了低功耗服务器的硬件规格和应用测试数据,阿里云开源了直流服务器,和业界一起推进绿色计算。 淘宝是开源系统的受益者,并积极参与开源生态系统的建设,促进开源生态系统的发展,积累更好的口碑,凝聚人才,迎接未来更大的技术挑战。
分布式流数据实时计算平台 Iprocess
分布式流数据实时计算平台 Iprocess
babel_qi
内部分享,仓促之就
Hadoop学习总结
Hadoop学习总结
ordinary2012
JK Log-Center architect
JK Log-Center architect
Louis liu
OPS TEAM Log Center
Wdt Test
Wdt Test
Louis liu
Facebook WDT TEST
More Related Content
Similar to Tcpcopy benchmark
AppEx 云加速
AppEx 云加速
txpeng
AppEx云加速技术
C1000K高性能服务器构建技术
C1000K高性能服务器构建技术
Feng Yu
并发1000K的TCP高性能服务器构建技术
百姓网如何优化网速-Qcon2011
百姓网如何优化网速-Qcon2011
Yiwei Ma
Pm 04 华胜天成openstack实践汇报-20120808
Pm 04 华胜天成openstack实践汇报-20120808
OpenCity Community
基于用户行为的数据分析
基于用户行为的数据分析
mysqlops
用户行为,数据分析,数据挖掘,旅游,酷讯网
腾讯大讲堂40 web类服务用户体验优化综述
腾讯大讲堂40 web类服务用户体验优化综述
PMCamp
腾讯大讲堂40 web类服务用户体验优化综述
大数据时代feed架构 (ArchSummit Beijing 2014)
大数据时代feed架构 (ArchSummit Beijing 2014)
Tim Y
介绍在性能、实时数据流、存储扩展性以及feed展示方面的架构设计。
基于云计算平台的移动Iptv系统设计及负载均衡技术研究
基于云计算平台的移动Iptv系统设计及负载均衡技术研究
liangxiao0315
About Thrift
About Thrift
jiaqing zheng
Thrift
Thrift
jiaqing zheng
Hbase在淘宝的应用与优化 修改
Hbase在淘宝的应用与优化 修改
yp_fangdong
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
Scourgen Hong
基于Erlang的
基于Erlang的
hnoutman
基于Erlang的开发
twMVC#31網站上線了然後呢
twMVC#31網站上線了然後呢
twMVC
分享關於網站上線之後,如何透過各種工具和方法來幫助網站的營運,讓網站能夠根據需求隨時調整改變,並同時兼顧網站的穩定性,讓網站的營運不再是一份辛苦的工作,還能透幫助網站不斷改善變的更好。
四天学会Ajax
四天学会Ajax
mornone
深入浅出Netty l.t
深入浅出Netty l.t
oleone
Cdc@ganji.com
Cdc@ganji.com
Tailor Cai
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
Wensong Zhang
本报告先简要介绍淘宝网的业务和背后网站系统的主要组成部分,描述所使用的主要软件和当前的系统规模,以及未来的技术挑战,当前的淘宝网站系统是完全采用开源软件和自主开发。 接着,叙述淘宝系统的主要发展过程,在系统规模较小时主要采用商用软件,随着规模越来越大商用软件逐步无法满足需求,不得不采用开源软件结合自主开发,一方面通过使用开源软件提高系统开发的效率,另一方面通过自主开发可以按需求在架构上取舍将系统性能做到极致,这里会举三个例子说明,一是淘宝如何逐步建设世界上最大的面向图片的CDN系统,采用高性价比的混合存储系统,目前有1000Gbps流量的承载能力,今年会发展到约2400Gbps,二是根据网页使用图片的特定抛弃目录空间实现了高可扩展的对象存储系统TFS,目前部署了6PB多的存储空间,存放了4PB多的图片,今年会建设到12PB的存储空间,三是将淘宝的核心数据库从基于IBM小型机、Oracle商用数据库和EMC高端存储的解决方案迁移基于PC服务器加MySQL数据库,结合高速非易失的PCI-E存储设备和多层次的系统优化,实现近百倍的性能提升,非常轻松地应付双11和双12的大促活动。这个过程可以总结出商用软件不能满足大规模系统的需求,采用开源软件与自主开发相结合,有更好的可控性,更高的可扩展性,规模效应使得研发投入都有更高的产出。 然后,描述淘宝的开源策略,淘宝系统中使用大量的开源软件,并在开源软件的基础上进行改进和定制,并把工作成果回馈给上流的开源社区,例如淘宝维护了自己的Linux内核树并不断地向Linux社区贡献patch,目前淘宝在对Linux内核贡献补丁数的公司排名为115,开源了基于Nginx的Tengine服务器,以及向Oracle回馈了JVM的补丁和MySQL的补丁,向Apache回馈hadoop和hbase的补丁等等。淘宝建设了淘蝌蚪开源平台,并开源多年开发主力的基础软件,如分布式存储系统TFS、分布式缓存和K/V系统TAIR、海量数据库OceanBase、分布式数据库中间件 TDDL、手机自动化测试框架Athrun等等。淘宝针对数据密集型应用的特点定制了低功耗服务器,先应用在CDN系统中,淘宝创建了greencompute.org网站,并开源了低功耗服务器的硬件规格和应用测试数据,阿里云开源了直流服务器,和业界一起推进绿色计算。 淘宝是开源系统的受益者,并积极参与开源生态系统的建设,促进开源生态系统的发展,积累更好的口碑,凝聚人才,迎接未来更大的技术挑战。
分布式流数据实时计算平台 Iprocess
分布式流数据实时计算平台 Iprocess
babel_qi
内部分享,仓促之就
Hadoop学习总结
Hadoop学习总结
ordinary2012
Similar to Tcpcopy benchmark
(20)
AppEx 云加速
AppEx 云加速
C1000K高性能服务器构建技术
C1000K高性能服务器构建技术
百姓网如何优化网速-Qcon2011
百姓网如何优化网速-Qcon2011
Pm 04 华胜天成openstack实践汇报-20120808
Pm 04 华胜天成openstack实践汇报-20120808
基于用户行为的数据分析
基于用户行为的数据分析
腾讯大讲堂40 web类服务用户体验优化综述
腾讯大讲堂40 web类服务用户体验优化综述
大数据时代feed架构 (ArchSummit Beijing 2014)
大数据时代feed架构 (ArchSummit Beijing 2014)
基于云计算平台的移动Iptv系统设计及负载均衡技术研究
基于云计算平台的移动Iptv系统设计及负载均衡技术研究
About Thrift
About Thrift
Thrift
Thrift
Hbase在淘宝的应用与优化 修改
Hbase在淘宝的应用与优化 修改
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
基于Erlang的
基于Erlang的
twMVC#31網站上線了然後呢
twMVC#31網站上線了然後呢
四天学会Ajax
四天学会Ajax
深入浅出Netty l.t
深入浅出Netty l.t
Cdc@ganji.com
Cdc@ganji.com
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
分布式流数据实时计算平台 Iprocess
分布式流数据实时计算平台 Iprocess
Hadoop学习总结
Hadoop学习总结
More from Louis liu
JK Log-Center architect
JK Log-Center architect
Louis liu
OPS TEAM Log Center
Wdt Test
Wdt Test
Louis liu
Facebook WDT TEST
JKDB BACKUP Introduction
JKDB BACKUP Introduction
Louis liu
MYSQL BACKUP SYSTEM
Infiniflash benchmark
Infiniflash benchmark
Louis liu
Sandisk Infiniflash
MySQL Tokudb engine benchmark
MySQL Tokudb engine benchmark
Louis liu
MySQL Tokudb engine benchmark
Nvmfs benchmark
Nvmfs benchmark
Louis liu
Flash card support for MySQL to avoid double-writes problem
MySQL 5.7 milestone
MySQL 5.7 milestone
Louis liu
MySQL 5.7+ new features !
MySQL Oslayer performace optimization
MySQL Oslayer performace optimization
Louis liu
mysql ten tips for performance
MySQL async message subscription platform
MySQL async message subscription platform
Louis liu
Recover from MySQL to another platforms using MQ
HBASE Performane Test
HBASE Performane Test
Louis liu
Hbase performance test by YCSB including latency and ops (operations/s)
Jkcn MySQLDB 架构
Jkcn MySQLDB 架构
Louis liu
mysql archtect
基于Mongodb的压力评测工具 ycsb的一些概括
基于Mongodb的压力评测工具 ycsb的一些概括
Louis liu
YCSB
My sql fabric ha and sharding solutions
My sql fabric ha and sharding solutions
Louis liu
MySQL Fabric total testing
NetApp ef540 SSD Storage Test
NetApp ef540 SSD Storage Test
Louis liu
Exadata best practice on E-commerce area
Exadata best practice on E-commerce area
Louis liu
www.yhd.com DW part of architect on Oracle-Exadata machine
MySQL 5.5&5.6 new features summary
MySQL 5.5&5.6 new features summary
Louis liu
Ssd gc review
Ssd gc review
Louis liu
1号店数据库架构
1号店数据库架构
Louis liu
Architecture of YHD
Architecture of YHD
Louis liu
Oracle dgha
Oracle dgha
Louis liu
More from Louis liu
(20)
JK Log-Center architect
JK Log-Center architect
Wdt Test
Wdt Test
JKDB BACKUP Introduction
JKDB BACKUP Introduction
Infiniflash benchmark
Infiniflash benchmark
MySQL Tokudb engine benchmark
MySQL Tokudb engine benchmark
Nvmfs benchmark
Nvmfs benchmark
MySQL 5.7 milestone
MySQL 5.7 milestone
MySQL Oslayer performace optimization
MySQL Oslayer performace optimization
MySQL async message subscription platform
MySQL async message subscription platform
HBASE Performane Test
HBASE Performane Test
Jkcn MySQLDB 架构
Jkcn MySQLDB 架构
基于Mongodb的压力评测工具 ycsb的一些概括
基于Mongodb的压力评测工具 ycsb的一些概括
My sql fabric ha and sharding solutions
My sql fabric ha and sharding solutions
NetApp ef540 SSD Storage Test
NetApp ef540 SSD Storage Test
Exadata best practice on E-commerce area
Exadata best practice on E-commerce area
MySQL 5.5&5.6 new features summary
MySQL 5.5&5.6 new features summary
Ssd gc review
Ssd gc review
1号店数据库架构
1号店数据库架构
Architecture of YHD
Architecture of YHD
Oracle dgha
Oracle dgha
Tcpcopy benchmark
1.
Jk.cn TCPCOPY-Real traffic benchmark
tool TCPCOPY 由网易杭研开源,通过复制网卡端口流量,从而模拟线上真实负载,通过 N 倍放大做到真实环境流量翻倍的效果。 对于日常业务的激增起到一个预测作用。 TCPCOPY 可以直接将流量包复制至 MYSQL database,从而模拟线上 client 包流量的翻倍压力,对于测试机器来说,相当于将线 上机器成倍的增加,从而可以压测出当前 MYSQL DB 所能承受的极限值。对于 SQL 而言,也利于在高压力环境下的问题暴露。
2.
Jk.cn 我们的 TCPCOPY 架构图
3.
Jk.cn 通过直接导入线上流量, 模拟 troy
线上压力 测试环境: online server : 10.128.6.16 master test server : 10.128.6.83 clone database assistant server : 10.128.6.84 在 test server 上增加如下路由信息: route add -host 10.128.10.68 gw 10.128.6.84 route add -host 10.128.11.96 gw 10.128.6.84 route add -host 10.128.13.97 gw 10.128.6.84 route add -host 10.128.16.59 gw 10.128.6.84 route add -host 10.128.17.109 gw 10.128.6.84 route add -host 10.128.17.99 gw 10.128.6.84 route add -host 10.128.19.142 gw 10.128.6.84 route add -host 10.128.19.150 gw 10.128.6.84 route add -host 10.128.19.160 gw 10.128.6.84 route add -host 10.128.6.17 gw 10.128.6.84
4.
Jk.cn route add -host
10.128.7.121 gw 10.128.6.84 route add -host 10.128.7.122 gw 10.128.6.84 在 test server 上将线上(online server)上的 mysql client IP 请求全部路由到 assistant server 由 assistant sever 跟 这些 client 机器完 成握手,从而完成整个过程。Test server 本身并不负责这些连接的建立。
5.
Jk.cn Processing :
6.
Jk.cn 在 assistant server
上开启 intercept 进程 /usr/local/intercept/sbin/intercept -i bond0 -F 'tcp and src port 3307' -p 36525 –d 端口设置为 36525 在 online server 上开启 tcpcopy 进程 tcpcopy -x 3307-10.128.6.83:3307 -s 10.128.6.84:36525 -C 4 -n 50 将本地 3307 端口的流量直接复制到 test server (由 test server 路由至 assistant server, 最后由 assistant server 完成应答) ,实际的 数据包则在 test server 上执行 。 -C tcpcopy 进程与 intercept 进程开启并行通信 –n 将线上流量复制 N 倍 [20:33:26root@a1-tcpcopy-assis /usr/local/intercept/sbin] #netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' ESTABLISHED 5 TIME_WAIT 30 在 test server 上即可看到实际流量,经测试 –n 100 基本是一个极限值(tcpcopy 没有连接池的概念,所以对 test server 的连接都是短 连接,会引起 DB 层的瞬间连接暴增问题,目前没有好的解决方案)对于 troy 来说本身就是一个超过 4 万 QPS 的应用,而 TCPCOPY 极限压测到 5 万的 QPS 已经是上限了
7.
Jk.cn Test server load
8.
Jk.cn Interface Traffic
9.
Jk.cn 下一步计划 按成自动化恢复+自动化压测 (需要实际的 slave
激活成 master, 直接线上 slave 压测存在风险)
Download now