Submit Search
Upload
2014 Hpocon 黄慧攀 upyun - 平台架构的服务监控
•
2 likes
•
1,160 views
Michael Zhang
Follow
2014 Hpocon 黄慧攀 upyun - 平台架构的服务监控
Read less
Read more
Internet
Report
Share
Report
Share
1 of 22
Download now
Download to read offline
Recommended
Async programming-2014-08-22-pub
Async programming-2014-08-22-pub
persia cai
吴岷 视频Cdn分发、调度与服务的探讨
吴岷 视频Cdn分发、调度与服务的探讨
drewz lin
Metrics
Metrics
ChangQi Lin
Apache trafficserver
Apache trafficserver
Din Dindin
Video Upload Architecture of 56.com
Video Upload Architecture of 56.com
Ho Kim
一个 Mongodb command 的前世今生
一个 Mongodb command 的前世今生
dennis zhuang
主库自动切换 V2.0
主库自动切换 V2.0
jinqing zhu
Knowledge sharing
Knowledge sharing
Peng Wan
Recommended
Async programming-2014-08-22-pub
Async programming-2014-08-22-pub
persia cai
吴岷 视频Cdn分发、调度与服务的探讨
吴岷 视频Cdn分发、调度与服务的探讨
drewz lin
Metrics
Metrics
ChangQi Lin
Apache trafficserver
Apache trafficserver
Din Dindin
Video Upload Architecture of 56.com
Video Upload Architecture of 56.com
Ho Kim
一个 Mongodb command 的前世今生
一个 Mongodb command 的前世今生
dennis zhuang
主库自动切换 V2.0
主库自动切换 V2.0
jinqing zhu
Knowledge sharing
Knowledge sharing
Peng Wan
大众点评网的技术变迁之路
大众点评网的技术变迁之路
jeffz
20110607 IPv6
20110607 IPv6
Jui-Nan Lin
淘宝主备数据库自动切换
淘宝主备数据库自动切换
mysqlops
Linux 系統管理實務期末報告
Linux 系統管理實務期末報告
群宇 賴
Pptv lb日志实时分析平台
Pptv lb日志实时分析平台
drewz lin
pyspider 介绍 - pycon2014@北京
pyspider 介绍 - pycon2014@北京
roybinux
腾讯大讲堂19 系统优化的方向
腾讯大讲堂19 系统优化的方向
areyouok
Taobao海量图片存储与cdn系统
Taobao海量图片存储与cdn系统
Michael Zhang
Hacking Nginx at Taobao
Hacking Nginx at Taobao
Joshua Zhu
阿里云CDN技术演进之路
阿里云CDN技术演进之路
Joshua Zhu
阿里开源经验分享
阿里开源经验分享
Joshua Zhu
迎接云计算大时代 - EasyStack 联合创始人兼CTO 刘国辉
迎接云计算大时代 - EasyStack 联合创始人兼CTO 刘国辉
Hardway Hou
虚拟桌面云 终端用户运算未来展望
虚拟桌面云 终端用户运算未来展望
ITband
从0到1:平安云的构建和运维实践
从0到1:平安云的构建和运维实践
Hardway Hou
4 个步骤 对抗管道完整性威胁
4 个步骤 对抗管道完整性威胁
T.D. Williamson
The consortium 基于状态的数据中心自动化管理工具
The consortium 基于状态的数据中心自动化管理工具
Leo Zhou
持续交付 - 使用云计算和虚拟化技术
持续交付 - 使用云计算和虚拟化技术
foxgem
Cloud Operations Challenges - Talk by ChinaNetCloud at Joint Cisco event
Cloud Operations Challenges - Talk by ChinaNetCloud at Joint Cisco event
ChinaNetCloud
It基础架构的自动化编排
It基础架构的自动化编排
Bill Wang
统一的云平台实现IT大集中和核心网云化
统一的云平台实现IT大集中和核心网云化
Kun Liu
云运维的理念和思维
云运维的理念和思维
昕 姚
在云应用方面,丰田能教会我们什么?
在云应用方面,丰田能教会我们什么?
Hardway Hou
More Related Content
What's hot
大众点评网的技术变迁之路
大众点评网的技术变迁之路
jeffz
20110607 IPv6
20110607 IPv6
Jui-Nan Lin
淘宝主备数据库自动切换
淘宝主备数据库自动切换
mysqlops
Linux 系統管理實務期末報告
Linux 系統管理實務期末報告
群宇 賴
Pptv lb日志实时分析平台
Pptv lb日志实时分析平台
drewz lin
pyspider 介绍 - pycon2014@北京
pyspider 介绍 - pycon2014@北京
roybinux
腾讯大讲堂19 系统优化的方向
腾讯大讲堂19 系统优化的方向
areyouok
What's hot
(7)
大众点评网的技术变迁之路
大众点评网的技术变迁之路
20110607 IPv6
20110607 IPv6
淘宝主备数据库自动切换
淘宝主备数据库自动切换
Linux 系統管理實務期末報告
Linux 系統管理實務期末報告
Pptv lb日志实时分析平台
Pptv lb日志实时分析平台
pyspider 介绍 - pycon2014@北京
pyspider 介绍 - pycon2014@北京
腾讯大讲堂19 系统优化的方向
腾讯大讲堂19 系统优化的方向
Viewers also liked
Taobao海量图片存储与cdn系统
Taobao海量图片存储与cdn系统
Michael Zhang
Hacking Nginx at Taobao
Hacking Nginx at Taobao
Joshua Zhu
阿里云CDN技术演进之路
阿里云CDN技术演进之路
Joshua Zhu
阿里开源经验分享
阿里开源经验分享
Joshua Zhu
迎接云计算大时代 - EasyStack 联合创始人兼CTO 刘国辉
迎接云计算大时代 - EasyStack 联合创始人兼CTO 刘国辉
Hardway Hou
虚拟桌面云 终端用户运算未来展望
虚拟桌面云 终端用户运算未来展望
ITband
从0到1:平安云的构建和运维实践
从0到1:平安云的构建和运维实践
Hardway Hou
4 个步骤 对抗管道完整性威胁
4 个步骤 对抗管道完整性威胁
T.D. Williamson
The consortium 基于状态的数据中心自动化管理工具
The consortium 基于状态的数据中心自动化管理工具
Leo Zhou
持续交付 - 使用云计算和虚拟化技术
持续交付 - 使用云计算和虚拟化技术
foxgem
Cloud Operations Challenges - Talk by ChinaNetCloud at Joint Cisco event
Cloud Operations Challenges - Talk by ChinaNetCloud at Joint Cisco event
ChinaNetCloud
It基础架构的自动化编排
It基础架构的自动化编排
Bill Wang
统一的云平台实现IT大集中和核心网云化
统一的云平台实现IT大集中和核心网云化
Kun Liu
云运维的理念和思维
云运维的理念和思维
昕 姚
在云应用方面,丰田能教会我们什么?
在云应用方面,丰田能教会我们什么?
Hardway Hou
云计算推动金融业 I T 架构变革
云计算推动金融业 I T 架构变革
Hardway Hou
企业变革时代的云化之路
企业变革时代的云化之路
Hardway Hou
云趋势和实践 - 上海有孚网络股份有限公司
云趋势和实践 - 上海有孚网络股份有限公司
Hardway Hou
以业务为中心的云自动化 V mware-v-realize-automation-7
以业务为中心的云自动化 V mware-v-realize-automation-7
Frank Chang
Aws summit devops 云端多环境自动化运维和部署
Aws summit devops 云端多环境自动化运维和部署
Leon Li
Viewers also liked
(20)
Taobao海量图片存储与cdn系统
Taobao海量图片存储与cdn系统
Hacking Nginx at Taobao
Hacking Nginx at Taobao
阿里云CDN技术演进之路
阿里云CDN技术演进之路
阿里开源经验分享
阿里开源经验分享
迎接云计算大时代 - EasyStack 联合创始人兼CTO 刘国辉
迎接云计算大时代 - EasyStack 联合创始人兼CTO 刘国辉
虚拟桌面云 终端用户运算未来展望
虚拟桌面云 终端用户运算未来展望
从0到1:平安云的构建和运维实践
从0到1:平安云的构建和运维实践
4 个步骤 对抗管道完整性威胁
4 个步骤 对抗管道完整性威胁
The consortium 基于状态的数据中心自动化管理工具
The consortium 基于状态的数据中心自动化管理工具
持续交付 - 使用云计算和虚拟化技术
持续交付 - 使用云计算和虚拟化技术
Cloud Operations Challenges - Talk by ChinaNetCloud at Joint Cisco event
Cloud Operations Challenges - Talk by ChinaNetCloud at Joint Cisco event
It基础架构的自动化编排
It基础架构的自动化编排
统一的云平台实现IT大集中和核心网云化
统一的云平台实现IT大集中和核心网云化
云运维的理念和思维
云运维的理念和思维
在云应用方面,丰田能教会我们什么?
在云应用方面,丰田能教会我们什么?
云计算推动金融业 I T 架构变革
云计算推动金融业 I T 架构变革
企业变革时代的云化之路
企业变革时代的云化之路
云趋势和实践 - 上海有孚网络股份有限公司
云趋势和实践 - 上海有孚网络股份有限公司
以业务为中心的云自动化 V mware-v-realize-automation-7
以业务为中心的云自动化 V mware-v-realize-automation-7
Aws summit devops 云端多环境自动化运维和部署
Aws summit devops 云端多环境自动化运维和部署
Similar to 2014 Hpocon 黄慧攀 upyun - 平台架构的服务监控
新浪微博平台与安全架构
新浪微博平台与安全架构
n716
阿里巴巴运维自动化的探索与规划
阿里巴巴运维自动化的探索与规划
mysqlops
阿里巴巴 肖劲青 阿里巴巴运维自动化的探索与规划
阿里巴巴 肖劲青 阿里巴巴运维自动化的探索与规划
colderboy17
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
Scourgen Hong
高可用
高可用
chosen0ne
阿里云技术实践
阿里云技术实践
drewz lin
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
guiyingshenxia
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
colderboy17
[.Net开发交流会][2010.06.19]大众点评网的技术变迁之路(王宏)
[.Net开发交流会][2010.06.19]大众点评网的技术变迁之路(王宏)
Shanda innovation institute
Nodejs & NAE
Nodejs & NAE
q3boy
纵览Loadrunner核心功能
纵览Loadrunner核心功能
beiyu95
辽宁大学私有云项目分析
辽宁大学私有云项目分析
博 孟
Traffic server overview
Traffic server overview
qianshi
http flood and mobile app
http flood and mobile app
im_yunshu
盛大游戏运维体系
盛大游戏运维体系
Ken Liu
盛大游戏运维体系
盛大游戏运维体系
Ken Liu
Yupoo! (花瓣网/又拍云) 架构中的消息与任务系统
Yupoo! (花瓣网/又拍云) 架构中的消息与任务系统
Dahui Feng
Train.IO 【第六期-OpenStack 二三事】
Train.IO 【第六期-OpenStack 二三事】
inwin stack
Boohee ruby on rails practise
Boohee ruby on rails practise
vincent253
賽門鐵克 NetBackup 7.5 完整簡報
賽門鐵克 NetBackup 7.5 完整簡報
Wales Chen
Similar to 2014 Hpocon 黄慧攀 upyun - 平台架构的服务监控
(20)
新浪微博平台与安全架构
新浪微博平台与安全架构
阿里巴巴运维自动化的探索与规划
阿里巴巴运维自动化的探索与规划
阿里巴巴 肖劲青 阿里巴巴运维自动化的探索与规划
阿里巴巴 肖劲青 阿里巴巴运维自动化的探索与规划
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
高可用
高可用
阿里云技术实践
阿里云技术实践
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
[.Net开发交流会][2010.06.19]大众点评网的技术变迁之路(王宏)
[.Net开发交流会][2010.06.19]大众点评网的技术变迁之路(王宏)
Nodejs & NAE
Nodejs & NAE
纵览Loadrunner核心功能
纵览Loadrunner核心功能
辽宁大学私有云项目分析
辽宁大学私有云项目分析
Traffic server overview
Traffic server overview
http flood and mobile app
http flood and mobile app
盛大游戏运维体系
盛大游戏运维体系
盛大游戏运维体系
盛大游戏运维体系
Yupoo! (花瓣网/又拍云) 架构中的消息与任务系统
Yupoo! (花瓣网/又拍云) 架构中的消息与任务系统
Train.IO 【第六期-OpenStack 二三事】
Train.IO 【第六期-OpenStack 二三事】
Boohee ruby on rails practise
Boohee ruby on rails practise
賽門鐵克 NetBackup 7.5 完整簡報
賽門鐵克 NetBackup 7.5 完整簡報
More from Michael Zhang
廣告系統在Docker/Mesos上的可靠性實踐
廣告系統在Docker/Mesos上的可靠性實踐
Michael Zhang
HKIX Upgrade to 100Gbps-Based Two-Tier Architecture
HKIX Upgrade to 100Gbps-Based Two-Tier Architecture
Michael Zhang
2014 GITC 帶上數據去創業 talkingdata—高铎
2014 GITC 帶上數據去創業 talkingdata—高铎
Michael Zhang
Fastsocket Linxiaofeng
Fastsocket Linxiaofeng
Michael Zhang
Spark sql meetup
Spark sql meetup
Michael Zhang
2014 Hpocon 李志刚 1号店 - puppet在1号店的实践
2014 Hpocon 李志刚 1号店 - puppet在1号店的实践
Michael Zhang
2014 Hpocon 姚仁捷 唯品会 - data driven ops
2014 Hpocon 姚仁捷 唯品会 - data driven ops
Michael Zhang
2014 Hpocon 高驰涛 云智慧 - apm在高性能架构中的应用
2014 Hpocon 高驰涛 云智慧 - apm在高性能架构中的应用
Michael Zhang
2014 Hpocon 吴磊 ucloud - 由点到面 提升公有云服务可用性
2014 Hpocon 吴磊 ucloud - 由点到面 提升公有云服务可用性
Michael Zhang
2014 Hpocon 周辉 大众点评 - 大众点评混合开发模式下的加速尝试
2014 Hpocon 周辉 大众点评 - 大众点评混合开发模式下的加速尝试
Michael Zhang
Cuda 6 performance_report
Cuda 6 performance_report
Michael Zhang
The Data Center and Hadoop
The Data Center and Hadoop
Michael Zhang
Hadoop Hardware @Twitter: Size does matter.
Hadoop Hardware @Twitter: Size does matter.
Michael Zhang
Q con shanghai2013-[ben lavender]-[long-distance relationships with robots]
Q con shanghai2013-[ben lavender]-[long-distance relationships with robots]
Michael Zhang
Q con shanghai2013-[刘海锋]-[京东文件系统简介]
Q con shanghai2013-[刘海锋]-[京东文件系统简介]
Michael Zhang
Q con shanghai2013-[韩军]-[超大型电商系统架构解密]
Q con shanghai2013-[韩军]-[超大型电商系统架构解密]
Michael Zhang
Q con shanghai2013-[jains krums]-[real-time-delivery-archiecture]
Q con shanghai2013-[jains krums]-[real-time-delivery-archiecture]
Michael Zhang
Q con shanghai2013-[黄舒泉]-[intel it openstack practice]
Q con shanghai2013-[黄舒泉]-[intel it openstack practice]
Michael Zhang
Q con shanghai2013-罗婷-performance methodology
Q con shanghai2013-罗婷-performance methodology
Michael Zhang
Q con shanghai2013-赵永明-ats与cdn实践
Q con shanghai2013-赵永明-ats与cdn实践
Michael Zhang
More from Michael Zhang
(20)
廣告系統在Docker/Mesos上的可靠性實踐
廣告系統在Docker/Mesos上的可靠性實踐
HKIX Upgrade to 100Gbps-Based Two-Tier Architecture
HKIX Upgrade to 100Gbps-Based Two-Tier Architecture
2014 GITC 帶上數據去創業 talkingdata—高铎
2014 GITC 帶上數據去創業 talkingdata—高铎
Fastsocket Linxiaofeng
Fastsocket Linxiaofeng
Spark sql meetup
Spark sql meetup
2014 Hpocon 李志刚 1号店 - puppet在1号店的实践
2014 Hpocon 李志刚 1号店 - puppet在1号店的实践
2014 Hpocon 姚仁捷 唯品会 - data driven ops
2014 Hpocon 姚仁捷 唯品会 - data driven ops
2014 Hpocon 高驰涛 云智慧 - apm在高性能架构中的应用
2014 Hpocon 高驰涛 云智慧 - apm在高性能架构中的应用
2014 Hpocon 吴磊 ucloud - 由点到面 提升公有云服务可用性
2014 Hpocon 吴磊 ucloud - 由点到面 提升公有云服务可用性
2014 Hpocon 周辉 大众点评 - 大众点评混合开发模式下的加速尝试
2014 Hpocon 周辉 大众点评 - 大众点评混合开发模式下的加速尝试
Cuda 6 performance_report
Cuda 6 performance_report
The Data Center and Hadoop
The Data Center and Hadoop
Hadoop Hardware @Twitter: Size does matter.
Hadoop Hardware @Twitter: Size does matter.
Q con shanghai2013-[ben lavender]-[long-distance relationships with robots]
Q con shanghai2013-[ben lavender]-[long-distance relationships with robots]
Q con shanghai2013-[刘海锋]-[京东文件系统简介]
Q con shanghai2013-[刘海锋]-[京东文件系统简介]
Q con shanghai2013-[韩军]-[超大型电商系统架构解密]
Q con shanghai2013-[韩军]-[超大型电商系统架构解密]
Q con shanghai2013-[jains krums]-[real-time-delivery-archiecture]
Q con shanghai2013-[jains krums]-[real-time-delivery-archiecture]
Q con shanghai2013-[黄舒泉]-[intel it openstack practice]
Q con shanghai2013-[黄舒泉]-[intel it openstack practice]
Q con shanghai2013-罗婷-performance methodology
Q con shanghai2013-罗婷-performance methodology
Q con shanghai2013-赵永明-ats与cdn实践
Q con shanghai2013-赵永明-ats与cdn实践
2014 Hpocon 黄慧攀 upyun - 平台架构的服务监控
1.
平台架构的服务监控 UPYUN /
@oneoo
2.
一般情况做什么监控?
3.
4.
硬件监控 •网络带宽 •磁盘状态
•内存状态 •系统负载 •…
5.
6.
软件性能监控 •Nginx 连接数、吞吐量
•MySQL 连接数、吞吐量 •…
7.
不足之处 •仅提供数值输出,被动依赖监控服务来获取数据 •监控埋点成本高
•实时性差 •无法反馈应用服务的状态信息
8.
ActionMoni 狗眼 UPYUN
的服务监控系统
9.
特性 •支持TCP/UDP/HTTP/WebSocket接口 •支持counter和average操作
•支持历史数据持久化存储 •每秒可提供超10万个操作 •实时查询接口 •提供多个语言的Client(TCP/UDP)
10.
怎么做服务监控?
11.
一个上传图片并缩小存储的服务 •客户端发起 PUT
请求 1.API 服务接受请求,并获取文件内容 2.API 连接 MySQL,审核是否合法请求,和对应的账号 3.根据请求的具体要求,连接做图服务集群,进行图片 缩小操作 4.连接存储集群,存入缩小后的图片 5.给客户端返回结果
12.
•1~5 是整个文件上传业务的总耗时 •2、3、4
分别是MySQL、做图服务和存储服务的耗 时 •1~5 的耗时 = 2+3+4
13.
监控哪些东西? 1.某个服务、子服务的 qps
并发数的高低直接影响服务稳定性。假设做图服务集群 的处理能力是 1000/qps ,那如果当前监测到的值大于 800/qps 就要考虑扩容 2.某个服务的平均处理耗时 平均处理耗时可以直接反馈出该服务是否正常,和处理 性能如何。假设我们的MySQL查询服务正常情况应该在 50ms以内,那如果当前监测到的值大于100ms,就得检 查MySQL服务出什么问题了
14.
main{ t =
time(); job start; st1 = time(); subjob start; … subjob end; actionmoni.set(SUB_KEY1, time() - st1); st2 = time(); subjob start; … subjob end; actionmoni.set(SUB_KEY2, time() - st2); job end; actionmoni.set(KEY, time() - t); }
15.
埋点粒度尽量细致 才能更清晰的反馈出整个平台的问题
16.
UPYUN 的服务监控
17.
18.
CDN 性能监控
19.
20.
API 性能监控
21.
_CDN_DQ DNS解析耗时(ms) _API_U
上传耗时(ms) _CDN_D 下载耗时(ms) -QN 竞争对手
22.
Q & A
@oneoo UPYUN 联盟 https://www.upyun.com/union.html
Download now