Recommended
More Related Content
Similar to 2017 05 monitoring-introducing
Similar to 2017 05 monitoring-introducing (20)
More from Jingchao Di
2017 05 monitoring-introducing
- 3. ⽬目的
- 4. 印象中的监控 Zabbix ELK Zabbix 提供各种服务器器的 Load / CPU Usage / Alive ELK 提供 Nginx 的⽇日志，http status code，Application Log 出现故障时候，会有报警通知，上线操作； 平⽇日⾥里里可以看到 ELK 花花绿绿的⼤大⾯面板，有各位领导来莅临检查
- 6. ⽬目的 在故障发⽣生之前发现问题 告诉故障原因 故障警报处理理当然很重要，但是对于整站可⽤用性，根本问题是不不让问题出现， 或者在问题出现的早期就解除问题。前者是⾼高可⽤用范畴，后者就是监控的范畴。 考虑的视⻆角不不⼀一样，传统的考虑是 OPS，新的视⻆角是 SRE SRE 考虑的是 Site Reliability。 监控的⽬目的是要将灾难消灭在襁褓⾥里里，并且在灾难即将出现或者发⽣生问题时， 直接告诉⼤大家根本的原因。 为了了达成这两个⽬目标，我们必须先明确 什什么是故障？哪些对象将发⽣生故障？他们的故障有相似之处么？
- 8. 对象
- 10. CPU Memory Network interface Storage devices Controllers 这是针对 Server 细粒度的对象 —— 光知道要监控哪些对象还不不⾏行行，针对监控对象， 我们需要明确需要监控的指标，这些指标有专有名词，叫做 Service Level Indicator 基于 SLI 建⽴立的数字范围，称之为 Service Level Objectives
- 12. User-facing Service Availability / Latency / Throughput Storage System Latency / Throughput / durability 将资源抽象为两种类型，⾯面向⽤用户的服务和存储系统， 上⾯面列列举了了这两种系统常⻅见的 SLI —— 光有 SLI 还不不够，我们还应该有⼀一些
- 14. ⼿手段
- 15. Principle
- 16. Reasonable Quantifier 当某个系统出现问题时候，我们如果说 CPU ⾼高了了，内存爆了了，线程池炸了了。 那么可能会受到质疑，说这不不科学， 那什什么是科学的？古希腊哲学家在思考宇宙的时候，提出了了⼀一种⼼心智能⼒力力， 打开了了科学的窗⼦子，这就是 Reasonable，中⽂文名叫理理智。 使⽤用 Reasonable 探讨意味着探讨要深⼊入问题的本质。 但是光有 Reasonable 还不不⾏行行的，亚⾥里里⼠士多德的著作⾥里里⾯面，没有任何数据公式。 他对现象只有描述，只是定性分析。 这个状态到伽利利略略那⾥里里出现了了变化， 我们第⼆二个关键词是 Quantifier，量量化。 伽利利略略率先使⽤用定量量分析的⽅方法，运⽤用到动⼒力力学和天问学，开创了了近代科学。 我⽼老老婆学环境，⼀一直被化学⾏行行业诟病的⼀一点就是他们研究的范围太⼤大，量量化
- 17. QA 公司内部 QA 系统，定量量分析做得⾮非常不不做。 听说⼤大花也在做⼀一个基于 Jira 的定量量分析系统，我很⽀支持。
- 18. Service Level Objectives 2000 < QPS < 500 Latency < 500ms Queen Waiting count < 500
- 19. USE Method
- 20. Brend Gregg System Perfomance / dtrace / Netflix / SRE / flame graph
- 21. Utilization Saturation Error Utilization：使⽤用率，CPU running percent，硬盘的 IO Saturation：饱和度，⼀一般偏存储型资源，内存使⽤用，硬盘使⽤用 Error：错误数 最容易易有歧义的是：低使⽤用率是否意味着低饱和度？ ⾼高 load 的服务器器，是否意味着 CPU ⼀一定是繁忙的？为什什么？ 突发访问 / IO 卡死，CPU wait
- 22. 举个🌰 - MySQL 前段时间做 MySQL HA ，设计了了 MySQL 的监控，那么请⼤大家思考⼀一下 针对 MySQL，我们要做哪些监控呢？
- 27. 实施
- 28. Source System Log / Application Log Metrics Application RPC VM(JVM) Infrastructure
- 29. Dropwizard Metrics 提供了了 Gauge / Meter / Timer / Histograme / Counter 等利利器器。 直接 pump 应⽤用状态 提供了了 JVM 数据
- 33. Storage Document Storage Elasticsearch Time Series DB Influxdb Kariosdb Graphite MySQL*
- 36. 职责
- 39. 就是你了了，各位⼯工程师们。