大规模软件服务监控和管理方法 霍炬 http://blog.devep.net/virushuo 2009.08.23 Beta 技术沙龙 官方 twitter ： @betasalon 官方网站： http://club.blogbeta.com 邮件组： http://groups.google.com/group/betasalon?hl=zh-CN

大规模软件服务监控和管理方法 霍炬 http://blog.devep.net/virushuo 09/08/23 www.ginkgotek.com

背景资料 近百个独立搜索服务，分布于不同端口 十余台服务器，分布于不同 IDC 每天处理 500 万以上搜索请求 总共索引文档规模数千万 每个搜索服务独立维护自己的状态

近百个独立搜索服务，分布于不同端口

十余台服务器，分布于不同 IDC

每天处理 500 万以上搜索请求

总共索引文档规模数千万

每个搜索服务独立维护自己的状态

问题 搜索服务中断时间尽量短 我们要随时了解搜索服务的状态 服务器状态和搜索服务状态未必相关 搜索服务数量很多，需要免配置

搜索服务中断时间尽量短

我们要随时了解搜索服务的状态

服务器状态和搜索服务状态未必相关

搜索服务数量很多，需要免配置

发展和演化 (1) 用 http 页面报告 用脚本收集 方法 性能和带宽消耗很大 需要花费的时间比较长，甚至在规定时间内不能完成一次收集 缺点

用 http 页面报告

用脚本收集

性能和带宽消耗很大

需要花费的时间比较长，甚至在规定时间内不能完成一次收集

发展和演化 (2) 使用 net-snmp+cacti 获得服务器情况 用脚本获取搜索服务数据 带宽问题解决了 方法 性能 配置繁琐 缺点

使用 net-snmp+cacti 获得服务器情况

用脚本获取搜索服务数据

带宽问题解决了

性能

配置繁琐

理想的方案 可返回各种信息 (int,string...) 数据小，占资源小 不对搜索服务造成压力 免配置

可返回各种信息 (int,string...)

数据小，占资源小

不对搜索服务造成压力

免配置

SNMP 的优势 丰富的数据类型 (int,string,bit,counter...) UDP 协议 MIB 树形结构 snmpget 和 snmpwalk AgentX 协议

丰富的数据类型 (int,string,bit,counter...)

UDP 协议

MIB 树形结构

snmpget 和 snmpwalk

AgentX 协议

SNMP 简介 RFC1067 ， 1988 年 NMS, Managed Device, Agent, MIB, OID... SNMPv1 v2 v3

RFC1067 ， 1988 年

NMS, Managed Device, Agent, MIB, OID...

SNMPv1 v2 v3

MIB from: http://rabbit.com 例子 :1.3.6.1.4.1.33364.11.39931.1.2.0

AgentX from: http://eden.dei.uc.pt/agentx / RFC2741 ， 2000 年 为了动态扩展 Agent google 搜索最多的结果 from:http:// marvel.com

RFC2741 ， 2000 年

为了动态扩展 Agent

开发自己的 SNMP 方案 MIB 和 AgentX ：优秀的自配置 可用资源： Net-Snmp,OpenSnmp,Snmp4J... 成品：使用了 JAgentx 只支持 snmp v1 到 pen.iana.org 申请企业 ID

MIB 和 AgentX ：优秀的自配置

可用资源： Net-Snmp,OpenSnmp,Snmp4J...

成品：使用了 JAgentx 只支持 snmp v1

到 pen.iana.org 申请企业 ID

优势和特点 性能非常好，采集时间 <1 秒 占用带宽极低 <10K 对服务器几乎无压力 自动扩展，不需人工干预

性能非常好，采集时间 <1 秒

占用带宽极低 <10K

对服务器几乎无压力

自动扩展，不需人工干预

最简单的应用 使用 snmpwalk 命令

更多应用 RRDTool/Cacti 绘图 通过 IM 发送状态 (pysnmp+xmpppy=gtalk)

RRDTool/Cacti 绘图

通过 IM 发送状态 (pysnmp+xmpppy=gtalk)

资源 http:// en.wikipedia.org/wiki/simple_Network_Management_Protocol http:// pen.iana.org/pen/PenApplication.page http:// eden.dei.uc.pt/agentx / http://www.faqs.org/rfcs/rfc2741.html

http:// en.wikipedia.org/wiki/simple_Network_Management_Protocol

http:// pen.iana.org/pen/PenApplication.page

http:// eden.dei.uc.pt/agentx /

http://www.faqs.org/rfcs/rfc2741.html

Thanks for listening Q&A