腾讯大讲堂30 运维工具让你的开发运营更轻松

运维工具让你的开发运营更轻松架构平台部 - 运营平台中心 Aresliang

Aresliang
架构平台部 - 运营平台中心
产品管理组
分机：７５７４
个人介绍

来看一些数据
ITIL 基础介绍
运营平台中心产品介绍
Agenda

服务器数　　　　 25867
进程数　　 64025
域名数　　 4864
机房　　　　 111
业务集合 322
业务总数　　　　 5075
我们为什么要建ＩＴＩＬ还将以每年 80% 的速度增长

月突发事件平均数量： 3000 起；
故障平均定位时间： 23 分钟；
ISD12 月份各业务对外发布 450 次；
我们为什么要建ＩＴＩＬ

我们为什么要建ＩＴＩＬ 30 多个亿 100 亿我们的规模会有多大？我们需要多强大的支持能力？

来看一些数据
ITIL 基础介绍
Agenda

IT 管理国际规范 --ITIL
　全称 IT Infrastructure Library
　从 1986 年开始被使用
　英国政府电脑局 (CCTA) 开发制定
　国际上唯一的关于 IT 服务管理的综合性准则
　国际性资格认证（基础级 / 主管级 / 经理级）
　有自己的国际性用户组织 (ITSMF)
　全球十万多家大型企业采用的管理模式
最新国际标准 ISO 20000
Change Config Help Desk Problem Cost SLM Avail Contingency Operations Capacity Security http://www.itil.co. uk

IT 服务管理的 “ 最佳实践 ” ，而不是抽象的方法论 !
优化 IT 环境 / 基础设施管理的系统化、实用的方法：
运行和维护现有系统
开发新的系统
使 IT 服务和业务需求保持一致
ITIL 的好处

HP － ITSM 方法论

如何实施 ITIL 客户服务台突发事件管理问题管理变更管理发布管理专家建议：应用 ITIL ，一般从服务支持环节着手。服务支持环节包括包含 5 个流程：事件管理、问题管理、变更管理、配置管理和软件发布管理，它们之间互为补充。 ITIL 的实施过程中，配置管理是核心。配置管理 CMDB

传统的 IT 管理和 ITSM 比较

ITSM 的核心思想是：
IT 组织，不管它是企业内部的还是外部的，都是 IT 服务提供者，其主要工作就是提供低成本、高质量的 IT 服务。
IT 服务的质量和成本则需从 IT 服务的客户（购买 IT 服务的）和用户（使用 IT 服务的）方加以判断。
ITSM 也是一种 IT 管理。不过与传统的 IT 管理不同，它是一种以服务为中心的 IT 管理。
IT 服务管理的核心思想

来看一些数据
ITIL 基础介绍
Agenda

服务目录介绍质量基础数据运营平台中心成本４个产品线３１个子产品效率

运营环境基础数据
配置管理系统
服务器
业务
软件
网络设备
网络专线
IP
域名
LVS
存储
IDC 资源
ADS
业务监控体系（ Service View ）
基础服务器监控
URL 监控
基础网络监控
模块间调用监控
智能分析监控
综合故障管理平台
容量管理
质量基础数据 200 7 成本效率

运营质量
ITIL 流程建设
事件管理
Server Desk
问题管理
需求门户
IDC 需求管理
IDC 变更管理
设备分配管理
值班系统
8000 报障系统
基础数据成本 200 7 效率质量

运营效率效率
公共运维平台建设
发布管理
作业自动化平台
自动化编译
基础数据成本 200 7 质量

控制运营成本
ITIL 流程建设
OMSCA 系统
基础数据成本 200 7 效率质量

产品线体系

价值 - 运维的工作及重心转变
日常发布及相关沟通协调工作 ×
扩容工作 ×
投诉的二线支持 ×
数据迁移 / 提取 ×
IDC 软硬件故障维护 ×
配置管理
运营数据分析
立体化监控及异常发现
代码编译检查
可运营规范及推进开发优化
… …
重心日常操作救火运营分析优化改进监控预防工具化、智能化及自动化持续优化和规范环境，降低复杂度举措进化

配置管理系统

配置管理是一项关键过程，负责对所有版本的硬件、软件、文档、过程、程序及信息技术（ IT ）机构内其它无生命组成要素进行识别、控制和跟踪。
配置管理的目标在于，确保只有经过授权的组件才能在 IT 环境中得到应用，并对所有变更调整实施记录和跟踪。
什么是配置管理服务台突发事件管理问题管理变更管理发布管理配置管理 CMDB

定位

真实准确的反应公司运营环境的配置状况
为其他 ITIL 流程、各类运营管控流程提供配置数据支持
能够计量运营环境所有资产和配置项的价值
能够分析和评价公司运营环境的整体服务能力
价值

系统结构配置核心支撑平台管理平台接口基于场景的配置管理模块网管 OMSCA 变更系统 RTools … CMDB Auto Discovery System 高级配置管理模块接口

系统结构配置核心支撑平台管理平台接口基于场景的配置管理模块网管 OMSCA 变更系统 RTools … CMDB Auto Discovery System 高层配置管理模块接口配置核心支撑平台（包括配置系统核心的数据库 (CMDB) 和管理模型、接口、管理工具 ( 定义及配置管理、用户管理、角色权限管理、日志管理、通用增删改、通用查询检索）

系统结构配置核心支撑平台管理平台接口基于场景的配置管理模块网管 OMSCA 变更系统 RTools … CMDB Auto Discovery System 高层配置管理模块接口基于场景的配置管理模块（为了提高批量操作，简化配置管理的复杂性，而引入的基于场景的配置管理模块）

系统结构配置核心支撑平台管理平台接口基于场景的配置管理模块网管 OMSCA 变更系统 RTools … CMDB Auto Discovery System 高层配置管理模块接口高层配置管理模块（以配置数据的管理为核心的高层增值管理模块，如综合管理试图）

系统结构配置核心支撑平台管理平台接口基于场景的配置管理模块网管 OMSCA 变更系统 RTools … CMDB Auto Discovery System 高层配置管理模块接口 Auto Discovery System （用于数据的自动发现、自动采集、自校验和诊断的系统）

系统结构配置管理支撑平台管理平台接口基于场景的配置管理模块网管 OMSCA 变更系统 RTools … CMDB Auto Discovery System 高层配置管理模块接口周边配套系统（主要不是用于配置管理的系统，但需要存取 CMDB 中的数据的系统）

系统界面 http://Server.itil.com

业务监控体系

什么是业务健康
业务在功能、容量等相关方面体现出来的各项可监控数的总称。当个别或部分数据不满足标准阀值时我们称业务为亚健康或不健康的，反之业务为健康的。
我们为什么需要立体化监控
一个良好、全面、完善的业务健康立体化监控体系，能够帮助我们准确，及时、完善地了解业务各个层面的生存情况，并最终实现对业务的量化管理。
怎样才算立体化监控
一个从外部 / 内部、从业务 / 基础环境、从功能 / 性能、从预算 / 收入等各个方面对业务数据进行采集、展现和告警的体系
3 个 W

用户分析
我们的用户是谁
运维人员
业务主管
中高层领导
我们面临的需求是什么
运维人员：
通过对各层次的数据的展示和告警设置 , 快速直观的发现和定位故障
运维主管：
通过对各层次的数据的展示 , 来反应业务的容量和性能 , 通过设置阀值来对业务的容量和性能进行告警
公司中高层：
通过对各层次数据的量化 , 来量化业务运行的监控度
发现快、定位准直观、全面的了解业务情况业务情况量化了解

提供腾讯唯一、准确的运营信息采集、传输、存储的渠道
及时、准确的发现故障及辅助故障定位、排障
向其他业务系统提供高效、规范、稳定可靠的运营数据接口
定位和价值

逻辑结构

监控层次产品业务模块组模块业务功能用例用例操作组件（具体到ＩＰ）基础资源外部监控业务内监控基础监控

产品体系架构（三横两纵）用户体验监控系统用户体验定位系统业务特性监控系统外部监控业务逻辑监控系统模块间调用监控系统业务模块监控系统业务内部监控基础环境监控基础设备监控系统基础网络监控系统统一告警平台告警关联模型库统一告警渠道智能分析平台

公司级网管 http://monitor.itil.com
二级网管
ISD http://isd.itil.com
IED http://ied.iti.com
无线 http://mqq.itil.com
网站 http://info.itil.com
即通 http://srv.itil.com
运支 http://oss.itil.com
基础设备监控系统

基础网管架构层次 Agent 数据接入层数据 Cache 层数据逻辑运算层 DB, 文件存储层数据访问接口层 Web 展示层采集的网络 , 主机数据 , 业务插件接入数据最近访问数据内存缓冲告警分析 , 数据分析 , 叠加运算等主机性能数据 , 告警等历史数据各种数据访问方法 , 访问协议适配方法基于 iis 的 aps.net 和 apache cgi web 应用展示网管公共组件库 (.so)

数据流

核心价值 - 故障主动发现和定位能力

核心价值 - 采集的数据挖掘展现

核心价值 - 挖掘展现：服务器负载分析

ISD 模块间调用监控系统
无线模块间调用监控系统
运支模块间调用监控系统
模块间调用监控系统

模块间调用监控系统现状及原状对比
运维人员需要做大量的数据查找工作
运维人员需要做大量的数据统计工作
定位问题要经过多次尝试
对模块间调用的监控粒度不更细
提供数据支持 , 让分析更轻松
发现问题及时及准确
使定位问题更直观
使对模块间调用的监控粒度更细
使对模块间调用的告警更直观
… …
原状原状 : 现状 :

模块间调用原状特点
在公司的日志集中平台需要做大量的手工查找工作
查找工作比较耗事且不够准确；
运维人员需要做大量的统计工作
定位问题需要经过多次尝试 , 效率低
监控粒度不细

在公司的日志集中平台需要做大量的手工统计工作
统计工作比较烦琐；
监控粒度不细

模块间调用故障原因比较复杂，多重故障现象交错；如出问题需要从单机、网络、机房、业务特性等多方面反复排除定位，效率极低
监控粒度不细

监控粒度不细
模块间调用只监控到模块层
不能监控到模块之间的相互调用的性能及请求量；

产品架构

日志集中平台 ---local LogApi

日志预处理机制
预处理机制由 Data Process 、 Data Sender 两个模块组成
Data Process 通过插件形式加载不同的处理逻辑
插件需要实现 handle_init 、 handle_process 、 handle_write_result 几个接口
Data Sender 负责将本地的结果数据发送给二级网管
Log files
Data Process
处理插件处理插件 Result files
Data Sender
二级网管

日志预处理机制说明
由于处理结果集可能很大，因此考虑将结果发送独立出来。预处理系统由数据处理和结果发送两个模块组成
处理模块的结果跟 log server 的输出格式一致，结果发送模块读取后再发送给二级网管。目的是如果单个 log id 的数据一台机器处理不过来， forward 到多台机器分别预处理，然后再通过一台机器汇总，汇总的机器可以用同一套程序
数据处理模块通过插件方式加载数据处理算法
不同的处理算法启动多套程序处理，数据也需要分开保存。譬如模块间调用的 log 数据、业务 log 数据应该分开不同目录保存

消灭隐患 - 提升业务可用率和产品质量
通过解决潜在的问题和隐患，将业务故障消灭在发生前，促进 BU 的运维管理逐步从救火到预防发展和转变。

质量提升案例
没有模块间调用监控的时候（以前）
产品质量问题多，定位难，跟踪麻烦，长期得不到解决。上级主管常常一周询问运维主管好几次，本周的重大故障定位和解决情况如何，还有什么可能发生的情况存在。
有了模块间调用监控（现在）
上级主管一个月会询问运维主管一、两次关于重大故障定位和解决情况。

快速、准确的定位 - 提升运营效率
通过模块间调用的返回值及调用结果，使开发、运维人员定位故障的时间提升了 35% 。
以前平均定位时间 :23 分，数据来源于 ISD 突发事件管理系统
现在平均定位时间 14.95 分，数据来源于模块间调用监控系统邮件订阅点评功能

效率提升案例
业务：会员
功能：会员头像
问题：会员头像显示速度慢，不稳定，用户体验感很差
没有模块间调用前：
根据经验定位，估计是即通的接口返回速度慢。
与即通沟通后，答复接口没有问题。
问题只得搁置一直得不到解决。
接入模块间调用后
通过调用数据分析发现，即通的接口返回速度快，没有任何问题
网盘接口的调用返回速度慢，失败率高
通过排查发现：网盘提供的接口业务逻辑不稳定，有过多的冗余日志操作
优化相关代码，问题得到解决
从发现问题到具体定位： 3 个工作日

为业务发展和决策提供数据支持
提供成功率、响应时间等 7 个维度业务分析数据，为业务的扩容、迁移等决策提供了数据支持。
以 QQ 会员自定义图像为例，扩容前 QQ 会员自定义图像调用网络硬盘 qqdisk 上传接口成功率为 81.51% 、响应时间为 3.52 秒，通过数据分析，扩容后 QQ 会员自定义图像调用网络硬盘 qqdisk 上传接口成功率为 99.9% 、响应时间为 197.79 毫秒， CGI 自动化测试时间由 2.4 秒下降到现在的 800 毫秒，大大提高了产品质量，提升了产品的用户体验感。

对不达标 CGI 业务潜在隐患的实时跟踪
★ 通过模块间邮件订阅和日分析报告，对任何一个不达标的 cgi 业务模块的潜在隐患，从根本层面形成了 BU 在每天的业务故障跟踪方面的制度，这一方面在监控技术的发展和思路方面是一个大的进步

后续建设计划
结合配置管理，真实的勾画业务的内部调用结构图，使业务内部结构透明化。

后续建设计划
结合自动化测试系统，进行数据的深度分析，打通外部调用和内部调用之间的联系，精确监控每次外部请求的逻辑走向，形成业务调用逻辑有序图，使定位更加快速、直观

突发事件管理

服务支持流程事件管理流程用于记录跟踪和监控事件
事件管理目标
最快恢复正常服务；
尽量减少对业务的不利影响；
确保最可能的服务级别的质量，维护 SLA 条款的有效性；
反应公司平均故障解决时长、计算各个业务的可用率

单据类型标红色是为目前未实现被动主动事件维护单客服自动监控 / 运维发现突发事件监控单投诉单服务请求（管工事件）有影响无影响管工 BU 处理部门？

产品关联图变更实施解决故障事件管理问题管理变更管理配置管理服务台变更请求提供配置信息配置变化通知提供配置信息提供配置信息趋势分析避免故障重复出现监控告警客服工单投诉单

事件系统的价值和定位 SLA 确定及签署事件的记录及处理 SLA 的阶段核算及监控绩效及评价考核 SLA 优化及改进措施年度系统建设及优化规划系统建设及优化实施 SLA 偏离整改及行动方案系统改进及优化系统建设项目评估评价图：可用性管理与项目建设的推进协作

解决方案及成果解决方案项目收益事件记录公司统一事件录入平台，记录跟踪事件处理直至最终解决 1. 将原来分散在工单系统、事件系统和 BU 内部的运维数据录入统一的事件管理平台中 2. 公司只建设一套系统，各部门不用投入重复开发 3. 将 ISD/IED 对事件管理的管理和规范推广到其他部门管理支持建立服务目录和级别管理模块 1. 在统一平台上展现管工 SLA 以及 BU 可用性统计等重要运营数据和报表，可以纵向对比运营质量 2. 支持管工、客服、 BU 针对数据分析，进行管理决策 3. 支持对运维人员的服务质量和运维质量考评 ITIL 其他系统建设统一后续问题管理，知识库管理的建设，减少重复投入 1. 通过各相关系统提供的接口，预留变更管理、问题管理接口，并在统一平台上展现管工 SLA 以及 BU 可用性统计等重要运营数据和报表 2. 已支持与 ISD 问题管理系统接口，实现初步的问题管理升级模式

阶段目标 08Q1 08Q2 08Q4
事件数据源的完善；
改进事件系统的易用性
统一考核指标、关键统计
服务台建设第一期
系统优化，组件化提高
事件系统与配置系统、网管系统、问题系统、变更系统的数据集成，
建立公司级统一的可用性度量和评价体系
事件数据源的完善，
管理精细化；
监控单、突发事件单、管工事件单、维护单
08Q3
服务台建设第二期
问题管理的建设
V3.2 V3.3 V4.0 夯实基础精耕细作拓展整合

系统界面 http://helper.itil.com

发布管理

公司发布工作以前存在的问题
大量的发布仍处于手工或者半自动化运作方式，效率低；
由于历史原因，现实环境非常复杂，开发管理不规范，导致发布工作的复杂性高，导致发布容易出错；
现有的系统工具虽然能够实现一定程度的自动化，但应用还不够系统化；
在权限管理和规范化方面，还有待提高；
缺乏同其他相关应用或系统，如配置系统、报警系统的关联和集成；
发布管理缺乏健全的管理规范和培训体系；
各 BU 在发布管理上参差不齐，发布工具不统一，在自动化工具的实现上，也具有非常大的差异；

发布管理解决方案的层面发布管理发布工具及管理系统 ICT 基础架构从发布管理、发布工具及系统、 ICT 架构三个层面去改进发布管理。
明确相关岗位角色，区分发布操作岗、发布管理审计、发布工具管理维护等角色，建立岗位职责；
建立《发布管理规范》，对发布工作进行严格管理；
开展相应的人员培训及教育；
建立 TOMS-ARS 软件系统和打包工具；
实现发布过程的自动化；
固化相关的关键控制点和权限控制；
实现同公司相关系统的集成和整合；
建立预发布机备份管理；
对测试环境及编译环境进行梳理；
规范产品、模块在编译环境、测试环境和预发布环境中的映射；
梳理配置系统，建立配置关系，推动应用系统配置的完整性和准确性；
梳理 IDC 生产环境，提高生产环境的一致性，降低复杂性；

通过自动化发布，提升发布质量和效率，减少误操作，保证发布安全性；
梳理和规范发布流程，促进发布环境管理；
版本管理，进行版本的快速恢复；
任务管理，有效提升 windows 服务器维护效率；
控制开发环境对生产环境的访问，保证安全性；
公司统一发布平台。
价值

ARS 发布推广情况红色代表基本覆盖所有产品蓝色代表部分产品覆盖白色代表正在试用中部门对象业务接口人现状 ISD Qzone waynewang 1 、已经覆盖 ISD80 ％的发布工作； 2 、剩余 20 ％的 ISD 发布计划在 Q2 实现覆盖（主要是包的增量发布）； QQ 秀 QQ 会员 QQ 相册 QQ 交友 QQ 音乐 Imagecache IED 寻仙 leoxiong 、 felixwang 1 、飞行岛发布稳定。 2 、 PET 1.0 正常进行了多次正式环境发布。 3 、 CF 进行了多次正式发布。 4 、其它多个产品处于试用中。 QQ 宠物 1.0 飞行岛 QQ 宠物 2.0 CF QQ 幻想无线手机 QQ amyli,yen,steveqiao,wingzhou 1 、手机 QQ 发布稳定。 2 、 VOIP 进行了多次正式发布。 3 、其它多个产品处于试用中。无线音乐无线平台服务 VOIP 创新中心 QQ 客服 jackye 1 、频道应用发布稳定。网站部频道应用国际产品中心美国 QQGame 广告部 QQlive 运营支持部 pay.qq.com hairyxie 发布数量稳定。电子商务部　 eagle 已完成部署，试用中在线支付部财富通 aaronzheng 完成了新环境的部署，试用中。

ARS 发布数据注明： 1 、图表中所示为发布次数，不是发布版本数，因为一个版本可能会发布多次； 2 、互动娱乐和无线产品部的发布次数中包含试用次数。

ARS 版本计划 V3.2 Mar 2008 V3.2 Beta02 Apr 6,2008 V3.0 Dec 2007 V3.1 Jan 2008 ARS V3.2 主要进行 windows 移植开发、 Linux 整改、包发布、 task 完善。 V3.2 Beta03 Apr 22,2008 V3.3 Jul 2008 V3.2 Beta04 May 15,2008 V3.2 Beta05 May 23,2008 V3.2 Beta06 Jun 6,2008 V3.2 Beta07 Jun 17,2008 V3.2 Beta08 Jun 27,2008

公共运维平台的规划安全管理公共运维平台发布管理任务管理 TSH 监控管理用户管理权限管理操作日志管理发布自动化发布平台化发布审批发布计划管理版本管理公共软件的发布管理命令 / 脚本集中管理（编辑 / 查看 / 保存）任务的权限管理任务手工 / 定时自动调用任务执行结果查看进程状态监控；版本状态查询；自动 / 手工重启进程；用户分权分组管理操作进行分类管理记录 / 查看用户在公共运维平台的所有操作

公共运维平台的拓扑图 Rnet Dnet IDC ARS 服务器编译机池生产机生产机办公网测试机池预发布机池 ARS 备份服务器 …… … … …

公共运维平台定位 IDC RNet 办公网控制以及审计对生产环境的访问 … … ……

发布系统： http://rtools.itil.com

http://news.cnblogs.com	18
http://www.leesum.com	6
http://woshao.com	5
http://www.cheungfei.com	4
http://www.cheungfei.com	4
http://home.cnblogs.com	2
http://feed.feedsky.com	2
http://www.sporttl.com	1
http://old.xianguo.com	1

腾讯大讲堂30 运维工具让你的开发运营更轻松

by areyouok on Oct 13, 2010

Accessibility

Tags

Upload Details

Usage Rights

9 Embeds 43

Statistics

腾讯大讲堂30 运维工具让你的开发运营更轻松 — Presentation Transcript