Submit Search
Upload
腾讯即时聊天IM1.4亿在线背后的故事
•
11 likes
•
1,328 views
M
mysqlops
Follow
腾讯即时聊天IM1.4亿在线背后的故事
Read less
Read more
Technology
Report
Share
Report
Share
1 of 40
Recommended
腾讯技术讲座:1.4亿在线背后的故事
腾讯技术讲座:1.4亿在线背后的故事
Tian Wang
2.3 g:4g usim 卡的安全性分析
2.3 g:4g usim 卡的安全性分析
Hsiao Tim
無線監控網路攝影機與控制自走車
無線監控網路攝影機與控制自走車
艾鍗科技
絕地武士心靈控制家用雲端智慧型物聯網光劍搭載無線路由器光劍底座Final
絕地武士心靈控制家用雲端智慧型物聯網光劍搭載無線路由器光劍底座Final
CAVEDU Education
IoT感測器驅動程式在樹莓派上實作
IoT感測器驅動程式在樹莓派上實作
艾鍗科技
無線聲控遙控車
無線聲控遙控車
艾鍗科技
Clock(p2 p) wifi hidden clock camera spy radio clock camera
Clock(p2 p) wifi hidden clock camera spy radio clock camera
george david
台灣發展雙網手機的可行性
台灣發展雙網手機的可行性
arcspoon
Recommended
腾讯技术讲座:1.4亿在线背后的故事
腾讯技术讲座:1.4亿在线背后的故事
Tian Wang
2.3 g:4g usim 卡的安全性分析
2.3 g:4g usim 卡的安全性分析
Hsiao Tim
無線監控網路攝影機與控制自走車
無線監控網路攝影機與控制自走車
艾鍗科技
絕地武士心靈控制家用雲端智慧型物聯網光劍搭載無線路由器光劍底座Final
絕地武士心靈控制家用雲端智慧型物聯網光劍搭載無線路由器光劍底座Final
CAVEDU Education
IoT感測器驅動程式在樹莓派上實作
IoT感測器驅動程式在樹莓派上實作
艾鍗科技
無線聲控遙控車
無線聲控遙控車
艾鍗科技
Clock(p2 p) wifi hidden clock camera spy radio clock camera
Clock(p2 p) wifi hidden clock camera spy radio clock camera
george david
台灣發展雙網手機的可行性
台灣發展雙網手機的可行性
arcspoon
Wi Fi
Wi Fi
jainfu2
20120526 -物聯網應用
20120526 -物聯網應用
p_yang
Touch开发应届生培训
Touch开发应届生培训
Zhi Zhong
心率血氧檢測與運動促進
心率血氧檢測與運動促進
艾鍗科技
人臉辨識考勤系統
人臉辨識考勤系統
艾鍗科技
無線監控網路攝影機與控制自走車 IP CAM & WiFi control car
無線監控網路攝影機與控制自走車 IP CAM & WiFi control car
IttrainingIttraining
GIM Engine V9
GIM Engine V9
rolead
02 IoT implementation
02 IoT implementation
艾鍗科技
Xiaomi Mi-2(小米手机2) - Simple Chinese Only
Xiaomi Mi-2(小米手机2) - Simple Chinese Only
JJ Wu
Web请求异步处理和海量数据即时分析在淘宝开放平台的实践
Web请求异步处理和海量数据即时分析在淘宝开放平台的实践
mysqlops
分布式存储与TDDL
分布式存储与TDDL
mysqlops
Jugendquiz
Jugendquiz
Justyna Sobota
A review of Concrete 5 and what is new in version 5.7
A review of Concrete 5 and what is new in version 5.7
Rawnet
Dica 013
Dica 013
ComuniCorporate
Computho
Computho
Xareny Reptarsitha
Our school
Our school
Justyna Sobota
腾讯产品运营之产品经理的视角
腾讯产品运营之产品经理的视角
mysqlops
The world of Janosch
The world of Janosch
Justyna Sobota
Equação do 2º grau
Equação do 2º grau
demervalm
SpracheQuests- Bericht aus der Praxis
SpracheQuests- Bericht aus der Praxis
Justyna Sobota
Trabajo final de investigación
Trabajo final de investigación
Eduardo Augusto Camino Cruz
REF Letter
REF Letter
Raoni Pimentel
More Related Content
What's hot
Wi Fi
Wi Fi
jainfu2
20120526 -物聯網應用
20120526 -物聯網應用
p_yang
Touch开发应届生培训
Touch开发应届生培训
Zhi Zhong
心率血氧檢測與運動促進
心率血氧檢測與運動促進
艾鍗科技
人臉辨識考勤系統
人臉辨識考勤系統
艾鍗科技
無線監控網路攝影機與控制自走車 IP CAM & WiFi control car
無線監控網路攝影機與控制自走車 IP CAM & WiFi control car
IttrainingIttraining
GIM Engine V9
GIM Engine V9
rolead
02 IoT implementation
02 IoT implementation
艾鍗科技
Xiaomi Mi-2(小米手机2) - Simple Chinese Only
Xiaomi Mi-2(小米手机2) - Simple Chinese Only
JJ Wu
What's hot
(9)
Wi Fi
Wi Fi
20120526 -物聯網應用
20120526 -物聯網應用
Touch开发应届生培训
Touch开发应届生培训
心率血氧檢測與運動促進
心率血氧檢測與運動促進
人臉辨識考勤系統
人臉辨識考勤系統
無線監控網路攝影機與控制自走車 IP CAM & WiFi control car
無線監控網路攝影機與控制自走車 IP CAM & WiFi control car
GIM Engine V9
GIM Engine V9
02 IoT implementation
02 IoT implementation
Xiaomi Mi-2(小米手机2) - Simple Chinese Only
Xiaomi Mi-2(小米手机2) - Simple Chinese Only
Viewers also liked
Web请求异步处理和海量数据即时分析在淘宝开放平台的实践
Web请求异步处理和海量数据即时分析在淘宝开放平台的实践
mysqlops
分布式存储与TDDL
分布式存储与TDDL
mysqlops
Jugendquiz
Jugendquiz
Justyna Sobota
A review of Concrete 5 and what is new in version 5.7
A review of Concrete 5 and what is new in version 5.7
Rawnet
Dica 013
Dica 013
ComuniCorporate
Computho
Computho
Xareny Reptarsitha
Our school
Our school
Justyna Sobota
腾讯产品运营之产品经理的视角
腾讯产品运营之产品经理的视角
mysqlops
The world of Janosch
The world of Janosch
Justyna Sobota
Equação do 2º grau
Equação do 2º grau
demervalm
SpracheQuests- Bericht aus der Praxis
SpracheQuests- Bericht aus der Praxis
Justyna Sobota
Trabajo final de investigación
Trabajo final de investigación
Eduardo Augusto Camino Cruz
REF Letter
REF Letter
Raoni Pimentel
Buyers & Sellers
Buyers & Sellers
Blanca Merced
Case Sudy - Marketing research
Case Sudy - Marketing research
Intuit Consultancy
Gutell 087.mpe.2003.29.0216
Gutell 087.mpe.2003.29.0216
Robin Gutell
Rawnet Lightning Talk - 'Why Content Marketing Sucks' (Pecha Kucha)
Rawnet Lightning Talk - 'Why Content Marketing Sucks' (Pecha Kucha)
Rawnet
Rawnet Lightning Talk - Negative SEO - A Dirty Business!
Rawnet Lightning Talk - Negative SEO - A Dirty Business!
Rawnet
Final Report v2-1
Final Report v2-1
Hamza Ettaleb
Combinar correspondencia
Combinar correspondencia
37911
Viewers also liked
(20)
Web请求异步处理和海量数据即时分析在淘宝开放平台的实践
Web请求异步处理和海量数据即时分析在淘宝开放平台的实践
分布式存储与TDDL
分布式存储与TDDL
Jugendquiz
Jugendquiz
A review of Concrete 5 and what is new in version 5.7
A review of Concrete 5 and what is new in version 5.7
Dica 013
Dica 013
Computho
Computho
Our school
Our school
腾讯产品运营之产品经理的视角
腾讯产品运营之产品经理的视角
The world of Janosch
The world of Janosch
Equação do 2º grau
Equação do 2º grau
SpracheQuests- Bericht aus der Praxis
SpracheQuests- Bericht aus der Praxis
Trabajo final de investigación
Trabajo final de investigación
REF Letter
REF Letter
Buyers & Sellers
Buyers & Sellers
Case Sudy - Marketing research
Case Sudy - Marketing research
Gutell 087.mpe.2003.29.0216
Gutell 087.mpe.2003.29.0216
Rawnet Lightning Talk - 'Why Content Marketing Sucks' (Pecha Kucha)
Rawnet Lightning Talk - 'Why Content Marketing Sucks' (Pecha Kucha)
Rawnet Lightning Talk - Negative SEO - A Dirty Business!
Rawnet Lightning Talk - Negative SEO - A Dirty Business!
Final Report v2-1
Final Report v2-1
Combinar correspondencia
Combinar correspondencia
Similar to 腾讯即时聊天IM1.4亿在线背后的故事
1.4亿在线背后的故事
1.4亿在线背后的故事
llkk0914
微信201204
微信201204
drewz lin
微信之道201204
微信之道201204
shaomeng shi
如何成為科技業搶手的整合性人才
如何成為科技業搶手的整合性人才
geego
徐晓 Qq空间技术架构之峥嵘岁月
徐晓 Qq空间技术架构之峥嵘岁月
drewz lin
簡單小步驟,輕鬆觀賞 Virtual Show
簡單小步驟,輕鬆觀賞 Virtual Show
advantech2012
Mocha Bsm
Mocha Bsm
王 莆中
统一的云平台实现IT大集中和核心网云化
统一的云平台实现IT大集中和核心网云化
Kun Liu
中国西部信息中心介绍
中国西部信息中心介绍
yaoyao yang
雲端行動商務發展趨勢 V1.2
雲端行動商務發展趨勢 V1.2
yaohung
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
liu sheng
MCCC Lab
MCCC Lab
治平 翁
Application virtualization
Application virtualization
popskf
Picoway Company Profile 1.5
Picoway Company Profile 1.5
picoway
Picoway Company Profile V1.5
Picoway Company Profile V1.5
picoway
03 李实恭-乘云之势以智致远 0611
03 李实恭-乘云之势以智致远 0611
ikewu83
研華 智聯工廠與智能設備雙引擎|實踐智慧製造
研華 智聯工廠與智能設備雙引擎|實踐智慧製造
鼎新電腦
Network security reesjohnson
Network security reesjohnson
ITband
Solution apc 4.0
Solution apc 4.0
ahnlabchina
物联网操作系统漫谈-GIAC大会.pdf
物联网操作系统漫谈-GIAC大会.pdf
OpenCity Community
Similar to 腾讯即时聊天IM1.4亿在线背后的故事
(20)
1.4亿在线背后的故事
1.4亿在线背后的故事
微信201204
微信201204
微信之道201204
微信之道201204
如何成為科技業搶手的整合性人才
如何成為科技業搶手的整合性人才
徐晓 Qq空间技术架构之峥嵘岁月
徐晓 Qq空间技术架构之峥嵘岁月
簡單小步驟,輕鬆觀賞 Virtual Show
簡單小步驟,輕鬆觀賞 Virtual Show
Mocha Bsm
Mocha Bsm
统一的云平台实现IT大集中和核心网云化
统一的云平台实现IT大集中和核心网云化
中国西部信息中心介绍
中国西部信息中心介绍
雲端行動商務發展趨勢 V1.2
雲端行動商務發展趨勢 V1.2
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
MCCC Lab
MCCC Lab
Application virtualization
Application virtualization
Picoway Company Profile 1.5
Picoway Company Profile 1.5
Picoway Company Profile V1.5
Picoway Company Profile V1.5
03 李实恭-乘云之势以智致远 0611
03 李实恭-乘云之势以智致远 0611
研華 智聯工廠與智能設備雙引擎|實踐智慧製造
研華 智聯工廠與智能設備雙引擎|實踐智慧製造
Network security reesjohnson
Network security reesjohnson
Solution apc 4.0
Solution apc 4.0
物联网操作系统漫谈-GIAC大会.pdf
物联网操作系统漫谈-GIAC大会.pdf
More from mysqlops
The simplethebeautiful
The simplethebeautiful
mysqlops
Oracle数据库分析函数详解
Oracle数据库分析函数详解
mysqlops
Percona Live 2012PPT:mysql-security-privileges-and-user-management
Percona Live 2012PPT:mysql-security-privileges-and-user-management
mysqlops
Percona Live 2012PPT: introduction-to-mysql-replication
Percona Live 2012PPT: introduction-to-mysql-replication
mysqlops
Percona Live 2012PPT: MySQL Cluster And NDB Cluster
Percona Live 2012PPT: MySQL Cluster And NDB Cluster
mysqlops
Percona Live 2012PPT: MySQL Query optimization
Percona Live 2012PPT: MySQL Query optimization
mysqlops
Pldc2012 innodb architecture and internals
Pldc2012 innodb architecture and internals
mysqlops
DBA新人的述职报告
DBA新人的述职报告
mysqlops
分布式爬虫
分布式爬虫
mysqlops
MySQL应用优化实践
MySQL应用优化实践
mysqlops
eBay EDW元数据管理及应用
eBay EDW元数据管理及应用
mysqlops
基于协程的网络开发框架的设计与实现
基于协程的网络开发框架的设计与实现
mysqlops
eBay基于Hadoop平台的用户邮件数据分析
eBay基于Hadoop平台的用户邮件数据分析
mysqlops
对MySQL DBA的一些思考
对MySQL DBA的一些思考
mysqlops
QQ聊天系统后台架构的演化与启示
QQ聊天系统后台架构的演化与启示
mysqlops
MySQL数据库生产环境维护
MySQL数据库生产环境维护
mysqlops
Memcached
Memcached
mysqlops
DevOPS
DevOPS
mysqlops
MySQL数据库开发的三十六条军规
MySQL数据库开发的三十六条军规
mysqlops
新浪微博开放平台Redis实战
新浪微博开放平台Redis实战
mysqlops
More from mysqlops
(20)
The simplethebeautiful
The simplethebeautiful
Oracle数据库分析函数详解
Oracle数据库分析函数详解
Percona Live 2012PPT:mysql-security-privileges-and-user-management
Percona Live 2012PPT:mysql-security-privileges-and-user-management
Percona Live 2012PPT: introduction-to-mysql-replication
Percona Live 2012PPT: introduction-to-mysql-replication
Percona Live 2012PPT: MySQL Cluster And NDB Cluster
Percona Live 2012PPT: MySQL Cluster And NDB Cluster
Percona Live 2012PPT: MySQL Query optimization
Percona Live 2012PPT: MySQL Query optimization
Pldc2012 innodb architecture and internals
Pldc2012 innodb architecture and internals
DBA新人的述职报告
DBA新人的述职报告
分布式爬虫
分布式爬虫
MySQL应用优化实践
MySQL应用优化实践
eBay EDW元数据管理及应用
eBay EDW元数据管理及应用
基于协程的网络开发框架的设计与实现
基于协程的网络开发框架的设计与实现
eBay基于Hadoop平台的用户邮件数据分析
eBay基于Hadoop平台的用户邮件数据分析
对MySQL DBA的一些思考
对MySQL DBA的一些思考
QQ聊天系统后台架构的演化与启示
QQ聊天系统后台架构的演化与启示
MySQL数据库生产环境维护
MySQL数据库生产环境维护
Memcached
Memcached
DevOPS
DevOPS
MySQL数据库开发的三十六条军规
MySQL数据库开发的三十六条军规
新浪微博开放平台Redis实战
新浪微博开放平台Redis实战
腾讯即时聊天IM1.4亿在线背后的故事
1.
腾讯大讲堂走进北航 2011.10.31 Djt.open.qq.com
2.
1.4 亿在线背后的故事 腾讯科技(深圳)有限公司
即通平台部高级技术总监 icezhuang —— QQ IM 后台架构的演化与启示
3.
4.
7 亿活跃账户 1.4
亿同时在线 过万台 IM 服务器 百亿级的关系链对数 每天千亿级的服务请求 99.99% 的可用性 团队经历了 QQ 在线从 10 万到 1.4 亿的整个过程,吸取了很多教训 对海量服务的理解是长期积累的结果
5.
6.
7.
1.0 接入服务器的核心数据结构 OnlineIndex
OnlineRecord UIN 10003, [FriendUin, Flag] 升序 FList, L1 FList, L2 FList, L3 0 1 10001 10002 10003 10004 POS 0 POS 1 POS 2 POS 3 UIN 10001 LEVEL 1, POS 1 UIN 10004 LEVEL 1, POS 3 UIN 10002 LEVEL 2, POS 2 UIN 10003 LEVEL 3, POS 1 UIN ,标志位,资料 在线状态, IP/Port 好友表位置
8.
9.
10.
11.
12.
2.0 接入服务器的核心数据结构 0
1 10001 10002 10003 10004 OnlineIndex LocalOnlineRecord RemoteOnlineRecord UIN 在线状态, IP/Port 接入服务器 ID UIN 10001 LEVEL 1, POS 1 UIN 10004 LEVEL 1, POS 3 Local POS 0 Local POS 1 Remote POS 2 Remote POS 3 UIN 10002 @ServerID 3 UIN 10003 @ServerID 5
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
IDC 的实际可用性只有 2
个 9 老架构没前途,必须进行容灾改造! 租来的 IDC 的级别: B 或 C
27.
28.
业务集群的容灾改造 业务命令流 设备状态流
接入集群 业务集群 @ IDC1 业务集群 @ IDC2 指挥中心 @ IDC1 指挥中心 @ IDC2
29.
30.
灰度发布演示 第一周 周末
号段 7-8 号段 7-8 号段 5-6 号段 5-6 号段 3-4 号段 3-4 号段 1-2 号段 1-2 第一周 周一 第一周 周二 第一周 周三 第一周 周四 第一周 原来 周一 周二 周三 周四
31.
32.
完善监控和报警
33.
完善监控和报警
34.
完善监控和报警
35.
完善监控和报警
36.
完善监控和报警
37.
38.
服务可用性终于提升到了行业先进水平
39.
IM 后台 3.5
架构 长连接集群 同步集群 接入集群 存储集群 若干个业务集群 长连接集群 同步集群 接入集群 存储集群 若干个业务集群 容灾指挥集群 IDC1 IDC2 运维控制集群 监控报警集群 容灾指挥集群 运维控制集群 监控报警集群 运维控制集群 监控报警集群 监控报警集群 运维控制集群 监控报警集群 运维控制集群 监控报警集群 运维控制集群 监控报警集群 容灾指挥集群 运维控制集群 监控报警集群 运维控制集群 监控报警集群 容灾指挥集群 容灾指挥集群 运维控制集群 监控报警集群 运维控制集群 监控报警集群
40.
Editor's Notes
P15 ,画一下 conn 进程划分的图
自己是腾讯第一个培养出的 T4 04 年前的,很多是听说或者推测。 05 年后的,很多是亲身经历。
做一个万级在线的 IM 很容易,做一个亿级在线的 IM 很难
这里一定要强调一下:这个级别的架构,是从代码推测出来的,不一定是历史真实。
提问:状态获取的流程有哪些优缺点? 优点:不限制被加好友的个数 缺点: A 的好友表有 B ,但是反过来没有时: A 通知 B 只有一次机会,丢包就没了;而 A 获取 B 不实时。
此页略讲,甚至不讲
此页略讲,别花时间计算。 内存占用只是概算,实际上确实可以通过一些手段减少内存占用,但是不可能有很大的提升
强调与 1.0 的区别:有了 Remote
提问:实时通知的 3 种方式,各有什么优缺点? 直接发包:最简单,但是不能应对某些 NAT ,也不能应对 TCP 接入 伪装 IP 发包:编程难度大,可以应对 NAT ,但是不能应对 TCP 接入,有时还会被 IDC 自己的网络设备拦住 通过真正的接入服务器发包:可以应对所有情况,但是成本高 所以实际演变的顺序就是上面的顺序
此页略讲甚至不讲
腾讯: 2010 年报: 196.46E RMB / IM 活跃账户数 6.476E / 12 个月 = 2.53 RMB 中国移动: 2010 年报: 73RMB
绝不使用企业级解决方案: Google 牛人的话。 万有一失的无锁设计:通过业务流程的巧妙设计来避免使用锁。举例:设置隐身可见(状态进程)与加好友(好友进程)的冲突没关系;但是 LocalOnlineRecord 中对好友表位置指针的修改只有登录进程能做。 用户态 IPC :使用共享内存设计出用户态的 FIFO
绝不使用企业级解决方案: Google 牛人的话。 万有一失的无锁设计:通过业务流程的巧妙设计来避免使用锁。举例:设置隐身可见(状态进程)与加好友(好友进程)的冲突没关系;但是 LocalOnlineRecord 中对好友表位置指针的修改只有登录进程能做。 用户态 IPC :使用共享内存设计出用户态的 FIFO
略讲,别花时间强调困难
手机从不敢离身:洗澡也得带着手机;从来不敢去游泳 发布新代码提心吊胆:小特性导致 CPU100% ,大量用户掉线 时不时要扩容,又烦又怕:刚刚接手 Conn 时,每周扩容两次,感觉自己都不是程序员了。而且又担心配置错误导致事故。 时不时要紧急恢复服务:几乎每人每周都要紧急处理一两次设备故障。
这页只是说一下发现了四方面的问题,不具体解释,后续会一个一个分析和解决
只在一个 IDC 内是没前途的
本页不展开各种模式的具体含义,只说需要达到什么目标。具体模式的含义后面几页说。
详细解释
CPU100% 的故事:一个小特性没写好代码, 100% CPU ,收到用户投诉才发现异常
CPU100% 的故事:一个小特性没写好代码, 100% CPU ,收到用户投诉才发现异常
这是后台监控系统上截取到的两个示例图,我们对各个维度、各种指标都有监控和告警
这是 QQ 群消息量的一天曲线,中间有个飙升。从时间上猜猜和什么事情有关系? 2008 年 8 月 18 日 刘翔退赛后,群下发消息量
一个图,有最大值、最小值、波动值报警
一个子系统的监控视图,包括了数百个上一页的图片
整个 IM 后台,有上千个视图 总共,有十万个以上的图片和报警
Grandy 的故事: grandy 修改配置表,要先写好 where 子句再写前面的语句。
服务可用性从原来的 2 个 9 提升到了 4 个 9 接近 5 个 9 ,与 google 同级。
略讲,强调两套、有容灾指挥中心,且在两个 IDC