大型互联网广告应用系统架构
第14期:     《海量数据挖掘与应用 》- e淘专场www.LAMPER.cnhttp://weibo.com/lampercn
大纲• 一、介绍• 二、高并发应用系统• 三、海量数据存储系统• 四、中间件应用• 五、广告系统运维和监控
背景介绍• 广告产品 – 淘宝直通车,一淘直通车 – 钻石展位 – Tanx – 淘宠(阿里妈妈)
直通车整体架构• 业务系统 – 广告主自助系统 – CRM – 実核系统 – 数据同步 – 开放API• 广告引擎 – 搜索 – 非搜索• 数据平台,计算平台和算法• 防作弊和点击结算
高并发应用系统        • 每天亿级的API调用淘宠API        • 几十万广告主使用直通车API • 直通车已开放上百个API供合作代理商使用        • 历史报表数据查询和下载报表API   • 实时报表数据开放
业务系统架构         Tengine (Nginx)            Tengine (Nginx)                Tengine (Nginx)               +                  ...
海量数据存储系统• Oracle:核心广告数据• HDFS:日志,报表计算数据• OceanBase:大宠户用户报表数据,实时报表数据• Mysql:用户报表数据• MongoDB: 用户操作日志• Redis:消息队列数据• Tair:Ses...
中间件应用• HSF   – 远程服务调用   – 软负载均衡• TDDL   – 透明数据库切分   – 读写分离   – 数据复制(非对称)• Notify   – 保证通知的消息中间件(MQ)• Meta   – 保证分区时序的持久化消息...
广告系统运维和监控黄金眼       • 实时监控(分钟级)广告位消耗系统监控       • PE监控工具: tsar, nagios监控门户       • 哈勃应用系统监控
Q&A谢谢!
大型互联网广告应用系统架构
大型互联网广告应用系统架构
大型互联网广告应用系统架构
大型互联网广告应用系统架构
Upcoming SlideShare
Loading in …5
×

大型互联网广告应用系统架构

7,534 views

Published on

#LAMP人#第14期《海量数据挖掘与应用 – e淘专场》 之 《大型互联网广告应用系统架构》

Published in: Technology
3 Comments
18 Likes
Statistics
Notes
No Downloads
Views
Total views
7,534
On SlideShare
0
From Embeds
0
Number of Embeds
492
Actions
Shares
0
Downloads
216
Comments
3
Likes
18
Embeds 0
No embeds

No notes for slide

大型互联网广告应用系统架构

  1. 1. 大型互联网广告应用系统架构
  2. 2. 第14期: 《海量数据挖掘与应用 》- e淘专场www.LAMPER.cnhttp://weibo.com/lampercn
  3. 3. 大纲• 一、介绍• 二、高并发应用系统• 三、海量数据存储系统• 四、中间件应用• 五、广告系统运维和监控
  4. 4. 背景介绍• 广告产品 – 淘宝直通车,一淘直通车 – 钻石展位 – Tanx – 淘宠(阿里妈妈)
  5. 5. 直通车整体架构• 业务系统 – 广告主自助系统 – CRM – 実核系统 – 数据同步 – 开放API• 广告引擎 – 搜索 – 非搜索• 数据平台,计算平台和算法• 防作弊和点击结算
  6. 6. 高并发应用系统 • 每天亿级的API调用淘宠API • 几十万广告主使用直通车API • 直通车已开放上百个API供合作代理商使用 • 历史报表数据查询和下载报表API • 实时报表数据开放
  7. 7. 业务系统架构 Tengine (Nginx) Tengine (Nginx) Tengine (Nginx) + + + Tomcat Tomcat Tomcat JDBC HSF Se ssio n Tair 集群 用户库 HSF Service Oracle Provider 事务型关系数据库 消息队列 Redis RedisOracle Oracle Oracle Master Slave
  8. 8. 海量数据存储系统• Oracle:核心广告数据• HDFS:日志,报表计算数据• OceanBase:大宠户用户报表数据,实时报表数据• Mysql:用户报表数据• MongoDB: 用户操作日志• Redis:消息队列数据• Tair:Session数据,Online应用数据缓存• TFS:图片,下载文件
  9. 9. 中间件应用• HSF – 远程服务调用 – 软负载均衡• TDDL – 透明数据库切分 – 读写分离 – 数据复制(非对称)• Notify – 保证通知的消息中间件(MQ)• Meta – 保证分区时序的持久化消息队列• Diamond – 静态配置中心服务• Time Tunnel 3 – 日志收集
  10. 10. 广告系统运维和监控黄金眼 • 实时监控(分钟级)广告位消耗系统监控 • PE监控工具: tsar, nagios监控门户 • 哈勃应用系统监控
  11. 11. Q&A谢谢!

×