1. 推荐与广告

2. 大纲
1 广告系统与推荐系统
2 推荐算法与广告投放策略
3 推荐演化与广告现状
4 基于上下文的推荐与实时计
算
5 结语

3. 1. 广告系统与推荐系统
• Advertising is a form of communication used to
encourage or persuade an audience (viewers,
readers or listeners) to continue or take some
new action.
-
wikipedia encourage or persuade
广告 因果关系 用户
Taking action means
response the advertise

4. 1. 广告系统与推荐系统
媒体 & 广
告投放系
统
推荐
从另一个
角度来看，广
广告 告系统本质上
广告商 用户 就是一个推荐
系统。

5. 2. 推荐算法与广告投放策略
common algorithm
Non- random
User- Personalized
based
Collaborative
Filtering
Personalized
hot
Item-
based
Demographic Content-based

6. 2. 推荐算法与广告投放策略
common algorithm
Non- random
User- Personalized
based
Collabo
rative Personalized
Filtering
Content-based Recommendation
hot
Item-
Demogr Content-
based
aphic based

7. 2. 推荐算法与广告投放策略
common algorithm
Non- random
User- Personalized
based
Collabo
rative Personalized
Filtering
Demographic Recommendation
hot
Item-
Demogr Content-
based
aphic based

8. 2. 推荐算法与广告投放策略
Collaborative Filtering Recommendation common algorithm
Non- random
User- Personalized
based
Collabo
rative Personalized
Filtering
hot
Item-
Demogr Content-
based
aphic based
User-based
Item-based

9. 3. 推荐演化与广告现状
推荐及广告的未来思考
传统的推荐系统忽略了用户的社会化
关系，广告系统也是这样。
社会化推
荐 用户往往会更加相信和依赖其社交好
友的推荐
所谓的上下文简单来说就是指任何可以用
来描述一个实体当前所处的环境的信息，最简
基于上下文的推 单的就是当前的时间，用户当前的位置等等。
荐 传统的推荐算法都是利用已有的或者过去
的信息来做推荐，广告系统也如此

10. 4. 基于上下文的推荐与实时计算
How When
What 基于上下 Where
文的推荐
Why Who
某个时刻 (when) ，因为某个原因 (why) 某人 (who) 在某地
(where) 通过某种方式 (how) 做某事 (what)

11. 4. 基于上下文的推荐与实时计算
我们需要在恰当的上下文环境向恰当的用户推荐恰当的
广告，比如元宵节这天（元宵节是一个时间上下文）推荐汤圆相
关广告，所以我们要将上下文推荐融入到我们的广告投放系统。
Tk When … Where … Who
广告系统
实时流计算

12. 4. 基于上下文的推荐与实时计算
商用实时计算引
擎 SteamBase
实时流计算框
架
2010 年 yahoo 开源
实时计算系统 Yahoo ！ Twitter 2011 年 twitter 开
Simple Scalable S4 Storm 源实时计算框架
Streaming System

13. 4.1 Yahoo!S4
Stream
S4 将实时数据，实时事件
抽象为流
Event
S4 将一个流抽象为由 (K,A) 形式
的元素组成的序列，也就是
Event
PE
PE 在 S4 中是最小的数据处理单
元，每个 PE 实例只消费匹配的
Event

14. 4.1 Yahoo!S4
S4 的分布式架构设计
Processing Node
Processing Element
Container
Communication Layer

15. 4.2 Twitter Storm
►三大作用领域
信息流处理
（ Stream Processing ）
连续计算 分布式远程过程调用
（ Continuous （ Distributed RPC ）
Computation ）
Storm 是 Twitter 开源的一个类似于 Hadoop 的实时数据处
理框架
Twitter 列举了 storm 的三大作用领域：

16. 4.2 Twitter Storm
Storm 的设计思想
在 Storm 中也有对于流 stream 的抽象，流是一个不间断的无
界的连续 tuple ，注意 Storm 在建模事件流时，把流中的事件抽象
为 tuple 即元组。

17. 4.2 Twitter Storm
Storm 的关键设计思想 Topology
Topology Topology
Storm 将数据流计算流程
图抽象为 topology
Spout
特定流的出口，向 bolt 发出
流（元组）
Bolt
流的中间计算模块，订阅特定流

18. 4.2 Twitter Storm
Storm 的分布式架构设计

19. 4.3 基于上下文的实时流计算服务
器
基本设计思想（非分布式）
快速分发
流
Quick
Stream
Dispatch
M1 M2
M4 M3
分而治之
流水线
Divide and
Pipeline
conquer

20. 4.3 基于上下文的实时流计算服务
器
看了流水线的工作方式
可能会有两个疑问：
2.流水线的工作方式对需
要严格处理步骤的工作来
说比较有优势。如果是可
以乱序处理呢？
3.我直接充分利用多核并
发处理就行了，根本不需
要什么流水线啊？
鸽洞原理

21. 4.3 基于上下文的实时流计算服务
器
实时计算处理的是无边界不间断的流数据，所以要
实现一个性能优秀的实时计算服务，必须在分布式环境
下设计，也就是说从一开始设计就要往分布式上面靠，
解决系统的可扩展性问题，系统的易维护性问题，系统
组件间的通信问题等等，最终才能得到像 S4 和 Storm
这样优秀的分布式实时计算框架。
更多关于 S4 和 Storm 的设计分析，见我的博客文
章，之后陆续会有更加详细的分析。
1 Yahoo!S4分布式流处理引擎分析总结
2 Twitter Storm 实时数据处理框架分析总结

22. Thanks