作为国内最大的O2O平台，美团的月交易额已超过100亿，其中移动端O2O推荐交易额超过了整体交易额的10%，推荐系统对平台的贡献在持续上升。机器学习在我们的推荐系统中起着至关重要的作用。而面向互联网的机器学习与传统机器学习的一个很大区别是：互联网上用户的行为模式时刻会随着环境改变，如果使用离线计算的静态模型，随着时间变化，效果很可能会逐步下降，为了提高模型对用户行为模式变化的适应能力，非常有必要引入OnlineLearning。本次分享主要介绍我们推荐系统中OnlineLearning的框架和模型： 系统方面：介绍从用户产生行为，到反馈到模型中的整个流程实现细节 模型方面：介绍几个主流的onlinelearning模型，及point－wise方法和pair－wise方法在onlinelearning实践中经验和教训 分享者：孔东营，毕业于中国科学院计算技术研究所，目前在美团主要从事推荐系统的排序的算法研究工作。之前在网易有道从事广告点击预估的工作。在onlinelearning方面有丰富的实践经验。

1. 移动端O2O推荐的Online
Learning实战
孔东营

2. 个⼈人介绍
孔东营
2010 － 2013 中科院计算所 硕⼠士研究⽣生
2013 － 2014 ⺴⽹网易有道 ⼲⼴广告算法⼯工程师
2015 － 今天 美团 推荐算法⼯工程师

3. ⺫⽬目录
2.美团推荐系统介绍
4.计划与展望
1.美团移动端O2O推荐概述
3.Online Learning 重排序

4. ⺫⽬目录
2.美团推荐系统介绍
4.计划与展望
1.美团移动端O2O推荐概述
3.Online Learning 重排序

5. 美团移动端O2O推荐概述
美团2015年上半年交易额为470亿！
美团交易额
0
125
250
375
500
2011 2012 2013 2014
交易额
推荐⾦金额占⽐比10%！

6. 美团移动端O2O推荐概述
其他：
购买完成，评价完成，搜索⽆无结果，附近团
购，相关团购

7. O2O推荐的特点
望京
电影
美⾷食
休闲
1. 位置和时间：决定因素
2. ⽤用户兴趣：重要因素 3.评论和社交：辅助因素推荐系统

8. ⺫⽬目录
2.美团推荐系统介绍
4.计划与展望
1.美团移动端O2O推荐概述
3. Online Learning重排序

9. 推荐系统介绍 输出
数据⽣生成
数据存储
触发
规则过滤
重排序
过滤
etl spark storm kafka
hive hbase mysql redis
协同过滤 location-
based
query-
based
cold start
online learning GBDT

10. 推荐系统介绍
移动端排序作⽤用更加突出
移动端
pc端
位置变少

11. ⺫⽬目录
2.美团推荐系统
4.计划与展望
1.美团移动端O2O推荐概述
3.Online Learning重排序

12. 模型
预测样本X 展⽰示 反馈Y
训练
Online Learning流程
实时快速迭代 快速反映线上变化

13. Online Learning重排序
为什么要做Online Learning 重排序
context：事件、热点
user: ⽤用户兴趣不断变化
⽕火锅
电影
酒店
item：商家线下情况不断变化
主席套餐
排队、客满、冲突、突然优惠
每次打开美团需求都可能不⼀一样
节⽇日、名⼈人效应、热映电影
⼤大圣归来七⼣夕鲜花
突然优惠

14. Online Learning的架构
kafka
session聚合
label match
label match
hbase
特征抽取特征预处理模型训练medis
展⽰示流
点击流
下单流
写⼊入
读写
读写
预测
展⽰示
展⽰示
点击
下单

15. 训练样本⽣生成
数据清洗
点击／下单
训练样本
丢弃
1
2
3
4
5
6
7
8
9
n
每屏只展⽰示四个单⼦子
⽤用户看的第⼏几个？
skip above＋2

16. 特征
user item context
id类：userid
画像: 性别 年龄
⾏行为：点过 买过
id类：单⼦子 品类
描述：店名 title
评论：评分 标签
位置：距离 商圈
时间： ⼩小时 星期
天⽓气：温度 ⾬雨晴

17. Online Learning模型
Online Learning 训练过程:
样本（X,Y）
θ = argmin f(θ|X,Y)
参数θ
挑战：需要快速求出最优解，
最好是有解析解
通常两种⽅方式：
Bayesian Online Learning
Follow The Regularized Leader

18. 样本（X,Y）
计算后验 p(θ|X,Y)
给定先验p(θ)
Bayesian Online Learning Example：
Online Learning模型
最终结果：

19. Bayesian Probit Regression：
Online Learning模型

20. Follow The Regularized Leader
上⾯面的等式没有解析
解，但是，如果f(w)
是凸的，就可以转化
成下⾯面的等式。
Online Learning模型

21. 下单率预测的损失函数：
其中：
Follow The Regularized Leader
是凸函数
Online Learning模型

22. Online Learning模型
利⽤用点击信息
点击也代表了⽤用户的意愿，不能完全作为负样本
损失函数：
点击： Ni=1
下单： Ni=10

23. Online Learning模型
FTRL vs BPR
FTRL BPR
需要更多训练样本 需要更少的训练样本
稀疏性好 没有稀疏性
参数难调 参数容易调
线下对⽐比策略上线

24. FTRL线上表现
base
ftrl
下单权重：10 -> 100
base
ftrl
－7%
－2%

25. FTRL线上表现
特征：
base
ftrl
＋1.5%
geo -hash 最近看过此品类的⽐比例 cvr
参数：调整参数
问题：groupAUC MAP指标⽐比较低

26. Online Learning模型
Pair－Wise 模型
order > click
click > impression
LambdaRank
损失函数
pair ⽣生成
其中：
click > earlier click ?

27. Online Learning模型
1.概率结合
2. ⺫⽬目标函数结合
结合Point-Wise 和 Pair-Wise
依概率选择做point－wise 还是pair－wise
对于⼀一个session的训练数据
第k个session的损失函数

28. FTRL线上表现
＋5%
base
ftrl

29. 计划与展望
其他场景的数据
更加丰富的埋点
场景模型
整合数据
因⼦子模型
多模型融合
exploit/explore
多样性
训练数据 特征 模型 线上