Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
移动端O2O推荐的Online
Learning实战
孔东营
个⼈人介绍
孔东营
2010 - 2013 中科院计算所 硕⼠士研究⽣生
2013 - 2014 ⺴⽹网易有道 ⼲⼴广告算法⼯工程师
2015 - 今天 美团 推荐算法⼯工程师
⺫⽬目录
2.美团推荐系统介绍
4.计划与展望
1.美团移动端O2O推荐概述
3.Online Learning 重排序
⺫⽬目录
2.美团推荐系统介绍
4.计划与展望
1.美团移动端O2O推荐概述
3.Online Learning 重排序
美团移动端O2O推荐概述
美团2015年上半年交易额为470亿!
美团交易额
0
125
250
375
500
2011 2012 2013 2014
交易额
推荐⾦金额占⽐比10%!
美团移动端O2O推荐概述
其他:
购买完成,评价完成,搜索⽆无结果,附近团
购,相关团购
O2O推荐的特点
望京
电影
美⾷食
休闲
1. 位置和时间:决定因素
2. ⽤用户兴趣:重要因素 3.评论和社交:辅助因素推荐系统
⺫⽬目录
2.美团推荐系统介绍
4.计划与展望
1.美团移动端O2O推荐概述
3. Online Learning重排序
推荐系统介绍 输出
数据⽣生成
数据存储
触发
规则过滤
重排序
过滤
etl spark storm kafka
hive hbase mysql redis
协同过滤 location-
based
query-
based
cold st...
推荐系统介绍
移动端排序作⽤用更加突出
移动端
pc端
位置变少
⺫⽬目录
2.美团推荐系统
4.计划与展望
1.美团移动端O2O推荐概述
3.Online Learning重排序
模型
预测样本X 展⽰示 反馈Y
训练
Online Learning流程
实时快速迭代 快速反映线上变化
Online Learning重排序
为什么要做Online Learning 重排序
context:事件、热点
user: ⽤用户兴趣不断变化
⽕火锅
电影
酒店
item:商家线下情况不断变化
主席套餐
排队、客满、冲突、突然优惠
每次打...
Online Learning的架构
kafka
session聚合
label match
label match
hbase
特征抽取特征预处理模型训练medis
展⽰示流
点击流
下单流
写⼊入
读写
读写
预测
展⽰示
展⽰示
点击
下单
训练样本⽣生成
数据清洗
点击/下单
训练样本
丢弃
1
2
3
4
5
6
7
8
9
n
每屏只展⽰示四个单⼦子
⽤用户看的第⼏几个?
skip above+2
特征
user item context
id类:userid
画像: 性别 年龄
⾏行为:点过 买过
id类:单⼦子 品类
描述:店名 title
评论:评分 标签
位置:距离 商圈
时间: ⼩小时 星期
天⽓气:温度 ⾬雨晴
Online Learning模型
Online Learning 训练过程:
样本(X,Y)
θ = argmin f(θ|X,Y)
参数θ
挑战:需要快速求出最优解,
最好是有解析解
通常两种⽅方式:
Bayesian Online Lea...
样本(X,Y)
计算后验 p(θ|X,Y)
给定先验p(θ)
Bayesian Online Learning Example:
Online Learning模型
最终结果:
Bayesian Probit Regression:
Online Learning模型
Follow The Regularized Leader
上⾯面的等式没有解析
解,但是,如果f(w)
是凸的,就可以转化
成下⾯面的等式。
Online Learning模型
下单率预测的损失函数:
其中:
Follow The Regularized Leader
是凸函数
Online Learning模型
Online Learning模型
利⽤用点击信息
点击也代表了⽤用户的意愿,不能完全作为负样本
损失函数:
点击: Ni=1
下单: Ni=10
Online Learning模型
FTRL vs BPR
FTRL BPR
需要更多训练样本 需要更少的训练样本
稀疏性好 没有稀疏性
参数难调 参数容易调
线下对⽐比策略上线
FTRL线上表现
base
ftrl
下单权重:10   -> 100
base
ftrl
-7%
-2%
FTRL线上表现
特征:
base
ftrl
+1.5%
geo -hash 最近看过此品类的⽐比例 cvr
参数:调整参数
问题:groupAUC MAP指标⽐比较低
Online Learning模型
Pair-Wise 模型
order > click
click > impression
LambdaRank
损失函数
pair ⽣生成
其中:
click > earlier click ?
Online Learning模型
1.概率结合
2. ⺫⽬目标函数结合
结合Point-Wise 和 Pair-Wise
依概率选择做point-wise 还是pair-wise
对于⼀一个session的训练数据
第k个session的损失...
FTRL线上表现
+5%
base
ftrl
计划与展望
其他场景的数据
更加丰富的埋点
场景模型
整合数据
因⼦子模型
多模型融合
exploit/explore
多样性
训练数据 特征 模型 线上
美团技术沙龙02 - 移动端O2O推荐的Online Learning实战
Upcoming SlideShare
Loading in …5
×

美团技术沙龙02 - 移动端O2O推荐的Online Learning实战

1,560 views

Published on

作为国内最大的O2O平台,美团的月交易额已超过100亿,其中移动端O2O推荐交易额超过了整体交易额的10%,推荐系统对平台的贡献在持续上升。机器学习在我们的推荐系统中起着至关重要的作用。而面向互联网的机器学习与传统机器学习的一个很大区别是:互联网上用户的行为模式时刻会随着环境改变,如果使用离线计算的静态模型,随着时间变化,效果很可能会逐步下降,为了提高模型对用户行为模式变化的适应能力,非常有必要引入OnlineLearning。本次分享主要介绍我们推荐系统中OnlineLearning的框架和模型:
系统方面:介绍从用户产生行为,到反馈到模型中的整个流程实现细节
模型方面:介绍几个主流的onlinelearning模型,及point-wise方法和pair-wise方法在onlinelearning实践中经验和教训
分享者:孔东营,毕业于中国科学院计算技术研究所,目前在美团主要从事推荐系统的排序的算法研究工作。之前在网易有道从事广告点击预估的工作。在onlinelearning方面有丰富的实践经验。

Published in: Engineering
  • Be the first to comment

美团技术沙龙02 - 移动端O2O推荐的Online Learning实战

  1. 1. 移动端O2O推荐的Online Learning实战 孔东营
  2. 2. 个⼈人介绍 孔东营 2010 - 2013 中科院计算所 硕⼠士研究⽣生 2013 - 2014 ⺴⽹网易有道 ⼲⼴广告算法⼯工程师 2015 - 今天 美团 推荐算法⼯工程师
  3. 3. ⺫⽬目录 2.美团推荐系统介绍 4.计划与展望 1.美团移动端O2O推荐概述 3.Online Learning 重排序
  4. 4. ⺫⽬目录 2.美团推荐系统介绍 4.计划与展望 1.美团移动端O2O推荐概述 3.Online Learning 重排序
  5. 5. 美团移动端O2O推荐概述 美团2015年上半年交易额为470亿! 美团交易额 0 125 250 375 500 2011 2012 2013 2014 交易额 推荐⾦金额占⽐比10%!
  6. 6. 美团移动端O2O推荐概述 其他: 购买完成,评价完成,搜索⽆无结果,附近团 购,相关团购
  7. 7. O2O推荐的特点 望京 电影 美⾷食 休闲 1. 位置和时间:决定因素 2. ⽤用户兴趣:重要因素 3.评论和社交:辅助因素推荐系统
  8. 8. ⺫⽬目录 2.美团推荐系统介绍 4.计划与展望 1.美团移动端O2O推荐概述 3. Online Learning重排序
  9. 9. 推荐系统介绍 输出 数据⽣生成 数据存储 触发 规则过滤 重排序 过滤 etl spark storm kafka hive hbase mysql redis 协同过滤 location- based query- based cold start online learning GBDT
  10. 10. 推荐系统介绍 移动端排序作⽤用更加突出 移动端 pc端 位置变少
  11. 11. ⺫⽬目录 2.美团推荐系统 4.计划与展望 1.美团移动端O2O推荐概述 3.Online Learning重排序
  12. 12. 模型 预测样本X 展⽰示 反馈Y 训练 Online Learning流程 实时快速迭代 快速反映线上变化
  13. 13. Online Learning重排序 为什么要做Online Learning 重排序 context:事件、热点 user: ⽤用户兴趣不断变化 ⽕火锅 电影 酒店 item:商家线下情况不断变化 主席套餐 排队、客满、冲突、突然优惠 每次打开美团需求都可能不⼀一样 节⽇日、名⼈人效应、热映电影 ⼤大圣归来七⼣夕鲜花 突然优惠
  14. 14. Online Learning的架构 kafka session聚合 label match label match hbase 特征抽取特征预处理模型训练medis 展⽰示流 点击流 下单流 写⼊入 读写 读写 预测 展⽰示 展⽰示 点击 下单
  15. 15. 训练样本⽣生成 数据清洗 点击/下单 训练样本 丢弃 1 2 3 4 5 6 7 8 9 n 每屏只展⽰示四个单⼦子 ⽤用户看的第⼏几个? skip above+2
  16. 16. 特征 user item context id类:userid 画像: 性别 年龄 ⾏行为:点过 买过 id类:单⼦子 品类 描述:店名 title 评论:评分 标签 位置:距离 商圈 时间: ⼩小时 星期 天⽓气:温度 ⾬雨晴
  17. 17. Online Learning模型 Online Learning 训练过程: 样本(X,Y) θ = argmin f(θ|X,Y) 参数θ 挑战:需要快速求出最优解, 最好是有解析解 通常两种⽅方式: Bayesian Online Learning Follow The Regularized Leader
  18. 18. 样本(X,Y) 计算后验 p(θ|X,Y) 给定先验p(θ) Bayesian Online Learning Example: Online Learning模型 最终结果:
  19. 19. Bayesian Probit Regression: Online Learning模型
  20. 20. Follow The Regularized Leader 上⾯面的等式没有解析 解,但是,如果f(w) 是凸的,就可以转化 成下⾯面的等式。 Online Learning模型
  21. 21. 下单率预测的损失函数: 其中: Follow The Regularized Leader 是凸函数 Online Learning模型
  22. 22. Online Learning模型 利⽤用点击信息 点击也代表了⽤用户的意愿,不能完全作为负样本 损失函数: 点击: Ni=1 下单: Ni=10
  23. 23. Online Learning模型 FTRL vs BPR FTRL BPR 需要更多训练样本 需要更少的训练样本 稀疏性好 没有稀疏性 参数难调 参数容易调 线下对⽐比策略上线
  24. 24. FTRL线上表现 base ftrl 下单权重:10   -> 100 base ftrl -7% -2%
  25. 25. FTRL线上表现 特征: base ftrl +1.5% geo -hash 最近看过此品类的⽐比例 cvr 参数:调整参数 问题:groupAUC MAP指标⽐比较低
  26. 26. Online Learning模型 Pair-Wise 模型 order > click click > impression LambdaRank 损失函数 pair ⽣生成 其中: click > earlier click ?
  27. 27. Online Learning模型 1.概率结合 2. ⺫⽬目标函数结合 结合Point-Wise 和 Pair-Wise 依概率选择做point-wise 还是pair-wise 对于⼀一个session的训练数据 第k个session的损失函数
  28. 28. FTRL线上表现 +5% base ftrl
  29. 29. 计划与展望 其他场景的数据 更加丰富的埋点 场景模型 整合数据 因⼦子模型 多模型融合 exploit/explore 多样性 训练数据 特征 模型 线上

×