美团技术沙龙02 - O2O排序解决方案
•
2 likes•1,421 views
在美团，有几百万的商家和几亿的用户，怎样让用户在各种场景下快速找到其目标的商家，是一个很具有挑战的工作。 我们基于搜索排序的实践构建了一套通用的机器学习排序解决方案，包括特征矩阵、机器学习平台、受众定向平台、在线服务框架等子系统，可以快速的应用于各种产品，以取得更好地效果。目前这套解决方案已在美团酒店、外卖、电影等业务线、以及促销等多种产品中应用。 分享者：陈华良，美团机器学习与挖掘组负责人。2014年起在美团负责搜索排序、受众定向平台、广告检索系统等工作，之前在百度从事凤巢广告算法相关工作。
More Related Content
Similar to 美团技术沙龙02 - O2O排序解决方案
Similar to 美团技术沙龙02 - O2O排序解决方案 (20)
More from 美团点评技术团队
More from 美团点评技术团队 (20)
美团技术沙龙02 - O2O排序解决方案
- 2. ² 2014年至今-‐美团 美团广告检索组负责人。 负责搜索排序、受众定向平台、机 器学习平台、广告检索系统等工作。 ² 2014年之前-‐百度 在凤巢从事了4年多的算法工作。 ² 2010年之前-‐创业公司 从事了1年多的视频搜索引擎研发。 微信：21097075
- 3. 背景 几亿的用户 近千万的POI/DEAL 美食 酒店 外卖 … 搜索 热词 促销 … 地理 价格 品类 …
- 4. 背景 O2O排序解决方案 搜索 热词 smartbox 用户 POI/DEAL 商家自助促销 美食 酒店 外卖 KTV l 1-‐2天可以实现系统部署 l 3-‐5天开始发挥作用
- 5. 背景 l 在搜索的应用，下单率提升30% +，每天交易额增加3000w以上 l Top4的下单率95% 30.00% 35.00% 40.00% 45.00% 50.00% 55.00% 20150101 20150116 20150131 20150215 20150302 20150317 20150401 20150416 20150501 20150516 20150531 20150615 20150701 20150716 20150801 20150816 20150831 20150915 20150930 20151015 占有率
- 6. 背景 酒店 smartbox 热词 促销
- 10. 线下系统-‐特征矩阵 QUERY-‐DEAL特征 • CTR • 字面相关性 • 意图相关性 POI-‐USER特征 • 浏览过 • 购买过 • 收藏过 DEAL-‐USER特征 • 商圈相似度 • 品类相似度 • 价格相似度 QUERY特征 • CTR • CVR • 长度 • 结果数 DEAL特征 • CTR • CVR • Isnew • 折扣 • 是否促销 USER特征 • 地理位置 • 消费水平 • 品类偏好 POI特征 • 评分 • 评论数 • 是否有WIFI • DEAL数 QUERY-‐POI特征 • 意图相似度
- 14. 线上系统-‐分层框架 Application FlumeImpression Log Labeled Data Order/Click Log Deal DB Model 1 Feature Offline Training Model 2 … Online Training 结果获取 Rerank Service DEBUG工具 ABTEST框架 特征处理 模型预估 排序机制
- 15. 线上系统-‐-‐特征处理 实时特征 特征矩阵 protoBuff erLib 筛选特征 serialize 提取特征 KV服务 deserialize OnlineFeatureMap 打印特征
- 16. 线上系统-‐在线预估 高级特征 rank Online learning GBDT 低级特征 GBDT LR 并行预估 级联预估 配置
- 19. 受众定向平台 用户 历史 行为 人口 属性 新老 客 购买 力品类 偏好 地理 位置 终端 类型 … POI/ DEAL ? l 两亿用户 l 已经挖掘几十种用户属性，在近 十个产品中应用
- 20. 受众定向平台-‐框架 hadoop hive spark 离线模型 实时模型 storm ATP服务 线上应用 统计 hdfs hive hbase tair 离线应用 updater 几T的训练数据
- 23. 受众定向平台-‐地理位置 Label数据 预估 数据 KV服务 1行为 2上报 3行为 4行为 N+1行为 N+2上报 N上报 … 用户搜索、 浏览、点 击、下单 等行为 用户途经、 验券等地 理位置 星期几 节假日 GBDT LR 预估 模型 迭代优化 迭代优化
- 24. 受众定向平台-‐地理位置 2天预估结果 一周预估结果 实时 预估 实时上报 应用 加权 融合 最近用户搜 索、浏览、 点击、下单 等行为 最近用户途 经、验券等 地理位置 星期几 几点 节假日 天气 实时 模型 storm
- 27. 机器学习平台 LR SVM MinMax Standard API Command 应 用 层 模 型 层 特 征 归 一 化 特 征 选 择 Chi squared Topic Model GBDT Mutual Informaaon DEBUG 高度可配置 模型评估 l 只改配置，就可以完成特征处理、模型的训练和评估等调研
- 28. 机器学习平台-‐GBDT Hypothesis： Loss Funcaon： Update Funcaon： Tree 1 Tree 2 Tree M ...... 1 ( ) ( ; ) M M m m m h x T xβ = = Θ∑ 2 1 1 min ( ) min ( ( )) 2 N i i h H h H i L h y h x ∈ ∈ = ≡ −∑ 1 , 1 ˆ{ , } arg min ( , ( ) ( ; )) m m N m m i m m m i L y h x T x β β β− Θ = Θ = + Θ∑
- 29. 机器学习平台-‐GBDT Command sample： . /gbdt_train -‐train trainset -‐test testset -‐model model_path -‐conf config_file arguments (conf/gbdt.conf) ： dim=100 # 特征维度 depth=4 # 每棵树的最大深度 iteraaons=100 # 树的个数 shrinkage=0.2 # 衰减 fraao=1.0 # 特征抽样比例 draao=1.0 # 数据抽象比例 maxBins=40 # 最大bin数 loss=LogLikelihood # 损失函数，提供 loglikelihood 和 square error 两种 init=false # 是否采用初始值 hasInitValue=false # 数据中是否给出了初始值 debug=true # 是否输入debug信息