下一代推荐引擎的关键技术及应用案例

下一代推荐引擎的关键技术和应用案例
周涛，张韶峰
北京百分点信息科技有限公司
电子科技大学互联网科学中心
致谢：刘震，张亮，柏林森

主要内容
什么是推荐引擎? 推荐vs. 搜索
当前推荐引擎的问题和挑战
下一代推荐引擎发展方向
百分点科技的推荐技术和应用案例

CDnow.com
China: A Century of Revolution

推荐引擎 vs. 搜索引擎

主要内容

稀疏性
冷启动
可扩展性
可移植性
鲁棒性
可解释性
多样性

主要内容

从系统推荐到社会推荐
从以精确性为中心到综合考虑精确性、多样性和新颖性的评估体系
从单一数据源到交叉融合数据平台
从高速服务器到并行处理到云计算
从静态算法到动态增量算法到自适应算法
从脆弱算法到健壮算法

社会推荐-实验数据分析
J. Huang, X. Cheng, H.-W. Shen, T. Zhou, (unpublished)

社会推荐-理论模型研究
M. Medo, Y.-C. Zhang, T. Zhou, EPL 88 (2009) 38005;
G. Cimini, M. Medo, T. Zhou, D. Wei, Y.-C. Zhang, Eur. Phys. J. B 80 (2011) 201;
D. Wei, T. Zhou, G. Cimini, P. Wu, W. Liu, Y.-C. Zhang, Physica A 390 (2011) 2117;
T. Zhou, M. Medo, G. Cimini, Z.-K. Zhang, Y.-C. Zhang, PLoS ONE (in press).

社会推荐-开放性问题
社会关系带给推荐的附加价值有多少？
推荐带给社会关系的附加价值有多少？
如何设计一个系统能够更好引导社会推荐——告诉你现在你看的东西哪些朋友可能会喜欢？

综合评价指标-用户偏好变化
M.-S. Shang, L. Lu, Y.-C. Zhang, T. Zhou, EPL 90 (2010) 48006.

综合评价指标-信息价值
VS.
Top 3%
Top 1%

综合评价指标-三个维度
Accuracy
** Overall Ranking: AUC, Ranking Score
** Top Recommended Objects: Precision, Recall, F-Measure
Diversity
** Intra-Similarity: Recommendations to a user are diverse
** Inter-Similarity Recommendations to different users are diverse
Novelty
** Popularity
** Self-information
J. L. Herlockeret al., ACM Trans. Inf. Syst. 22 (2004) 5
T. Zhou et al., EPL 81 (2008) 58004
T. Zhou et al.,NJP 11 (2009) 123008
T. Zhou et al., PNAS 107 (2010) 4511

综合评价指标-可能的解决方案
T. Zhou et al., PNAS 107 (2010) 4511

综合评价指标-实验结果

交叉融合推荐
打通垂直电商数据
更精准的个性化推荐
建立推荐服务平台

交叉融合推荐-应用
依据用户的跨网站行为数据，解决某一网站上的冷启动推荐
根据合作网站数据做出更精准的推荐
站内推送用户可能感兴趣的、属于其他合作网站的商品

交叉融合推荐-结果

交叉融合推荐优势
数据源：
单一数据集->交叉数据平台
合作网站数据：
无用->协助推荐
推荐方式：
站内->站间

云计算-理念
在多核时代生存，必须考虑并发问题
不存在解决多核编程问题的银弹
不存在可以简单地将并发编程问题化解掉的工具，开发高性能的并行程序必须要求开发者从根本上改变其编程方法
从某种意义上来说，这不仅仅是要改变50年来顺序程序设计的工艺传统，而且是要改变数百万年来人类序化思考问题的习惯
Herb Sutter

云计算-数据挖掘系统

自适应算法——一个例子
C.-H. Jin, J.-G. Liu, Y.-C. Zhang, T. Zhou, arXiv: 0911.4910

健壮算法——甄别恶意用户
T. Zhou, H.A.-T. Kiet, B.-H. Wang, B.-J. Kim, P. Holme, EPL 82 (2008) 28002

健壮算法——甄别恶意用户
Z.-D. Zhao, T. Zhou, Physica A (submitted)

健壮算法——基于迭代寻优的信誉系统
L.-L. Jiang, M. Medo, J. R. Wakeling, Y.-C. Zhang, T. Zhou, arXiv: 1001.2186
Y.-B. Zhou, T. Lei, T. Zhou, EPL 94 (2011) 48002.

主要内容

百分点科技基于推荐技术的产品
电子商务个性化精准营销平台：
站内个性化推荐：流量转化（站内浏览者-> 购买者）
个性化商品推荐引擎
个性化首页与着陆页
个性化邮件：客户保留（购买者->重复购买者）
个性化邮件、短彩信客户服务
个性化客服系统、客户挽留系统

百分点已经与近50家电商合作

百分点推荐算法简介
基于内容的推荐
内容的“基因”和用户的偏好相匹配，需要分析商品的各种内容信息并提取标签（如文字、图片、音频、视频等）
和其他用户无关
基于用户行为的推荐
群体智慧，综合利用群体用户的行为偏好。如协同过滤、兴趣扩散等算法
用户之间会相互影响，更加符合现实世界中的用户行为

百分点推荐引擎的实现
多种推荐技术的算法库。包括在推荐领域的最新研究进展
实时在线推荐。用户行为在数秒到分钟内即可影响推荐结果
快速响应时间。对推荐请求的响应在2毫秒级
高并发。单服务器每秒处理2,000次并发请求
分布式架构。可支持大型购物网站
隐性获取用户偏好
在线获取产品信息，无需手工更新产品库

百分点推荐栏展示
易迅网推荐栏
麦包包推荐栏
红孩子推荐栏
李宁
推荐栏

某服装B2C的效果统计报表截屏

推荐引擎的效果一览
2011年3月效果比较：
A：某知名母婴与化妆品电商
B：某知箱包品牌电商

电商B详细增长数字
电商B自身增长趋势：

电商B数字解读
在2月17日这一周，相对于非推荐产生的客单价，为何推荐产生的客单价如此之高？
电商B在2011-02-17这一周开始推出高端包

电商B数字解读
出于对个性化推荐的信任，浏览中低端包的顾客更倾向于从个性化推荐栏中购买高端包

电商B数字解读
出于对个性化推荐的信任，购买中低端包顾客更倾向于从个性化推荐栏中购买高端包

电商B数字解读
电商B以前的商品平均价格在150元左右，2月份运营团队决定小规模尝试销售价格接近1000元的高端包。如何才能更有效、更自然地让用户接受高端包？
解读：
使用推荐栏的用户中购买高端包的比例相对全站用户中购买高端包的比例更大
浏览或者购买低端包的用户，更加倾向于从推荐栏中购买高端，说明推荐栏更加让用户信赖
猜测：倾向于使用推荐栏的用户，更加容易成为高端客户？如果这个结论正确，那么这个结论可以指导我们日后对电商B客户进行差异化营销

电商B数字解读
平均客单价的增长：体现个性化推荐引擎对收入的带动
平均购买商品种类数的增长：体现了个性化推荐引擎对销售多样性的带动。更深一步，体现了我们越来越能够更好地满足客户的多样化需求，或者帮助客户发掘自己隐藏的多样化需求。该数字越高，说明电商网站越人性，用户体验越好。这是互联网长尾的本质映射到的电子商务这个特定领域的体现（实体店在这方面很难做好）

个性化您的电子商务！
谢谢！
百分点科技
www.baifendian.com

下一代推荐引擎的关键技术及应用案例

by gettyying on Jul 14, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

Statistics

下一代推荐引擎的关键技术及应用案例 — Presentation Transcript