Downloaded 198 times
![vector space model
原理
查询语句以及每个候选由⼀一个 vector 表⽰示， vector 中的每个值是 term 的 weight 值
计算每个候选 vector 与 查询 vector 的 cosine 值，得分⾼高者排名⾼高
举例：
查询是: 暴⾛走|⼤大|事件 q = [0.8, 0.1, 0.6]
有两个候选:
doc1:暴⾛走|漫画 v1 = [0.82, 0, 0]
doc2:暴⾛走|事件 v2 = [0.82, 0, 0.63]
计算 cosine:
cos(q, v1) < cos(q, v2)
结论
doc2 排名⾼高
10](https://image.slidesharecdn.com/01-150416035537-conversion-gate01/85/0-1-10-320.jpg)
Uploaded byMichael Ding
暴走漫画数据挖掘从0到1
本文件介绍了暴走走漫画的数据挖掘与搜索服务建设的过程，包括搜索服务的基本流程、核心问题和推荐服务的方法。文中详细讨论了倒排索引、tf-idf、BM25等算法，并提出了协同过滤和内容推荐等策略。最后，提出未来的挑战以及技术实现的方向。
![[系列活動] 手把手教你R語言資料分析實務](https://cdn.slidesharecdn.com/ss_thumbnails/stepbystepr20170114-170113030702-thumbnail.jpg?width=640&height=640&fit=bounds)
![[系列活動] 機器學習速遊](https://cdn.slidesharecdn.com/ss_thumbnails/mltourhandout-170310083857-thumbnail.jpg?width=640&height=640&fit=bounds)
![[系列活動] Machine Learning 機器學習課程](https://cdn.slidesharecdn.com/ss_thumbnails/ml4ds02122017-170212005829-thumbnail.jpg?width=640&height=640&fit=bounds)
暴走漫画数据挖掘从0到1
- 1.
- 2. 关于我 ⽣生物信息学 硕⼠士 《Git版本控制管理(第2版) 》第⼆二版 译者 南京 LUG 管理员 代码托管服务(集盒)创始⼈人 微搜索(TinySou) 创始⼈人 暴⾛走漫画 技术总监(数据挖掘，上海技术部) 2
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9. TF-IDF/BM25 IDF idf(t) = 1+ log ( numDocs / (docFreq + 1)) TF tf(t in d) = √frequency BM25 bm25(t in d) = tf(t in d) * (k + 1)/(tf(t in d) + k * (1-b+b*|D|/avgdl) Field-length Norm norm(d) = 1 / √numTerms Weight weight(t in d) = tf * idf * norm (using tf-idf) weight(t in d) = bm25 * if * norm (using bm25) 9
- 10. vector space model 原理 查询语句以及每个候选由⼀一个vector 表⽰示， vector 中的每个值是 term 的 weight 值 计算每个候选 vector 与 查询 vector 的 cosine 值，得分⾼高者排名⾼高 举例： 查询是: 暴⾛走|⼤大|事件 q = [0.8, 0.1, 0.6] 有两个候选: doc1:暴⾛走|漫画 v1 = [0.82, 0, 0] doc2:暴⾛走|事件 v2 = [0.82, 0, 0.63] 计算 cosine: cos(q, v1) < cos(q, v2) 结论 doc2 排名⾼高 10
- 11.
- 12. ⼯工程实现 基于 Elasticsearch 做索引 设计索引结构(分词，相似策略，norm策略) 排序结果⼲干预 基于 Elasticsearch 做排序(⽂文本相关性 + boost) 跟踪⽤用户点击⾏行为，利⽤用机器学习调整隐藏因素 12
- 13.
- 14. 主要的推荐⽅方法 Content-Based 你在看⾔言情⼩小说1，可能也会看⾔言情⼩小说2 Item-Hierarchy 你买了打印机，所以你可能也要买墨盒 Collaborative Filtering -Item-based 《蝙蝠侠》和《变形⾦金刚》受众很相似，你看了《蝙蝠侠》，可能也会看《变形⾦金 刚》 Collaborative Filtering - User-based 你和XXX的观影⼜⼝口味很像，XXX最近看了“暴⾛走⼤大事件”，你可能也会看 Graph based 你的不少微信好友都买喜欢王尼玛，你可能也会喜欢王尼玛 Model based 说不清楚的机器学习，告诉我正负样本，我会越来越了解你14
- 15. ⼀一般步骤 定义问题，选择推荐⽅方法(组合) 推荐帖⼦子，结合 content-based 和collaborative filtering 相似度计算 cosine similarity 相似矩阵 预测 给定⼀一个⽤用户，预测他对帖⼦子的兴趣 找出预测出的兴趣最⾼高的帖⼦子，倒序返回 15
- 16. 协同过滤(item-based) 16 user 0 user1 user 2 user 3 user 4 article 0 1 1 article 1 1 2 2 article 2 1 1 article 3 1 1 2 article 4 2 1
- 17.
- 18.
- 19.
- 20.
- 21.