Course review for ir class 本科课件
•
1 like•220 views
Course Review for IR Class (IR class for undergraduates )
Recommended
More Related Content
Similar to Course review for ir class 本科课件
Similar to Course review for ir class 本科课件 (12)
More from Yueshen Xu
More from Yueshen Xu (20)
Course review for ir class 本科课件
- 1. §7 Web搜索引擎 课程总结与复习 (Course Review) 徐悦甡(Yueshen Xu) ysxu@xidian.edu.cn / xuyueshen@163.com 知识与数据工程研究中心 本科：Web信息搜索
- 2. 软件工程系2017/6/9 本节提纲 课程总结与复习 Web信息搜索概述 GFS + MapReduce + BigTable 全文检索 + 网页排序 多媒体检索 文本聚类 文本分类 推荐系统 语义网 知识图谱 复习、重述 重要知识点
- 4. 软件工程系2017/6/9 信息检索概述 4 信息检索 != 搜索引擎 != Web检索 一部分信息检索不需要涉及Web访问
- 6. 软件工程系2017/6/9 术语总结 Web搜索 WWW(World Wide Web)为典型代表的网络上检索、过滤和推荐信 息的的方法与技术 检索 由用户提出查询请求，系统根据此查询请求对所存储信息进行查询 并给出查询结果 过滤(聚类/分类) 系统根据预先设定的条件，对与该条件相符的信息进行提取、隔离 或封堵 推荐 系统将用户需要的重要信息从大量的一般信息中提取出来，并主动 推荐给用户 6
- 10. 软件工程系2017/6/9 分布式计算平台 MapReduce 10 split0 map sort reduce part0 merge split0 map sort split0 map sort reduce part1 merge Map Reduce
- 14. 软件工程系2017/6/9 全文检索 14 Term: 清华大学 倒排 索引 doc1 doc2 doc3 … docN Doc list A … … … … Doc list B …… 归并 候选 集 Term: 邮编 倒排 索引 倒排索引
- 17. 软件工程系2017/6/9 网页排序 17 Page A 1.490 Page C 1.577 Page B 0.783 Page D 0.15 PageRank
- 18. 软件工程系2017/6/9 网页排序 HITS算法 Hyperlink-Induced Topic Search 对每一个页面应该将其内容权威度（Authority)和链接权威度 （Hub）分开考虑，在对网页内容权威度做出评价的基础上 再对页面链接权威度进行评价，然后给出该页面的综合评价 链接权威度（Hub） ➢ 页面上所有导出链接指向页面的内容权威值之和。 内容权威度（authority） ➢ 所有导入链接所在页面的链接权威度之和 18
- 19. 软件工程系2017/6/9 网页排序 HITS算法 对于一个给定的查询，每个页面都被赋予了一个特定的链接 权威度（hub）和内容权威度（authority） 结果就是高权威度的页面 基本假设 ➢ 1. 一个好的“Authority”页面会被很多好的“Hub”页面指向； ➢ 2. 一个好的“Hub”页面会指向很多好的“Authority”页面 19
- 20. 软件工程系2017/6/9 多媒体检索 基于文本的图像检索 Text-based Image Retrieval 基于标签的图像检索 Tag-based Image Retrieval 基于内容的图像检索 Content-based Image Retrieval 20
- 21. 软件工程系2017/6/9 文本聚类、文本分类与推荐 21 机器学习 （数据有无 label） 有监督学习 分类（离散）；回归（连续）等 半监督学习 部分数据有label 无监督学习 聚类、话题建模等 iijjij idftfDdtidftf ),,( ) |}:{|1 log( dtDd N idf i i TF-IDF
- 22. 软件工程系2017/6/9 文本聚类 22 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 K=2；任意选择 K个对象作为初 始聚类中心 将每个 对象赋 给最相 似的中 心 更新簇 的平均 值 更新簇 的平均 值 重新划分 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 重新划分 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 K-Means
- 26. 软件工程系2017/6/9 推荐系统 26 推荐系统 推荐系统中包含的要素 核心三个 人/用户 物/商品 反馈/评价 关联 内容 上下文/情境：时间，地点，情绪等 非核心三个
- 28. 软件工程系2017/6/9 推荐系统 基于内容的推荐方法 用户内容 物品内容 基于标签的推荐方法 标签来源 基于图的推荐方法 基于网络的推荐方法 网络的类型 基于图的推荐方法 28
- 30. 软件工程系2017/6/9 语义网 语义网（Semantic Web） 语义网提出的背景 语义网概念与体系结构 XML与RDF格式 ➢ 标记语言 ➢ 可扩展标记语言（XML） 本体 语义网应用 30