搜索引擎原理

1. 搜索引擎
申艳超

2. 大纲
一 什么是搜索引擎
二 搜索运行基本原理
三 影响搜索效果的主要因素

3. 一 什么是搜索引擎

4. 搜索引擎基本构成
搜索
收集
数据
文件
DB
web
人工录
入
索引文档
索引
文件
Query UI展现

5. Google

6. 二 搜索运行基本原理

7. 空间换时间

8. 广义上的索引

9. 倒排索引
DocID 内容
1 谷歌地图之父跳槽Facebook
2 谷歌地图之父加盟Facebook
3 谷歌地图创始人拉斯离开谷歌加盟Facebook
4 谷歌地图之父跳槽Facebook与Wave项目取消有关
5 谷歌地图之父拉斯加盟社交网站Facebook
单词ID 单词 文档频率DF 倒排列表 PostingList (DocID;TF;<POS>)
1 谷歌 5 (1;1;<1>),(2;1;<1>),(3;2;<1;6>),(4;1;<1>),(5;1;<1>)
2 地图 5 (1;1;<2>),(2;1;<2>),(3;1;<2>),(4;1;<2>),(5;1;<2>)
3 之父 4 (1;1;<3>),(2;1;<3>),(4;1;<3>),(5;1;<3>)
4 跳槽 2 (1;1;<4>),(4;1;<4>)
5 Facebook 5 (1;1;<5>),(2;1;<5>),(3;1;<8>),(4;1;<5>),(5;1;<8>)
6 加盟 3 (2;1;<4>),(3;1;<7>),(5;1;<5>)
7 创始人 1 (3;1;<3>)
8 拉斯 2 (3;1;<4>),(5;1;<4>)
9 离开 1 (3;1;<5>)
10 与 1 (4;1;<6>)

10. 单词词典
0
1
2
3
4
5
6
7
8
9
10
11
…
23489
word1 word2 word3
word4 word5
word6 word7 word8
word9
word10 word11 word12
Posting
list
……
……
……
……
……
……
……
……
……
……

11. 搜索布尔模型
word1 DF
word2 DF
51
96
9917
50
49 61 75 96
494818 20115
word1 AND word2: 5, 49, 96
word1 OR word2: 1, 5, 11, 17, 18, 20, 48, 49, 50, 61, 75, 96, 99

12. lucene索引格式
field
word
Term

13. lucene实现
010001000101000100010000…….11000000001001
001001000010000100010010…….10000110000001

14. 搜索的世界: 字符串

15. 数字范围查询
123,123456,222
000123, 000222, 123456
Too Many
Clause Error

16. 数字转换与搜索

17. 空间搜索

18. 空间搜索-GeoHash

19. 三 影响搜索效果的主要因素

20. 评分机制

21. 中文分词
中外科学名著
结婚的和尚未结婚的
我知道你不知道我知道你不知道我知道你不知道
新词: 三聚氰胺、给力、喜大普奔…
专有名词: 小区名、公司名、姓名

22. Lucene分词
charFilters
Tokenizer
Filters
按char过滤或转换
切分成多个token
按token过滤或转换

23. 同义词搜索

24. 拼音搜索

25. 回顾
搜索引擎基本构成
高效搜索的内部运行机制 - 索引
数字、地理位置巧妙的转换方案
影响搜索效果的因素- 评分、分词、同义词、拼音

26. 参考
http://lucene.apache.org/
https://book.douban.com/subject/7006719/
https://en.wikipedia.org/wiki/Well-known_text
http://dataknocker.github.io/2014/04/11/solr%E7%A9%BA%E9%97%B4%E7%B4%A2
%E5%BC%95%E5%8E%9F%E7%90%86%E5%8F%8A%E6%BA%90%E7%A0%81%E5%8
8%86%E6%9E%90/
https://www.elastic.co/blog/frame-of-reference-and-roaring-bitmaps
http://geohash.gofreerange.com/
http://www.cnblogs.com/yjf512/p/4860134.html

27. Thanks!