Download to read offline
![Обратный
индекс
Word
Offset
Word
Offset
…
…
Word
Offset
N
DocID
Zone
DocID
Zone
…
DocID
Zone
Meta[0]
Meta[1]
…
Meta[255]](https://image.slidesharecdn.com/dumpkalugin-150326001632-conversion-gate01/85/DUMP-2015-Mail-Ru-Mail-ru-38-320.jpg)
![Поиск
в
облаке
• email|w[WORD][DOCID]
:
z1,z2,z3
• email|t[TZ]
:
text
• email|d
:
docid,docid,…](https://image.slidesharecdn.com/dumpkalugin-150326001632-conversion-gate01/85/DUMP-2015-Mail-Ru-Mail-ru-87-320.jpg)
Uploaded byit-people
DUMP-2015: «Полнотекстовый поиск по почте Mail.Ru» Дмитрий Калугин-Балашов, Mail.ru, Москва
Документ затрагивает темы, связанные с полнотекстовым поиском и токенизацией в контексте почтового сервиса Mail.ru. Основное внимание уделяется аспектам индексирования и поисковым алгоритмам, таким как бинарный и линейный поиск. Также обсуждаются структуры данных, включая обратный индекс и бинарный лог.
DUMP-2015: «Полнотекстовый поиск по почте Mail.Ru» Дмитрий Калугин-Балашов, Mail.ru, Москва
- 1. Полнотекстовый поиск по почте Mail.Ru Дмитрий Калугин-‐Балашов
- 2.
- 3.
- 4.
- 5. Поисковый демон Перлячка Браузер
- 6. Поисковый демон Перлячка Браузер
- 7. Почтовый демон Поисковый демон Перлячка Браузер
- 8. Почтовый демон Поисковый демон Перлячка Браузер
- 9. Почтовый демон Поисковый демон Перлячка Браузер
- 10.
- 11. Обратный индекс Word Word … Word
- 12. Обратный индекс Word Word … Word
- 13. Обратный индекс Word Word … Word Word
- 14. Обратный индекс Word Word … Word Word FirstForms
- 15. Обратный индекс Word Word … Word Word FirstForms ToUpper
- 16. Обратный индекс Word Word … Word Word FirstForms ToUpper CRC32
- 17. Обратный индекс Word Word … Word Word FirstForms ToUpper CRC32
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24. Токенизация d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru
- 25. Токенизация d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru d.kalugin-‐balashov@corp.mail.ru
- 26.
- 27.
- 28.
- 29.
- 30.
- 31. Обратный индекс Word Word … Word
- 32. Обратный индекс Word Offset Word Offset … … Word Offset
- 33. Обратный индекс Word Offset Word Offset … … Word Offset NULL NULL
- 34. Обратный индекс Word Offset Word Offset … … Word Offset NULL NULL
- 35. Обратный индекс Word Offset Word Offset … … Word Offset NULL NULL N
- 36. Обратный индекс Word Offset Word Offset … … Word Offset NULL NULL N DocID DocID … DocID
- 37. Обратный индекс Word Offset Word Offset … … Word Offset NULL NULL N DocID Zone DocID Zone … DocID Zone
- 38. Обратный индекс Word Offset Word Offset … … Word Offset N DocID Zone DocID Zone … DocID Zone Meta[0] Meta[1] … Meta[255]
- 39.
- 40. Бинарный лог Transacson Transacson Transacson … Transacson
- 41. Бинарный лог Transacson Transacson Transacson … Transacson Header Body
- 42. Бинарный лог Transacson Transacson Transacson … Transacson Header Body DocID Length CRC32
- 43. Бинарный лог Transacson Transacson Transacson … Transacson Header Body DocID Length CRC32 Command Command Command … Command
- 44. Бинарный лог Transacson Transacson Transacson … Transacson Header Body DocID Length CRC32 Command Command Command … Command CMD_WORDS CMD_WORDS2
- 45.
- 46. Поиск Двоичный поиск по обратному индексу
- 47. Поиск Двоичный поиск по обратному индексу Линейный поиск по бинарному логу
- 48. Поиск Двоичный поиск по обратному индексу Линейный поиск по бинарному логу U
- 49. Поиск Двоичный поиск по обратному индексу Линейный поиск по бинарному логу U
- 50. Поиск Двоичный поиск по обратному индексу Линейный поиск по бинарному логу U 20 Mb, 400 ms
- 51.
- 52.
- 53.
- 54. Компактификация qsort() qsort() qsort() qsort() qsort()
- 55. Компактификация qsort() qsort() qsort() qsort() qsort()
- 56. Компактификация qsort() qsort() qsort() qsort() qsort() merge
- 57.
- 58. Числовые зоны DocID Offset DocID Offset … … DocID Offset NULL NULL
- 59. Числовые зоны DocID Offset DocID Offset … … DocID Offset NULL NULL N NZ NZ … NZ
- 60.
- 61. Числовые зоны Filter Filter Filter 10000
- 62. Числовые зоны Filter Filter Filter 10000 2000
- 63. Числовые зоны Filter Filter Filter 10000 2000 500
- 64. Числовые зоны Filter Filter Filter 10000 2000 500 150
- 65. Числовые зоны Filter Filter Filter Ranker 10000 2000 500 150
- 66. Числовые зоны Filter Filter Filter Ranker 10000 2000 500 150 150
- 67. Числовые зоны Filter Filter Filter Ranker Limiter 10000 2000 500 150 150
- 68. Числовые зоны Filter Filter Filter Ranker Limiter 10000 2000 500 150 150 25
- 69.
- 70.
- 71. Текстовые зоны I G Length Text
- 72. Текстовые зоны I G Length Text iconv: cp1251/uƒ8
- 73. Текстовые зоны I G Length Text iconv: cp1251/uƒ8 gzip: yes/no
- 74. Текстовые зоны DocID Offset DocID Offset … … DocID Offset NULL NULL N NZ NZ … NZ
- 75. Текстовые зоны DocID Offset DocID Offset … … DocID Offset NULL NULL N NZ NZ … NZ N TZ TZ
- 76.
- 77. Индекс саджестов Prefix Prefix … Prefix NULL
- 78. Индекс саджестов Prefix Count Prefix Count … … Prefix Count NULL NULL
- 79. Индекс саджестов Prefix Count Offset Prefix Count Offset = NULL … … … Prefix Count Offset NULL NULL NULL
- 80. Индекс саджестов Prefix Count Offset Prefix Count Offset = NULL … … … Prefix Count Offset NULL NULL NULL
- 81. Индекс саджестов Prefix Count Offset Prefix Count Offset = NULL … … … Prefix Count Offset NULL NULL NULL N
- 82. Индекс саджестов Prefix Count Offset Prefix Count Offset = NULL … … … Prefix Count Offset NULL NULL NULL N Posƒix … Posƒix
- 83. Индекс саджестов Prefix Count Offset Prefix Count Offset = NULL … … … Prefix Count Offset NULL NULL NULL N Length Posƒix … Length Posƒix
- 84. Индекс саджестов Prefix Count Offset Prefix Count Offset = NULL … … … Prefix Count Offset NULL NULL NULL N Length Posƒix Count … Length Posƒix Count
- 85.
- 86. Поиск в облаке • set(key, value); • get(key1, key2); • del(key1, key2);
- 87. Поиск в облаке • email|w[WORD][DOCID] : z1,z2,z3 • email|t[TZ] : text • email|d : docid,docid,…
- 88.