Backend: Полнотекстовый поиск в Почте Mail.Ru

Полнотекстовый поиск в Почте
Mail.ru
Дмитрий Калугин-Балашов, Руководитель группы разработки

Общая схема
Поисковый демон
Почтовый демон
Перлячка Браузер

Токенизация
d.kalugin-balashov@corp.mail.ru

/var/mail/vdomains/mail.ru/…

Snapshot (Обратный индекс)
Word Offset
Word Offset
… …
Word Offset
NULL NULL
N DocID Zone DocID Zone … DocID Zone

Snapshot (Обратный индекс)
Word Offset
Word Offset
… …
Word Offset
NULL NULL
N DocID Zone DocID Zone … DocID Zone
Meta0 Meta1 … Meta255

XLog (Бинарный лог)
Transaction Transaction … Transaction
Header Command Command … Command
CMD_WORDS

Объединение результатов
Бинарный поиск по Snapshot Последовательный поиск по XLog
“U”
Merge, 20 Mb, 400 ms

Компактификация

qsort qsort qsort qsort

qsort qsort qsort qsort
Snapshot

Числовые зоны
DocID Offset
DocID Offset
… …
DocID Offset
NULL NULL
N NZ NZ … NZ

Фильтры
Date Folder IsRead
100000 10000 1000 100

Ранжирование
qsort()?

Текстовые зоны
Length TZ

32 TZ

1|1|30 TZ

DocID Offset
DocID Offset
… …
DocID Offset
NULL NULL
N NZ NZ … NZ

Спасибо за внимание!
rvncerr@rvncerr.org, d.kalugin-balashov@corp.mail.ru

Recommended