Полнотекстовый поиск в Почте
3
`                  Query/AnswerПоисковый демон        Data                                 Front-end (Web-сервер)Почтовый ...
d.kalugin-balashov@corp.mail.ru
d.kalugin-balashov@corp.mail.ru
d.kalugin-balashov@corp.mail.ru
d.kalugin-balashov@corp.mail.ru
d.kalugin-balashov@corp.mail.ru
d.kalugin-balashov@corp.mail.ru   d.kalugin-balashov@corp.mail.rud.kalugin-balashov@corp.mail.ru   d.kalugin-balashov@corp...
Аномалия №1/var/mail/folder1/folder2/folder3/folder4/folder5/mail.ru/usernamehttps://e.mail.ru/cgi-bin/msglist#gosearch?q_...
Аномалия №1
Аномалия №1/var/mail/folder1/folder2/folder3/folder4/folder5/mail.ru/usernamehttps://e.mail.ru/cgi-bin/msglist#gosearch?q_...
Аномалия №1/var/mail/folder1/folder2/folder3/folder4/folder5/mail.ru/usernamehttps://e.mail.ru/cgi-bin/msglist#gosearch?q_...
Аномалия №1/var/mail/folder1/folder2/folder3/folder4/folder5/mail.ru/usernamehttps://e.mail.ru/cgi-bin/msglist#gosearch?q_...
Аномалия №1/var/mail/folder1/folder2/folder3/folder4/folder5/mail.ru/usernamehttps://e.mail.ru/cgi-bin/msglist#gosearch?q_...
Обратный индекс
Обратный индексWord {DocID, DocID, DocID}
SnapshotСловарь
SnapshotWord   OffsetWord   Offset…Word   Offset0      0        Признак конца словаря
SnapshotСловарь
Snapshot      Word              Offset      Word              Offset      …      Word              Offset      0          ...
Аномалия №2  Словарь (1M)
Аномалия №2  Словарь (100M)
Аномалия №2
Аномалия №2  Мета-словарь (256*4)  Словарь (100M)
Аномалия №2Word   Offset                                N0Word   Offset                                N1…                ...
XLogTransaction        Transaction     Transaction    …            TransactionDocID         Length       CRC32     Command...
XLogDocID {Word, Word, Word}
Бинарный поиск                 Линейный поиск                     `    Snapshot                         XLog              ...
NZData      DocID             Offset      DocID             Offset      …      DocID             Offset      0            ...
Не удалосьЧтение из почтового демона                                    Чтение из NZData
10000                    1000            250            100            100               25            Filter             ...
NZData      DocID             Offset                                       `      DocID             Offset      …      Doc...
Length   Text                                          TZData                      `                                 gzsee...
Query                                          Filter 1                                                            Filter ...
Prefix          Count                     OffsetPrefix          Count                     NULLPrefix          Count       ...
Вопросы?
Дмитрий Калугин-Балашов  программис т, Почта Mail.Ru  d.kalugin-balashov@corp.mail.ru        r vncerr@r vncerr.org
Kalugin balashov
Kalugin balashov
Kalugin balashov
Upcoming SlideShare
Loading in …5
×

Kalugin balashov

624 views

Published on

  • Be the first to comment

  • Be the first to like this

Kalugin balashov

  1. 1. Полнотекстовый поиск в Почте
  2. 2. 3
  3. 3. ` Query/AnswerПоисковый демон Data Front-end (Web-сервер)Почтовый демон (хранилище)
  4. 4. d.kalugin-balashov@corp.mail.ru
  5. 5. d.kalugin-balashov@corp.mail.ru
  6. 6. d.kalugin-balashov@corp.mail.ru
  7. 7. d.kalugin-balashov@corp.mail.ru
  8. 8. d.kalugin-balashov@corp.mail.ru
  9. 9. d.kalugin-balashov@corp.mail.ru d.kalugin-balashov@corp.mail.rud.kalugin-balashov@corp.mail.ru d.kalugin-balashov@corp.mail.rud.kalugin-balashov@corp.mail.ru d.kalugin-balashov@corp.mail.rud.kalugin-balashov@corp.mail.ru d.kalugin-balashov@corp.mail.rud.kalugin-balashov@corp.mail.ru d.kalugin-balashov@corp.mail.rud.kalugin-balashov@corp.mail.ru d.kalugin-balashov@corp.mail.rud.kalugin-balashov@corp.mail.ru d.kalugin-balashov@corp.mail.rud.kalugin-balashov@corp.mail.ru d.kalugin-balashov@corp.mail.rud.kalugin-balashov@corp.mail.ru d.kalugin-balashov@corp.mail.rud.kalugin-balashov@corp.mail.ru d.kalugin-balashov@corp.mail.rud.kalugin-balashov@corp.mail.ru
  10. 10. Аномалия №1/var/mail/folder1/folder2/folder3/folder4/folder5/mail.ru/usernamehttps://e.mail.ru/cgi-bin/msglist#gosearch?q_read=2&q_folder=all
  11. 11. Аномалия №1
  12. 12. Аномалия №1/var/mail/folder1/folder2/folder3/folder4/folder5/mail.ru/usernamehttps://e.mail.ru/cgi-bin/msglist#gosearch?q_read=2&q_folder=all
  13. 13. Аномалия №1/var/mail/folder1/folder2/folder3/folder4/folder5/mail.ru/usernamehttps://e.mail.ru/cgi-bin/msglist#gosearch?q_read=2&q_folder=all
  14. 14. Аномалия №1/var/mail/folder1/folder2/folder3/folder4/folder5/mail.ru/usernamehttps://e.mail.ru/cgi-bin/msglist#gosearch?q_read=2&q_folder=all
  15. 15. Аномалия №1/var/mail/folder1/folder2/folder3/folder4/folder5/mail.ru/usernamehttps://e.mail.ru/cgi-bin/msglist#gosearch?q_read=2&q_folder=all
  16. 16. Обратный индекс
  17. 17. Обратный индексWord {DocID, DocID, DocID}
  18. 18. SnapshotСловарь
  19. 19. SnapshotWord OffsetWord Offset…Word Offset0 0 Признак конца словаря
  20. 20. SnapshotСловарь
  21. 21. Snapshot Word Offset Word Offset … Word Offset 0 0Признак конца словаря Count DocID DocID … DocID
  22. 22. Аномалия №2 Словарь (1M)
  23. 23. Аномалия №2 Словарь (100M)
  24. 24. Аномалия №2
  25. 25. Аномалия №2 Мета-словарь (256*4) Словарь (100M)
  26. 26. Аномалия №2Word Offset N0Word Offset N1… …Word Offset N2550 0 Count DocID DocID … DocID
  27. 27. XLogTransaction Transaction Transaction … TransactionDocID Length CRC32 Command Command … Command
  28. 28. XLogDocID {Word, Word, Word}
  29. 29. Бинарный поиск Линейный поиск ` Snapshot XLog >20M, Merge “U”
  30. 30. NZData DocID Offset DocID Offset … DocID Offset 0 0Признак конца словаря Count NZ NZ … NZ
  31. 31. Не удалосьЧтение из почтового демона Чтение из NZData
  32. 32. 10000 1000 250 100 100 25 Filter Filter Filter Ranker Limit SQL LIMIT Date (Range) QSort (Date) IsRead Flagged
  33. 33. NZData DocID Offset ` DocID Offset … DocID Offset TZData 0 0Признак конца словаря Count NZ NZ … NZ Count TZ …
  34. 34. Length Text TZData ` gzseek GZipLength Text GZip lseekLength Text
  35. 35. Query Filter 1 Filter 2 B-Search Search (XLog)(Snapshot) Filter N U Ranker Limit Чтение числовых зон (почтовый Чтение из TZData демон) Чтение из NZData «Подсветка» слов XML-Ответ
  36. 36. Prefix Count OffsetPrefix Count NULLPrefix Count Offset…0 0 0 N Length Postfix Count … Length Postfix Count M=6 M=6 M=2
  37. 37. Вопросы?
  38. 38. Дмитрий Калугин-Балашов программис т, Почта Mail.Ru d.kalugin-balashov@corp.mail.ru r vncerr@r vncerr.org

×