Документ описывает архитектуру поисковых сервисов Avito, включая основные функции поиска, обработку больших объемов данных и оптимизацию индексации. Указывается на высокую нагрузку на систему с 150 миллионов запросов в день и методы ускорения поиска, такие как мониторинг и исправление ошибок. Также упоминаются особенности обработки запросов и улучшения пользовательского опыта через подмещение характеристик и помощь пользователям в поиске.

1. Архитектура поиска в Avito
Андрей Смирнов

5. Группы поисковых сервисов в Avito
● Основной поиск.
● Avito Контекст
● Backoffice.
(800 млн объявлений)
● Небольшие сервисы.
(fias, подсказки, ошибки, geo)
● Технические логи. kibana

6. ● 30 млн. объявлений
● 150 млн. запросов в день
● В пик 17000 запросов в секунду
● 14 Гб индексов
Основной поиск

11. ● Быстрое отображение платного контента.
● Быстрый антифрод.
● Время вывода сервиса в бой.
Частое обновление индексов.
Зачем?

12. ● Своя база данных.
Логическая репликация.
Останавливаем запись на время индексации.
View таблицы.
● Параллельная индексация.
Сортируем категории по убыванию времени
индексации.
Ускоряем индексацию.

13. Время индексации категорийseconds

14. Время индексации категорий, после «разрезания».
seconds

18. ● Rsync – надежный, простой.
● Torrent base – быстро, надежно, забивает сеть.
● UFTP
Нет гарантии доставки.
* Обязательно настраивать коммутатор.
* Эксперименты с настройками.
Ускоряем деплой

19. Этап индексации и деплоя

20. Этап проверки и ротации

21. Оптимизация поиска
● Мониторинг.
● Поиск аномалий.
● Анализ медленных запросов
● Подмешивание атрибутов в поиск

22. Эффект от размазывания кэша.
200ms
200ms
100ms
100ms

23. ● Исправление ошибок.
● Подмешиваем характеристики.
● Сленг.
Помогаем продавцам

24. комбинезон 71
компьютер 61
запчасть 54
hakkapelliita 34
mitsubishi 28
комплект 28
hyundai 27

25. камбенезон камбинезон камбинизон кимбинезон
кобинезон кобминезон комбенезон комбензон
комбиезон комбиензон комбимнезон комбинедзон
комбинезан комбинезин комбинензон комбинзон
комбинизон комбинозон комбиньзон комбмнезон
комбнезон комбтнезон комибинезон коминезон
коммбинезон комьинезон конбенезон конбинезон
конбинизон

27. ● Раскладка клавиатуры
● Опечатки
● Подскажки при вводе
● Лишние слова
Помогаем покупателям.

28. meetup Sphinxsearch
18 июня в офисе Avito
bit.ly/sphinxmeetup