Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Архитектура поиска в Avito / Андрей Смирнов (Avito)

1,251 views

Published on

Из доклада вы узнаете о том, как в Avito используется Sphinx search, почему было выбрано это решение, какие подводные камни встретились на пути, и как их преодолеть.

Андрей поделится практическим опытом настройки и оптимизации Sphinx search, который позволяет добиться стабильной работы кластера и высокой скорости индексации и поиска. В Avito Sphinx индексирует 35 млн. объявлений каждые 7 минут!

Published in: Engineering
  • Be the first to comment

Архитектура поиска в Avito / Андрей Смирнов (Avito)

  1. 1. Архитектура поиска в Avito Андрей Смирнов
  2. 2. Группы поисковых сервисов в Avito ● Основной поиск. ● Avito Контекст ● Backoffice. (800 млн объявлений) ● Небольшие сервисы. (fias, подсказки, ошибки, geo) ● Технические логи. kibana
  3. 3. ● 30 млн. объявлений ● 150 млн. запросов в день ● В пик 17000 запросов в секунду ● 14 Гб индексов Основной поиск
  4. 4. ● Быстрое отображение платного контента. ● Быстрый антифрод. ● Время вывода сервиса в бой. Частое обновление индексов. Зачем?
  5. 5. ● Своя база данных. Логическая репликация. Останавливаем запись на время индексации. View таблицы. ● Параллельная индексация. Сортируем категории по убыванию времени индексации. Ускоряем индексацию.
  6. 6. Время индексации категорийseconds
  7. 7. Время индексации категорий, после «разрезания». seconds
  8. 8. ● Rsync – надежный, простой. ● Torrent base – быстро, надежно, забивает сеть. ● UFTP Нет гарантии доставки. * Обязательно настраивать коммутатор. * Эксперименты с настройками. Ускоряем деплой
  9. 9. Этап индексации и деплоя
  10. 10. Этап проверки и ротации
  11. 11. Оптимизация поиска ● Мониторинг. ● Поиск аномалий. ● Анализ медленных запросов ● Подмешивание атрибутов в поиск
  12. 12. Эффект от размазывания кэша. 200ms 200ms 100ms 100ms
  13. 13. ● Исправление ошибок. ● Подмешиваем характеристики. ● Сленг. Помогаем продавцам
  14. 14. комбинезон 71 компьютер 61 запчасть 54 hakkapelliita 34 mitsubishi 28 комплект 28 hyundai 27
  15. 15. камбенезон камбинезон камбинизон кимбинезон кобинезон кобминезон комбенезон комбензон комбиезон комбиензон комбимнезон комбинедзон комбинезан комбинезин комбинензон комбинзон комбинизон комбинозон комбиньзон комбмнезон комбнезон комбтнезон комибинезон коминезон коммбинезон комьинезон конбенезон конбинезон конбинизон
  16. 16. ● Раскладка клавиатуры ● Опечатки ● Подскажки при вводе ● Лишние слова Помогаем покупателям.
  17. 17. meetup Sphinxsearch 18 июня в офисе Avito bit.ly/sphinxmeetup

×