Download as PDF, PPTX
![Реализация схемы TSV pipe + дельта
индексация
Конфигурация
'adm_items' => [
'nodes' => 100,
'path' => '/path/to/tsv',
'chunks' => [
'pre' => [],
'small' => [],
'medium' => ['latency' => 1000, 'throttle' => 15 * 60],
'main' => ['gzip' => 1, 'latency' => 40000, 'throttle' => 61 * 60],
'archive' => ['gzip' => 1, 'throttle' => 61 * 60, 'schedule' => ['wH' => '002']], // schedule - воскресенье 2 ночи
],
]
SphinxSearch Meetup #2 @ Avito](https://image.slidesharecdn.com/backoffice-160620133652/85/Avito-10-Avito-90-320.jpg)
More Related Content
Similar to "Бэк-офис в Avito: миллиард объявлений на 10 серверах" Вячеслав Крюков (Avito)
"Бэк-офис в Avito: миллиард объявлений на 10 серверах" Вячеслав Крюков (Avito)
- 1. Бэк-офис в Avito:Бэк-офисв Avito:Бэк-офис в Avito:Бэк-офис в Avito:Бэк-офис в Avito: миллиард объявлениймиллиард объявлениймиллиард объявлениймиллиард объявлениймиллиард объявлений на 10 серверахна 10 серверахна 10 серверахна 10 серверахна 10 серверах Вячеслав КрюковВячеслав КрюковВячеслав КрюковВячеслав КрюковВячеслав Крюков SphinxSearch Meetup #2 @ AvitoSphinxSearch Meetup #2 @ AvitoSphinxSearch Meetup #2 @ AvitoSphinxSearch Meetup #2 @ AvitoSphinxSearch Meetup #2 @ Avito
- 2. Зачем нужен Backoffice? •Модерация объявлений • Управление • пользователями • магазинами • сообщениями • контекстными объявлениями • И много еще зачем • И для всего нужен поиск SphinxSearch Meetup #2 @ Avito
- 3. Основное хранилище объявлений •PostgreSQL • Данные нормализованы SphinxSearch Meetup #2 @ Avito
- 4. Что мы хотимот поиска в Backoffice? • Обрабатывать много объявленй • Высокую актуальность • Приемлемую скорость выполнения запросов • Унификацию SphinxSearch Meetup #2 @ Avito
- 5. Sql источник идельта индексация - классика жанра • Делим индекс на две части Small и Main • Запоминаем метку времени последней индексации Main • Периодически переиндексируем Small от этой метки • Пока его размер приемлем SphinxSearch Meetup #2 @ Avito
- 6. Дельта индексация Переиндексируем Small SphinxSearchMeetup #2 @ Avito Small Main
- 7. Дельта индексация Переиндексируем Small SphinxSearchMeetup #2 @ Avito Small Main
- 8. Дельта индексация Переиндексируем Small,Small уже совсем и не Small SphinxSearch Meetup #2 @ Avito Small Main
- 9. Дельта индексация Переиндексировали Main,Small стал маленьким SphinxSearch Meetup #2 @ Avito Small Main
- 10. Дельта индексация Переиндексируем Small SphinxSearchMeetup #2 @ Avito Small Main
- 11. Дельта индексация Переиндексируем Small SphinxSearchMeetup #2 @ Avito Small Main
- 12. Дельта индексация Переиндексировали Main,Small стал маленьким SphinxSearch Meetup #2 @ Avito Small Main
- 13. Дельта индексация -известные проблемы • Small быстро пухнет • И переиндексируется с каждым разом медленнее • Мы вытаскиваем повторно из базы все больше и больше данных • Падает актуальность • И надо переиндексировать Main • Возможно, слишком часто, чем хотелось бы SphinxSearch Meetup #2 @ Avito
- 14. Дельта индексация: почемучасто переиндексировать Main плохо? • Мы вытаскиваем все данные • Мы не запрещаем JOIN в запросах • А даже любим их • Переиндексировать Main это долго • Либо очень сложно SphinxSearch Meetup #2 @ Avito
- 15. Дельта индексация -пытаемся оптимизировать • Делим индекс на три части Small, Medium, Main • Храним две метки времени индексации для Medium, Main • И периодически переиндексируем Small от первой метки • А Medium от второй • Пока их размер приемлем SphinxSearch Meetup #2 @ Avito
- 16. Дельта индексация Переиндексируем SphinxSearch Meetup#2 @ Avito Small Medium Main
- 17. Дельта индексация Переиндексируем Small SphinxSearchMeetup #2 @ Avito Small Medium Main
- 18. Дельта индексация Переиндексируем Small...Small... SphinxSearchMeetup #2 @ Avito Small Medium Main
- 19. Дельта индексация Переиндексируем Small...Small...Medium SphinxSearchMeetup #2 @ Avito Small Medium Main
- 20. Дельта индексация Переиндексируем Small...Small...Medium...Small SphinxSearchMeetup #2 @ Avito Small Medium Main
- 21. Дельта индексация Переиндексируем Medium...Small...Small SphinxSearchMeetup #2 @ Avito Small Medium Main
- 22. Дельта индексация Переиндексируем Medium...Small...Small...Medium SphinxSearchMeetup #2 @ Avito Small Medium Main
- 23. Дельта индексация Переиндексируем Medium...Small...Small SphinxSearchMeetup #2 @ Avito Small Medium Main
- 24. Дельта индексация Переиндексируем Medium...Small...Small...Main...Medium...Small SphinxSearchMeetup #2 @ Avito Small Medium Main
- 25. Дельта индексация: послеоптимизации • Переиндексация Main происходит реже • Но она все равно нужна • Если не раз в сутки • Так раз в неделю • И даже если раз в месяц - это плохо • Хотим это делать в крайнем случае SphinxSearch Meetup #2 @ Avito
- 26. Всякая экзотика • Апдейтиматрибуты, а в дельте только изменения текста • RT • может упасть • Мерж индексов • быстро работает • но фейлится в самый неподходящий момент • Предложите свой вариант SphinxSearch Meetup #2 @ Avito
- 27. Pipe источник индексации •Необходима собственная реализация извлечения данных • Широкие возможности: можно объеденять данные с различных серверов БД, источников с разными форматами SphinxSearch Meetup #2 @ Avito
- 28. TSV pipe • TSV- Tab Separated Values • Работает быстрее XML Pipe • Проще обрабатывается SphinxSearch Meetup #2 @ Avito
- 29. TSV pipe +дельта индексация Как это устроено • Выделяем несколько частей-чанков • Small, Medium, Main и т.п. • Как для обычной дельта схемы • Отдельный TSV файл • соответствующий какому-либо чанку • отсортирован по убыванию id объявления SphinxSearch Meetup #2 @ Avito
- 30. TSV pipe +дельта индексация Как это устроено • Выделяем самый маленький TSV чанк - Pre • Ставим его перед остальными TSV чанками • В него генерируем данные • по времени от сохраненной метки • маленькими порциями • Сортируем по убыванию id объявления • После генерации сохраняем новую метку SphinxSearch Meetup #2 @ Avito
- 31. TSV pipe +дельта индексация Как это устроено • Осуществляем последовательный мерж TSV чанков • Мерж TSV чанков по лэтенси • indexer забирает заданные TSV файлы и строит индексы • Применяем TSV KL для удаленных объявлений • Применяем Sphinx KL для приоритета актуальности младших чанков над старшими • Большие TSV файлы жмем • Гибкие и простые блокировки SphinxSearch Meetup #2 @ Avito
- 32. TSV pipe +дельта индексация Профит • Вычитываем данные из БД только один раз • Одна метка • Манипулировать отсортированными TSV файлами просто и быстро • Можем вытаскивать данные не только из БД • А из любого др. хранилища и любом др. формате • indexer быстро обрабатывает TSV файлы • Очень полезно при смене версии Sphinx • И отсутствии обратной совместимости формата индексов SphinxSearch Meetup #2 @ Avito
- 33. Мерж TSV чанковпо лэтенси Генерим данные в Pre SphinxSearch Meetup #2 @ Avito Pre Small Main
- 34. Мерж TSV чанковпо лэтенси Сгенерили После генерации Pre сохранили новую мектку SphinxSearch Meetup #2 @ Avito Pre Small Main
- 35. Мерж TSV чанковпо лэтенси Смержили Pre в Small SphinxSearch Meetup #2 @ Avito Pre Small Main
- 36. Мерж TSV чанковпо лэтенси Генерим данные в Pre SphinxSearch Meetup #2 @ Avito Pre Small Main
- 37. Мерж TSV чанковпо лэтенси Сгенерили SphinxSearch Meetup #2 @ Avito Pre Small Main
- 38. Мерж TSV чанковпо лэтенси Смержили Pre в Small SphinxSearch Meetup #2 @ Avito Pre Small Main
- 39. Мерж TSV чанковпо лэтенси Генерим данные в Pre SphinxSearch Meetup #2 @ Avito Pre Small Main
- 40. Мерж TSV чанковпо лэтенси Сгенерили SphinxSearch Meetup #2 @ Avito Pre Small Main
- 41. Мерж TSV чанковпо лэтенси Смержили Pre в Small SphinxSearch Meetup #2 @ Avito Pre Small Main
- 42. Мерж TSV чанковпо лэтенси Генерим данные в Pre SphinxSearch Meetup #2 @ Avito Pre Small Main
- 43. Мерж TSV чанковпо лэтенси Сгенерили SphinxSearch Meetup #2 @ Avito Pre Small Main
- 44. Мерж TSV чанковпо лэтенси Смержили Pre в Small, мерж занял слишком много времени SphinxSearch Meetup #2 @ Avito Pre Small Main
- 45. Мерж TSV чанковпо лэтенси Смержили Small в Main SphinxSearch Meetup #2 @ Avito Pre Small Main
- 46. Мерж TSV чанковпо лэтенси Генерим данные в Pre SphinxSearch Meetup #2 @ Avito Pre Small Main
- 47. Мерж TSV чанковпо лэтенси Сгенерили SphinxSearch Meetup #2 @ Avito Pre Small Main
- 48. Мерж TSV чанковпо лэтенси Смержили Pre в Small SphinxSearch Meetup #2 @ Avito Pre Small Main
- 49. Мерж TSV чанковпо лэтенси Генерим данные в Pre SphinxSearch Meetup #2 @ Avito Pre Small Main
- 50. Мерж TSV чанковпо лэтенси Сгенерили SphinxSearch Meetup #2 @ Avito Pre Small Main
- 51. Мерж TSV чанковпо лэтенси Смержили Pre в Small SphinxSearch Meetup #2 @ Avito Pre Small Main
- 52. Мерж TSV чанковпо лэтенси Генерим данные в Pre SphinxSearch Meetup #2 @ Avito Pre Small Main
- 53. Мерж TSV чанковпо лэтенси Сгенерили SphinxSearch Meetup #2 @ Avito Pre Small Main
- 54. Мерж TSV чанковпо лэтенси Смержили Pre в Small SphinxSearch Meetup #2 @ Avito Pre Small Main
- 55. Мерж TSV чанковпо лэтенси Генерим данные в Pre SphinxSearch Meetup #2 @ Avito Pre Small Main
- 56. Мерж TSV чанковпо лэтенси Сгенерили SphinxSearch Meetup #2 @ Avito Pre Small Main
- 57. Мерж TSV чанковпо лэтенси Смержили Pre в Small SphinxSearch Meetup #2 @ Avito Pre Small Main
- 58. Мерж TSV чанковпо лэтенси Генерим данные в Pre SphinxSearch Meetup #2 @ Avito Pre Small Main
- 59. Мерж TSV чанковпо лэтенси Сгенерили SphinxSearch Meetup #2 @ Avito Pre Small Main
- 60. Мерж TSV чанковпо лэтенси Смержили Pre в Small, мерж занял слишком много времени SphinxSearch Meetup #2 @ Avito Pre Small Main
- 61. Мерж TSV чанковпо лэтенси Смержили Small в Main SphinxSearch Meetup #2 @ Avito Pre Small Main
- 62. Блокировки при мержеPre-Small Генерим Pre и лочим Small, что бы потом с ним смержиться SphinxSearch Meetup #2 @ Avito Pre Small Main
- 63. Блокировки при мержеPre-Small Сгенерли Pre, другая генерация Pre пока невозможна SphinxSearch Meetup #2 @ Avito Pre Small Main
- 64. Блокировки при мержеPre-Small Смержили Pre в Small SphinxSearch Meetup #2 @ Avito Pre Small Main
- 65. Блокировки при мержеPre-Small Разлочили Pre и Small, возможна следующая генерация Pre SphinxSearch Meetup #2 @ Avito Pre Small Main
- 66. Блокировки при мержепромежуточных TSV чанков Перед мержем Small в Main SphinxSearch Meetup #2 @ Avito Pre Small Main
- 67. Блокировки при мержепромежуточных TSV чанков Лочим Main, перемещаем Small в Small.tmp Залочить Main можно, если в этот момент не был залочен Small SphinxSearch Meetup #2 @ Avito Pre Small.tmp Main
- 68. Блокировки при мержепромежуточных TSV чанков Мержим Small.tmp в Main, можем мержить Pre в Small SphinxSearch Meetup #2 @ Avito Pre Small Small.tmp Main
- 69. Блокировки при мержепромежуточных TSV чанков Все еще мержим Small.tmp в Main, Small растет SphinxSearch Meetup #2 @ Avito Pre Small Small.tmp Main
- 70. Блокировки при мержепромежуточных TSV чанков Получили новый Main, Small растет SphinxSearch Meetup #2 @ Avito Pre Small Main
- 71. Перегенерация Main Надо согнатьвсе данные по цепочке TSV чанков в конец перед Main SphinxSearch Meetup #2 @ Avito Pre Small Medium Main
- 72. Перегенерация Main Согнали SphinxSearch Meetup#2 @ Avito Pre Small Medium Main
- 73. Перегенерация Main Переместили Mediumв Medium.tmp, генерируем Main.new SphinxSearch Meetup #2 @ Avito Pre Small Main Medium.tmp Main.new
- 74. Перегенерация Main Генерируем Main.new,растет Small SphinxSearch Meetup #2 @ Avito Pre Small Main Medium.tmp Main.new
- 75. Перегенерация Main Генерируем Main.new,растет Small и готов к мержу в Medium SphinxSearch Meetup #2 @ Avito Pre Small Main Medium.tmp Main.new
- 76. Перегенерация Main Генерируем Main.new,смержили Small в Medium SphinxSearch Meetup #2 @ Avito Pre Small Medium Main Medium.tmp Main.new
- 77. Перегенерация Main Генерируем Main.new,опять растет Small SphinxSearch Meetup #2 @ Avito Pre Small Medium Main Medium.tmp Main.new
- 78. Перегенерация Main Генерируем Main.new,опять смержили Small в Medium SphinxSearch Meetup #2 @ Avito Pre Small Medium Main Medium.tmp Main.new
- 79. Перегенерация Main Генерируем Main.new,растет Small SphinxSearch Meetup #2 @ Avito Pre Small Medium Main Medium.tmp Main.new
- 80. Перегенерация Main Main.new сгенерился,опять смержили Small в Medium SphinxSearch Meetup #2 @ Avito Pre Small Medium Main Medium.tmp Main.new
- 81. Перегенерация Main Main.new переместилив Main, Medium.tmp удалили После перегенерации Main сохранили новую мектку SphinxSearch Meetup #2 @ Avito Pre Small Medium Main
- 82. Перегенерация Main Особый, тяжелыйслучай • Останавливаем реплику • Вычитываем через Seq Scan все данные для Main • Нарезаем TSV файлы по нодам • Сохраняем новую метку SphinxSearch Meetup #2 @ Avito
- 83. Реализация схемы TSVpipe + дельта индексация • Около 3000 строк PHP • Генератор данных - TSVGeneratorBase • AdmItems • ProItems • AdmAds • ... • Всего 9 генераторов и 70% кода SphinxSearch Meetup #2 @ Avito
- 84. Реализация схемы TSVpipe + дельта индексация • Управление вводом/выводом - TSVResource • Обычные TSV файлы • .gz • создание TSV файла c одной строкой SphinxSearch Meetup #2 @ Avito
- 85. Реализация схемы TSVpipe + дельта индексация • Мержер файлов - PHPMerger • Мерж предсортированных TSV файлов • Мерж с TSV KL SphinxSearch Meetup #2 @ Avito
- 86. Реализация схемы TSVpipe + дельта индексация Выделение TSV чанка в отдельную сущность SphinxSearch Meetup #2 @ Avito TSVChunkFirst TSVChunkMedium TSVChunkMedium TSVChunkLast
- 87. Реализация схемы TSVpipe + дельта индексация Выделение TSV чанка в отдельную сущность • Первый чанк - TSVChunkFirst • process • processRange • processFull • generate • reset SphinxSearch Meetup #2 @ Avito
- 88. Реализация схемы TSVpipe + дельта индексация Выделение TSV чанка в отдельную сущность • Промежуточный чанк - TSVChunkMedium, последний чанк - TSVChunkLast • process • processFull • merge • move • reset • archive SphinxSearch Meetup #2 @ Avito
- 89. Реализация схемы TSVpipe + дельта индексация Выделение TSV чанка в отдельную сущность • TSVManager - cборщик цепочки чанков из экземпляров • TSVChunkFirst • TSVChunkMedium • TSVChunkLast • Запускает обработку цепочки SphinxSearch Meetup #2 @ Avito
- 90. Реализация схемы TSVpipe + дельта индексация Конфигурация 'adm_items' => [ 'nodes' => 100, 'path' => '/path/to/tsv', 'chunks' => [ 'pre' => [], 'small' => [], 'medium' => ['latency' => 1000, 'throttle' => 15 * 60], 'main' => ['gzip' => 1, 'latency' => 40000, 'throttle' => 61 * 60], 'archive' => ['gzip' => 1, 'throttle' => 61 * 60, 'schedule' => ['wH' => '002']], // schedule - воскресенье 2 ночи ], ] SphinxSearch Meetup #2 @ Avito
- 91. Архитектура поискового кластера Распределениеданных • Нужно больше для обеспечения скорости выполнения запроса • Чем для обработки большого числа запросов • Утилизирует многоядреность SphinxSearch Meetup #2 @ Avito
- 92. Архитектура поискового кластера Распределениеданных • Равномерно распределяем наш миллиард объявлений по 100 нодам • 10 нод на каждом из 10 контейнерах • Можем переиграть число нод, обработав TSV файлы • Намного быстрее, чем вычитать всю базу SphinxSearch Meetup #2 @ Avito
- 93. Архитектура поискового кластера Управлениеконфигурацией • Контейнерная архитектура, LXC • Динамическая конфигурация для indexer и searchd • Конфигурация контейнеров в манфетах puppet SphinxSearch Meetup #2 @ Avito
- 94. Архитектура поискового кластера РаздачаTSV файлов по контейнерам при индексации SphinxSearch Meetup #2 @ Avito Cron-server, генерация TSV файлов Search-container01 ... Search-container10 Node1 Small1 Medium1 Main1 Archive1 ... Node10 Node91 ... Node100 Small100 Medium100 Main100 Archive100
- 95. Архитектура поискового кластера Запускindexer на контейнерах Search-container01-10 • Каждую минуту по крону • Только для тех индексов, для которых обновились TSV файлы • touch <TSV файл> - индекс будет перестроен заново • indexer срабатывает • Small - мили сек • Medium - сек • Main - десятки сек • Archive - сотни сек SphinxSearch Meetup #2 @ Avito
- 96. Примерные объемы данных •Индексы - десятки гб на ноду • TSV файлы - десятки гб на ноду SphinxSearch Meetup #2 @ Avito
- 97. Архитектура поискового кластера Объединениеконтейнеров в кластере SphinxSearch Meetup #2 @ Avito HAproxy on app's Search-pool01...10 Search-container01 ... Search-container10 Node1 ... Node10 Node91 ... Node100
- 98. Архитектура поискового кластера Конфигурацияиндексов, поля и атрибуты, порядок соотв. колонкам в TSV файле #!/usr/bin/env bash INDEX='items' INDEX_CHUNKS="archive.gz main.gz medium.tsv small.tsv" MAX_NODE_ID=100 HAS_KL=1 SOURCE_CONF=" field = title field = description attr_bigint = price attr_uint = user_id attr_uint = category_id attr_uint = location_id ... SphinxSearch Meetup #2 @ Avito
- 99. Архитектура поискового кластера Конфигурацияиндексов, привязка tsv файлам ноды source s_archive_1:s_template { tsvpipe_command = ssh ... -q cron-server cat /path/to/tsv/archive_1.*gz | zcat } index archive_1:template { type = plain source = s_archive_1 path = /home/sphinx/src/archive_1 } SphinxSearch Meetup #2 @ Avito
- 100. Архитектура поискового кластера Конфигурацияиндексов, Sphinx KL source s_kl_main_1:s_kl_template { xmlpipe_command = ssh ... -q cron-server /path/to/kl.sh /path/to/tsv/main_1.*gz } source s_main_1:s_template { tsvpipe_command = ssh ... -q cron-server cat /path/to/tsv/main_1.*gz | zcat } index main_1:template { type = plain source = s_main_1 source = s_kl_main_1 path = /path/to/indexes/main_1 } SphinxSearch Meetup #2 @ Avito
- 101. Архитектура поискового кластера Конфигурацияиндексов, сборка индекса ноды index items_1 { type = distributed local = archive_1 local = main_1 local = medium_1 local = small_1 } SphinxSearch Meetup #2 @ Avito
- 102. Архитектура поискового кластера Конфигурацияиндексов, сборка индекса контейнера index items { type = distributed agent = localhost:9314:items_1 agent = localhost:9314:items_11 agent = localhost:9314:items_21 agent = localhost:9314:items_31 agent = localhost:9314:items_41 agent = localhost:9314:items_51 agent = localhost:9314:items_61 agent = localhost:9314:items_71 agent = localhost:9314:items_81 agent = localhost:9314:items_91 } SphinxSearch Meetup #2 @ Avito
- 103. Архитектура поискового кластера Конфигурацияиндексов, сборка индекса кластера index items { type = distributed agent = search-container01:9314:items agent = search-container02:9314:items agent = search-container03:9314:items agent = search-container04:9314:items agent = search-container05:9314:items agent = search-container06:9314:items agent = search-container07:9314:items agent = search-container08:9314:items agent = search-container09:9314:items agent = search-container10:9314:items } SphinxSearch Meetup #2 @ Avito
- 104. Оптимизации и лайфхаки •Обновите версию Sphinx • threads, thread_pool • local, dist_threads, agent, max_children • Ограничение выдачи • Обратный поиск • Универсальные поля • JSON атрибуты • Ranker может многое SphinxSearch Meetup #2 @ Avito
- 105.
- 106.
- 107.
- 108. Спасибо, вопросы ?Спасибо,вопросы ?Спасибо, вопросы ?Спасибо, вопросы ?Спасибо, вопросы ?