Документ описывает проблемы и решения, связанные с нагрузкой на MySQL в проекте, управляющем более 2 миллионов товаров. Основные меры включают разбиение ресурсоемких процессов на параллельные потоки и разделение сервиса на несколько серверов. Эти изменения привели к улучшению производительности и снижению нагрузки на сервер.

1. Борьба с нагрузкой на MySQL
Андрей Лещук

2. Особенности проекта и причины нагрузки
на MySQL
● Импорт и обработка большого количества товаров
(более 2 млн.)
● Проведение сервисных действий на сайте:
○ Модерация товаров
○ Сортировка товаров
○ Обновления наличия товаров
○ Генерация sitemap.xml
○ Рассылки пользователям
○ Многое другое

3. Проблемы которые пришлось решать
● Повышение производительности сервиса
● Нагрузка на MySQL при большом количестве
запросов
● Снижение общей нагрузки на сервер

4. Выбор решения
● Разбиение ресурсоемких процессов на
параллельные потоки
● Разделение сервиса на несколько серверов

5. Разделение сервиса на несколько
серверов
СЕРВИС
Сервер S1 Сервер S2

6. Техническая реализация
● Алгоритм распределения запросов между разными
серверами
● Разработка своего драйвера для работы с БД

7. Алгоритм распределения запросов
Сервер S2
Сервер S1
SELECT
INSERT/UPDATE/DELETE
REPLICATION

8. Распределения запросов на разные
сервера
● hook_exit()
Запись времени последнего запроса
INSERT/UPDATE/DELETE
● hook_boot()
Определение target запросов (default или slave)
● При запросах проверяем target и направляем
запросы на нужный сервер

9. Драйвер для работы с MySQL
● Переопределение класса SelectQuery() для
определения target запросов (default или slave)
● Переопределение классов InsertQuery(),
UpdateQuery(), DeleteQuery(), MergeQuery() для
фиксации времени запросов

10. Распределение запросов в отдельные
таблицы
● Таблицы которые не хранят полезной информации
на сайте: watchdog, queue etc.
● Все запросы на них должны идти на другую
БД/Сервер
● Не нужно фиксировать время
INSERT/UPDATE/DELETE запросов
● Не нужно определять target для SELECT запросов
(target всегда один)

11. В итоге
● Снизили нагрузку на Сервере S1 для
пользователей
● Увеличили производительность Сервера S2 для
сервисных действий
● Обеспечили актуальность данных при отставании
или сбоях репликации
● Решили проблему масштабируемости системы

12. Спасибо за внимание!
Рад выслушать вопросы.