Екатерина Войденко "Горизонтальное масштабирование MySQL" Я.Субботник в Санкт-Петербурге О докладе: Мы попытаемся понять, что делать, если наша база стала слишком большой. Немного поговорим про архитектурные моменты. Рассмотрим некоторые схемы шардирования, обсудим партиционирование и для чего оно нужно, а также затронем балансировку нагрузки.

1. Горизонтальное
масштабирование
MySQL
Войденко Екатерина
Cистемный администратор
3 декабря 2011 года,
Санкт-Петербург, Я.Субботник

2. О чем мы с вами
поговорим?
2

3. О чем речь?
Нагрузка на базу?
Это сколько?
3

4. О чем речь?
Нагрузка на базу?
● Неоптимизированные запросы
● Неоптимизируемые запросы
● Требующие группировки
● Большое количество параллельных
запросов
4

5. О чем речь?
Что с архитектурой?
● Когда нам задумываться о том, какую
схему использовать?
Понятное дело, что до запуска
проекта
5

6. О чем речь?
Нужно ли нам тюниться?
● Обстрел, смотрим во что мы упираемся
6

7. Нагрузка на чтение
7

8. Нагрузка на чтение
Организация репликации
Мастер
Реплики
8

9. Нагрузка на чтение
Распределение запросов
● наше ПО
INSERT INTO...
● mysql-proxy (?) INSERT INTO
SELECT
9

10. Нагрузка на чтение
Балансировка
● IPVS
● HAProxy
● mysql-proxy Балансер
10

11. Нагрузка на запись
11

12. Нагрузка на запись
Методы решения
● Улучшение оборудования:
Предупредите вашу бухгалтерию
заранее ;-)
● Партиционирование:
Выжмем все соки из нашего железа!
● Шардирование:
Сначала порежем, а потом — выжмем!
12

13. Партиционирование
13

14. Партиционирование
Что это?
● Короткие индексы быстрее
перестраивать
● Разделы разносим по дискам
● Создаем подпартиции
● И все это из коробки!
14

15. Партиционирование
Как?
● Рассказать больше,
чем mysql.com у меня
все равно не выйдет
Поэтому пройдемся по основным
параметрам :)
15

16. Партиционирование
Hash/KEY
16

17. Партиционирование
Range/LIST
Раздел 1
Раздел 2
17

18. Шардирование
18

19. Шардирование
Добавим серверов!
● Принципиально невозможно без
изменения кода
● Позволяет практически неограниченно
масштабироваться
● Практически невозможно сделать
postfactum
19

20. Шардирование
А для чего?
● Распределение нагрузки на запись
● Когда «падает» один шард, мы либо
теряем часть информации на запись,
либо пишем в соседний
20

21. Шардирование
Способы шардирования
● Изначально задаем жесткое число
шардов
● Сразу задаем большее количество
шардов, чем необходимо
● Используем некоторую прослойку.
Мета-базу
21

22. Шардирование
Мета
22

23. Шардирование
Выводы
● Если нет исходников, мы почти
безоружны
● Если мы уже упираемся в нагрузку,
нельзя очень быстро все изменить
● При этом плюсы весьма внушительны
23

24. Вот и все
24

25. Вопросы?
25

26. Екатерина Войденко
Cистемный администратор
katyavoid@yandex-team.ru