Разрабатывая какой-либо проект рано или поздно мы можем столкнуться с проблемой нагрузки на БД. Данных может быть очень много, а мы как-то должны выдерживать нагрузки, и должны быть готовы к её росту. В своём докладе я поделюсь опытом масштабирования БД, расскажу всё максимально подробно — с какими проблемами можно столкнуться, какие стратегии и подходы лучше всего заложить в проекте. Проблемы: — Много строк в таблицах. — «Медленные» запросы. Варианты масштабирование БД — Секционирование / партицирование данных. — Шардинг. — Репликация. Покажу на примерах и расскажу про готовые к использованию утилиты и инструменты.

1. Масштабирование базы данных
через шардирование и
партиционирование
Иванов Денис
2gis.ru

2. 2GIS WebAPI

3. Данные
• 8 стран
• 250 городов
• 50 тыс населенных пунктов
• 5 млн организаций
• 50 млн гео-объектов
И еще много всего
3

4. Нагрузка
• 25 млн. пользователей в месяц
• 2000 RPS
• 3 датацентра
4

5. Много данных

6. Долгие запросы

7. Масштабирование БД как решение
проблемы
• Шардинг
• Вертикальный
• Горизонтальный
• Репликация
7

8. Партицирование
(вертикальный шардинг)

10. Горизонтальный шардинг

12. Репликация

14. 1. Партицирование

15. CREATE TABLE news (
id bigint not null,
category_id int not null,
author character varying not null,
rate int not null,
title character varying
)
01.
02.
03.
04.
05.
06.
07.
15

16. CREATE TABLE news_1 (
) INHERITS (news)
01.
02.
16

17. Наследованная таблица
• Будет:
• Все колонки от родителя
• "Свои" колонки
• Не будет:
• Ограничений (Constraint)
• Индексов (Index)
• Триггеров (Trigger)
17

18. CREATE TABLE news_1 (
CHECK ( category_id = 1 )
) INHERITS (news)
01.
02.
03.
18

19. Строгое значение
CHECK ( author = 'Denis' )
Список значений
CHECK ( author IN ('Denis', 'Anton', 'Oleg') )
Диапазон значений
CHECK ( rate > 100 AND rate <= 200 )
19

20. CREATE TABLE news_rate_100_200 (
CHECK ( rate BETWEEN 100 AND 200 )
) INHERITS (news)
CREATE TABLE news_rate_200_300 (
CHECK ( rate BETWEEN 200 AND 300 )
) INHERITS (news)
01.
02.
03.
04.
05.
06.
07.
20

21. CREATE TABLE news_rate_100_200 (
CHECK ( rate > 100 AND rate <= 200 )
) INHERITS (news)
CREATE TABLE news_rate_201_300 (
CHECK ( rate > 200 AND rate <= 300 )
) INHERITS (news)
01.
02.
03.
04.
05.
06.
07.
21

22. CREATE TABLE news_1 (
CHECK ( category_id = 1 )
) INHERITS (news)
CREATE TABLE news_rate_100 (
CHECK ( rate = 100 )
) INHERITS (news)
01.
02.
03.
04.
05.
06.
07.
22

23. CREATE TABLE news_1 (
CHECK ( category_id = 1 )
) INHERITS ( news )
01.
02.
03.
23

24. CREATE RULE news_insert_to_ 1 AS ON INSERT TO news
WHERE ( category_id = 1 )
DO INSTEAD INSERT INTO news_1 VALUES (NEW.*)
01.
02.
03.
24

25. CREATE TABLE news_1 (
CHECK ( category_id = 1 )
) INHERITS ( news )
CREATE TABLE news_2 (
CHECK ( category_id = 2 )
) INHERITS ( news )
01.
02.
03.
04.
05.
06.
07.
25

26. CREATE RULE news_insert_to_ 1 AS ON INSERT TO news
WHERE ( category_id = 1 )
DO INSTEAD INSERT INTO news_1 VALUES (NEW.*)
CREATE RULE news_insert_to_ 2 AS ON INSERT TO news
WHERE ( category_id = 2 )
DO INSTEAD INSERT INTO news_2 VALUES (NEW.*)
01.
02.
03.
04.
05.
06.
07.
26

27. INSERT INTO news
(id, category_id , title, author, rate)
VALUES
(1, 1 , 'Моя новость #1', 'Ivan', 1)
INSERT INTO news
(id, category_id , title, author, rate)
VALUES
(2, 2 , 'Моя новость #2', 'Oleg', 1)
01.
02.
03.
04.
01.
02.
03.
04.
27

28. INSERT INTO news
(id, category_id , title, author, rate)
VALUES
(3, 3 , 'Моя новость #3', 'Petr', 1)
01.
02.
03.
04.
28

29. SELECT * FROM news
id category_id title author rate
1 1 Моя новость #1 Ivan 1
2 2 Моя новость #2 Oleg 1
3 3 Моя новость #3 Petr 1
29

30. SELECT * FROM news WHERE category_id = 1
id category_id title author rate
1 1 Моя новость #1 Ivan 1
SELECT * FROM news WHERE category_id IN (2, 3)
id category_id title author rate
2 2 Моя новость #2 Oleg 1
3 3 Моя новость #3 Petr 1
30

31. SELECT * FROM news_1
id category_id title author rate
1 1 Моя новость #1 Ivan 1
SELECT * FROM news_2
id category_id title author rate
2 2 Моя новость #2 Oleg 1
31

32. SELECT * FROM news_3
ERROR: relation "news_3" does not exist
SELECT * FROM ONLY news
id category_id title author rate
3 3 Моя новость #3 Petr 1
32

33. INSERT INTO news_1
(id, category_id , title, author, rate)
VALUES
(4, 1 , 'Моя новость #4', 'Ivan', 1)
01.
02.
03.
04.
33

34. INSERT INTO news_1
(id, category_id , title, author, rate)
VALUES
(4, 4 , 'Моя новость #4', 'Ivan', 1)
ERROR: new row for relation " news_1 " violates
check constraint " news_1_category_id_check "
01.
02.
03.
04.
01.
02.
34

35. INSERT INTO news
(id, category_id , title, author, rate)
VALUES
(5, 1 , 'Моя новость #5', 'Ivan', 1),
(6, 2 , 'Моя новость #6', 'Oleg', 1),
(7, 3 , 'Моя новость #7', 'Petr', 1)
01.
02.
03.
04.
05.
06.
35

36. SELECT * FROM news WHERE category_id = 1 LIMIT 1
id category_id title author rate
1 1 Моя новость #1 Ivan 1
SELECT * FROM news_1 LIMIT 1
id category_id title author rate
1 1 Моя новость #1 Ivan 1
36

37. EXPLAIN ANALYZE
SELECT * FROM news WHERE category_id = 1
...
-> Seq Scan on news ...
Filter: (category_id = 1)
-> Seq Scan on news_1 ...
Filter: (category_id = 1)
...
01.
02.
01.
02.
03.
04.
05.
06.
37

38. EXPLAIN ANALYZE
SELECT * FROM news_1
...
Seq Scan on news_1
...
01.
02.
01.
02.
03.
38

39. Точно также:
• UPDATE
• DELETE
39

40. CREATE INDEX news_rate_idx ON news (rate)
CREATE INDEX news_1_rate_idx ON news_1 (rate)
CREATE INDEX news_2_rate_idx ON news_2 (rate)
40

41. PartitionMagic

42. CREATE TABLE news (
id bigint not null,
category_id int not null,
author character varying not null,
rate int not null,
title character varying
)
01.
02.
03.
04.
05.
06.
07.
42

43. _2gis_partition_magic(' news ', ' category_id ')
43

44. INSERT INTO news
(id, category_id , title, author, rate)
VALUES
(1, 1 , 'Моя новость #1', 'Ivan', 1),
(2, 2 , 'Моя новость #2', 'Oleg', 1),
(3, 3 , 'Моя новость #3', 'Petr', 1),
(4, 1 , 'Моя новость #4', 'Ivan', 1),
(5, 1 , 'Моя новость #5', 'Ivan', 1),
(6, 2 , 'Моя новость #6', 'Oleg', 1),
(7, 3 , 'Моя новость #7', 'Petr', 1)
01.
02.
03.
04.
05.
06.
07.
08.
09.
10.
44

45. SELECT * FROM news WHERE category_id = 1
id category_id title author rate
1 1 Моя новость #1 Ivan 1
5 1 Моя новость #5 Ivan 1
SELECT * FROM news_1
id category_id title author rate
1 1 Моя новость #1 Ivan 1
5 1 Моя новость #5 Ivan 1
45

46. Преимущества:
• Создание недостающих партиций при вставке
• Актуальная структура таблиц:
• Колонки
• Индексы
• Проверки
• Триггеры
46

47. https://github.com/2gis/partition_magic

48. 2. Горизонтальный шардинг

50. CREATE TABLE news (
id bigint not null,
category_id int not null
CONSTRAINT category_id_check CHECK (category_id = 1 ),
author character varying not null,
rate int not null,
title character varying
);
01.
02.
03.
04.
05.
06.
07.
08.
50

51. CREATE INDEX news_category_id_idx ON news
USING btree( category_id );
01.
02.
51

52. CREATE EXTENSION postgres_fdw;
CREATE SERVER news_1_server
FOREIGN DATA WRAPPER postgres_fdw
OPTIONS (host ' 127.0.0.1 ', port ' 5432 ', dbname ' news_1 ');
CREATE USER MAPPING FOR postgres
SERVER news_1_server
OPTIONS (user ' postgres ', password ' postgres ');
01.
02.
03.
04.
05.
06.
07.
08.
09.
52

53. CREATE FOREIGN TABLE news_1 (
id bigint not null,
category_id int not null,
author character varying not null,
rate int not null,
title character varying
)
SERVER news_1_server
OPTIONS (schema_name ' public ', table_name ' news ')
01.
02.
03.
04.
05.
06.
07.
08.
09.
53

54. CREATE VIEW news AS
SELECT * FROM news_1
UNION ALL
SELECT * FROM news_2
01.
02.
03.
04.
54

55. CREATE RULE news_insert AS ON INSERT TO news
DO INSTEAD NOTHING;
CREATE RULE news_update AS ON UPDATE TO news
DO INSTEAD NOTHING;
CREATE RULE news_delete AS ON DELETE TO news
DO INSTEAD NOTHING;
01.
02.
03.
04.
05.
06.
07.
08.
55

56. CREATE RULE news_insert_to_1 AS ON INSERT TO news
WHERE ( category_id = 1 )
DO INSTEAD INSERT INTO news_1 VALUES (NEW.*);
CREATE RULE news_insert_to_2 AS ON INSERT TO news
WHERE ( category_id = 2 )
DO INSTEAD INSERT INTO news_2 VALUES (NEW.*);
01.
02.
03.
04.
05.
06.
07.
56

57. INSERT INTO news
(id, category_id , title, author, rate)
VALUES
(1, 1 , 'Моя новость #1', 'Ivan', 1),
(2, 2 , 'Моя новость #2', 'Oleg', 1),
(3, 3 , 'Моя новость #3', 'Petr', 1),
(4, 1 , 'Моя новость #4', 'Ivan', 1),
(5, 1 , 'Моя новость #5', 'Ivan', 1),
(6, 2 , 'Моя новость #6', 'Oleg', 1),
(7, 3 , 'Моя новость #7', 'Petr', 1)
01.
02.
03.
04.
05.
06.
07.
08.
09.
10.
57

58. SELECT * FROM news
id category_id title author rate
1 1 Моя новость #1 Ivan 1
4 1 Моя новость #4 Ivan 1
5 1 Моя новость #5 Ivan 1
2 2 Моя новость #2 Oleg 1
6 2 Моя новость #6 Oleg 1
58

59. SELECT * FROM news WHERE category_id = 2
id category_id title author rate
2 2 Моя новость #2 Oleg 1
6 2 Моя новость #6 Oleg 1
SELECT * FROM news_2
id category_id title author rate
2 2 Моя новость #2 Oleg 1
6 2 Моя новость #6 Oleg 1
59

60. EXPLAIN ANALYZE
SELECT * FROM news
...
-> Foreign Scan on news_1
-> Foreign Scan on news_2
...
01.
02.
01.
02.
03.
04.
60

61. Подведём итоги
• Партицирование
• Просто
• Один сервер
• Прирост производительности в 3-4 раза
• Горизонтальный шардинг
• Немного сложнее партицирования
• Разные сервера для разных шардов
61

62. Вопросы?
Иванов Денис
dv.ivanov@2gis.ru
62