Как известно, SQL - декларативный язык. В SQL-запросе заданы операции и свойства данных, над которыми эти операции должны быть выполнены. Но за выбор конкретного алгоритма выполнения запроса отвечает СУБД. В реляционных СУБД эти алгоритмы называются планами выполнения запроса, а процесс поиска наиболее быстрого плана - оптимизацией запроса. От выбора правильного плана существенно зависит скорость и эффективность выполнения запроса, а, значит, и производительность всей СУБД. Наиболее популярным методом оптимизации запросов в современных реляционных СУБД является стоимостная оптимизация запросов, которая впервые была предложена в System R. В докладе описывается метод стоимостной оптимизации, рассматривается, какую статистику и как использует этот метод для оптимизации запросов. Затем разбираются основные недостатки стоимостной оптимизации и существующие подходы к их исправлению. Основная тема доклада - адаптивная оптимизация запросов. Адаптивная оптимизация запросов - это новый подход, основанный на стоимостной оптимизации, но позволяющий избавиться от некоторых ее недостатков. Основная идея адаптивной оптимизации запросов - использование при оптимизации запросов статистики выполнения, собранной во время предыдущего исполнения похожих запросов. В отличие от адаптивной оптимизации, в классической стоимостной оптимизации используется только предварительно собранная статистика по данным. В докладе рассматривается конкретный способ адаптивной оптимизации, основанный на методах машинного обучения. Для него приводятся результаты сравнения адаптивной и стоимостной оптимизации на примере СУБД PostgreSQL, обсуждаются плюсы и минусы адаптивной оптимизации, возможности её применения.

1. Адаптивная оптимизация запросов
Олег Иванов
Postgres Professional

2. Что такое оптимизация запросов?
Как современные реляционные СУБД оптимизируют запросы?
Что такое адаптивная оптимизация запросов?
Машинное обучение, метод ближайших соседей.
Как использовать машинное обучение для адаптивной оптимизации запросов?
Насколько это улучшает производительность СУБД?

3. SeqScan
users u1
IndexScan
messages m
MergeJoin
IndexScan
users u2
NestedLoopJoin
SELECT *
FROM users AS u1, messages AS m, users AS u2
WHERE u1.id = m.sender_id AND m.receiver_id = u2.id;
Что такое оптимизация запросов?

4. IndexScan
users u1
SeqScan
messages m
NestedLoopJoin
IndexScan
users u2
NestedLoopJoin
SELECT *
FROM users AS u1, messages AS m, users AS u2
WHERE u1.id = m.sender_id AND m.receiver_id = u2.id;

5. SeqScan
users u1
SeqScan
messages m
HashJoin
SeqScan
users u2
HashJoin
SELECT *
FROM users AS u1, messages AS m, users AS u2
WHERE u1.id = m.sender_id AND m.receiver_id = u2.id;

6. EXPLAIN SELECT *
FROM users AS u1, messages AS m, users AS u2
WHERE u1.id = m.sender_id AND m.receiver_id = u2.id;
QUERY PLAN
-----------------------------------------------------------------------------------
Hash Join (cost=540.00..439429.44 rows=10003825 width=27)
Hash Cond: (m.receiver_id = u2.id)
-> Hash Join (cost=270.00..301606.84 rows=10003825 width=23)
Hash Cond: (m.sender_id = u1.id)
-> Seq Scan on messages m (cost=0.00..163784.25 rows=10003825 width=19)
-> Hash (cost=145.00..145.00 rows=10000 width=4)
-> Seq Scan on users u1 (cost=0.00..145.00 rows=10000 width=4)
-> Hash (cost=145.00..145.00 rows=10000 width=4)
-> Seq Scan on users u2 (cost=0.00..145.00 rows=10000 width=4)
(9 rows)

7. EXPLAIN SELECT *
FROM users AS u1, messages AS m, users AS u2
WHERE u1.id = m.sender_id AND m.receiver_id = u2.id;
QUERY PLAN
-----------------------------------------------------------------------------------
Hash Join (cost=540.00..439429.44 rows=10003825 width=27)
Hash Cond: (m.receiver_id = u2.id)
-> Hash Join (cost=270.00..301606.84 rows=10003825 width=23)
Hash Cond: (m.sender_id = u1.id)
-> Seq Scan on messages m (cost=0.00..163784.25 rows=10003825 width=19)
-> Hash (cost=145.00..145.00 rows=10000 width=4)
-> Seq Scan on users u1 (cost=0.00..145.00 rows=10000 width=4)
-> Hash (cost=145.00..145.00 rows=10000 width=4)
-> Seq Scan on users u2 (cost=0.00..145.00 rows=10000 width=4)
(9 rows)
Стоимость выполнения
вершины плана
Мощность (cardinality)
вершины плана
Стоимость выполнения
плана

8. Стоимостная оптимизация запросов
System R (1974)
Среди всех планов выполнения запроса
выбираем план с наименьшей стоимостью

9. cs seq_page_cost 1.0
cr random_page_cost 4.0
ct cpu_Tuple_cost 0.01
ci cpu_Index_tuple_cost 0.005
co cpu_Operator_cost 0.0025
Cost=ns cs+nr cr+nt ct +ni ci+no co
PostgreSQL

10. DataSeqScan
IndexScan
Cost=ns cs+no⋅co
ns=N pages
no=Ntuples
SELECT * FROM users
WHERE age < 25;

11. Data
Data
Index
SeqScan
IndexScan
Cost=ns cs+no⋅co
Cost=nr⋅cr
ns=N pages
no=Ntuples
nr=Cardinality
SELECT * FROM users
WHERE age < 25;

12. 0 – 4
5 – 9
10 - 14
15 - 19
20 - 24
25 - 29
30 - 34
35 - 39
40 - 44
45 - 49
50 - 54
55 - 59
60 - 64
65 - 69
70 - 74
75 - 79
80 - 84
85 - 89
90 - 94
95 – 99
100 or more
0
2000
4000
6000
8000
10000
12000
14000
Age
SELECT * FROM users
WHERE age < 25;
Cardinality

13. SeqScan
users u1
SeqScan
messages m
HashJoin
SeqScan
users u2
HashJoin
SELECT *
FROM users AS u1, messages AS m, users AS u2
WHERE u1.id = m.sender_id AND m.receiver_id = u2.id;

14. SeqScan
users u1
SeqScan
messages m
HashJoin
SeqScan
users u2
HashJoin
10000000
10000 1000010000000
10000000
SELECT *
FROM users AS u1, messages AS m, users AS u2
WHERE u1.id = m.sender_id AND m.receiver_id = u2.id;

15. SeqScan
users u1
SeqScan
messages m
HashJoin
SeqScan
users u2
HashJoin
10000000
10000 1000010000000
10000000
145 145163784
301607
439429
SELECT *
FROM users AS u1, messages AS m, users AS u2
WHERE u1.id = m.sender_id AND m.receiver_id = u2.id;

16. Полный перебор
Метод оптимизации
Оценка
стоимости
плана
SeqScan
users
HashJoin
HashJoin
SeqScan
messages
SeqScan
pictures
Cost = 439429
MergeJoin
SeqScan
messages
SeqScan
pictures
Cost = 304528

17. Полный перебор
Метод оптимизации
Оценка
стоимости
плана
SeqScan
users
HashJoin
HashJoin
SeqScan
messages
SeqScan
pictures
Cost = 439429
MergeJoin
SeqScan
messages
SeqScan
pictures
Cost = 304528

18. Динамическое
программирование
или
Генетический алгоритм
Метод оптимизации
Оценка
стоимости
плана
SeqScan
users
HashJoin
HashJoin
SeqScan
messages
SeqScan
pictures
Cost = 439429
MergeJoin
SeqScan
messages
SeqScan
pictures
Cost = 304528

19. Динамическое программирование
● System R
●
Временная сложность: 3n
●
Объем потребляемой памяти: 2n
● Всегда находит самый дешевый план
по подмножествам

20. Генетический алгоритм
● PostgreSQL
● Общий, гибко настраиваемый метод
● Может быть остановлен на любой итерации
● Нет гарантий

21. Динамическое
программирование
или
Генетический алгоритм
Метод оптимизации
Оценка
стоимости
плана
SeqScan
users
HashJoin
HashJoin
SeqScan
messages
SeqScan
pictures
Cost = 439429
MergeJoin
SeqScan
messages
SeqScan
pictures
Cost = 304528

22. Условия запроса
Информация
о данных
Состояние СУБД
Оценка
мощности
Оценка стоимости

23. Dataset:
The TPC Benchmark™DS (TPC-DS)
http://www.tpc.org/tpcds/

24. Dataset:
The TPC Benchmark™DS (TPC-DS)
http://www.tpc.org/tpcds/
Ошибка в 300 раз Ошибка в 4 раза

25. Условия запроса
Информация
о данных
Состояние СУБД
Оценка
мощности
Оценка стоимости
How good are query optimizers, really?
V. Leis, A. Gubichev, A. Mirchev et al.

26. 0 – 4
5 – 9
10 - 14
15 - 19
20 - 24
25 - 29
30 - 34
35 - 39
40 - 44
45 - 49
50 - 54
55 - 59
60 - 64
65 - 69
70 - 74
75 - 79
80 - 84
85 - 89
90 - 94
95 – 99
100 or more
0
2000
4000
6000
8000
10000
12000
14000
Age
Выборочность
Selectivity≃0.3
Cardinality=Ntuples⋅Selectivity
SELECT * FROM users
WHERE age < 25;

27. SELECT * FROM users
WHERE age < 25 AND city = 'Moscow';
Selectivityage=
1
3
Selectivitycity=
1
7
Selectivityage ,city=?
Известны только выборочности отдельных условий

28. age < 25
city = 'Moscow'
1/3
1/7 1/21

29. SELECT * FROM users
WHERE age < 25 AND city = 'Moscow';
Selectivityage ,city=Selectivityage⋅Selectivitycity
За исключением Selectivity25<age ANDage<57=Selectivity25<age<57
Известны только выборочности отдельных условий
Условия полагаются независимыми:

30. age < 25
city = 'Moscow' 1/3
1/7 1/7

31. age < 25
city = 'Moscow'
1/3
1/7

32. SELECT * FROM users
WHERE age < 12 AND married = true;
married = trueage < 12

33. SELECT * FROM users
WHERE age < 12 AND married = false;
age < 12
married = false

34. SELECT * FROM users
WHERE age > 25 AND married = true AND position = 'CTO';
age > 25position = 'CTO'
married = true

35. Многомерные гистограммы

36. Гистограммы Модели стоимости
Статическая информация
Обратная связь Результат
SQL запрос
Выполнение
запроса
Оптимизация
запроса
Статистика выполнения
Что такое адаптивная оптимизация?

37. Что такое адаптивная оптимизация?
Гистограммы Модели стоимости
Статическая информация
скорректированная
Обратная связь Результат
SQL запрос
Выполнение
запроса
Оптимизация
запроса
Статистика выполнения

38. Машинное обучение

39. Машинное обучение

40. Машинное обучение

41. Признак 1
Признак 2
Признак 3
Скрытые значения
Признаки
Обучающая выборка Тестовая выборка
Объекты

42. Метод k ближайших соседей
25 47 55 32 22 45 28
50 120 100 80 30 90 ?

43. 25 47 55 32 22 45 28
50 120 100 80 30 90 ?
Метод k ближайших соседей

44. 27 47 28
53 103 ?
2/3
1/3
1/3 5/3
Градиентный метод k ближайших соседей

45. Как применить машинное обучение
для адаптивной оптимизации запросов?

46. SeqScan
users u1
IndexScan
messages m
MergeJoin
users u2
NestedLoopJoin
Объект – вершина и её поддерево
u2.id = messages.receiver_id
u1.id = messages.sender_id
IndexScan
u2.married = true
AND
u2.age < 25

47. Будет выдано
105 кортежей!Список ограничений
users.id = messages.receiver_id
AND
users.married = true
AND
users.age < 25
PostgreSQL
Гистограммы

48. Будет выдано
1017 кортежей!Список ограничений
users.id = messages.receiver_id
AND
users.married = const
AND
users.age < const
Машинное обучение
Выборочности условий
● 0.0001
● 0.73
● 0.23

49. users.id = messages.receiver_id
users.married = const
users.age < const
0.0001
0.73
0.23
Мощность вершины
Признаки
Скрытое
значение
?
Объект – вершина плана
Постановка задачи машинного обучения

50. Оптимизация запроса Выполнение запросаПарсинг запроса
Предсказание мощности
Данные машинного обучения
Статистика выполнения запроса
ОбучениеМашинное обучение

51. ● Сойдется ли?
● Как быстро сойдется?
● Куда сойдется?

52. ● Сойдется ли?
● Как быстро сойдется?
● Куда сойдется?
Да, за конечное число шагов

53. ● Сойдется ли?
● Как быстро сойдется?
● Куда сойдется?
Да, за конечное число шагов
Неизвестно (на практике за несколько шагов)

54. ● Сойдется ли?
● Как быстро сойдется?
● Куда сойдется?
Да, за конечное число шагов
Для выполненных планов предсказания верны
Неизвестно (на практике за несколько шагов)

55. ● Сойдется ли?
● Как быстро сойдется?
● Куда сойдется?
Да, за конечное число шагов
Для выполненных планов предсказания верны
Неизвестно (на практике за несколько шагов)
С идеальной моделью стоимости
время выполнения запроса
гарантированно не увеличивается

56. Практические результаты

57. Ошибка предсказания

58. Ошибка предсказания

59. Ошибка предсказания

60. АдаптивныйОригинальный
TPC-H slow
TPC-H fast
0 10 20 30 40 50 60
+1.3%
Прирост производительности

61. TPC-H slow
TPС-H fast
0 5000 10000 15000 20000
АдаптивныйОригинальный
-4.4%
Прирост производительности

62. АдаптивныйОригинальный
TPC-DS very slow
TPC-DS slow
TPC-DS normal
TPC-DS fast
TPC-DS very fast
0 2 4 6 8 10 12 14 16 18
+12%
Прирост производительности

63. АдаптивныйОригинальный
TPC-DS very slow
TPC-DS slow
TPC-DS normal
TPC-DS fast
TPC-DS very fast
0 20 40 60 80 100 120 140
+24%
Прирост производительности

64. АдаптивныйОригинальный
TPC-DS very slow
TPC-DS slow
TPC-DS normal
TPC-DS fast
TPC-DS very fast
0 50 100 150 200 250 300
+41%
Прирост производительности

65. АдаптивныйОригинальный
TPC-DS very slow
TPC-DS slow
TPC-DS normal
TPC-DS fast
TPC-DS very fast
0
200
400
600
800
1000
1200
1400
1600
1800
+285%
Прирост производительности

66. TPC-DS very slow
TPC-DS slow
TPC-DS normal
TPC-DS fast
TPC-DS very fast
0 5000 10000 15000 20000
Адаптивный
+115%
Оригинальный
Прирост производительности

67. Максимальное ускорение

68. Замедление для генетического алгоритма: не более 2 секунд
Для динамического программирования: не более 30 миллисекунд
Накладные расходы
экcпериментальные

69. Область применимости
Сложные аналитические запросы
с повторяющейся структурой.

70. 0 1 2 3 4 5 6 7 8 9
# iter
0.6
0.7
0.8
0.9
1.0
1.1
1.2
1.3
1.4
Executiontime,s
TPC-DS 18
Динамика обучения

71. 0 1 2 3 4 5 6 7 8 9
# iter
10
0
10
1
10
2
10
3
10
4
Executiontime,s
TPC-DS 69
Динамика обучения

72. 0 1 2 3 4 5 6 7 8 9
# iter
0.7
0.8
0.9
1.0
1.1
1.2
1.3
Executiontime,s
TPC-DS 26
Динамика обучения

73. Что дальше?

74. Вопросы?
Контакты:
● o.ivanov@postgrespro.ru
● +7 (916) 377-55-63
Текущий код для PostgreSQL:
https://github.com/tigvarts/aqo