Дмитрий Долгов Mindojo NoSQL внутри SQL: тактика и стратегия

1. nosql внутри sql
тактика и стратегия
Дмитрий
Долгов
Senior Software
Engineer
Zalando

2. Данные бывают разные
1

3. Данные бывают разные
Стандарт SQL/JSON
1

4. Данные бывают разные
Стандарт SQL/JSON
Как перестать волноваться
и начать использовать документы
1

5. Данные бывают разные
Стандарт SQL/JSON
Как перестать волноваться
и начать использовать документы
Важные факторы,
влияющие на производительность
1

6. Данные бывают разные
Стандарт SQL/JSON
Как перестать волноваться
и начать использовать документы
Важные факторы,
влияющие на производительность
Бенчмарки
1

7. Данные бывают разные
Стандарт SQL/JSON
Как перестать волноваться
и начать использовать документы
Важные факторы,
влияющие на производительность
Бенчмарки
* Поиск и чтение документов
1

8. Данные бывают разные
Стандарт SQL/JSON
Как перестать волноваться
и начать использовать документы
Важные факторы,
влияющие на производительность
Бенчмарки
* Поиск и чтение документов
* Вставка документов
1

9. Данные бывают разные
Стандарт SQL/JSON
Как перестать волноваться
и начать использовать документы
Важные факторы,
влияющие на производительность
Бенчмарки
* Поиск и чтение документов
* Вставка документов
* Обновление документов
1

10. Данные
2

11. Данные
2

12. Данные
2

13. Данные нужно хранить в соответствующем
формате:
3

14. Данные нужно хранить в соответствующем
формате:
Отдельные хранилища,
единый интерфейс
3

15. Данные нужно хранить в соответствующем
формате:
Отдельные хранилища,
единый интерфейс
Единое хранилище,
разные форматы
3

16. Отдельные хранилища
4

17. Отдельные хранилища
Конкретный формат обрабатывается наилучщим
образом 
4

18. Отдельные хранилища
Конкретный формат обрабатывается наилучщим
образом 
Производительность, дублирование 
4

19. Отдельные хранилища
Конкретный формат обрабатывается наилучщим
образом 
Производительность, дублирование 
Вопросы интеграции компонентов 
4

20. Единое хранилище
5

21. Единое хранилище
Не требует интеграции 
5

22. Единое хранилище
Не требует интеграции 
Производительность, дублирование 
5

23. Единое хранилище
Не требует интеграции 
Производительность, дублирование 
Зависимость от БД 
5

24. 6

25. Кто?
Postgresql (hstore/json/jsonb)
MySQL (json)
Oracle
MSSql
db2
MongoDB ($lookup, read-only view, BI connector)
7

26. SQL/JSON стандарт
Опубликован 15.12.2016
Oracle
8

27. ..SQL/JSON.
JSON item
.
.
scalar
.
.
text
.
numeric
.
boolean
.
datetime
.
null
.
object
. array
.
JSON
sequence
.
9

28. ..Functions.
Retrieval
.
.
Exract
value
.
Exract
json
.
Path
existence
.
Convert to
relation
.
JSON cor-
rectness
.
Construction
.
.
Create
an object
.
Create
an array
.
Create
from
relation
10

29. SQL/JSON стандарт
JSON_QUERY
JSON item method
JSON filter expression
11

30. Легкий способ начать бегать по
утрам использовать документы в
реляционной базе
12

31. 13

32. -- PG since 9.4
select jsonb_build_object(
’id’, 1,
’data’, ’aaa’
);
-- MySQL since 5.7
select json_object(
’id’, 1,
’data’, ’aaa’
);
14

33. -- PG since 9.4
select jsonb_agg(query) from (
select id, data
from jsonb_table
) query;
-- MySQL since 8
select json_objectagg(‘key‘, val)
as ‘key_val‘ from t1;
15

34. -- PG
copy table_name(jsonb_column_name)
from ’data.json’;
-- MySQL
load data infile ’data.json’
into table table_name (json_column_name);
16

35. Загрузка дампа из внешних источников
Некорректные данные с валидной структурой –
json5
Битые данные – ручное исправление, линтеры
17

36. производительность

37. Факторы
19

38. Факторы
Структура данных на диске
19

39. Факторы
Структура данных на диске
Сериализация данных
19

40. Факторы
Структура данных на диске
Сериализация данных
Поддержка индексов
19

41. Bson
20

42. bson.dumps({”a”: 3, ”b”: u”xyz”})
21

43. Jsonb
22

44. select pg_relation_filepath(oid),
relpages from pg_class
where relname = ’table_name’;
pg_relation_filepath | relpages
----------------------+----------
base/40960/325477 | 0
(1 row)
23

45. MySQL json
24

46. Сериализация данных
MongoDB – дерево Document -> Elements
Postgresql – JsonbValue со списком элементов
MySQL – класс Value
25

47. Индексы
MongoDB – индексы для полей
Postgresql – общий индекс, индексы для полей
MySQL – виртуальные колонки для индексирования
26

48. тестирование

49. 28

50. PostgreSQL 9.5.4
MySQL 5.7.9
MongoDB 3.2.9
YCSB 0.9
106
rows and operations
AWS EC2
29

51. Воспроизводимость
erthalion/YCSB
erthalion/ansible-ycsb
30

52. AWS EC2
m4.xlarge instance
separate instance (database and generator)
16GB memory, 4 core 2.3GHz
Ubuntu 14.04
Same VPC and placement group
AMI that supports HVM virtualization type
at least 4 rounds of benchmark
31

53. Конфигурация
shared_buffers
effective_cache_size
innodb_buffer_pool_size
write concern level (journaled or transaction_sync)
32

54. Виды документов
“простой” документ
10 ключей и значений (100 символов)
“большой” документ
100 ключей и значений (200 символов)
“сложный” документ
100 ключей, 3 уровня вложенности (100 символов)
33

55. Простая выборка по ключу с
”Простой документ”
jsonb_path_ops
where data @> ’”key”: ”value”’::jsonb
34

56. 35

57. 36

58. Простая выборка по ключу
”Простой документ”
jsonb_path_ops
where data @> jsonb_build_object(’key’, ’value’)
37

59. 38

60. Простая выборка по ключу с Btree индексом
”Простой документ”
btree
39

61. 40

62. 41

63. Простая выборка по ключу с Btree индексом
”Сложный документ”
btree
42

64. 43

65. Срез по документу
”Большой документ”
Из документа выбирается одно поле
44

66. 45

67. Срез по документу
”Большой документ”
Из документа выбирается 10 полей
46

68. 47

69. 48

70. Масштабируемость
”Простой документ”
m4.large
m4.xlarge
m4.2xlarge
49

71. 50

72. Вставка документов
”Простой документ”
default write concern
51

73. 52

74. Вставка документов
”Простой документ”
journaled
53

75. 54

76. 55

77. Выборка 50%, обновление 50%
”Простой документ”
обновление одного поля
transaction_sync
56

78. 57

79. 58

80. Выборка 50%, обновление 50%
”Простой документ”
обновление одного поля
journaled
59

81. 60

82. Выборка 50%, обновление 50%
”Большой документ”
обновление одного поля
61

83. 62

84. 63

85. Документов в RDBMS можно не бояться
64

86. Документов в RDBMS можно не бояться
Приведенные бенчмарки - ”подсказки”
64

87. Документов в RDBMS можно не бояться
Приведенные бенчмарки - ”подсказки”
Необходимы свои тесты для нагрузки
64

88. Документов в RDBMS можно не бояться
Приведенные бенчмарки - ”подсказки”
Необходимы свои тесты для нагрузки
Где кластер?
64

89. вопросы?
 github.com/erthalion
 @erthalion
 9erthalion6 at gmail dot com
Дмитрий
Долгов
Senior Software
Engineer
Zalando
65