Downloaded 11 times
Uploaded byOntico
NoSQL внутри SQL: приземленные вопросы практического применения / Дмитрий Долгов (Mindojo)
Документ рассматривает вопросы интеграции и производительности при использовании NoSQL и SQL хранилищ данных, предлагая различные подходы к хранению данных в реляционных базах данных. Описываются примеры использования JSON и JSONB в PostgreSQL и MySQL, а также методы загрузки и тестирования производительности. Обсуждаются факторы, влияющие на производительность, такие как структура данных и индексы.
More Related Content
Similar to NoSQL внутри SQL: приземленные вопросы практического применения / Дмитрий Долгов (Mindojo)
NoSQL внутри SQL: приземленные вопросы практического применения / Дмитрий Долгов (Mindojo)
- 1. nosql внутри sql приземленныевопросы практического применения Дмитрий Долгов
- 2. Дмитрий Долгов, Mindojo github.com/erthalion @erthalion 9erthalion6 at gmail dot com 1
- 3.
- 4.
- 5.
- 6. Данные нужно хранитьв соответствующем формате: 3
- 7. Данные нужно хранитьв соответствующем формате: Отдельные хранилища, единый интерфейс 3
- 8. Данные нужно хранитьв соответствующем формате: Отдельные хранилища, единый интерфейс Единое хранилище, разные форматы 3
- 9.
- 10. Отдельные хранилища Конкретный форматобрабатывается наилучщим образом 4
- 11. Отдельные хранилища Конкретный форматобрабатывается наилучщим образом Производительность, дублирование 4
- 12. Отдельные хранилища Конкретный форматобрабатывается наилучщим образом Производительность, дублирование Вопросы интеграции компонентов 4
- 13.
- 14. Единое хранилище Не требуетинтеграции 5
- 15. Единое хранилище Не требуетинтеграции Производительность, дублирование 5
- 16. Единое хранилище Не требуетинтеграции Производительность, дублирование Поддержка со стороны БД 5
- 17.
- 18.
- 19. Легкий способ начатьбегать по утрам использовать документы в реляционной базе 8
- 20. -- PG since9.4 select jsonb_build_object( ’id’, 1, ’data’, ’aaa’ ); -- MySQL since 5.7 select json_object( ’id’, 1, ’data’, ’aaa’ ); 9
- 21. -- PG since9.4 select jsonb_agg(query) from ( select id, data from jsonb_table ) query; -- MySQL since 8 select json_objectagg(‘key‘, val) as ‘key_val‘ from t1; 10
- 22. -- PG copy table_name(jsonb_column_name) from’data.json’; -- MySQL load data infile ’data.json’ into table table_name (json_column_name); 11
- 23. Загрузка дампа извнешних источников Некорректные данные с валидной структурой – json5 Битые данные – ручное исправление, линтеры 12
- 24.
- 25.
- 26. Факторы Структура данных надиске 14
- 27. Факторы Структура данных надиске Сериализация данных 14
- 28. Факторы Структура данных надиске Сериализация данных Поддержка индексов 14
- 29.
- 30. bson.dumps({”a”: 3, ”b”:u”xyz”}) 16
- 31.
- 32. select pg_relation_filepath(oid), relpages frompg_class where relname = ’table_name’; pg_relation_filepath | relpages ----------------------+---------- base/40960/325477 | 0 (1 row) 18
- 33.
- 34. Сериализация данных MongoDB –дерево Document -> Elements Postgresql – JsonbValue со списком элементов MySQL – древовидная структура 20
- 35. Индексы MongoDB – индексыдля полей Postgresql – общий индекс, индексы для полей MySQL – виртуальные колонки для индексирования 21
- 36.
- 37.
- 38. YCSB 0.8, 106 Postgresql9.5.4 MongoDB 3.2.9 MySQL 5.7.9 AWS EC2 m4.xlarge 16GB memory, 4 core 2.3GHz 24
- 39.
- 40.
- 41. Простая выборка поключу с jsonb_path_ops индексом ”Маленький документ” 10 полей без вложенности 27
- 42.
- 43.
- 44. Простая выборка поключу с Btree индексом ”Маленький документ” 10 полей без вложенности 30
- 45.
- 46.
- 47. Простая выборка поключу с Btree индексом ”Сложный документ” 3 уровня вложенности/4 потомка 33
- 48.
- 49.
- 50. Срез по документу ”Большойдокумент” 100 полей Из документа выбирается одно поле 36
- 51.
- 52. Срез по документу ”Большойдокумент” 100 полей Из документа выбирается 10 полей 38
- 53.
- 54.
- 55.
- 56. Вставка документов ”Маленький документ” 10полей без вложенности journaled 42
- 57.
- 58. Выборка 50%, обновление50% ”Маленький документ” 10 полей без вложенности обновление одного поля transaction_sync 44
- 59.
- 60.
- 61. Выборка 50%, обновление50% ”Маленький документ” 10 полей без вложенности обновление одного поля journaled 47
- 62.
- 63. Выборка 50%, обновление50% ”Большой документ” 100 полей удвоенной длины обновление одного поля без вложенности 49
- 64.
- 65.
- 66.