Download to read offline
Uploaded byCodeFest
Дмитрий Долгов
Документ обсуждает внедрение NoSQL внутри SQL, подчеркивая стратегию и тактики, используемые для работы с данными формата JSON в реляционных базах данных. Он также рассматривает важные факторы, влияющие на производительность, включая запросы, вставку, обновление и особенности интеграции различных систем. В заключение, автор делится бенчмарками и примерами кодов для оптимизации работы с документами в различных СУБД.
Дмитрий Долгов
- 1. nosql внутри sql тактикаи стратегия Дмитрий Долгов Senior Software Engineer Zalando
- 2.
- 3. Данные бывают разные СтандартSQL/JSON 1
- 4. Данные бывают разные СтандартSQL/JSON Как перестать волноваться и начать использовать документы 1
- 5. Данные бывают разные СтандартSQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность 1
- 6. Данные бывают разные СтандартSQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность Бенчмарки 1
- 7. Данные бывают разные СтандартSQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность Бенчмарки * Поиск и чтение документов 1
- 8. Данные бывают разные СтандартSQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность Бенчмарки * Поиск и чтение документов * Вставка документов 1
- 9. Данные бывают разные СтандартSQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность Бенчмарки * Поиск и чтение документов * Вставка документов * Обновление документов 1
- 10.
- 11.
- 12.
- 13. Данные нужно хранитьв соответствующем формате: 3
- 14. Данные нужно хранитьв соответствующем формате: Отдельные хранилища, единый интерфейс 3
- 15. Данные нужно хранитьв соответствующем формате: Отдельные хранилища, единый интерфейс Единое хранилище, разные форматы 3
- 16.
- 17. Отдельные хранилища Конкретный форматобрабатывается наилучщим образом 4
- 18. Отдельные хранилища Конкретный форматобрабатывается наилучщим образом Производительность, дублирование 4
- 19. Отдельные хранилища Конкретный форматобрабатывается наилучщим образом Производительность, дублирование Вопросы интеграции компонентов 4
- 20.
- 21. Единое хранилище Не требуетинтеграции 5
- 22. Единое хранилище Не требуетинтеграции Производительность, дублирование 5
- 23. Единое хранилище Не требуетинтеграции Производительность, дублирование Зависимость от БД 5
- 24.
- 25. Кто? Postgresql (hstore/json/jsonb) MySQL (json) Oracle MSSql db2 MongoDB($lookup, read-only view, BI connector) 7
- 26.
- 27.
- 28. ..Functions. Retrieval . . Exract value . Exract json . Path existence . Convert to relation . JSON cor- rectness . Construction . . Create anobject . Create an array . Create from relation 10
- 29. SQL/JSON стандарт JSON_QUERY JSON itemmethod JSON filter expression 11
- 30. Легкий способ начатьбегать по утрам использовать документы в реляционной базе 12
- 31.
- 32. -- PG since9.4 select jsonb_build_object( ’id’, 1, ’data’, ’aaa’ ); -- MySQL since 5.7 select json_object( ’id’, 1, ’data’, ’aaa’ ); 14
- 33. -- PG since9.4 select jsonb_agg(query) from ( select id, data from jsonb_table ) query; -- MySQL since 8 select json_objectagg(‘key‘, val) as ‘key_val‘ from t1; 15
- 34. -- PG copy table_name(jsonb_column_name) from’data.json’; -- MySQL load data infile ’data.json’ into table table_name (json_column_name); 16
- 35. Загрузка дампа извнешних источников Некорректные данные с валидной структурой – json5 Битые данные – ручное исправление, линтеры 17
- 36.
- 37.
- 38. Факторы Структура данных надиске 19
- 39. Факторы Структура данных надиске Сериализация данных 19
- 40. Факторы Структура данных надиске Сериализация данных Поддержка индексов 19
- 41.
- 42. bson.dumps({”a”: 3, ”b”:u”xyz”}) 21
- 43.
- 44. select pg_relation_filepath(oid), relpages frompg_class where relname = ’table_name’; pg_relation_filepath | relpages ----------------------+---------- base/40960/325477 | 0 (1 row) 23
- 45.
- 46. Сериализация данных MongoDB –дерево Document -> Elements Postgresql – JsonbValue со списком элементов MySQL – класс Value 25
- 47. Индексы MongoDB – индексыдля полей Postgresql – общий индекс, индексы для полей MySQL – виртуальные колонки для индексирования 26
- 48.
- 49.
- 50. PostgreSQL 9.5.4 MySQL 5.7.9 MongoDB3.2.9 YCSB 0.9 106 rows and operations AWS EC2 29
- 51.
- 52. AWS EC2 m4.xlarge instance separateinstance (database and generator) 16GB memory, 4 core 2.3GHz Ubuntu 14.04 Same VPC and placement group AMI that supports HVM virtualization type at least 4 rounds of benchmark 31
- 53. Конфигурация shared_buffers effective_cache_size innodb_buffer_pool_size write concern level(journaled or transaction_sync) 32
- 54. Виды документов “простой” документ 10ключей и значений (100 символов) “большой” документ 100 ключей и значений (200 символов) “сложный” документ 100 ключей, 3 уровня вложенности (100 символов) 33
- 55. Простая выборка поключу с ”Простой документ” jsonb_path_ops where data @> ’”key”: ”value”’::jsonb 34
- 56.
- 57.
- 58. Простая выборка поключу ”Простой документ” jsonb_path_ops where data @> jsonb_build_object(’key’, ’value’) 37
- 59.
- 60. Простая выборка поключу с Btree индексом ”Простой документ” btree 39
- 61.
- 62.
- 63. Простая выборка поключу с Btree индексом ”Сложный документ” btree 42
- 64.
- 65. Срез по документу ”Большойдокумент” Из документа выбирается одно поле 44
- 66.
- 67. Срез по документу ”Большойдокумент” Из документа выбирается 10 полей 46
- 68.
- 69.
- 70.
- 71.
- 72. Вставка документов ”Простой документ” defaultwrite concern 51
- 73.
- 74.
- 75.
- 76.
- 77. Выборка 50%, обновление50% ”Простой документ” обновление одного поля transaction_sync 56
- 78.
- 79.
- 80. Выборка 50%, обновление50% ”Простой документ” обновление одного поля journaled 59
- 81.
- 82. Выборка 50%, обновление50% ”Большой документ” обновление одного поля 61
- 83.
- 84.
- 85. Документов в RDBMSможно не бояться 64
- 86. Документов в RDBMSможно не бояться Приведенные бенчмарки - ”подсказки” 64
- 87. Документов в RDBMSможно не бояться Приведенные бенчмарки - ”подсказки” Необходимы свои тесты для нагрузки 64
- 88. Документов в RDBMSможно не бояться Приведенные бенчмарки - ”подсказки” Необходимы свои тесты для нагрузки Где кластер? 64
- 89. вопросы? github.com/erthalion @erthalion 9erthalion6 at gmail dot com Дмитрий Долгов Senior Software Engineer Zalando 65