Downloaded 30 times
Uploaded byAlexander Tokarev
Cloud DWH deep dive
The document discusses the challenges and strategies related to implementing cloud data warehouses, focusing on companies like Amazon, Snowflake, and Google. It highlights common failures during migration, such as inadequate compression selection and oversight in managing data structures, while offering insights into optimizing pricing models and enhancing performance through design practices. The author emphasizes that cloud solutions are not a one-size-fits-all, urging careful consideration of data models and warehouse characteristics for successful deployment.
More Related Content
Cloud DWH deep dive
- 1. Cloud datawarehouses inreal life Alexander Tokarev (Sberbank)
- 2. Who am I •Sberbank cloud architect: • Solution design • Best practices • Strategy • Enterprise databases Oracle - 2001, Oracle 8.1.7 – 19c • Cloud databases: Redshift, Athena, BigQuery, SnowFlake
- 3.
- 4. Cartoon time DWH audit New ExtraCool Super Fast Cloud Vendor
- 5. Why failure • Transitionvia migration tool • Bad compression selection • No queues management • Data structure moved as-is • No constraints defined • Cluster is too big
- 6. Agenda • Cloud offering •Customer data model • Refactorings • Final metrics • Extreme DWH tuning • Q&A
- 7. Cloud promises • On-demandscalability • Reliability • No infrastructure support • Very simplified tuning • No internals database knowledge for design • No physical storage knowledge for design • Low-cost
- 8. Cloud promises • On-demandscalability • Reliability • No infrastructure support • Very simplified tuning • No internals database knowledge for design • No physical storage knowledge for design • Low-cost It isn’t true sometimes!
- 9. Cloud DWH mainplayers • Amazon • Snowflake • Google • Panoply • Hundreds of others… Redshift management framework
- 10. Cloud DWH approaches Processingtype: • All-in-one cluster node • Separated storage and compute Ability to manage: • No management (BigQuery, Athena) • Fine-grain management (Redshift, Snowflake)
- 11. Cloud DWH approaches •Managed open-source solutions (Athena - Presto) • Opensource forks (Redshift - Postgres) • Own products (BigQuery, Snowflake)
- 12. Pricing model • Percompute • Per storage • Per scan • Mixed
- 13. Pricing model Redshift classic: 2CPU, 0.16 Tb SSD, 15 Gb RAM – 0.25 USD/Hour .. 36 CPU, 16 Tb HDD, 244 Gb RAM – 6,8 USD/Hour Redshift Spectrum: Redshift cluster price 1 Tb scan 5 USD 10 Mb min scan 1 Tb 23 USD/Month S3 storage price Athena: 1 Tb scan 5 USD 10 Mb min scan 1 Tb 23 USD/Month S3 storage price Compute + storage + processing Compute Storage Processing Processing Storage
- 14. Pricing model BigQuery: 1 Tbscan 5 USD 10 Mb min scan 1 Tb 20 USD/Month active storage price 1 Tb 10 USD/Month passive storage price Storage Processing
- 15. Pricing model BigQuery: 1 Tbscan 5 USD 10 Mb min scan 1 Tb 20 USD/Month active storage price 1 Tb 10 USD/Month passive storage price No changes in 90 days Unique BigQuery cloud feature! Storage Processing
- 16. Pricing model BigQuery: 1 Tbscan 5 USD 10 Mb min scan 1 Tb 20 USD/Month active storage price 1 Tb 10 USD/Month passive storage price SnowFlake: X-Small cluster 1 machine 2 USD/Compute Hour .. 4X-Large cluster 128 machine 256 USD/Compute Hour 60 seconds min run 1 Tb 40 USD/Month storage price Storage Processing Compute + Processing Storage
- 17. Redshift architecture Dense compute Large– 2 slices,15 Gb RAM,160 Gb SSD 8XL – 32 slices, 244 Gb RAM,2.5 Tb SSD Dense storage X-Large – 2 slice, 31 Gb RAM, 2 Tb HDD 8XL – 16 slice, 244 Gb RAM, 16 Tb HDD
- 18.
- 19.
- 20. Redshift Spectrum architecture 10xRedshift cluster size Athena
- 21.
- 22. Snowflake architecture Disposed whenDWH terminates
- 23.
- 24.
- 25. Columnar pros&cons Pros - Perfectfor analytic workload - Widely supported by opensource: 1. Parquet 2. Orc - Good for compression Cons - Complicated update strategy - Bad in concurrent write workload Less cloud storage price!
- 26. Cloud DWH columnarformat • Redshift classical – own • BigQuery – own Capacitor/former ColumnIO • Redshift Spectrum – Parquet, Orc • Athena/Presto – Parquet, Orc
- 27. Why failure • Transitionvia migration tool • Bad compression selection • No queues management • Data structure moved as-is • No constraints defined • Cluster is too big
- 28. Cloud price trap •Too normalized data model -> A lot of joins -> Pay for compute • Too normalized data model -> A lot of joins -> Not used DB features -> Redistribute between nodes -> Pay for compute • Too Denormalized data model -> Extra disk space -> Pay for storage • Too Denormalized data model -> Extra disk space -> Pay for scan • Too Denormalized data model -> Extra disk space -> Pay for compute • Not proper compression -> Extra disk space -> Pay for storage • Not proper compression -> Extra disk space -> Pay for scan • Not proper compression -> Extra disk space -> Pay for compute Unbalanced design = pay for everything!!!
- 29. Redistribute/Reshuffle Extra network trafficand CPU consumption! Node 1 Node 2
- 30. Cost metrics • Initialnodes count: 4 • Initial year price: 238 000 USD • Final nodes count: 11 • Initial year price: 655 000 USD
- 31. Why failure • Transitionvia migration tool • Bad compression selection • No queues management • Data structure moved as-is • No constraints defined • Cluster is too big
- 32. Customer’s DWH model 1record per repair item
- 33. Common customer’s queries •Manufactories count by state • Manufactories count by state and counties • Ranks by profit inside state by year and month • Profit by state and counties • Random queries like counts by ZIP
- 34. Performance metrics Query Seconds Manufactoriescount by state 2 Manufactories count by state and counties 6 Ranks by profit inside state by year and month 12 Profit by state and counties 9 Сount by ZIP 7
- 35. Fact merging • Checkfacts dimensions • If they are equal check measure • If they are close merge with fact type
- 36. Customer’s DWH model 1record per repair item
- 37. Fact merging 1 recordper repair item 1. Deal 2. Discount 3. Payment
- 38. Dimensions merging • Checkdimensions • If they are different for different fact types move next • If they have a lot of common attributes merge • Be happy with: – simplified BI model – better dimension compression – better performance because of collocate joins
- 39.
- 40. Dimensions merging 1 recordper repair item
- 41. Denormalized facts • Aggregatedimensions which changes not often to fact
- 42. Denormalized facts 1 recordper repair item
- 43. Final performance metrics QueryMerged facts + dimensions Redshift Old STAR model Manufactories count by state 1,6 2 Manufactories count by state and counties 5 6 Ranks by profit inside state by year and month 9 12 Profit by state and counties 6 9 Сount by ZIP 6 7 Performance profit ~20%!!!
- 44. Are you crazyenough? Let’s feed all data in a big flat table!!!
- 45. No dimension warehouse 1record per item EVEN distribution for Redshift 4 Tb dataset
- 46. Performance Query No dimension Redshift Nodimension BigQuery Old STAR model Manufactories count by state 1,4 1,1 2 Manufactories count by state and counties 4 3,3 6 Ranks by profit inside state by year and month 11 6 12 Profit by state and counties 6 5 9 Сount by ZIP 5 3,8 7
- 47. Performance • Redshift –20-30% performance profit • BigQuery – 35-50% performance profit
- 48. Semi/Full Nested facts •Unique feature of BigQuery • Very good where nested data aren’t used in calculations • Recommendation from Google: flatten or nest
- 49. Semi/Full Nested facts 1record per full order
- 50.
- 51.
- 52. Semi/Full Nested factsSnowflake NO nested native support! Nested data should be in JSON!
- 53. Semi/Full Nested factsRedshift Ugly extract! NO nested native support! Nested data should be in JSON!
- 54. Performance Query Semi-nested facts BigQuery No dimension Redshift No dimension BigQuery Old STAR model Manufactories countby state 0,9 1,4 1,1 2 Manufactories count by state and counties 3 4 3,3 6 Ranks by profit inside state by year and month 5 11 6 12 Profit by state and counties 4 6 5 9 Сount by ZIP 3 5 3,8 7
- 55. Data models comparison Datamodel Performance ETL simplicity Dimension changes BI simplicity Space consumption Pure STAR - + + ++ + Merged facts + - + +- - Merged dimensions + - - + - Denormalized fact ++ -- -- +- -- Semi/Full Nested facts +++ --- --- - - No dimensions +++ --- --- --- ---
- 56. Data models comparison Datamodel Performance ETL simplicity Dimension changes BI simplicity Space consumption Pure STAR - + + ++ + Merged facts + - + +- - Merged dimensions + - - + - Denormalized fact ++ -- -- +- -- Semi/Full Nested facts +++ --- --- - - No dimensions +++ --- --- --- ---
- 57. Redshift magic • Chooseproper distribution style • Choose proper sort keys
- 58. Distribution • ALL distributionstyle – for reference data (10000 rows) • KEY for joins • EVEN distribution is default • AUTO isn’t smart enough AUTO After threshold
- 59.
- 60. Sort keys • Physicallyorder data on disk by a field/fields set • Degrades ingestion • Improve join/search/grouping • 2 types: 1. Compound 2. Interleaved (Z-ordered)
- 61. Sort keys Key typeIngestion degradation Search degradation Random searches Compound Not big No WHERE in Key order Interleaved Decent Yes WHERE in Random order
- 62.
- 63. Sort keys Oracle 5years later…
- 64.
- 65. Redshift housekeeping • Dedicatedworkload queues (WLM) • Regular VACUUM to free space and sort order • Regular ANALYZE to relevant statistics
- 66.
- 67. Why failure • Transitionvia migration tool • Bad compression selection • No queues management • Data structure moved as-is • No constraints defined • Cluster is too big
- 68. Cloud DWH compression Nocompression management No compression management
- 69.
- 70. Redshift compression • Measuretable column size • Check suggested encoding via ANALYZE COMPRESSION • Apply suggested and re-measure • If not happy change suggested • Be happy with I/O performance and lower database size • We love ZSTD
- 71. BigQuery tricks • Wildcardtables • Partitioned tables • Clustered tables Don’t forget – no result cache!
- 72.
- 73. BigQuery partitioning • Ingestiontime – 1 partition per ingestion day. • Date partitions – partition by TIMESTAMP or DATE column
- 74.
- 75. Pure partitioning Raises exceptionif not partition field in WHERE
- 76. BigQuery clustered tables •Ordered data • Up to 3-4x performance profit • Up to 400x costs reduction sometimes • No more LIMIT anti-pattern • Possible with non-partitioned
- 77.
- 78. BigQuery clustered tables 1.Slow ingestion 2. manual recluster as CREATE TABLE AS SELECT * $$$ for cloud provider! If you read Release notes
- 79. BigQuery clustered tables Lessprice to cloud!!! 333x less payment! 3x faster 0,4 USD 0,0012 USD
- 80.
- 81. SnowFlake clustered tables 1.Automatic reclustering processes 2. Extra space consumption No chance to abstract from physical storage layer!!! $$$ for cloud provider!
- 82. Hardware removal • SetupWLM queues properly • Check concurrency • Estimate disk utilization • Check disk-based queries • Estimate loading parallelism
- 83. Why failure • Transitionvia migration tool • Bad compression selection • No queues management • Data structure moved as-is • No constraints defined • Cluster is too big
- 84. WLM • Mechanism tobalance workload via FIFO queue • Queries wait until there is no place in queue • Default values are too low • Only one queue is configured
- 85.
- 86. WLM • Setup usersper workload: 1. Adhoc 2. BI 3. ETL 4. housekeeping • Create Redshift groups per workload • Assign groups to users
- 87. WLM • For eachqueue: • Consider Concurrency Scaling • Controlled by max_concurrency_scaling_cluster • Set static slots count • Set memory percentage from node • Max query memory = queue memory/slots count Parameter wlm_slot_count overrides it! Query will consume more than 1 slot. ANALIZE and VACUUM will be faster. Unique Redshift cloud feature!
- 88. WLM • Consider ShortQuery Acceleration • Leave default queue with 1% memory and 1 slot count for DBA for the sake of emergency
- 89. Short Query Acceleration •Small queries aren’t stuck in WLM • Dedicated queue for small queries • Queue duration estimate by ML
- 90. Concurrency • Check queuewait time in 1 week dynamic • Wait time changes proportionally slots count and nodes count • Estimate new wait time in case of slots reduction
- 91. Disk utilization • Checkdisk space consumption in 1 week dynamic • Disk space should 70-80% from total cluster space • Disk space changes proportionally nodes count • Estimate new disk space utilization
- 92. Disk utilization Doesn’t includequery buffers, temporary tables and etc!!!
- 93. Disk queries 1. Measuredisk queries count 2. If more 10% - re-tune WLM 3. If fine-tuned – no options to retire a node
- 94. Disk queries 1. Ifless 10% then 2. Disk queries count changes proportionally memory in cluster 3. Estimate new WLM queue memory size 4. Compare with AVG queries memory
- 95. Loading parallelism • CheckLOADs time in 1 week dynamic • LOAD performance changes proportionally nodes count • Estimate new wait time in case of node retirement
- 96. Why failure • Transitionvia migration tool • Bad compression selection • No queues management • Data structure moved as-is • No constraints defined • Cluster is too big
- 97. Node elimination process ParameterToo many nodes Node count 11 Queue count 1 Waits in queues, second per working day 500 Disk-based queries, % 20 Disk consumption, Tb/% from total 159/91 Average LOAD operation, seconds 20 Cost of ownership, USD, per year 655 000
- 98. Node elimination process ParameterToo many nodes Optimal nodes count Node count 11 8 Queue count 1 5 Waits in queues, second per working day 500 150 Disk-based queries, % 20 5 Disk consumption, Tb/% from total 159/91 98/80 Average LOAD operation, seconds 20 26 Cost of ownership, USD, per year 655 000 476 000 180 000 USD profit!!!
- 99. Why failure • Transitionvia migration tool • Bad compression selection • No queues management • Data structure moved as-is • No constraints defined • Cluster is too big
- 100. Constraints • 3 types: 1.Uniqueness 2. Primary key 3. Foreign key 4. Not null - enforced • Must be adhered by ETL process • Used by optimizer not enforced by Redshift! as Oracle
- 101. Constraints Used in: • Joinorder calculation • Join elimination process • Count(distinct <field>) operation
- 102. Constraints risks Without constraint: WithPRIMARY KEY constraint: Dupe but very fast!!!
- 103. Constraints risks Without constraint: WithFOREIGN KEY constraint: Wrong but very fast!!!
- 104. Constraints • We douse constraints • We trust our ETL • But there is integrity check job • We help optimizer • So reports are very fast
- 105.
- 106.
- 107. Conclusion • Cloud isn’ta silver bullet • No chance to abstract from data storage layer • Optimize data model first • Approaches are fine with others cloud DWH • Use DBMS unique features • Remove hardware – it works sometimes • Adding hardware – last chance • Don’t trust migration wizards • No cloud DWHs in Russia
- 108. THANK YOU FORYOUR #SBERTIME! Alexander Tokarev Cloud architect Sberbank shtock@mail.ru
Editor's Notes
- #2 Привет, давайте поговорим про облака и хранилища в них.
- #3 Я работаю архитектором по производительности в компании Датаарт, где занимаюсь вопросами, связанными с общим дизайном системы, настройками производительности и различными исследовательскими проектами. Изначала я из мира Oracle, но сейчас всё более увлекаюсь облачными системами обработки данных.
- #4 Перед тем как я расскажу вам сценарий мультфильма у меня вопрос. Кто из вас работает с хранилищами данных? А у кого используются облачные хранилища? Редшифт? Гугл? Жили были бояре и было у них небольшое хранилище в оракле, но они считали, что его владельцы купаются в деньгах. Они нанняли консультантов и внедрили облачную базу. С каждым моментом ей становилось всё хуже и хуже, но лечили это добавление нод кластера, пока не поняли, что и владельцы клауда продолжают купаться в деньгах
- #5 Пришла компания датаарт, провела аудит и пришли мы к выводу, что с хранилищем ситуация плачевна. Кажется, что можно было бы поставить еще более модную новую клаудную систему, но мы решили пойти иначе.
- #6 В чем же причина провала. Ключевое, что смена бд была с использованием мастера меграции, что привело К плохому выбору компрессии Отсутствию управления очередьми Структура данных была перемещена как ест Констрейнты отсутствовали Что привело к неоправданно большому кластеру
- #7 Итак, мы поговорим о том, что есть в облаках Модели данных заказчика Как мы её меняли Итоговые метрики производительности Также обсудим экстремальные подходу к тюнингу хранилищ И я с удовольствием отвечу на ваши вопросы.
- #8 Клауд обещает масштабируемость по запросу Надёжность Отсутствие необходимости поддержки инфраструктуры Упрощенный тюнинг. Причём вендоры рекомендуют просто добавлять железо Конечно же утверждается, что не надо знать как работает СУБД изнутри и особенно слой хранения данных Ну и ключевое, что обещается, что облака значительно дешевле
- #9 Хотелось бы обратить внимание, что последние пункты далеко не всегда правдивы.
- #10 Redshift automation players е Ключевыми игрокамами на рынке облаков является Амазон Сноуфлей Гугл И сотни других. Только ленивый сейчас не пишет клаудные субд. Думаю, даже яндекс так думает.
- #11 Итак, хранилища отличаются по типу обработки И Детализацией процессов управления Иногда расчёты и хранение сконцентрированы в одной ноде Иногда разделено хранение и расчё Бывают как абсолютно serverless системы, такие как бигквери и афина Так и системы с довольно глубокими настройками такие как Редшифт и Сноуфлейк
- #12 Облачные хранилища обычно создают либо на базе Управляемых опенсурсных решений Либо на базе их форков Ну или пишут с нуля
- #13 Модель ценообразования формируется на основе стоимости Вычисления Хранения Объема отсканированнных данных И их комбинации
- #14 При расчётах цены Редшифта цена считается за ноду, т.е. за расчёт, хранение и обработку Редшифт спектрум оценивается по стоимости обработки, объему отпроцешенных данных и стоимости хранения Стоимость работы с афиной складывает от обхема отпроцешенных данных и стоимости хранения
- #15 Цена бигквери аналогична – она складывается из объема отпроцешенных данных и стоимости хранения.
- #16 Тут важно подчеркнуть, что в гугле есть понятие активного и пассивного хранения. Пассивным считаются те таблицы и партиции, данные в которых не менялись 90 дней и такое хранение стоит в 2 раза дешевле. Соответственно это уникальная клаудная фишка, предлагаемая только гуглом.
- #17 Сноуфлейк разделяет стоимость вычислительных ресурсов и стоимость хранения.
- #18 Понять сколько слайсов на ноде редшифта
- #19 Собственно разница между колоночным и столбчатым форматами ясна: в одном хранятся строки, в другом колонки Redshift spectrum и result cache
- #20 Собственно разница между колоночным и столбчатым форматами ясна: в одном хранятся строки, в другом колонки
- #21 Собственно разница между колоночным и столбчатым форматами ясна: в одном хранятся строки, в другом колонки
- #22 Собственно разница между колоночным и столбчатым форматами ясна: в одном хранятся строки, в другом колонки
- #23 Собственно разница между колоночным и столбчатым форматами ясна: в одном хранятся строки, в другом колонки
- #24 Собственно разница между колоночным и столбчатым форматами ясна: в одном хранятся строки, в другом колонки
- #25 Собственно разница между колоночным и столбчатым форматами ясна: в одном хранятся строки, в другом колонки
- #26 Ключевыми достоинствами колоночного формата является его работа В условиях аналитической нагрузки Есть множество опенсурсных форматов, таких как Паркет Орк И они очень хороши для компрессии, что приводим к меньшим затратам на хранение в облаке Недостатки: Сложный процесс обновления данных и Нюансы при работе в многопользовательском режиме
- #27 Редшифт использует свой формат данных Бигквери свой под названием Капастор, а раньше КолумнИо Редшифт спектрум использует паркет и орк Ровно как афина и престо
- #28 Собственно то, что перенос был сделан средствами миграции мы устранить уже не сможем
- #29 При работе с клаудными базами данных многие попадают в ловушку Слишком нормализованная система – много джоинов и много оплаты cpu Если же при этом не используются фишки субд, то это приводит к перераспределеннию данных между нодами, что опять таки приводит к оплате cpu. Слишком денормализованная модель приводи к росту оплаты за стоимость, сканирование и cpu Если неправильно подобрана компрессия, то ситуация полностью аналогична. Таким образом, если система имеет несбалансированный дизайн, то платить придётся за всё и много.
- #30 Что же такое редистрюбьют или решафл в терминах гугла. Это когда для выполнения джоинов или других операциях на ноде одного кластера недостаточно информации и необходимо её переслать с другой ноды.
- #31 Изначальное количество нод было 4, а стоило это порядка 230 тысяч долларов, Тогда как финальное количество нод было 11, а их итоговая цена была около 650 тысяч долларов.
- #32 Поэтому начнём работать по пунктам, Начнём с модели данных.
- #33 Заказчик это франчайзинговая сеть автостанций. Рассмотрим одну из витрин, которая посвящена ремонту. На ней есть набор измеренений и факты, в которых хранятся данные по объектам ремонта, скидкам и оплатам Важно что строчка единицы ремонта это одна строка в таблице фактов
- #34 Запросы, которые идут из BI довольно типовые и сводятся к различным подсчётам агрегатов, таким как Количество станцией по штатам Разрезы по штатам и областям Рейтинги по прибы внутри штатов с разбивкой по датам Прибыли по штатам и областям И адхок запросы а-ля количество продаж по почтовым кодам
- #35 Рассмотрим метрики производительности. Кажется, что цифры малые, но так как в качестве системы отчётности используется табло, которое вызывает в параллель до 20 запросов на вкладку дэшборда суммарные цифры получались весьма значительные
- #36 Для того, чтобы выполнить рефакторин Слияние фактов небходимо проверить какие есть ссылки на измерения в факте и не одинаковы ли они. Если они одинаковы, то проверить меры. Если меры близки друг другу, то объединить их в одну таблицу с указанием типа факта.
- #37 Мы видим, что у фактов абсолютно одинаковые измерения, а отличаются они только смысловым значением идинственной меры, которая в одной таблице это стоимость ремонта, Во второй величина скидки, а в третье стоимость оплаты
- #38 Таким образом мы оставляем одну таблицу, вводим поле тип записи со значениями Сделка, скидка и оплата. Из-за компресси значительно уменьшилось место, стало надо делать радикально меньше джоинов с разными таблицами, но усложнилась модель BI
- #39 Попробуем сделать что-то с измерениями. Если они абсолютно свои для каждого типа фактов необходимо проверить не одинаковые ли у них атрибуты. Если да или количество отличающихся атрибутов невелико, то сливаем их в одно измерение Что приводит к значительному упрощению модели BI, лучшей компрессии и скорости, так как джоины могут стать collocated – данные лежат на одной ноде.
- #40 Как мы видим, у нас во всех измерения есть одинаковые 4 поля и небольшие отличия
- #41 Сливаем их в единую таблицу
- #42 Денормализация фактов очевидна – сливаем в факты те измерения, которые редко меняются
- #43 Собственно вот так
- #44 Мы выбрали модель merged facts и dimension и получили прирост производительности около 20 процентов. Вчера с утра я погуглил не изобрели ли мы велосипед и обнаружил, что при подобных оптимизациях народ получал прирост производительности до 90 %
- #45 Вы готовы к экстриму? А давайте возьмём и накормим большую плоскую таблицу всеми данными.
- #46 Сделаем равномерное распределение в редшфте и зальём около 4 Тб данных.
- #47 Замерив производительность мы видим, что гугл бигквери в два раза быстрее на данной модели данных.
- #48 Обобщая, видно что на редшифте мы получаем около 30% прироста производительности, А у биг квери до 50
- #49 Вложенные факты это уникальная фишка Она особенно хороша, когда вложенные данные не учавствуют в вычислениях, а нужны для показа Собственно сам гугл рекомендует этот подход. Что денормализация это хорошо, а схемы звезда и снежинка не должны использоваться
- #50 Мы указываем, что у нас детали чека будут вложены в сам чек и мы получаем одну строчку на чек в таблице фактов
- #51 У гугла модель данных описывается в json схеме и в ней мы объявляем тип данных record и указываем, что он повторяется. Так мы можем вложить в чек его детали и скидки
- #52 Работать с вложенными объектами весьма просто. Мы просто указываем команду unnest и далее работаем с данными как с обычной таблицей
- #53 Работать с вложенными объектами весьма просто. Мы просто указываем команду unnest и далее работаем с данными как с обычной таблицей
- #54 Сказать что не рекомендуется и адов пример и проверить не поменялось ли
- #55 Как мы видим во многих случаях nested/flatten модель показывает более чем двухкратный прирост производительности
- #56 Можно довольно долго смотреть на модели с точки зрения плюсов и минусов по различным параметрам, таким как скорость, простота етл, стойкость к изменениям данных в измерения и занимаемое место
- #57 Но так как я уже говорил ранее основа клаудной оптимизации это баланс, для нашего хранилища мы выбрали merged dimensions, тогда как для гугла я бы выбрал semi-nested модель
- #58 Несмотря на то, что доклад в целом про модели данных, к сожалению оптимизацию хранилищ данных невозможно осуществлять без понимания нюансов конкретных баз данных, как бы от этого не пытались абстрагироваться поставщики клаудных решений. Я специально не затрагиваю вопросы подходов к обновлению и добавлению данных, а акцентирую внимание на статичных вещах именно при дизайне таблиц. Итак, необходимо выбрать правильный стиль распределения и правильные ключи сортировки.
- #59 Есть следующие типы распределения: По ключу, когда на каждом шарде лежит определённый набор ключей, All когда на шард полностью реплицируются таблица Или even, когда данные равномерно размазываются алгоритмом round-robin Есть ещё тип АВТО, который вначале присвает тип all, а потом по достижению определённой границы тип even Я ремомендую тип олл для справочников до 10000 значений Кей для джоинов, а ивен если нет явного ключа распределения
- #60 Рассказать про ключи и сравнить с ораклом
- #61 Ключи сортировки упорядочивают данные по полю, набору полей Что уменьшает скорость вставки Но увеличивает джоины, поиск, группировки Естть 2 типа ключей сортировки Составные и interleaved
- #62 Составные ключи имеют два недостатка – уменьшение скорости вставки и неускорение поиска по полям, перечисленным в произвольном порядке Interleaved ключи серьёзно роняют скорость вставки, при этом их скорость поиска меньше составных ключей, но зато они не зависят от порядка полей и всё равно быстрее поиска без них
- #63 Рассказать про ключи и сравнить с ораклом
- #64 Рассказать про ключи и сравнить с ораклом
- #65 Рассказать про ключи и сравнить с ораклом
- #66 Сказать что в оракле тоже надо Для того, чтобы редшифт работал чётко, необходимо иметь правильно настроенные очереди Выполнять vacuum для очистки места и поддержания порядка сортировки Ну и проводить сбор статистики для корректно работы оптимизатора в новой версии редшифта есть автоматический analyze, который запускается сам.
- #67 Сказать что в оракле тоже надо Для того, чтобы редшифт работал чётко, необходимо иметь правильно настроенные очереди Выполнять vacuum для очистки места и поддержания порядка сортировки Ну и проводить сбор статистики для корректно работы оптимизатора в новой версии редшифта есть автоматический analyze, который запускается сам.
- #68 Поговорим о компрессии
- #69 Как вы думаете как управляется компрессия в бигквери? А как в сноуфлейке? А теперь загадка – с какой субд эта табличка. Нет, с гринплама
- #70 У редшифта огромнейший выбор алгорирмтов компрессии, поэтому их выбор это целый процесс
- #71 Необходимо опреелить размер колонок Проверить что предлагает сам редшифт с использованием analyze compression Применить и перемерить После этого возрадоваться скоростью операций ввода-вывода и меньшим размером базы данных Кстати, мы любим алгоритм ZSTD
- #72 Изначальная идея гугла была абстрагироваться от физики хранения, ровно как и у всех современных клаудных хранилищ, но идея не взлетела, поэтому первыми появились Вайлдкард таблицы. Знаете что это? Это когда в имени таблицы захардкожена дата и можно писать регэкспы в секции from. Кстати, с ними не работает резалт кэш. Потом партиционирование и кластерные таблицы. Кто знаком с кластерными таблицами в гугле?
- #73 Рассказать про вайлдкард таблицы + про партиции
- #74 Рассказать про вайлдкард таблицы + про партиции
- #75 Рассказать про вайлдкард таблицы + про партиции
- #76 Рассказать про вайлдкард таблицы + про партиции
- #77 В целом это упорядоченые таблицы, при этом их использование может дать прирост скорости до 4 раз И до 400 раз уменьшить стоимость владения Наконец, исчезает ограничения по тому, что LIMIT приводит к полному сканированию таблицы Ну и при наличии магии можно обойтись даже без партиций.
- #78 В целом это упорядоченые таблицы, при этом их использование может дать прирост скорости до 4 раз И до 400 раз уменьшить стоимость владения Наконец, исчезает ограничения по тому, что LIMIT приводит к полному сканированию таблицы Ну и при наличии магии можно обойтись даже без партиций.
- #79 При создании таблицы мы указываем поле по какому она кластеризована К сожалению партиция обязательна, но мы указываем ненастоящее поле И подаём туда левую дату. Конечно, это приводит к уменьшению скорости вставки и Требует ручной рекластеризации, что приводит конечно же к оплате этого
- #80 Посмотрим на запрос к обычной и кластеризованной таблице Мы видим, что из-за огромнейшей разницы в просканированном объеме цена падает более чем в 300 раз, при этом сам запрос работает в 3 раза быстрее
- #81 Посмотрим на запрос к обычной и кластеризованной таблице Мы видим, что из-за огромнейшей разницы в просканированном объеме цена падает более чем в 300 раз, при этом сам запрос работает в 3 раза быстрее
- #82 У сноуфлейка можно аналогично указать порядок упорядочивания данных, Который поддерживается автоматическим процессом рекластеризации, который стоит отдельных денег и приводит к увеличению потребления места, что также стоит денег. Таким образом, мы видим, что любые вещи, связанные с увеличением производительности в облачных базах данных, особенно в которых мало возможностей по ручной конфигурации, связаны с серьёзными расходами и всё равно нет шансов абстрагироваться от физического способа хранения данных.
- #83 Для удаления лишнего оборудования нам необходимо Настроить правильно очереди Поработать с работой в многопользовательском режиме Разобраться использованием диска и Дисковыми запросами и понять как изменится Параллелизм загрузки
- #84 Собственно управление очередями
- #85 Очередь это механизм балансировки нагрузки по фифо-принципу Т.е. запросы ждут пока не освободится место после выполнения запроса в очереди Значения по умолчанию слишком малы И сконфигурирована только одна очередь
- #86 Очередь это механизм балансировки нагрузки по фифо-принципу Т.е. запросы ждут пока не освободится место после выполнения запроса в очереди Значения по умолчанию слишком малы И сконфигурирована только одна очередь
- #87 Для начала настройки необходимо создать пользователей под виды нагрузок Произвольные запросы Bi Etl Поддержка Создать группы для данной загрузки Присвоить группы пользователям
- #88 Соответственно для каждой очереди обдумать факт использования concurrency scaling. Знаете что это такое? Когда редшифт поднимает дополнительные кластеры в случае возникновения дополнительной нагрузки. Количество кластеров определяется параметром Необходимо установить количество слотов в очереди. Упрощённо говорят слот это запрос. Всего может быть на всю систему 50 слотов. Установить количество памяти в процентах от всей ноды При этом важно понимать, что эти проценты будут использованы для расчёта максималной памяти по запросу как память очереди полделить на слоты. Если необходимо дать больше одного слота на один запрос используйте параметр wlm_slot_count. Это удобно для ускорения запросов и процессов хаузкипинга базы
- #89 Также можно включить опцию шорт квери акс – это фишка создаёт отдельную очередь для коротких мелких запросов. В дефорлтной очереди надо оставить один слот и хоть сколько-то памяти чтобы в случае проблемы с кластером дба мог его починить
- #90 Также можно включить опцию шорт квери акс – это фишка создаёт отдельную очередь для коротких мелких запросов. В дефорлтной очереди надо оставить один слот и хоть сколько-то памяти чтобы в случае проблемы с кластером дба мог его починить
- #91 Для работы с конкурентностью необходимо пронаблюдать сколько в течении недели запросы проводят в очеред ожидания. Время ожидания пропорционально количеству слотов. Пересчитайте новое время ожидания с учетом изменения количества слотов
- #92 Утилизация диска Проверьте утилизацию диска в динамике за неделю Важно, чтобы потребление диска было не более 70-80 процентов Объем диска меняется пропорционально количеству нод. Собтвенно оцените с этим условием утилизацию.
- #93 Вообще есть метрика про утилизацию, но ей верить нельзя, так как она не учитывает кучу параметров, таких как буфера, временные таблицы и т.д.
- #94 Для борьбы с дисковыми запросами необходимо понять сколько их Если их более 10 процентов необходим тюнинг очередей. Если их количество не уменьшилось убирать ноды невозможно
- #95 Если же их действительно мало, то надо учитывать, что количество дисковых запросов пропорционально количеству памяти в слотах. Оцените новый размер очередей и сравните со средним ожиданием запросов в очереди
- #96 Со скоростью загрузи тоже всё понятно. Проверяем время загрузку в течении недели Скорость загрузки прямо пропорциональна количеству нод Соответственно оцените скорость при уменьшении нод
- #97 Ну что ж Начинаем уменьшать кластер
- #98 У нас 11 нод, Одна очередь В день запросы висят по 500 секунд в ожидании Есть около 20 процентов дисковых запросов и мы потребляем 91 процент диска Загрузка занимает в среднем 20 секунд и Стоит это 655 тысяч
- #99 Итак, выкидываем три ноды Добавляем и настраиваем 5 очередей Время ожидания падает до 150 секунд Из-за грамотной настройки количество дисковых запросов падает до 5 процентов Грамотная компрессия даётс утилизацию диска 80% Пострадала только загрузка, но 26 секунд это приемлемо Итого получаем экономию 180 тысяч долларов
- #100 Остаются констрейнты
- #101 Проверить как работают констрейнты в оракле задизабленные для join elimination Существуют три типа констрейнтов Уникальные Первичные Внешние ключи При этом редшифт их не проверяет. Они чисто декларативные. Нот нал реально проверяются Соответственно первые 3 должны быть гарантированы етл процессом И используются они оптимизатором
- #102 В процесс определения порядка джоинов Исключения ненужных таблиц Расчёта количества уникальных значений
- #103 Рассмотрим запрос который считает количество уникальных значений с констрейнтом Без констрейнта И мы видим, что в случае с констрейнтом есть реальные двойники, зато бычтро. Это происходит по причине использования последовательного сканирования, чтобы не тратить cpu на исключение дубликатов Тогда как при использовании без констрейнтов дубликатов нет так как в плане появляется операция Юник
- #104 Посчитаем обычное количество записей для двух таблиц с джоином. Для плана без констрейнтов у нас довольно сложный план В то время как для плана с констрейнтом план сверхпростой. Произошло исключение таблицы parents из-за констрейнта, Но поэтому мы имеем неправильный результат. В то время как без констрейтов результат правилен, ибо происходит честный джоин 2 таблиц. Но зато быстро выдаем неправильны
- #105 Мы используем констрейнты Потому что верим в етл Но на всякий случай у нас есть недельные джобы проверки данных Тем самым мы помогаем оптимизатору и у нас очень быстрые отчёты
- #106 Мы используем констрейнты Потому что верим в етл Но на всякий случай у нас есть недельные джобы проверки данных Тем самым мы помогаем оптимизатору и у нас очень быстрые отчёты
- #107 Мы используем констрейнты Потому что верим в етл Но на всякий случай у нас есть недельные джобы проверки данных Тем самым мы помогаем оптимизатору и у нас очень быстрые отчёты
- #108 Ну что же, пора подводить выводы Клауд это не панацея, которая позволяет абстрагироваться от уровня хранения Начинайте работу с хранилищем с модели данных, причём Данные подходы могут подойти для многих клаудных баз данных Верьте в уникальные фишки ваших баз данных И не бойтесь выкидывать железо – не всегда это плохо Добавление нового железа должно быть только в крайнем случае Конечно же не верьте мастерам миграций и те кто работает в россии порадуйтесь – у нас нет клаудных хранилищ Ну и повторюсь ещё раз – правильная модель данных это важно
- #109 Всем спасибо за внимание