SlideShare a Scribd company logo
1 of 29
Download to read offline
Знакомство с
Виртуализацией Данных
Для Профессионалов
Алексей Сидоров
Директор по Управлению Данными Главный Евангелист
Denodo
Монолитные Архитектуры
Данных
3
30 Лет Назад – Мир Данных Был Простым
Опердень
CRM
ERP
Хранилище Данных
ETL
Аналитика
Отчетность
4
Монолитная Архитектура : Поместите Все Данные в Одно …
Хранилище
Озеро
Облако
5
Трудности
Монолитная Архитектура
▪ Ограничения централизованных команд:
Централизованные команды по работе с данными не могут
полностью понимать потребности в данных всех различных
отделов, которым они обслуживают.
▪ Невозможность обслуживать разные отделы: Одна
центральная платформа не может быть достаточно гибкой,
чтобы удовлетворить требования разных отделов
организации.
▪ Медленное предоставление данных: Централизованные
платформы по своей природе жесткие, так как они
настроены для выполнения стандартных операций по всей
организации. В результате предоставление данных
медленное и никогда не может быть в режиме реального
времени или по запросу.
6
Реальность : Данные Повсюду
Несколько
Хранилищ
Несколько
Озер
Несколько
Облаков
7
Вопросы
Расширение
понимания
Базовые
Выгода
от Данных
Инновации
Разные Данные для Разных Задач
Данные
Известные Неизвестные
Известные
Неизвестные
--- ODS
--- Data Warehouse
--- Data Lake
8
Облако A
Облако B
Современная Изоляция Данных
Облачные Приложения
ИИ/МО
Отчеты Аналитика
Хранилище
Озеро
Файервол
Data Mesh
10
Точка Принятия Решения
Ценность из данных
Гибкость - время внедрения
Устойчивость к изменениям
Сложность бизнеса
Новые источники данных
Вариантов использования данных
Влияние
на
Бизнес
Масштаб
Изменение в Подходе к
Управлению Данными
11
Альберт Эйнштейн
Мера интеллекта - это способность меняться.
12
Что Такое Data Mesh
• Data Mesh - это новая архитектурная парадигма управления
данными, предложенная Земак Дехгани в 2019 году.
• Она переходит от централизованной инфраструктуры данных,
управляемой одной командой, к распределенной организации.
• Несколько автономных подразделений (доменов) отвечают за
управление и предоставление своих собственных продуктов данных
для остальной части организации.
• Продукты данных должны быть легко находимыми, понимаемыми и
доступными для остальной части организации.
13
Проблемы Управления Данными, Решаемые Data Mesh
• Централизованные узкие места: В централизованных архитектурах данных команды по инженерии
данных часто становятся узкими местами для запросов. Data Mesh перераспределяет ответственность
за управление данными на команды доменов, уменьшая зависимости и ускоряя доставку данных.
• Проблемы масштабируемости: По мере роста организаций требования к данным растут в
геометрической прогрессии. Доменно-ориентированный подход Data Mesh упрощает
масштабирование, распределяя ответственность и позволяя командам доменов более эффективно
управлять своими данными.
• Качество данных и владение: Традиционные модели могут приводить к неясной владельческой
структуре данных и низкому качеству данных. Data Mesh назначает командам доменов
ответственность за качество данных в своих областях.
• Медленная итерация и инновации: Централизованные архитектуры данных могут замедлять быструю
итерацию и инновации из-за времени, необходимого на выполнение запросов и изменений данных.
Data Mesh дает командам доменов возможность более быстро итерировать с использованием своих
данных, что приводит к более быстрому развитию продуктов и принятию решений.
Принципы Data Mesh
15
Четыре Принципа Data Mesh
1. Децентрализованное владение данными,
ориентированное на домены
2. Данные как продукт
3. Инфраструктура для самообслуживания как платформа
4. Распределенное Data Governance
16
Данные как Продукт
Зависимости Принципов Data Mesh
Доменное Владение
Распределенное
Управление
Платформа
Самообслуживания
Предотвращает
Изолированность
Проясняет Связи
Между Доменами
Уменьшает Стоимость
Владения
Надежное
Соблюдение Политик
Больше Ценности из
Данных
Значимость
Команд Данных
17
Децентрализованное Владение Данными, Ориентированное на Домены
• Четкая ответственность: Каждый бизнес-домен или подразделение несет ответственность за данные,
которые они создают и используют. Эта владельческая структура способствует чувству ответственности
за качество, точность и полезность данных.
• Экспертиза в домене: Команды, которые создают и понимают данные, наилучшим образом могут
определить их семантику, контекст и соответствующее использование. Эксперты в домене внутри этих
команд могут обеспечить соответствие данных конкретным потребностям бизнеса.
• Снижение зависимости: Предоставив владение данными командам доменов, организация снижает свою
зависимость от централизованных команд по инженерии данных в управлении всеми аспектами данных.
Это приводит к более быстрым срокам реакции и большей гибкости в удовлетворении потребностей,
связанных с данными.
18
Данные Как Продукт
• Ориентированность на потребителя: Продукты Данных разрабатываются и проектируются с учетом
потребностей потребителей данных. Основное внимание уделяется пониманию требований и ожиданий
тех, кто будет использовать данные для принятия информированных решений или получения инсайтов.
• Четкая владельческая структура: Каждый Продукт Данных должен иметь четкую структуру владения в
команде домена. Эта команда несет ответственность за проектирование, разработку, поддержание и
обеспечение качества данных продукта.
• Продуктизация: Данные не являются просто побочным продуктом процессов; они активно
проектируются и упаковываются как потребительский продукт. Это включает в себя определение
договоров по данным, метаданных, стандартов качества и механизмов доступа.
19
Инфраструктура для Самообслуживания как Платформа
• Усиление команд по данным: Команды по данным, включая доменные команды, инженеров данных
и аналитиков, должны иметь возможность самостоятельно пользоваться инструментами,
необходимыми для задач, связанных с данными.
• Сервисы платформы данных: Предоставьте централизованную платформу данных, предлагающую
набор сервисов, инструментов и ресурсов для управления данными, их обработки и анализа. Эти
сервисы должны быть разработаны с учетом удобства пользователей без технических навыков.
• Автоматизированное предоставление ресурсов: Обеспечьте автоматизированное предоставление
ресурсов, таких как хранилище данных, вычислительные ресурсы и конвейеры обработки. Это
сокращает время, необходимое для настройки и настройки сред обработки данных.
20
Распределенное Data Governance
• Автономное управление данными: Доменные команды управляют своими данными, включая сбор,
хранение, обработку и обмен, согласно их уникальным потребностям и экспертизе.
• Согласование управления: Несмотря на то, что каждое подразделение сохраняет свою автономию,
они должны соблюдать общие стандарты управления данными, установленные организацией.
• Сотрудничество и обмен: Федеративный подход не препятствует обмену данными. Напротив, он
позволяет осуществлять междоменный обмен, сохраняя при этом контроль и владение на уровне
домена.
• Децентрализованное управление: Доменные команды имеют полномочия принимать решения по
качеству данных, доступу, безопасности и соответствию в рамках своей ответственности.
Виртуализация Данных
для Data Mesh
22
Платформа Denodo
Распределенные
Разнородные
Источники Данных
Запрос
SQL Push-Down Presto MPP Smart Caching
Data Governance
Role-Based Access
ИИ/МО
Отчеты Аналитика
23
Denodo: ОДНА Логическая Платформа для Всех Ваших Данных
Ease of Use Fast Query
Response
Integrated,
Active Data Catalog
Universal
Connectivity
Modern Data
Services API Layer
Dynamic Data
Masking
Automated Cloud
Management
Key Differentiators
83% reduction
in time-to-revenue
67% reduction
in data preparation effort
65% decrease
in delivery times over ETL
Source: Forrester Total Economic ImpactTM
of
Data Virtualization, 2021
Hybrid/
Multi-Cloud
Security &
Governance
Al/ML
Recommendations
Advanced
Semantics
Data Catalog
Discover / Explore /
Document
BI Tools
SQL / MDX
Data Science
Tools
Data as a Service
RESTful / Odata
GraphQL/ GeoJSON
Files
Cubes
Cloud
Stores
Traditional
DB & DW
INTEGRATE
MANAGE
DELIVER
Disparate data in
any location, format
or latency
Related data with a universal
semantic model and AI / ML
functionality enabling vital
data governance
And democratize data using
BI & data science tools,
data catalogs, and APIs
Data Lake &
NoSQL
Query
Optimization &
Acceleration
24
BI Tools Data Science Tools
Архитектура Платформы Denodo
DATA CATALOG
Discover - Explore - Document
DATA AS A SERVICE
RESTful / OData
GraphQL / GeoJSON
SQL
CONSUMERS
INTEGRATE
disparate data in any location, format or latency
MANAGE
related data into views with universal semantic model
DELIVER
using BI & data science tools, data catalog, and APIs
Self-Service
Hybrid/
Multi-Cloud
Query
Optimization
AI//ML
Recommendations
Security
DATA
INTEGRATION
,
MANAGEMENT,
AND
DELIVERY
PLATFORM
SOURCES
150+
data
adapters
Apps Streaming
Data
Governance
SaaS
Files
OLAP
Hadoop
& NoSQL
Cloud
Stores
Traditional
DB & DW
25
Denodo как Основа для Архитектуры Data Mesh
• Интеграция и Федерация данных: Denodo позволяет создавать виртуальные представления
данных из различных источников, даже если они расположены в разных местах. Это помогает
поддерживать децентрализованное владение данными, интегрируя данные без физического
перемещения или дублирования.
• Представления данных, ориентированные на домены: Denodo может помочь создать
виртуальные представления данных, ориентированные на конкретные домены. Каждая
команда домена может создавать и управлять своими виртуальными представлениями данных,
адаптированными к своим потребностям, с соблюдением стандартов управления данными и
качества.
• Самообслуживание доступа к данным: Возможности самообслуживания Denodo позволяют
командам доменов получать доступ к данным через унифицированный интерфейс, снижая
зависимость от центральных ИТ-команд для доступа к данным и задач интеграции.
26
Denodo как Основа для Архитектуры Data Mesh
• Каталог и Поиск данных: Denodo предоставляет репозиторий метаданных, который помогает
документировать и описывать источники данных, трансформации и связи. Это может служить
каталогом, который команды доменов могут использовать для поиска доступных данных и
понимания их контекста.
• Безопасность данных и Управление: Denodo предлагает функции безопасности, которые
позволяют определять контроль доступа, шифрование и аудит для ваших виртуальных данных.
Это помогает обеспечивать соблюдение требований к управлению данными и безопасности,
обеспечивая децентрализованный доступ к данным.
• Сотрудничество и Обмен данными: Denodo может обеспечивать контролируемый обмен
виртуальными представлениями данных между командами, поддерживая сотрудничество
между доменами и при этом сохраняя автономию каждого домена.
27
Домены Данных
Интеграци
я
Управлени
е
Доставка
Компания
Продукт
Локация
Сотрудник
Клиент
Продажи
Кадры
Прода
жи
Финан
сы
Марке
тинг
Локация
Клиент
Продажи
Компания
Клиент
Продукт
Локация
Сотрудник
Данные в Разрозненных
Приложениях
Безопастность Данных
Самообслуживание
AI/ML
Reports Self-Service
Архитектура Data Mesh
На Основе Виртуализации Данных
Распределе
нная
Data
Governance
28
Восточная пословица
Красивый букет получается из разных цветов.
Спасибо!
www.denodo.com info@denodo.com
© Copyright Denodo Technologies. All rights reserved
Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and
microfilm, without prior the written authorization from Denodo Technologies.
Алексей Сидоров
asidorov@denodo.com
+971 56 625 3066
+7 915 185 5562

More Related Content

Similar to Знакомство с виртуализацией данных для профессионалов в области данных

Sql Server Data Services
Sql Server Data ServicesSql Server Data Services
Sql Server Data Services
Media Gorod
 
Презентация Microsoft PowerPoint
Презентация Microsoft PowerPointПрезентация Microsoft PowerPoint
Презентация Microsoft PowerPoint
webhostingguy
 
Informatica Пронет (v.0.3)
Informatica   Пронет (v.0.3)Informatica   Пронет (v.0.3)
Informatica Пронет (v.0.3)
Natasha Zaverukha
 
14-02-26 DBA 101_ как найти и устранить причины замедления работы БД
14-02-26 DBA 101_ как найти и устранить причины замедления работы БД14-02-26 DBA 101_ как найти и устранить причины замедления работы БД
14-02-26 DBA 101_ как найти и устранить причины замедления работы БД
Andrew Sovtsov
 

Similar to Знакомство с виртуализацией данных для профессионалов в области данных (20)

03.0 Системы хранения данных
03.0 Системы хранения данных03.0 Системы хранения данных
03.0 Системы хранения данных
 
Инфраструктура Big data - от источников до быстрых витрин - версия для МИСиС
Инфраструктура Big data - от источников до быстрых витрин - версия для МИСиСИнфраструктура Big data - от источников до быстрых витрин - версия для МИСиС
Инфраструктура Big data - от источников до быстрых витрин - версия для МИСиС
 
Евгения Курмачева (Oracle): Oracle Database 12c
Евгения Курмачева (Oracle): Oracle Database 12cЕвгения Курмачева (Oracle): Oracle Database 12c
Евгения Курмачева (Oracle): Oracle Database 12c
 
OSPconf. Big Data Forum 2015
OSPconf. Big Data Forum 2015OSPconf. Big Data Forum 2015
OSPconf. Big Data Forum 2015
 
Sql Server Data Services
Sql Server Data ServicesSql Server Data Services
Sql Server Data Services
 
Talksum dec2013 rus_generic
Talksum dec2013 rus_genericTalksum dec2013 rus_generic
Talksum dec2013 rus_generic
 
Презентация Microsoft PowerPoint
Презентация Microsoft PowerPointПрезентация Microsoft PowerPoint
Презентация Microsoft PowerPoint
 
Подходы к построению хранилищ данных в крупных организациях
Подходы к построению хранилищ данных в крупных организацияхПодходы к построению хранилищ данных в крупных организациях
Подходы к построению хранилищ данных в крупных организациях
 
Informatica Пронет (v.0.3)
Informatica   Пронет (v.0.3)Informatica   Пронет (v.0.3)
Informatica Пронет (v.0.3)
 
Технологии анализа и обработки данных
Технологии анализа и обработки данныхТехнологии анализа и обработки данных
Технологии анализа и обработки данных
 
14-02-26 DBA 101_ как найти и устранить причины замедления работы БД
14-02-26 DBA 101_ как найти и устранить причины замедления работы БД14-02-26 DBA 101_ как найти и устранить причины замедления работы БД
14-02-26 DBA 101_ как найти и устранить причины замедления работы БД
 
Data centre
Data centreData centre
Data centre
 
Oracle Big Data. Обзор технологий
Oracle Big Data. Обзор технологийOracle Big Data. Обзор технологий
Oracle Big Data. Обзор технологий
 
Управление ИТ-инфраструктурой с технологиями Dell Software
Управление ИТ-инфраструктурой с технологиями Dell SoftwareУправление ИТ-инфраструктурой с технологиями Dell Software
Управление ИТ-инфраструктурой с технологиями Dell Software
 
High load2007 scaling-web-applications-rus
High load2007 scaling-web-applications-rusHigh load2007 scaling-web-applications-rus
High load2007 scaling-web-applications-rus
 
Oracle Big Data proposition
Oracle Big Data propositionOracle Big Data proposition
Oracle Big Data proposition
 
10 субд
10 субд10 субд
10 субд
 
1 big data oracle digi oct
1 big data oracle digi oct1 big data oracle digi oct
1 big data oracle digi oct
 
Big Data
Big DataBig Data
Big Data
 
Big data
Big dataBig data
Big data
 

More from Denodo

Mastering Data Compliance in a Dynamic Business Landscape
Mastering Data Compliance in a Dynamic Business LandscapeMastering Data Compliance in a Dynamic Business Landscape
Mastering Data Compliance in a Dynamic Business Landscape
Denodo
 
Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...
Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...
Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...
Denodo
 
Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...
Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...
Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...
Denodo
 

More from Denodo (20)

Enterprise Monitoring and Auditing in Denodo
Enterprise Monitoring and Auditing in DenodoEnterprise Monitoring and Auditing in Denodo
Enterprise Monitoring and Auditing in Denodo
 
Lunch and Learn ANZ: Mastering Cloud Data Cost Control: A FinOps Approach
Lunch and Learn ANZ: Mastering Cloud Data Cost Control: A FinOps ApproachLunch and Learn ANZ: Mastering Cloud Data Cost Control: A FinOps Approach
Lunch and Learn ANZ: Mastering Cloud Data Cost Control: A FinOps Approach
 
Achieving Self-Service Analytics with a Governed Data Services Layer
Achieving Self-Service Analytics with a Governed Data Services LayerAchieving Self-Service Analytics with a Governed Data Services Layer
Achieving Self-Service Analytics with a Governed Data Services Layer
 
What you need to know about Generative AI and Data Management?
What you need to know about Generative AI and Data Management?What you need to know about Generative AI and Data Management?
What you need to know about Generative AI and Data Management?
 
Mastering Data Compliance in a Dynamic Business Landscape
Mastering Data Compliance in a Dynamic Business LandscapeMastering Data Compliance in a Dynamic Business Landscape
Mastering Data Compliance in a Dynamic Business Landscape
 
Denodo Partner Connect: Business Value Demo with Denodo Demo Lite
Denodo Partner Connect: Business Value Demo with Denodo Demo LiteDenodo Partner Connect: Business Value Demo with Denodo Demo Lite
Denodo Partner Connect: Business Value Demo with Denodo Demo Lite
 
Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...
Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...
Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...
 
Drive Data Privacy Regulatory Compliance
Drive Data Privacy Regulatory ComplianceDrive Data Privacy Regulatory Compliance
Drive Data Privacy Regulatory Compliance
 
Data Democratization: A Secret Sauce to Say Goodbye to Data Fragmentation
Data Democratization: A Secret Sauce to Say Goodbye to Data FragmentationData Democratization: A Secret Sauce to Say Goodbye to Data Fragmentation
Data Democratization: A Secret Sauce to Say Goodbye to Data Fragmentation
 
Denodo Partner Connect - Technical Webinar - Ask Me Anything
Denodo Partner Connect - Technical Webinar - Ask Me AnythingDenodo Partner Connect - Technical Webinar - Ask Me Anything
Denodo Partner Connect - Technical Webinar - Ask Me Anything
 
Lunch and Learn ANZ: Key Takeaways for 2023!
Lunch and Learn ANZ: Key Takeaways for 2023!Lunch and Learn ANZ: Key Takeaways for 2023!
Lunch and Learn ANZ: Key Takeaways for 2023!
 
It’s a Wrap! 2023 – A Groundbreaking Year for AI and The Way Forward
It’s a Wrap! 2023 – A Groundbreaking Year for AI and The Way ForwardIt’s a Wrap! 2023 – A Groundbreaking Year for AI and The Way Forward
It’s a Wrap! 2023 – A Groundbreaking Year for AI and The Way Forward
 
Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...
Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...
Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...
 
Lunch and Learn ANZ: Achieving Self-Service Analytics with a Governed Data Se...
Lunch and Learn ANZ: Achieving Self-Service Analytics with a Governed Data Se...Lunch and Learn ANZ: Achieving Self-Service Analytics with a Governed Data Se...
Lunch and Learn ANZ: Achieving Self-Service Analytics with a Governed Data Se...
 
How to Build Your Data Marketplace with Data Virtualization?
How to Build Your Data Marketplace with Data Virtualization?How to Build Your Data Marketplace with Data Virtualization?
How to Build Your Data Marketplace with Data Virtualization?
 
Webinar #2 - Transforming Challenges into Opportunities for Credit Unions
Webinar #2 - Transforming Challenges into Opportunities for Credit UnionsWebinar #2 - Transforming Challenges into Opportunities for Credit Unions
Webinar #2 - Transforming Challenges into Opportunities for Credit Unions
 
Enabling Data Catalog users with advanced usability
Enabling Data Catalog users with advanced usabilityEnabling Data Catalog users with advanced usability
Enabling Data Catalog users with advanced usability
 
Denodo Partner Connect: Technical Webinar - Architect Associate Certification...
Denodo Partner Connect: Technical Webinar - Architect Associate Certification...Denodo Partner Connect: Technical Webinar - Architect Associate Certification...
Denodo Partner Connect: Technical Webinar - Architect Associate Certification...
 
GenAI y el futuro de la gestión de datos: mitos y realidades
GenAI y el futuro de la gestión de datos: mitos y realidadesGenAI y el futuro de la gestión de datos: mitos y realidades
GenAI y el futuro de la gestión de datos: mitos y realidades
 
Lunch and Learn ANZ: Shaping the Role of a Data Lake in a Modern Data Fabric ...
Lunch and Learn ANZ: Shaping the Role of a Data Lake in a Modern Data Fabric ...Lunch and Learn ANZ: Shaping the Role of a Data Lake in a Modern Data Fabric ...
Lunch and Learn ANZ: Shaping the Role of a Data Lake in a Modern Data Fabric ...
 

Знакомство с виртуализацией данных для профессионалов в области данных

  • 1. Знакомство с Виртуализацией Данных Для Профессионалов Алексей Сидоров Директор по Управлению Данными Главный Евангелист Denodo
  • 3. 3 30 Лет Назад – Мир Данных Был Простым Опердень CRM ERP Хранилище Данных ETL Аналитика Отчетность
  • 4. 4 Монолитная Архитектура : Поместите Все Данные в Одно … Хранилище Озеро Облако
  • 5. 5 Трудности Монолитная Архитектура ▪ Ограничения централизованных команд: Централизованные команды по работе с данными не могут полностью понимать потребности в данных всех различных отделов, которым они обслуживают. ▪ Невозможность обслуживать разные отделы: Одна центральная платформа не может быть достаточно гибкой, чтобы удовлетворить требования разных отделов организации. ▪ Медленное предоставление данных: Централизованные платформы по своей природе жесткие, так как они настроены для выполнения стандартных операций по всей организации. В результате предоставление данных медленное и никогда не может быть в режиме реального времени или по запросу.
  • 6. 6 Реальность : Данные Повсюду Несколько Хранилищ Несколько Озер Несколько Облаков
  • 7. 7 Вопросы Расширение понимания Базовые Выгода от Данных Инновации Разные Данные для Разных Задач Данные Известные Неизвестные Известные Неизвестные --- ODS --- Data Warehouse --- Data Lake
  • 8. 8 Облако A Облако B Современная Изоляция Данных Облачные Приложения ИИ/МО Отчеты Аналитика Хранилище Озеро Файервол
  • 10. 10 Точка Принятия Решения Ценность из данных Гибкость - время внедрения Устойчивость к изменениям Сложность бизнеса Новые источники данных Вариантов использования данных Влияние на Бизнес Масштаб Изменение в Подходе к Управлению Данными
  • 11. 11 Альберт Эйнштейн Мера интеллекта - это способность меняться.
  • 12. 12 Что Такое Data Mesh • Data Mesh - это новая архитектурная парадигма управления данными, предложенная Земак Дехгани в 2019 году. • Она переходит от централизованной инфраструктуры данных, управляемой одной командой, к распределенной организации. • Несколько автономных подразделений (доменов) отвечают за управление и предоставление своих собственных продуктов данных для остальной части организации. • Продукты данных должны быть легко находимыми, понимаемыми и доступными для остальной части организации.
  • 13. 13 Проблемы Управления Данными, Решаемые Data Mesh • Централизованные узкие места: В централизованных архитектурах данных команды по инженерии данных часто становятся узкими местами для запросов. Data Mesh перераспределяет ответственность за управление данными на команды доменов, уменьшая зависимости и ускоряя доставку данных. • Проблемы масштабируемости: По мере роста организаций требования к данным растут в геометрической прогрессии. Доменно-ориентированный подход Data Mesh упрощает масштабирование, распределяя ответственность и позволяя командам доменов более эффективно управлять своими данными. • Качество данных и владение: Традиционные модели могут приводить к неясной владельческой структуре данных и низкому качеству данных. Data Mesh назначает командам доменов ответственность за качество данных в своих областях. • Медленная итерация и инновации: Централизованные архитектуры данных могут замедлять быструю итерацию и инновации из-за времени, необходимого на выполнение запросов и изменений данных. Data Mesh дает командам доменов возможность более быстро итерировать с использованием своих данных, что приводит к более быстрому развитию продуктов и принятию решений.
  • 15. 15 Четыре Принципа Data Mesh 1. Децентрализованное владение данными, ориентированное на домены 2. Данные как продукт 3. Инфраструктура для самообслуживания как платформа 4. Распределенное Data Governance
  • 16. 16 Данные как Продукт Зависимости Принципов Data Mesh Доменное Владение Распределенное Управление Платформа Самообслуживания Предотвращает Изолированность Проясняет Связи Между Доменами Уменьшает Стоимость Владения Надежное Соблюдение Политик Больше Ценности из Данных Значимость Команд Данных
  • 17. 17 Децентрализованное Владение Данными, Ориентированное на Домены • Четкая ответственность: Каждый бизнес-домен или подразделение несет ответственность за данные, которые они создают и используют. Эта владельческая структура способствует чувству ответственности за качество, точность и полезность данных. • Экспертиза в домене: Команды, которые создают и понимают данные, наилучшим образом могут определить их семантику, контекст и соответствующее использование. Эксперты в домене внутри этих команд могут обеспечить соответствие данных конкретным потребностям бизнеса. • Снижение зависимости: Предоставив владение данными командам доменов, организация снижает свою зависимость от централизованных команд по инженерии данных в управлении всеми аспектами данных. Это приводит к более быстрым срокам реакции и большей гибкости в удовлетворении потребностей, связанных с данными.
  • 18. 18 Данные Как Продукт • Ориентированность на потребителя: Продукты Данных разрабатываются и проектируются с учетом потребностей потребителей данных. Основное внимание уделяется пониманию требований и ожиданий тех, кто будет использовать данные для принятия информированных решений или получения инсайтов. • Четкая владельческая структура: Каждый Продукт Данных должен иметь четкую структуру владения в команде домена. Эта команда несет ответственность за проектирование, разработку, поддержание и обеспечение качества данных продукта. • Продуктизация: Данные не являются просто побочным продуктом процессов; они активно проектируются и упаковываются как потребительский продукт. Это включает в себя определение договоров по данным, метаданных, стандартов качества и механизмов доступа.
  • 19. 19 Инфраструктура для Самообслуживания как Платформа • Усиление команд по данным: Команды по данным, включая доменные команды, инженеров данных и аналитиков, должны иметь возможность самостоятельно пользоваться инструментами, необходимыми для задач, связанных с данными. • Сервисы платформы данных: Предоставьте централизованную платформу данных, предлагающую набор сервисов, инструментов и ресурсов для управления данными, их обработки и анализа. Эти сервисы должны быть разработаны с учетом удобства пользователей без технических навыков. • Автоматизированное предоставление ресурсов: Обеспечьте автоматизированное предоставление ресурсов, таких как хранилище данных, вычислительные ресурсы и конвейеры обработки. Это сокращает время, необходимое для настройки и настройки сред обработки данных.
  • 20. 20 Распределенное Data Governance • Автономное управление данными: Доменные команды управляют своими данными, включая сбор, хранение, обработку и обмен, согласно их уникальным потребностям и экспертизе. • Согласование управления: Несмотря на то, что каждое подразделение сохраняет свою автономию, они должны соблюдать общие стандарты управления данными, установленные организацией. • Сотрудничество и обмен: Федеративный подход не препятствует обмену данными. Напротив, он позволяет осуществлять междоменный обмен, сохраняя при этом контроль и владение на уровне домена. • Децентрализованное управление: Доменные команды имеют полномочия принимать решения по качеству данных, доступу, безопасности и соответствию в рамках своей ответственности.
  • 22. 22 Платформа Denodo Распределенные Разнородные Источники Данных Запрос SQL Push-Down Presto MPP Smart Caching Data Governance Role-Based Access ИИ/МО Отчеты Аналитика
  • 23. 23 Denodo: ОДНА Логическая Платформа для Всех Ваших Данных Ease of Use Fast Query Response Integrated, Active Data Catalog Universal Connectivity Modern Data Services API Layer Dynamic Data Masking Automated Cloud Management Key Differentiators 83% reduction in time-to-revenue 67% reduction in data preparation effort 65% decrease in delivery times over ETL Source: Forrester Total Economic ImpactTM of Data Virtualization, 2021 Hybrid/ Multi-Cloud Security & Governance Al/ML Recommendations Advanced Semantics Data Catalog Discover / Explore / Document BI Tools SQL / MDX Data Science Tools Data as a Service RESTful / Odata GraphQL/ GeoJSON Files Cubes Cloud Stores Traditional DB & DW INTEGRATE MANAGE DELIVER Disparate data in any location, format or latency Related data with a universal semantic model and AI / ML functionality enabling vital data governance And democratize data using BI & data science tools, data catalogs, and APIs Data Lake & NoSQL Query Optimization & Acceleration
  • 24. 24 BI Tools Data Science Tools Архитектура Платформы Denodo DATA CATALOG Discover - Explore - Document DATA AS A SERVICE RESTful / OData GraphQL / GeoJSON SQL CONSUMERS INTEGRATE disparate data in any location, format or latency MANAGE related data into views with universal semantic model DELIVER using BI & data science tools, data catalog, and APIs Self-Service Hybrid/ Multi-Cloud Query Optimization AI//ML Recommendations Security DATA INTEGRATION , MANAGEMENT, AND DELIVERY PLATFORM SOURCES 150+ data adapters Apps Streaming Data Governance SaaS Files OLAP Hadoop & NoSQL Cloud Stores Traditional DB & DW
  • 25. 25 Denodo как Основа для Архитектуры Data Mesh • Интеграция и Федерация данных: Denodo позволяет создавать виртуальные представления данных из различных источников, даже если они расположены в разных местах. Это помогает поддерживать децентрализованное владение данными, интегрируя данные без физического перемещения или дублирования. • Представления данных, ориентированные на домены: Denodo может помочь создать виртуальные представления данных, ориентированные на конкретные домены. Каждая команда домена может создавать и управлять своими виртуальными представлениями данных, адаптированными к своим потребностям, с соблюдением стандартов управления данными и качества. • Самообслуживание доступа к данным: Возможности самообслуживания Denodo позволяют командам доменов получать доступ к данным через унифицированный интерфейс, снижая зависимость от центральных ИТ-команд для доступа к данным и задач интеграции.
  • 26. 26 Denodo как Основа для Архитектуры Data Mesh • Каталог и Поиск данных: Denodo предоставляет репозиторий метаданных, который помогает документировать и описывать источники данных, трансформации и связи. Это может служить каталогом, который команды доменов могут использовать для поиска доступных данных и понимания их контекста. • Безопасность данных и Управление: Denodo предлагает функции безопасности, которые позволяют определять контроль доступа, шифрование и аудит для ваших виртуальных данных. Это помогает обеспечивать соблюдение требований к управлению данными и безопасности, обеспечивая децентрализованный доступ к данным. • Сотрудничество и Обмен данными: Denodo может обеспечивать контролируемый обмен виртуальными представлениями данных между командами, поддерживая сотрудничество между доменами и при этом сохраняя автономию каждого домена.
  • 27. 27 Домены Данных Интеграци я Управлени е Доставка Компания Продукт Локация Сотрудник Клиент Продажи Кадры Прода жи Финан сы Марке тинг Локация Клиент Продажи Компания Клиент Продукт Локация Сотрудник Данные в Разрозненных Приложениях Безопастность Данных Самообслуживание AI/ML Reports Self-Service Архитектура Data Mesh На Основе Виртуализации Данных Распределе нная Data Governance
  • 28. 28 Восточная пословица Красивый букет получается из разных цветов.
  • 29. Спасибо! www.denodo.com info@denodo.com © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies. Алексей Сидоров asidorov@denodo.com +971 56 625 3066 +7 915 185 5562