Документ описывает концепцию Data Mesh как новую архитектурную парадигму управления данными, которая переходит от централизованной к децентрализованной модели, где отдельные домены самостоятельно управляют своими данными. Основные проблемы, которые решает Data Mesh, включают узкие места в централизованных архитектурах, проблемы масштабируемости и качества данных. Кроме того, оно подчеркивает важность децентрализованного владения данными, самообслуживания и распределенного управления, предлагая платформенные решения, такие как Denodo, для поддержки этой модели.

1. Знакомство с
Виртуализацией Данных
Для Профессионалов
Алексей Сидоров
Директор по Управлению Данными Главный Евангелист
Denodo

2. Монолитные Архитектуры
Данных

3. 3
30 Лет Назад – Мир Данных Был Простым
Опердень
CRM
ERP
Хранилище Данных
ETL
Аналитика
Отчетность

4. 4
Монолитная Архитектура : Поместите Все Данные в Одно …
Хранилище
Озеро
Облако

5. 5
Трудности
Монолитная Архитектура
▪ Ограничения централизованных команд:
Централизованные команды по работе с данными не могут
полностью понимать потребности в данных всех различных
отделов, которым они обслуживают.
▪ Невозможность обслуживать разные отделы: Одна
центральная платформа не может быть достаточно гибкой,
чтобы удовлетворить требования разных отделов
организации.
▪ Медленное предоставление данных: Централизованные
платформы по своей природе жесткие, так как они
настроены для выполнения стандартных операций по всей
организации. В результате предоставление данных
медленное и никогда не может быть в режиме реального
времени или по запросу.

6. 6
Реальность : Данные Повсюду
Несколько
Хранилищ
Несколько
Озер
Несколько
Облаков

7. 7
Вопросы
Расширение
понимания
Базовые
Выгода
от Данных
Инновации
Разные Данные для Разных Задач
Данные
Известные Неизвестные
Известные
Неизвестные
--- ODS
--- Data Warehouse
--- Data Lake

8. 8
Облако A
Облако B
Современная Изоляция Данных
Облачные Приложения
ИИ/МО
Отчеты Аналитика
Хранилище
Озеро
Файервол

9. Data Mesh

10. 10
Точка Принятия Решения
Ценность из данных
Гибкость - время внедрения
Устойчивость к изменениям
Сложность бизнеса
Новые источники данных
Вариантов использования данных
Влияние
на
Бизнес
Масштаб
Изменение в Подходе к
Управлению Данными

11. 11
Альберт Эйнштейн
Мера интеллекта - это способность меняться.

12. 12
Что Такое Data Mesh
• Data Mesh - это новая архитектурная парадигма управления
данными, предложенная Земак Дехгани в 2019 году.
• Она переходит от централизованной инфраструктуры данных,
управляемой одной командой, к распределенной организации.
• Несколько автономных подразделений (доменов) отвечают за
управление и предоставление своих собственных продуктов данных
для остальной части организации.
• Продукты данных должны быть легко находимыми, понимаемыми и
доступными для остальной части организации.

13. 13
Проблемы Управления Данными, Решаемые Data Mesh
• Централизованные узкие места: В централизованных архитектурах данных команды по инженерии
данных часто становятся узкими местами для запросов. Data Mesh перераспределяет ответственность
за управление данными на команды доменов, уменьшая зависимости и ускоряя доставку данных.
• Проблемы масштабируемости: По мере роста организаций требования к данным растут в
геометрической прогрессии. Доменно-ориентированный подход Data Mesh упрощает
масштабирование, распределяя ответственность и позволяя командам доменов более эффективно
управлять своими данными.
• Качество данных и владение: Традиционные модели могут приводить к неясной владельческой
структуре данных и низкому качеству данных. Data Mesh назначает командам доменов
ответственность за качество данных в своих областях.
• Медленная итерация и инновации: Централизованные архитектуры данных могут замедлять быструю
итерацию и инновации из-за времени, необходимого на выполнение запросов и изменений данных.
Data Mesh дает командам доменов возможность более быстро итерировать с использованием своих
данных, что приводит к более быстрому развитию продуктов и принятию решений.

14. Принципы Data Mesh

15. 15
Четыре Принципа Data Mesh
1. Децентрализованное владение данными,
ориентированное на домены
2. Данные как продукт
3. Инфраструктура для самообслуживания как платформа
4. Распределенное Data Governance

16. 16
Данные как Продукт
Зависимости Принципов Data Mesh
Доменное Владение
Распределенное
Управление
Платформа
Самообслуживания
Предотвращает
Изолированность
Проясняет Связи
Между Доменами
Уменьшает Стоимость
Владения
Надежное
Соблюдение Политик
Больше Ценности из
Данных
Значимость
Команд Данных

17. 17
Децентрализованное Владение Данными, Ориентированное на Домены
• Четкая ответственность: Каждый бизнес-домен или подразделение несет ответственность за данные,
которые они создают и используют. Эта владельческая структура способствует чувству ответственности
за качество, точность и полезность данных.
• Экспертиза в домене: Команды, которые создают и понимают данные, наилучшим образом могут
определить их семантику, контекст и соответствующее использование. Эксперты в домене внутри этих
команд могут обеспечить соответствие данных конкретным потребностям бизнеса.
• Снижение зависимости: Предоставив владение данными командам доменов, организация снижает свою
зависимость от централизованных команд по инженерии данных в управлении всеми аспектами данных.
Это приводит к более быстрым срокам реакции и большей гибкости в удовлетворении потребностей,
связанных с данными.

18. 18
Данные Как Продукт
• Ориентированность на потребителя: Продукты Данных разрабатываются и проектируются с учетом
потребностей потребителей данных. Основное внимание уделяется пониманию требований и ожиданий
тех, кто будет использовать данные для принятия информированных решений или получения инсайтов.
• Четкая владельческая структура: Каждый Продукт Данных должен иметь четкую структуру владения в
команде домена. Эта команда несет ответственность за проектирование, разработку, поддержание и
обеспечение качества данных продукта.
• Продуктизация: Данные не являются просто побочным продуктом процессов; они активно
проектируются и упаковываются как потребительский продукт. Это включает в себя определение
договоров по данным, метаданных, стандартов качества и механизмов доступа.

19. 19
Инфраструктура для Самообслуживания как Платформа
• Усиление команд по данным: Команды по данным, включая доменные команды, инженеров данных
и аналитиков, должны иметь возможность самостоятельно пользоваться инструментами,
необходимыми для задач, связанных с данными.
• Сервисы платформы данных: Предоставьте централизованную платформу данных, предлагающую
набор сервисов, инструментов и ресурсов для управления данными, их обработки и анализа. Эти
сервисы должны быть разработаны с учетом удобства пользователей без технических навыков.
• Автоматизированное предоставление ресурсов: Обеспечьте автоматизированное предоставление
ресурсов, таких как хранилище данных, вычислительные ресурсы и конвейеры обработки. Это
сокращает время, необходимое для настройки и настройки сред обработки данных.

20. 20
Распределенное Data Governance
• Автономное управление данными: Доменные команды управляют своими данными, включая сбор,
хранение, обработку и обмен, согласно их уникальным потребностям и экспертизе.
• Согласование управления: Несмотря на то, что каждое подразделение сохраняет свою автономию,
они должны соблюдать общие стандарты управления данными, установленные организацией.
• Сотрудничество и обмен: Федеративный подход не препятствует обмену данными. Напротив, он
позволяет осуществлять междоменный обмен, сохраняя при этом контроль и владение на уровне
домена.
• Децентрализованное управление: Доменные команды имеют полномочия принимать решения по
качеству данных, доступу, безопасности и соответствию в рамках своей ответственности.

21. Виртуализация Данных
для Data Mesh

22. 22
Платформа Denodo
Распределенные
Разнородные
Источники Данных
Запрос
SQL Push-Down Presto MPP Smart Caching
Data Governance
Role-Based Access
ИИ/МО
Отчеты Аналитика

23. 23
Denodo: ОДНА Логическая Платформа для Всех Ваших Данных
Ease of Use Fast Query
Response
Integrated,
Active Data Catalog
Universal
Connectivity
Modern Data
Services API Layer
Dynamic Data
Masking
Automated Cloud
Management
Key Differentiators
83% reduction
in time-to-revenue
67% reduction
in data preparation effort
65% decrease
in delivery times over ETL
Source: Forrester Total Economic ImpactTM
of
Data Virtualization, 2021
Hybrid/
Multi-Cloud
Security &
Governance
Al/ML
Recommendations
Advanced
Semantics
Data Catalog
Discover / Explore /
Document
BI Tools
SQL / MDX
Data Science
Tools
Data as a Service
RESTful / Odata
GraphQL/ GeoJSON
Files
Cubes
Cloud
Stores
Traditional
DB & DW
INTEGRATE
MANAGE
DELIVER
Disparate data in
any location, format
or latency
Related data with a universal
semantic model and AI / ML
functionality enabling vital
data governance
And democratize data using
BI & data science tools,
data catalogs, and APIs
Data Lake &
NoSQL
Query
Optimization &
Acceleration

24. 24
BI Tools Data Science Tools
Архитектура Платформы Denodo
DATA CATALOG
Discover - Explore - Document
DATA AS A SERVICE
RESTful / OData
GraphQL / GeoJSON
SQL
CONSUMERS
INTEGRATE
disparate data in any location, format or latency
MANAGE
related data into views with universal semantic model
DELIVER
using BI & data science tools, data catalog, and APIs
Self-Service
Hybrid/
Multi-Cloud
Query
Optimization
AI//ML
Recommendations
Security
DATA
INTEGRATION
,
MANAGEMENT,
AND
DELIVERY
PLATFORM
SOURCES
150+
data
adapters
Apps Streaming
Data
Governance
SaaS
Files
OLAP
Hadoop
& NoSQL
Cloud
Stores
Traditional
DB & DW

25. 25
Denodo как Основа для Архитектуры Data Mesh
• Интеграция и Федерация данных: Denodo позволяет создавать виртуальные представления
данных из различных источников, даже если они расположены в разных местах. Это помогает
поддерживать децентрализованное владение данными, интегрируя данные без физического
перемещения или дублирования.
• Представления данных, ориентированные на домены: Denodo может помочь создать
виртуальные представления данных, ориентированные на конкретные домены. Каждая
команда домена может создавать и управлять своими виртуальными представлениями данных,
адаптированными к своим потребностям, с соблюдением стандартов управления данными и
качества.
• Самообслуживание доступа к данным: Возможности самообслуживания Denodo позволяют
командам доменов получать доступ к данным через унифицированный интерфейс, снижая
зависимость от центральных ИТ-команд для доступа к данным и задач интеграции.

26. 26
Denodo как Основа для Архитектуры Data Mesh
• Каталог и Поиск данных: Denodo предоставляет репозиторий метаданных, который помогает
документировать и описывать источники данных, трансформации и связи. Это может служить
каталогом, который команды доменов могут использовать для поиска доступных данных и
понимания их контекста.
• Безопасность данных и Управление: Denodo предлагает функции безопасности, которые
позволяют определять контроль доступа, шифрование и аудит для ваших виртуальных данных.
Это помогает обеспечивать соблюдение требований к управлению данными и безопасности,
обеспечивая децентрализованный доступ к данным.
• Сотрудничество и Обмен данными: Denodo может обеспечивать контролируемый обмен
виртуальными представлениями данных между командами, поддерживая сотрудничество
между доменами и при этом сохраняя автономию каждого домена.

27. 27
Домены Данных
Интеграци
я
Управлени
е
Доставка
Компания
Продукт
Локация
Сотрудник
Клиент
Продажи
Кадры
Прода
жи
Финан
сы
Марке
тинг
Локация
Клиент
Продажи
Компания
Клиент
Продукт
Локация
Сотрудник
Данные в Разрозненных
Приложениях
Безопастность Данных
Самообслуживание
AI/ML
Reports Self-Service
Архитектура Data Mesh
На Основе Виртуализации Данных
Распределе
нная
Data
Governance

28. 28
Восточная пословица
Красивый букет получается из разных цветов.

29. Спасибо!
www.denodo.com info@denodo.com
© Copyright Denodo Technologies. All rights reserved
Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and
microfilm, without prior the written authorization from Denodo Technologies.
Алексей Сидоров
asidorov@denodo.com
+971 56 625 3066
+7 915 185 5562