借助Denodo实现数据网格架构和数据共享
•
0 likes•87 views
Watch full webinar here: https://bit.ly/3maH0Tb Data Mesh为数据管理提供了一种新的分布式和分散式范例，其中自治域将自己的数据作为“数据产品”公开给企业的其他部门。数据网格试图减少因过度依赖集中式 IT 团队而产生的瓶颈，并利用领域用户已经拥有的专业数据知识。 点击回看，了解： - 数据网格的关键； - Denodo 如何帮助您实施数据网格； - 客户借助Denodo从传统分析架构到数据网格的旅程
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 借助Denodo实现数据网格架构和数据共享
Similar to 借助Denodo实现数据网格架构和数据共享 (20)
More from Denodo
More from Denodo (20)
借助Denodo实现数据网格架构和数据共享
- 2. AGENDA 1. 数据网格的工作原理是什么？ 2. 为什么选择 Denodo？ 3. 客户案例 4. 结语
- 3. 3 什么是数据网格（Data Mesh）？ ▪ 数据网格是一种新的数据管理架构思想 ▪ 由顾问 Zhamak Dehghani 于 2019 年提出 ▪ 实现从单个团队管理的集中式数据架构向分布式组织的迁移 ▪ 多个自治单位（域）负责管理自己的“数据产品”，并将它们公 开至组织的其他域中 ▪ 组织的其他域应能轻松发现、理解和访问这些数据产品
- 4. 4 数据网格试图解决哪些难题？ 1. 集中式数据团队缺乏业务域的专业知识 ▪ 集中式数据团队与业务脱节 ▪ 他们需要处理各种数据和业务需求，但并不理解这些数据和业务 需求的真实含义 2. 集中式数据存储库缺乏灵活性 ▪ 大型组织的数据基础架构多种多样且变化频繁 ▪ 现代分析需求过于多样化，单一物理平台无法处理：无法做到一体 适用 3. 数据配置 和 更改响应速度慢 ▪ 需要在集中式平台中进行数据的提取、摄取和同步 ▪ 集中式 IT 成为企业数字化转型的瓶颈
- 5. 数据网格的工作原理
- 6. 6 原理 • 组织单位（域）负责管理和公开自己的数据 • 各个域更深刻地理解应该如何处理和使用他们拥有的数据 • 可为各域提供最佳工具处理数据，必要时可为各域升级数据 自主权 • 可以缩短和减少迭代，直到满足业务需求为止 • 可以去除对完全集中式数据基础架构的依赖 • 去除瓶颈、加速变革 • 可以引入新概念以降低如形成数据孤岛、重复性工作和缺乏统一 治理等风险 • 1.数据即产品 2.自助服务 3.联合运算治理
- 7. 7 1.数据即产品 ▪ 为了确保各个域不会成为相互隔离的数据孤岛，不同域公开的 数据必须符合以下条件： ▪ 易于发现 ▪ 可以理解 ▪ 有安全保障 ▪ 可供其他域使用 ▪ 需要明确每个数据集的可信程度和质量 ▪ 生成产品（例如清理和重复数据删除）的流程和管道属于内部 实施细节，因而要对使用者隐藏
- 8. 8 数据网格文献定义了三种不同类型的数据产品： 1. 源域数据产品： “原生”数据产品，像业务系统一样表示业务事实 2. 聚合域数据产品：从上述数据产品派生而来，表现为可用于分析的聚合数据。它们可以从 多个源域数据产品派生而来并涵盖多个域 3. 面向使用者的数据产品：针对特定应用场景的特定需求而定义的数据产品 数据产品的类型
- 9. 9 2.自助式数据平台 ▪ 构建、保护、部署、监控和管理数据产品可能非常复杂 ▪ 并非所有领域都有构建这种基础架构的资源 ▪ 多个领域之间都有可能存在重复工作 ▪ 自助式：虽然由一支全球数据基础架构团队运营，但它也允许各领 域自行创建和管理数据产品 ▪ 该平台应能自动执行或简化各种任务，如： ▪ 数据集成和转换 ▪ 安全策略和身份管理 ▪ 公开数据 API ▪ 在全局目录中发布和记录
- 10. 10 3.联合运算治理 ▪ 不同领域创建的数据产品相互之间需要能够交互，并结合 起来以满足新的需求 ▪ 例如联合、聚合、关联等 ▪ 这就需要就常见实体（例如客户、产品）的语义、字段类型 （例如 SSN、实体标识符等）的格式、数据 API 的可寻址性 等达成协议 ▪ 可进行全局管理，并在可能时自动执行 ▪ 因此使用“运算”一词来命名此概念 ▪ 必须根据适用的法规和策略在全球范围内实施安全性
- 11. 为什么选择 Denodo？
- 12. 12 Denodo 平台：一个适用于您的所有数据的逻辑平台 混合/ 多云 安全和 治理 Al/ML 推荐 查询 优化和加速 高级语义 数据目录 发现/探索/ 记录 BI 工具 SQL/MDX 数据科学 工具 数据即服务 RESTful/OData GraphQL/GeoJSON 文件 多维数据集 数据湖和 NoSQL 云 存储 传统 数据库和数据仓库 文件 集成 管理 交付 任意位置、 格式或有任意延迟的 不同数据 使用通用语义模型 和 AI/ML 功能来 管理数据，支持 重要数据治理 利用 BI 和数据科学工具、 数据目录及 API，交付数据 并实现数据民主化
- 13. 13 Denoodo 架构 — 概述 • Denodo 是位于数据源和数据使用者 之间的轻量级中间件层 • 它只存储元数据，从不存储实际数据 • 它相当于一个“虚拟数据库”：拥有表、 视图、SP，并且像数据库一样使用 SQL，但没有自己的数据 • 它是一个协调程序：对于所有使用者 而言，它是一切数据的通用访问和交 付层
- 14. 14 Denodo 在数据网格架构中的作用 ▪ Denodo 可用于定义、使用和治理数据产品 ▪ 数据产品被定义为可集成的虚拟视图 ▪ Denodo 提供多种灵活的数据集成策略，以适应每个应用场景的需求：实时联合（无复制）、 选择性复制（例如缓存）以及完全复制（ETL、ELT 流） ▪ Denodo 可为所有数据产品添加高级治理和安全控制措施（例如 ABAC 安全策略）并负责执 行 ▪ Denodo 通过其数据目录创建了一个数据市场，在其中列出并记录数据产品， 确保随时可用 ▪ Denodo 支持多语言输出（SQL、MDX、REST、Odata y GraphQL），无需任何 额外编码
- 15. 如何开始实施
- 16. 16 角色、作用和责任 中央 IT 数据工程师 卓越中心 管理和 维护 域 应用程序到应用 程序 业务用户 和 BI 分析师 数据科学家 • 域数据产品负责人 • 域数据产品开发人员 • 平台产品负责人 • 技术验证人员
- 17. 17 维护各个域的自治 ▪ Denodo 的抽象化和多源功能在这里发挥了关键作用 ▪ 域不受公司范围的集中式数据（数据湖、数据仓库）的限制。相反，各个域可以利 用自己的数据源 ▪ 例如，特定域的 SaaS 应用程序或数据集市 ▪ 如果集中式存储是最好的选择，域也可以加以利用： ▪ 例如，将集中式数据湖用于 ML 应用场景 ▪ 此外，各个域还可以自主决定升级其数据基础架构以满足其特定需求 ▪ 例如，将某些功能迁移到 SaaS 应用程序
- 18. 18 轻松创建数据产品 ▪ 各个域保留选择使用自己的数据堆栈来定义其 数据产品的权利 ▪ 此外，Denodo 还提供数据建模功能，这有助于 数据产品的设计 ▪ 凭借此功能，各个域可以直接在 Denodo 中 创建自己的数据产品，整合并塑造多个数据 集，并将这些数据产品以逻辑模型的形式公 开 ▪ 无需编写代码，Denodo 提供用于数据建模 的图形向导
- 19. 19 • 连接到数据源 • 通常情况下，中央 IT 团队负责连接数据源和导入基本视图（表示源对象的元数据） • 但是，有些域具有足够的技能或拥有自己的数据系统，也可以在 Denodo 中管理自己的数 据源 • 不同数据产品类型的定义 • 源域数据产品：可以直接由已经具有使用者可用数据的数据系统（例如数据集市或企业数据 仓库）公开。也可以用数据集成技术进行定义（在 Denodo 内部或外部） • 聚合域数据产品：可以借助连接/聚合通过建模轻松转化为 Denodo 视图。Denodo 的查询 加速功能（聚合感知）可在数据量巨大的情况下帮助提高复杂分析模型的性能 • 面向使用者的数据产品：应被定义为 Denodo 视图。通常以逻辑视图的形式被访问，但在应 用场景需要时可以缓存或复制（例如，在数据科学应用场景中复制到 Spark） 数据产品定义 - 责任
- 20. 20 提供自助服务功能 ▪ 可发现性和文档生成 ▪ 包含功能完善的数据目录，通过此数据目录，业务用户和其他数据使用者可以快 速发现、理解和访问数据产品。 ▪ 包含所有数据产品的数据沿袭和变更影响分析功能 ▪ 使用标准格式（例如 Open API）自动为数据产品生成文档 ▪ 无与伦比的性能和灵活性 ▪ 包含缓存和 OOB 查询加速功能，因此即使数据源未针对分析进行优化，也可用 于创建数据产品。 ▪ 自动预配 ▪ 使用云/容器技术自动伸缩。这意味着，在需要时，支持某些数据产品的基础架构 可以扩展/缩减，同时仍在各个域之间共享通用元数据。
- 21. 21 支持联合运算治理 ▪ 借助 Denodo，数据产品可轻松实现整合，还可用于创建新的数据产品。 ▪ 得益于虚拟模型的分层结构，用户可以创建可被多个域重复用于创建数据产品的组 件。 ▪ 保证具有不同技术堆栈的域之间的兼容性 ▪ 虚拟层中内置的语义层可以强制执行标准化数据模型，以表示需要在各个域（例 如客户、产品）之间保持一致的联合实体。 ▪ 可以从建模工具导入模型，对数据产品开发人员必须遵守的协定进行定义 ▪ 对所有数据产品和各个域自动执行统一的安全策略，包括数据脱敏、编写、加密/ 解密等。 ▪ 例如，除人力资源角色的用户，在所有数据产品中，自动用 *** 对用户的 SSN 进行 脱敏处理（最后 4 位数字除外）
- 22. 22 • 将 Denodo 纳入数据网格实现堆栈后，用户可以从其多语言功能这一大优势中 获益 • 在 Denodo 的数据目录中，可以对数据产品进行搜索、分类、探索和预览 • Denodo 提供多种访问选项，无需额外代码 • 使用 JDBC 或 ODBC 的 SQL • REST • OData 4 • GraphQL • MDX（多维数据集） 访问数据产品
- 23. 23 虚拟化群集中的数据网格 SQL 操作型 企业数据仓库 数据湖 文件 SaaS API REST GraphQL OData 事件 产品 客户 地点 员工 1.每个域都有一个单独的虚拟 模式。 公共域可能对于处理跨 域通用的集中式数据产品十分 实用。 2.各个域连接自己的数 据源。 3.将元数据映射到关系 视图。 4.各个域可对自己的数据 产品进行建模。 产品可用于定义其他产 品。 5.为了执行，产品可以直接由 它们的源提供，也可以复制到 一个中心位置（例如湖）。 公共域 事件管理 人力资源 6.中央团队可以制定准 则和治理策略，确保互 操作性和安全性。 8.基础架构可在群集中轻 松扩展。 MDX 7.可通过 SQL、MDX 访问产 品，或将产品以 API 的形式公 开。无需编码。
- 24. 客户案例
- 25. Landsbankinn 25 • 冰岛领先的金融机构 • 个人银行业务占市场份额的 40% • 对公业务占市场份额的 33% • ESG 风险评级在欧洲银行中表现最佳 (Sustainalytics 2021) • 冰岛消费者满意度评级最高的银行 (Ánægjuvogin / Stjórnvísi 2021)
- 26. SAS 环境 第 0 年 — 未采用数据虚拟化 26 ▪ 查询点过多 ▪ 异构技术 ▪ 复杂的源系统 ▪ 分散的业务规则 ▪ BI 语义层 ▪ 数据库视图中的业务逻辑 ▪ 多个访问控制点 ▪ 审计点分散在多个位置 ▪ 每个系统都有自己的访问控制 KPI 数据库 源数据库 新数据仓库 旧数据仓库 市场数据库 视图 BO 报告 自助服务 BI PDF 报表 MS Office 集成 视图 视图 视图 一般报告 KPI 自助服务 数据 分析报告 分析 服务器 风险报告 监控/审计 业务安全 业务规则 董事会 其他数据库 SAP BO 语义层 数据源 语义层
- 27. 第 1 年 — 逻辑数据仓库 ▪ 唯一查询点 ▪ “需要数据？逻辑数据仓库可满足您的需 求！” ▪ 用于报告、分析、API…… ▪ 唯一可信点 ▪ 业务逻辑存储库 ▪ 支持数据沿袭 ▪ 唯一访问控制点 ▪ 统一数据访问 ▪ 唯一审计点 KPI 数据库 源数据库 新数据仓库 旧数据仓库 市场数据库 BO 报告 自助服务 BI MS Office 集成 一般报告 KPI 自助服务 数据 分析报告 分析服务器 风险报告 董事会 其他数据库 数据源 使用 Denodo 的逻辑数据仓库 监控/审计 业务安全 业务规则 PDF 报表
- 28. 第 2、3 年 — 扩展及现代化 28 ▪ 添加数据使用者 ▪ Tableau ▪ REST/Restful API ▪ 添加更多数据源 ▪ 在不需要 ETL 之处 ▪ 源提供历史记录时 ▪ 逻辑数据管道 ▪ 减少 ETL 作业的数量 ▪ 企业数据仓库从逻辑数据仓库获取数据 BO 报告 Tableau 从 RestWS 到 Excel 一般报告 KPI 自助服务 数据 分析报告 分析服务器 风险报告 董事会 数据源 使用 Denodo 的逻辑数据仓库 KPI 数据库 源数据库 新数据 仓库 旧数据 仓库 市场 数据库 其他 数据库 平面文件 Excel SaaS REST SOAP WWW 客户 域 操作系统 监控/审计 业务安全 业务规则 客户报表
- 29. 第 4 年 — 有缺陷的模型 29 ▪ 源数据是隐藏的 ▪ 数据来自软件供应商 ▪ 建立数据映射需要召开大量会议 ▪ 各个域都知道自己的源 ▪ 如何在源中查找数据 ▪ 源更改时 ▪ 域需要在源中创建视图 ▪ 丢失沿袭和治理 ▪ 我们最初最想避免的事项 逻辑数据 仓库 源数据库 域 操作系统 视图
- 30. 第 4 年 — 实施数据网格模型 30 ▪ 简化的流程 1. 提供具有开发空间的域 2. 逻辑数据仓库开发人员整合了视图 3. 各个域发布数据 4. 操作系统访问数据 ▪ 自上而下的建模方式 ▪ 使用界面视图（数据协定） 源系统 基础 数据网格 A 域 开发人员 业务系统 逻辑数据仓库 开发人员 逻辑数据 仓库 请求 （接口协定） 共享 整合 逻辑数 据仓库 源数据库 操作系统 域 B 域 开发人员 请求 （接口协定） 发布 数据网格 发布 逻辑数 据仓库
- 31. 第 4 年 — 使用 Denodo 的数据网格的优势 31 ▪ 将数据所有权委托给域 ▪ 数据掌握在创建者手中 ▪ 更好地了解数据路径 ▪ 视图生命周期由源开发人员管理 ▪ 减少数据管道 ▪ 空闲时减少 ETL 作业 逻辑数 据仓库 源数据库 操作系统 域 储蓄域 贷款域 卡域 索赔域 企业数据仓库 域 逻辑数据仓库 开发人员 CRM 贷款 网上银行
- 32. 32 KPI 数据库 新 数据仓库 市场 数据库 其他 数据库 平面文件 SaaS REST SOAP WWW 源数据库 客户 风险 报告 业务部门 董事会 ▪ 数据网格打通银行 ▪ 业务自助服务 ▪ 数据 API 第 5 年 — 未来采用的模型 使用 Denodo 的逻辑数据仓库 API 自助服务 自助服务 自助服务 数据 网格 数据 网格 数据 网格 数据 网格 数据 网格 数据 网格 数据 网格 数据 网格 数据 网格 运维系统 数据 网格
- 33. Q&A
- 34. 34 选择 可选择在您的云帐户下体验 支持 通过社区论坛和远程销售工程师获取支持 机会 享受 Denodo 云专家提供的 30 分钟免费咨询 在云市场的 30 天免费试用活动中体验 Denodo 立即开始使用 denodo.com/free-trials
- 35. Denodo 联系方式 ✔ Denodo官网：denodo.com.cn ✔ Denodo社区：community.denodo.com ✔ Denodo博客：www.datavirtualizationblog.com ✔ 联系我们： ✔ 添加微信 ✔ 电话至 +86.18518356610 ✔ 邮件至 cli@denodo.com
- 38. Thanks! www.denodo.com info@denodo.com © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.