构建现代数据架构的基础
•
1 like•43 views
Watch full webinar here: https://bit.ly/3LXGjHL 数据资产化、数据要素化、以数据驱动业务已成为企业发展新引擎，依靠在集中式数据存储（例如云数据仓库或数据湖）中收集数据的传统数据管理方法虽仍是数据现代化工作的核心；然而，为了满足企业多样化需求，企业还需要有强大的基础数据平台以支撑业务数字化转型成功落地。 回看Denodo网络研讨会，我们将为您分享为什么企业需要使用逻辑数据管理平台来完善集中式的解决方案，如何在所有数据资产中建立抽象层，使企业可立即访问任何数据集，而无需考虑数据所处位置、格式或延迟。 立即回看，了解： - 对现代云数据架构的需求 - 现代数据堆栈的趋势和最佳实践 - 构建 Data Fabric / Data Mesh 架构时所需的基础能力 - 如何简化企业的数据治理和安全计划
Recommended
Recommended
More Related Content
Similar to 构建现代数据架构的基础
Similar to 构建现代数据架构的基础 (20)
More from Denodo
More from Denodo (20)
构建现代数据架构的基础
- 2. AGENDA 1. 传统数据管理方法 2. 为何我们需要现代数据架构 3. 现代数据架构的基础 4. 关键要点 5. 后续步骤
- 4. 4 数据环境正在发生变化
- 5. 5 企业数据格局将越来越分散、多样化、动态化和大容量 (D3V) 企业面临的数据环境正在发生变化 • 2022年产生41.4ZB数据；预计到 2025 年底将增加到 96.4ZB。 • 未来四年，在全球各个边缘位置创 建的数据量将增长 3 倍以上（从 2021 年的 12.4ZB 增加到 2025 年 的 40ZB 以上）。 • 云不像数据存储那样负责数据创 建。到 2025 年，全球 24% 的数据 将由云创建，但全球 55% 的数据将 存储在云端。 在任何年份，只有 10% 的数据是原始 的，其余部分都是被复制/加工。 • 结构化的 • 半结构化的 • 非结构化的 • 地理空间 • 社交媒体 • 流媒体数据 • 物联网和社交媒体是增长最快的 数据类型。 • 2020 年在移动平台上创建了 6.7ZB 的数据，推动了云的使 用和实时数据的使用。 • 到 2025 年，全球 25% 的原始 数据将包含实时数据，因为公 司将通过提供个性化的上下文 体验、新游戏和 电子竞技解决 方案以及持续的安全性和身份 识别来脱颖而出。 大容量 分散的 多样化 动态的
- 6. 6 业务需求也在发生变化 IT ▪ 减少 ETL 作业和数据移动对节省成本有巨大影响 ▪ 降低数据复制比率可以减少开支 ▪ 优化查询执行时间可以显著影响云成本 ▪ 更快的数据预配置可以提高 IT 效率并降低成本 企业所有者 ▪ 数据敏捷性对于寻找新商机至关重要 ▪ 很多公司正在实施策略，以提高数据利用率， 并采用明确的指标来衡量进展 ▪ 数据民主化是所有大型组织的首要任务 ▪ 数字化转型计划需要数据以进行分析并获得见解 CEO 关心以上所有内容 CDO 和合规经理 • 出于合规原因，数据安全和对数据管道的控 制是 CDO 的首要任务 • 降低风险和监管合规性对公司运营有巨大 影响 • 数据治理和控制可为企业提供可信数据
- 7. 7 数据架构的发展 此为分析整合的第二大周期 操作应用程序 操作应用程序 操作应用程序 物联网数据 其他新数据 操作应用程序 操作应用程序 多维数 据集 操作应用程序 多维数 据集 ？ 操作应用程序 操作应用程序 操作应用程序 物联网数据 其他新数据 20 世纪 80 年代 EDW 前时代 20 世纪 90 年代 企业数据仓库 2010 年代 2000 年代 EDW 后时代 时间 逻辑数据架构 操作应用程序 操作应用程序 操作应用程序 数据仓库 数据仓库 数据湖 ？ 数据编织/数据网格 数据仓库 数据湖 集市 ODS（操作数据 存储） 分期/摄取 统一分析 › 整合数据 › “收集数据” › 单服务器、多节点 › 较单一服务器 可提供更多分析 统一分析 › 所有数据的逻辑整合视图 › “连接并收集” › 多服务器、多节点 › 较单一系统可提供更多分析 碎片化/ 不存在分析 › 多个数据源 › 多个结构化数据源 碎片化分析 › “收集数据”（进入 › 不同存储库） › 新数据类型 › 处理需求 › 视图无协作
- 8. 8 现代数据架构必须... • 接受分布式数据环境 • 接受数据驻留在多个位置或系统中的事实，其中包 括本地、混合、多云环境。所有数据均需以一致方式 进行管理 • 使用逻辑方法来管理现代数据架构 • 使用者通过与数据位置和物理架构分离的集中式语 义模型访问数据，该模型可以强制执行安全性和治 理要求
- 10. 10 分布式和逻辑架构 优势： • 简单：具有统一语义、安全性和治理的单一接入点 • 敏捷：多种可以缩短上市时间 (TTM) 的集成方法触 手可及 • 便于业务部门人员使用：数据使用业务语言表达 • 面向未来：能适应技术发展和基础架构更改 “借助数据访问的逻辑集中化，可以实现数据治理、审计 追踪、安全性和监控的逻辑集中化。” – Gartner：评估现代数据架构中数据虚拟化的相关性，2021 年 6 月
- 12. 12 这如何满足业务需求？ IT ▪ 减少 ETL 作业和数据移动对节省成本有巨大影响 ▪ 降低数据复制比率可以减少开支 ▪ 优化查询执行时间可以显著影响云成本 ▪ 更快的数据预配置可以提高 IT 效率并降低成本 企业所有者 ▪ 数据敏捷性对于寻找新商机至关重要 ▪ 很多公司正在实施策略，以提高数据利用率， 并采用明确的指标来衡量进展 ▪ 数据民主化是所有大型组织的首要任务 ▪ 数字化转型计划需要数据以进行分析并获得见解 CEO 关心以上所有内容 CDO 和合规经理 • 出于合规原因，数据安全和对数据管道的控 制是 CDO 的首要任务 • 降低风险和监管合规性对公司运营有巨大 影响 • 数据治理和控制可为企业提供可信数据
- 13. 13 这如何满足业务需求？ IT ▪ 减少 ETL 作业和数据移动对节省成本有巨大影 响 ▪ 降低数据复制比率可以减少开支 ▪ 优化查询执行时间可以显著影响云成本 ▪ 更快的数据预配置可以提高 IT 效率并降低成本 CEO 关心以上所有内容 CDO 和合规经理 • 出于合规原因，数据安全和对数据管道的控 制是 CDO 的首要任务 • 降低风险和监管合规性对公司运营有巨大 影响 • 数据治理和控制可为企业提供可信数据 企业所有者 ▪ 数据敏捷性对于寻找新商机至关重要 ▪ 很多公司正在实施策略，以提高数据利用率， 并采用明确的指标来衡量进展 ▪ 数据民主化是所有大型组织的首要任务 ▪ 数字化转型计划需要数据以进行分析并获得见解 “现在，我们每周可以进行多次发布。 我们可在 2 到 3 小时内添加多个新数 据源。与在旧环境中相比，我们的速度 加快了大约 60%。” 不动产数据和分析副总裁 “对我而言，这一切都归结为获得洞察 的速度。对于我最关心的问题，我不必 等待就能获得有数据支持的答案，这 是一个巨大优势。” 不动产数据和分析副总裁
- 14. 14 这如何满足业务需求？ IT ▪ 减少 ETL 作业和数据移动对节省成本有巨大影 响 ▪ 降低数据复制比率可以减少开支 ▪ 优化查询执行时间可以显著影响云成本 ▪ 更快的数据预配置可以提高 IT 效率并降低成本 CEO 关心以上所有内容 CDO 和合规经理 • 出于合规原因，数据安全和对数据管道的控 制是 CDO 的首要任务 • 降低风险和监管合规性对公司运营有巨大 影响 • 数据治理和控制可为企业提供可信数据 企业所有者 ▪ 数据敏捷性对于寻找新商机至关重要 ▪ 很多公司正在实施策略，以提高数据利用率， 并采用明确的指标来衡量进展 ▪ 数据民主化是所有大型组织的首要任务 ▪ 数字化转型计划需要数据以进行分析并获得见解
- 15. 15 这如何满足业务需求？ IT ▪ 减少 ETL 作业和数据移动对节省成本有巨大影 响 ▪ 降低数据复制比率可以减少开支 ▪ 优化查询执行时间可以显著影响云成本 ▪ 更快的数据预配置可以提高 IT 效率并降低成本 CEO 关心以上所有内容 CDO 和合规经理 • 出于合规原因，数据安全和对数据管道的控 制是 CDO 的首要任务 • 降低风险和监管合规性对公司运营有巨大 影响 • 数据治理和控制可为企业提供可信数据 企业所有者 ▪ 数据敏捷性对于寻找新商机至关重要 ▪ 很多公司正在实施策略，以提高数据利用率， 并采用明确的指标来衡量进展 ▪ 数据民主化是所有大型组织的首要任务 ▪ 数字化转型计划需要数据以进行分析并获得见解
- 16. 16 这如何满足业务需求？ IT ▪ 减少 ETL 作业和数据移动对节省成本有巨大影 响 ▪ 降低数据复制比率可以减少开支 ▪ 优化查询执行时间可以显著影响云成本 ▪ 更快的数据预配置可以提高 IT 效率并降低成本 CEO 关心以上所有内容 CDO 和合规经理 • 出于合规原因，数据安全和对数据管道的控 制是 CDO 的首要任务 • 降低风险和监管合规性对公司运营有巨大 影响 • 数据治理和控制可为企业提供可信数据 企业所有者 ▪ 数据敏捷性对于寻找新商机至关重要 ▪ 很多公司正在实施策略，以提高数据利用率，并 采用明确的指标来衡量进展 ▪ 数据民主化是所有大型组织的首要任务 ▪ 数字化转型计划需要数据以进行分析并获得见 解 IT ▪ 减少 ETL 作业和数据移动对节省成本有巨大影 响 ▪ 降低数据复制比率可以减少开支 ▪ 优化查询执行时间可以显著影响云成本 ▪ 更快的数据预配置可以提高 IT 效率并降低成本
- 17. 17 这如何满足业务需求？ CEO 关心以上所有内容 企业所有者 ▪ 数据敏捷性对于寻找新商机至关重要 ▪ 很多公司正在实施策略，以提高数据利用率，并 采用明确的指标来衡量进展 ▪ 数据民主化是所有大型组织的首要任务 ▪ 数字化转型计划需要数据以进行分析并获得见 解 IT ▪ 减少 ETL 作业和数据移动对节省成本有巨大影 响 ▪ 降低数据复制比率可以减少开支 ▪ 优化查询执行时间可以显著影响云成本 ▪ 更快的数据预配置可以提高 IT 效率并降低成本 CDO 和合规经理 • 出于合规原因，数据安全和对数据管道的控 制是 CDO 的首要任务 • 降低风险和监管合规性对公司运营有巨大 影响 • 数据治理和控制可为企业提供可信数据
- 18. 18 DEMO
- 19. KEY TAKEAWAYS ▪ 数据环境正在发生变化 – 变得更加复杂和多样化。 ▪ 业务需求也在发生变化。 ▪ 传统数据管理方法基于将数据复制到集中式存储库，已经无法跟上这些变化。 ▪ 逻辑数据架构（包括并能增强现有的分析数据存储库）将改变这一点。 ▪ 逻辑数据架构，如数据编织或数据网格，可为企业带来真正的价值。 ▪ 数据交付速度更快、数据利用率更高、支持自助服务模型 ▪ 数据复制更少、复杂数据管道更少、成本更低 ▪ 治理方式、法规遵从性、数据安全性和隐私性更出色
- 20. Q&A
- 21. 21 选择 可选择在您的云帐户下体验 支持 通过社区论坛和远程销售工程师获取支持 机会 享受 Denodo 云专家提供的 30 分钟免费咨询 在云市场的 30 天免费试用活动中体验 Denodo 立即开始使用 denodo.com/free-trials Denodo动手实践课程 3月28日，星期二 13:30 -17:00
- 22. Denodo 联系方式 Denodo官网：denodo.com.cn Denodo社区：community.denodo.com Denodo博客：www.datavirtualizationblog.com 联系我们： • 添加微信 • 电话至 +86.18518356377 • 邮件至 xli@denodo.com 关注 Denodo 联系 Denodo
- 25. Thanks! www.denodo.com info@denodo.com © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.