解读数据虚拟化支持的逻辑数据编织（Data Fabric）
•
0 likes•4 views
Watch full webinar here: https://bit.ly/3h6z7f0 Forrester最近一项调查显示，虽然85%的企业希望在决策制定中改进对数据洞察力的使用，但91%的受访者表示他们无法改进数据驱动的决策制定。 问题来了，企业经常求助于数据湖、数据湖仓、云数据仓库等作为其单一数据存储库，以满足所有的数据和分析需求。但严峻的现实是，数据现在和未来将分布在跨云和本地的多个存储库中。 观看Denodo网络研讨会，了解为什么由数据虚拟化支持的逻辑数据结构对任何企业的数据和分析都至关重要。并学习： - 什么是逻辑数据结构及其关键组件？ - 为什么企业采用逻辑数据结构而不是物理数据结构？ - 它如何在数据访问、消费和数据驱动决策方面帮助业务用户、数据科学家和其他数据消费者？ - 企业如何使用逻辑数据结构来更快地获得洞察力？
Recommended
More Related Content
Similar to 解读数据虚拟化支持的逻辑数据编织（Data Fabric）
Similar to 解读数据虚拟化支持的逻辑数据编织（Data Fabric） (20)
More from Denodo
More from Denodo (20)
解读数据虚拟化支持的逻辑数据编织（Data Fabric）
- 2. 2 始于 1999 年，以数据虚拟化技术为基础，长期专注于数据集成、管理和交付 Denodo 数据管理领导者 DENODO 办事处和员工 业务遍布全球 – 在 20 个国家/地区设有 25 个办事处。 新办事处（2021 年） – 荷兰、比利时、 瑞典、韩国。 客户和合作伙伴 1000 多家客户，包括众多财富 500 强和全 球 2000 强公司，遍布各个主要行业。 全球 300 多家积极参与的合作伙伴。 财务状况 ~50% 的年增长率 108% 的净留存率 领导者：Gartner 2022 年数据集成工 具魔力象限 领导者：The Forrester WaveTM - 企业数据编织，202 年第 2 季度 领导者：Forrester 2017 Wave – 数 据虚拟化，2017 年第 4 季度 领导地位 客户之选：2022 Gartner Peer Insights 数据集成工具 （连续第二年）
- 3. CEO追求三个目标：增长、数字化和运营效率 从新冠疫情、动荡政局到气候变化，企业机构不断遭受意外事件的冲击。但利用数字业务在 颠覆环境中繁荣成长、脱颖而出的思路却未曾改变，始终明确印刻在人们的脑海中。 IT领导者需要为数字业务提供技术支持，承担相应的责任，并通过使用能够成倍增加IT力 量 的创新趋势，加速增长，战略性推动企业机构进步。 这些创新趋势将能够： • 随时随地为员工和设备提供可靠的数字连接 -工程化信任 • 随时随地为快速扩展数字创意提供解决方案 -塑造变化 • 提供创新能力，加速业务增长 -加速增长 这些趋势彼此成就，相辅相成。若结合使用，Gartner 2022年重要战略技术趋势将助您协 助 CEO完成优先任务，达到扩大规模、适应变化和加速增长的预期目标。 David Groombridge Gartner基础设施和通讯服 务 副总裁分析师 趋势 数据编织 生成式 AI 2 网络安全网格 隐私增强计算 云原生平台 组装式应用 决策智能 超级自动化 AI 工程化 分布式企业 全面体验 自治系统 2022 塑造数字业务未来的12大趋势
- 7. 7 Denodo 联系方式 ✔ Denodo官网：denodo.com.cn ✔ Denodo社区：community.denodo.com ✔ Denodo博客：www.datavirtualizationblog.com ✔ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives ✔ 联系我们： ✔ 添加微信 ✔ 电话至 +86.18518356610 ✔ 邮件至 cli@denodo.com
- 9. Agenda DENODO LUNCH AND LEARN ASEAN 1. 对数据编织的需求 2. 什么是数据编织 3. 逻辑数据编织与物理数据编织 4. 借助逻辑数据编织加快价值实现速度 5. 客户应用场景成功案例 6. 开始使用的最佳实践 7. 问答 8. 后续步骤
- 10. DENODO LUNCH AND LEARN ASEAN 对数据编织的需求 挑战
- 11. 11 分布式数据环境 点对点式数据集成方法面临困境： ▪ 提取和移动数据会增加延迟、提高成本，并 降低质量 ▪ 每个项目都以不同方式解决数据访问和集成 问题 ▪ 解决方案与数据来源联系紧密，影响灵活性 和敏捷性 ▪ 没有集中治理和控制 数据 来源 数据 使用者 数据 治理 工具 DB、DW 和 数据湖 文 件 BI 控制面 板 报告和工 具 数据科学和 机器学习 应用程序 移动和 企业应用程 序 微服务 应用程 序 云 DB 和 SaaS 流式 数据和 IoT 多维数据 集
- 12. 12 我的数据在哪里？ Web 内容 大数据应用程序 图形数据库 关系 数据库 云存储 （S3、ADLS、 GCS） JSON/XML 文件 SaaS 应用程序 平面文件 数据仓库 Excel 电子表格 ？
- 13. DENODO LUNCH AND LEARN ASEAN 什么是数据编织？ 从分析师角度看
- 15. 15 数据编织的图片视图 – 来自 Gartner 通俗地说 • “集成来自不同数据来 源的数据” • 安全地提供不同数据对 象的“集成视图” • 将“集成数据”用于分 析和操作目的 • 使用 AI/ML（人工智能/机 器学习）使整个流程自动 化
- 16. 16 数据编织要素 – Gartner 定义 数据 使用者 数据 来源 数据编织
- 17. 17 到 2023 年，利用数据编织动态连接、优化和自动化数据管理流程的组织可以实现以下目标： ▪ 将数据交付时间缩短 30%，并 ▪ 自动执行 45% 的手动转换。 Gartner - 2019 年数据集成工具魔力象限 Gartner - 2020 数据和分析服务提供商魔力象限 到 2023 年，在数据管理和集成中使用以数据编织驱动的自动化可以实现以下目标： ▪ 使对 IT 专家的依赖降低 20% ▪ 将集成成本降低 45%。 Gartner：数据编织的优势
- 18. 18 数据编织要素 – Forrester 定义 数据 使用者 数据 来源 数据编织
- 19. 19 Forrester 报告：数据虚拟化的总体经济影响TM - 利用 Denodo 平台，2021 年 10 月 1 日 Forrester 报告：数据虚拟化的总体经济影响 (Total Economic ImpactTM )
- 20. DENODO LUNCH AND LEARN ASEAN 逻辑与物理 数据编织
- 23. 23 缺点：单一架构 单一架构 • 单一性：在物理上将数据集中在单个位置 （例如数据湖/数据仓库） 难题（一刀切行不通） • 需要时间和精力：对于每个新数据需求，均需大量数据 复制 • 难以维护：变更需要修改管道和数据集 • 不兼容：不能重用现有分析系统；需要将所有数据摄取 到新系统中 ……用于数据集成和管理 停止收集。 “LDW 架构中的固有问题是公认的，即单个数据持久层和处 理类型不足以满足现代数据和分析的全部需求。” – Gartner：实用的逻辑数据仓库，2020 年 12 月， 作者 Henry Cook、Rick Greenwald 和 Adam Ronthal
- 24. 24 ……用于数据集成和管理 优点：逻辑架构 “借助数据访问的逻辑集中化，可以实现数据治理、审计追 踪、安全性和监控的逻辑集中化。” – Gartner：评估现代数据架构中数据虚拟化的相关性，2021 年 6 月 逻辑架构 • 逻辑：使用者通过与数据位置和物理模式分离的语义 模型访问数据 优点（不受位置、格式、延迟的影响） • 方便业务部门人员使用：使用业务语言表达 • 简单：统一的语义、安全防护和治理 • 经得起未来考验：能适应技术发展和基础架构更改 开始连接。
- 25. DENODO LUNCH AND LEARN ASEAN 逻辑数据编织 加快价值实现速度
- 26. 26 Denodo 平台：一个适用于您的所有数据的逻辑平台 以逻辑方式集成、管理和交付分布式数据 任何数据 来源 任何数据 使用者 任何平台环境 本地 | 云 | 多云 | 容器化 数据 治理 工具 BI 控制面板 报告和工具 数据科学和 机器学习 应用程序 移动和 企业应用程序 微服务 应用程序 DB、DW 和 数据湖 文件 云 DB 和 SaaS 流式 数据和 IoT 多维数据集 智能查询 加速 AI/ML 建议 和自动化 高级语义 和活动数据 目录 统一的安全防护和 治理 逻辑数据 抽象化 实时数据 集成
- 28. 28 数据流 ∙ 驻留在 Microsoft 数据来源（MS SQL 数据库、Excel 电 子表格等）本地的静态数据由 Azure Data Factory 提 取、转换并移动到 Azure 云数据存储库（Azure Synapse Analytics、Azure Cosmos DB 等）。 ∙ 实时数据借助 Azure HDInsights 将（Web 日志等）加载 至 Azure Databricks。 ∙ 第三方本地数据（SAP、Oracle）和云数据（Salesforce 等）连接到 Denodo 数据虚拟化平台。 ∙ 基于 Azure 的数据来源（Azure Synapse Analytics、 Azure Data Lake Storage、Azure Databricks）连接到 Denodo 数据虚拟化平台，提供统一的混合抽象层。 ∙ 来自 Kafka 主题的数据可在 Denodo 平台中虚拟化， 用于提供实时警报和仪表板显示。 ∙ 所有连接的数据来源均通过 SQL (6) 和 API (7) 接口进 行组合、保护并作为数据服务公开。 ∙ 公开由 Power BI、分析应用程序、数据科学工具、 企业市场门户、任何实时和移动应用程序使用的虚 拟数据集。 2 1 3 4 5 6 7 Azure 中的 Denodo 数据编织架构
- 29. 29 数据流 ∙ 来自云和本地来源的数据被加载到 AWS 关系存储和 基于 Hadoop 的存储中，以进行分析和操作处理。 ∙ 来自应用程序、数据库、文件和其他来源的本地数据 通过 Denodo 引擎进行虚拟化，提供统一和安全的访 问点。 ∙ 驻留在 AWS 存储中的结构化、半结构化和非结构化 数据与来自云应用程序和本地数据来源的数据相结合 ，为最终用户的使用提供实时网关。所需的虚拟数据 集市构建在在 Denodo Platform for AWS 内。 ∙ 数据由 Amazon QuickSight 或任何其他商业智能 (BI) 或分析工具通过基于 SQL 的接口使用，或由应 用程序和其他工具通过 REST 和 OData API 使用。 2 1 3 4 AWS 中的 Denodo 数据编织架构
- 30. DENODO LUNCH AND LEARN ASEAN 客户应用场景 LeasePlan
- 31. 31 车队管理领域的全球领导者。 拥有一支包括 190 万辆汽车的车队，其客户遍布全球 32 个国家/地区，数量高达 17.5 万 车辆生命周期 | 专注于端到端服务 LeasePlan
- 32. 32 ` 数据 采集 数据 来源 数据 存储 (RAW) 分析 仓库 数据 科学 数据 编织 数据 使用者 下一代数据管理（元数据、数据质量、治理） 元数据管理、数据质量、数据治理作为保护公司整体数据资产的核心组件，可允许对数据进行可信访问， 以便在整个企业中利用这些数据 结构化 🡪 非结构化 ETL/ELT 编排 流式处理 本机提取 非 ETL 工具 AWS Kinesis Airflow SAP BW/4HANA + HANA Native 原始 质量 集成 使用 Glacier Archive BW/4HANA + HANA Native 下一代金融 1 下一代保险 下一代采购 下一代营销 下一代销售 下一代服务 下一代商业 下一代车队运营 下一代供应商合作 下一代策略管理 下一代门户 下一代联系中心 传统 – NOLS/DB2/AS400 等 其他外部数据：远程信 息处理、IoT、GA、社交 源、数据流 Analytics for Cloud Analysis for Office AWS SageMaker Power BI 全球数据中心 | 参考架构
- 33. 33 LeasePlan 获得的优势 • BI 报告零停机时间 • 提供更多创新服务 • 主动损坏检测 • 更出色的乘客安全性 • 降低任何损坏的总体成本 • 准确预测汽车何时需要维修 • 为客户安排预约 • 预测维护
- 34. DENODO LUNCH AND LEARN ASEAN 最佳实践
- 35. 35 1. 确定您的业务需求 ▪ 业务用户是否需要数据快速提供？ ▪ 他们是否需要来自多个来源的最新数据？ 2. 确定哪种数据编织是最佳选择 – 平衡收益与成本 ▪ 如果要完成的数据转换任务持久且繁重，选择物理数据编织。 ▪ 在集成所有企业数据时，选择逻辑数据编织 - 速度更快，时效性更强。 ▪ 最佳选项：带有缓存的逻辑数据编织。 3. 通过数据编织从小做起，然后发展壮大 ▪ 不要好高骛远！ 开始使用数据编织的最佳实践
- 36. DENODO LUNCH AND LEARN ASEAN Q&A
- 38. Next Steps
- 39. 39 立即开始使用 通过云市场中的 30 天免费试用活动 试用 Denodo 选择 在您的云帐户进行选择 支持 通过社区论坛和远程销售工程师获取 支持 机会 享受 Denodo 云专家提供的 30 分钟 免费咨询 denodo.link/drive22
- 40. Thanks! www.denodo.com info@denodo.com © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.