Successfully reported this slideshow.
Your SlideShare is downloading. ×

逻辑数据编织 – 构建先进的现代企业数据架构

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad

Check these out next

1 of 24 Ad

逻辑数据编织 – 构建先进的现代企业数据架构

Download to read offline

Watch full webinar here: https://bit.ly/3PTNkZw

Denodo 将介绍逻辑数据结编织的概念以及为什么它是最强大和最先进的现代企业级数据集成和数据管理架构,内容将涵盖 AI/ML 的作用、数据目录和其他高级功能。

Watch full webinar here: https://bit.ly/3PTNkZw

Denodo 将介绍逻辑数据结编织的概念以及为什么它是最强大和最先进的现代企业级数据集成和数据管理架构,内容将涵盖 AI/ML 的作用、数据目录和其他高级功能。

Advertisement
Advertisement

More Related Content

Similar to 逻辑数据编织 – 构建先进的现代企业数据架构 (20)

More from Denodo (20)

Advertisement

逻辑数据编织 – 构建先进的现代企业数据架构

  1. 1. Denodo 逻辑数据编织平台 - 助力企业 打造先进的现代数据架构 Stan Wu Regional VP of Greater China
  2. 2. Agenda 1. 现代数据架构 -数据编织平台 解决方案 2. Denodo 公司介绍 3. 案例场景 4. Q&A
  3. 3. 现代数据架构 -数据编织平台 解决方案 采用先进数据虚拟化技术的数据编织平台
  4. 4. 4 数字变革在颠覆一切 | 数据的爆炸式增长 3.7倍 每年的数据量将增长 150亿 至2021年,互联设备将达到 客户 数据 产品 流程 变革的步伐已成为企业面临的最大风险,需要 IT 以敏捷的平台提供支持,以支持企业的发展。
  5. 5. 5 数据是有价值的资产 • 数据对任何组织来说都是非常宝贵的资产 • …前提是数据能转化为“可使用的信息” • 可使用的信息将驱动决策 • 明智的商业决策 • 更有效、优化的业务流程 • 等等。 • 需要管理和提炼数据,使其成为可使用的信息 • 但 IT 专家 *并非* 数据知识专家 • 最懂物流数据的则是物流部门 • 也即每天处理数据的人员 高手在民间
  6. 6. 6 不同使用群组的需求 60% of employees 数据消费者 数据探索 30% of employees 8% of employees 数据分析 普通用户 高级用户 数据科学家 2% of employees ‘WHITE GLOVE’ 服务 自助服务 Top Down Bottom Up 高手在民间
  7. 7. 7 历经多年发展演变面临的主要问题 经历了多年的发展演变,主要面 临以下几个问题: • 各业务线端到端重复浪费资源 ,人力配置不均衡,效率低 • 大量重复的模型、报表及应用 ,需求场景不清晰,历史包袱 重 • 维度不统一,数据整合难度; 指标口径不一致,数据理解成 本高
  8. 8. CEO追求三个目标:增长、数字化和运营效率 从新冠疫情、动荡政局到气候变化,企业机构不断遭受意外事件的冲击。但利用数字业务在 颠覆环境中繁荣成长、脱颖而出的思路却未曾改变,始终明确印刻在人们的脑海中。 IT领导者需要为数字业务提供技术支持,承担相应的责任,并通过使用能够成倍增加IT力 量 的创新趋势,加速增长,战略性推动企业机构进步。 这些创新趋势将能够: • 随时随地为员工和设备提供可靠的数字连接 • 随时随地为快速扩展数字创意提供解决方案 • 提供创新能力,加速业务增长 这些趋势彼此成就,相辅相成。若结合使用,Gartner 2022年重要战略技术趋势将助您协 助 CEO完成优先任务,达到扩大规模、适应变化和加速增长的预期目标。 David Groombridge Gartner基础设施和通讯服 务 副总裁分析师 趋势 数据编织 生成式 AI 2 网络安全网格 隐私增强计算 云原生平台 组装式应用 决策智能 超级自动化 AI 工程化 分布式企业 全面体验 自治系统 2022 塑造数字业务未来的12大趋势
  9. 9. 9 当前全球企业专注的IT战略与面临的挑战 战略性 趋势 自主服务的 数据分析 数据资产 管理 数据安全 分布式云与 数据迁移 互联网与 数据服务
  10. 10. 10© 2021 Gartner, Inc. and/or its affiliates. All rights reserved.Gartner is a registered trademark of Gartner, Inc. and its affiliates. 数据管理的演进
  11. 11. 11 Gartner – 从传统数仓 -> 数据湖 -> 逻辑数据架 构 数据架构的变革,可组装的逻辑数据架构的兴起,已经成为全球最新的架构设计趋势。 Operational Application Operational Application Operational Application IoT Data Other NewData Operational Application Operational Application Cube Operational Application Cube ? Operational Application Operational Application Operational Application IoT Data Other NewData 1980s Pre EDW 1990s EDW 2010s 2000s Post EDW Time LDW Operational Application Operational Application Operational Application Data Warehouse Data Warehouse Data Lake ? 可组装的逻辑数据架构 Data Warehouse Data Lake Marts ODS Staging/Ingest Unified analysis › Consolidated data › "Collect the data" › Single server, multiple nodes › More analysis than any one server can provide ©2018 Gartner, Inc. Unified analysis › Logically consolidated view of all data › "Connect and collect" › Multiple servers, of multiple nodes › More analysis than any one system can provide ID: 342254 Fragmented/ nonexistent analysis › Multiple sources › Multiple structured sources Fragmented analysis › "Collect the data" (Into › different repositories) › New data types, › processing, requirements › Uncoordinated views
  12. 12. RESTRICTED DISTRIBUTION 11© 2021 Gartner, Inc. and/or its affiliates. All rights reserved. 数据管理基础架构非常重要多样化 -- 但必须相互联系 你的组织目前正在使用哪种数据管理基础架构技术 ? 57% 57% 52% 49% 46% 39% 36% 33% 31% 28% 23% 19% 30% 23% 32% 32% 35% 34% 37% 38% 41% 40% 43% 39% 9% 14% 11% 14% 12% 18% 18% 17% 20% 23% 19% 26% 3% 7% 4% 5% 7% 10% 9% 12% 8% 10% 15% 16% 0% 50% 100% Cloud-based object storage (n=268) Data warehouses (n=266) Data catalogs (n=268) Data virtualization (n=265) Data hubs (n=265) Data lakes (n=262) Semantic technologies (n=251) Event stream processing (n=263) DBMS, including relational / non-relational (NoSQL) (n=254) Graph DBMS (n=252) Time Series DBMS (n=245) Hadoop distributions (n=241) Currently usingNot using today but plan to within 12 monthsNot using today but plan to within 12-24 monthsNo plans to use within 24 months Base: Total Respondents, Excluding DK Q08. Which of these information infrastructure technologies is your organization using or planning to use in its data and analytics efforts? Source: Gartner 2019, Data and Analytics Adoption Trends 3%
  13. 13. RESTRICTED DISTRIBUTION 12© 2021 Gartner, Inc. and/or its affiliates. All rights reserved. “收集”数据与“连接”数据的平衡 连接 收 集 Metadata Use Cases (Operational, Analytics, Diverse) Share Describe Organize Integrat e Govern Implement Information Asset Types 数据, SQL 查询, 报告, 建议, 仪表板,数据服务,KPI, 虚拟数据资产 Physical Infrastructure
  14. 14. 14 2021:Data Fabric Data Fabric 流程 客户 产品 风 险 RDBMS/OLTP 传统分析/BI 数据湖 云数据存储 应用程序和文文件存储库 Flat Files 第三方 Legacy Mart 数据仓库 Mart ETL ETL XML • JSON • PDF DOC • WEB ▪ 利用所有元数据构建数据资产,实现数据结构的统一管理。 满足数据时效性,更快速的获取数据,自动化的数据访问和共享能力。 ▪ 实现跨平台的数据治理和数据访问安全控制。 ▪ 各种结构的数据标准化接入、治理、提高数据质量,简化数据接入部署。 基于Data Fabric理念的数据中台架构 Data Fabric 是一种通用的数据体系结构模式,无论什么样结构的数据、平台和模式,都可 以执行统一的数据集成、安全治理、服务和部署。
  15. 15. 17© 2021 Gartner, Inc. and/or its affiliates. All rights reserved.Gartner is a registered trademark of Gartner, Inc. and its affiliates. 知识图谱 利用 AI 按使用方式开始识别"相同"数 据 Interpretatio n of Insights Data Preparation and Cleansing Decisions/ Recommendation / Actions Exploration/Patt e rn Detection Model Building and Selection Multicloud Integration Data Ingestio n Analytics Mgmt./Tuning Optimization Data Integratio n Dat a 也许数据向我们展示了, 我们是如何和何时连接的。 甚至为什么? 等等,你的数据和我的数据 似乎有联动。 也许我们有关 联的?
  16. 16. 16© 2021 Gartner, Inc. and/or its affiliates. All rights reserved. DATA QUESTIONS Known Unknown Known Unknown Innovation and Exploration Establishin g Value Foundational Core 数据加工&数据同步&数据复制 Data Virtualization for known questions (for rapid prototyping, etc.) Data Virtualization for further exploration of known data to support predictive modeling and data science prototypes 数据目录 对数据集成平台的功能需求
  17. 17. 17 现代数据架构设计- 数据编织的五大能力 数据 消费者 数据 来源 异构数据实时集成及建模能力 数据洞察 自动化能力 主动元数据 知识图谱能力 跨数据的业务关联 让数据业务化 增强型的 数据目录 数据 消费者 数据 来源 数据编织 Data Fabric • 数据编织是一种 数据设计理念 不是工具 • 它利用所有 元数据资产的不断分析和 ML/AI 来提供 有意义的数据资产 和 数据管理和部署模式的建议 • 这能让企业的数据资产 会更快的被了解清楚。 在某些情况下,还会数据资产自动化的数据关联和共享
  18. 18. 18 Gartner – 从传统数仓 -> 数据湖 -> 逻辑数据架 构 数据架构的变革,逻辑数据架构的兴起,已经成为全球最新的架构设计趋势。 Operational Application Operational Application Operational Application IoT Data Other NewData Operational Application Operational Application Cube Operational Application Cube ? Operational Application Operational Application Operational Application IoT Data Other NewData 1980s Pre EDW 1990s EDW 2010s 2000s Post EDW Time LDW Operational Application Operational Application Operational Application Data Warehouse Data Warehouse Data Lake ? Unified analysis › Consolidated data › "Collect the data" › Single server, multiple nodes › More analysis than any one server can provide ©2018 Gartner, Inc. Unified analysis › Logically consolidated view of all data › "Connect and collect" › Multiple servers, of multiple nodes › More analysis than any one system can provide ID: 342254 Fragmented/ nonexistent analysis › Multiple sources › Multiple structured sources Fragmented analysis › "Collect the data" (Into › different repositories) › New data types, › processing, requirements › Uncoordinated views Operational Application Operational Application Operational Application IoT Data Other NewData 逻辑数据架构 Data Warehouse Data Lake Marts ODS Staging/Ingest 数据虚拟化技术 √ 整体时间缩短了50%到90% √ 提高数据的一致性 √ 减少数据重复 √ 提高透明度 √ 降低开发成本 √ 逻辑架构可以应对未来的技术变化
  19. 19. Denodo 公司介绍
  20. 20. 20 数据虚拟化技术的领导者 Denodo 领导者 ▪ 自1999年以来,对数据虚拟化的持续关注时间最长 ▪ 2021 Forrester Wave 的领导者 - 大数据结构 ▪ 2021 Gartner数据集成工具魔力象限领导者 ▪ 增长最快 — 前十大数据集成供应商 ▪ 多次获奖 DENODO 办公室、客户、合作伙伴 遍布北美、欧洲、中东和非洲、亚太地区和 拉丁美洲的全球业务。 客户 客户超过1000+,包括所有主要行业的财富 500和全球2000强公司,利用数据虚拟化显着 提高了业务灵活性和投资回报率。 财务状况 有超过 40 亿美元的私有公司支持。 年增长 60% 以上。
  21. 21. 21 30+行业 & 1000+ 客户 部分行业的客户 公共服务 金融服务 电信 医疗健康 科技 汽车制造 保险 零售 制药/生物技术 能源
  22. 22. 22 数据虚拟化应用场景 从数据存储与管理到数据使用者,体验数据治理和安全 即时决策 K.Y.C. (客户 360 度视图) 自助服务 分析 数据科学 (机器学习和 人工智能) 应用程序 (移动和网路) 合并与收购 数据市场 合规 (IFRS17、GRC) 数据 安全性 API 化 (或 SQL 化) 语义层 敏捷 而简单 即时交付 数据 抽象化 零复制 数据治理 精细优化 逻辑数据 性能 企业 数据联邦 混合 数据联邦 & 数据集成 混合云 重构与 平台重建 数据使用 逻辑数据平台 数据治理、操作和 访问 销售 HR 高管 市场行销 应用程 序/API 数据科学 AI/ML
  23. 23. 23 使用 各种数据访问 整合 异构数据 2 3 DATA CONSUMERS Enterprise Applications, Reporting,BI, Portals, ESB, Mobile, Web, Users, IoT/Streaming Data 连接 各种数据源 1 不同的数据源 数据库 & 传统数仓, 业务系统 / 云应用, 大数据, 外部数据,非结构化数据, Web服务, XML, Excel, Hbase, TD... 非结构化 结构化 多个协议 格式 链接数据服务 查询、搜索、浏览 请求/回复 事件驱动 安全交付 Library of wrappers Web automation Any data or content Read & Write 数据虚拟化平台 数据使用者 数据分析 数据应用 连接 合并 消费 共享、交付、发 布、管理、协作 发现、改造、准 备、提高质量、 整合 异构数据的规 范化视图 异构实时集成 标准治理建模 数据开放共享 数据资产管理 图形运维开发 数据访问加速 智能优化引擎 数据安全管控 Denodo 数据虚拟化 功能架构
  24. 24. 谢谢

×