Modernising Data Architecture for Data Driven Insights (Chinese)
•
0 likes•252 views
Watch full webinar here: https://bit.ly/3phVEEv In an era increasingly dominated by advancements in cloud computing, AI and advanced analytics, it may come as a shock that many organizations still rely on data architectures built before the turn of the century. But, that scenario is rapidly changing with the increasing adoption of real-time data virtualization - A paradigm shift in the approach that organisations take towards accessing, integrating, and provisioning data required to meet business goals. As data analytics and data-driven intelligence takes center stage in today’s digital economy, logical data integration across the widest variety of data sources, with proper security and governance structure in place has become mission critical. Register this webinar to learn: - How you can meet the challenges of delivering data insights with data virtualization - Why Data Virtualization is increasingly find enterprise-wide adoption - How customers are reducing costs and delivering faster insight
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Modernising Data Architecture for Data Driven Insights (Chinese)
Similar to Modernising Data Architecture for Data Driven Insights (Chinese) (20)
More from Denodo
More from Denodo (20)
Modernising Data Architecture for Data Driven Insights (Chinese)
- 1. 现代数据架构，赋能企业数据驱动洞察能力 Michael Liu 解决方案架构师 大中华区 cliu@denodo.com Stan Wu 总经理 大中华区 +86.13910582930 swu@denodo.com
- 2. 议程 1. Denodo公司介绍 2. 现代数据架构，赋能企业数据驱动洞察能力 3. Demo演示 4. Q&A
- 3. Denodo公司介绍
- 4. 4 数据虚拟化技术的领导者 Denodo 领导者 ▪ 自1999年以来，对数据虚拟化的持续关注时间最长 ▪ 2020 Forrester Wave 的领导者 - 大数据结构 ▪ 2020 Gartner 数据集成工具魔力象限领导者 ▪ 增长最快 — 前十大数据集成供应商 ▪ 多次获奖 DENODO 办公室、客户、合作伙伴 遍布北美、欧洲、中东和非洲、亚太地区和 拉丁美洲的全球业务。 客户 客户超过1000+，包括所有主要行业的财 富500和全球2000强公司，利用数据虚拟化 显著提高了业务灵活性和投资回报率。 财务状况 有超过 40 亿美元的私有公司支持。 年增长 60% 以上。
- 5. 5 Denodo 资源 ✓ Denodo官网：https://www.denodo.com/ ✓ Denodo社区：https://community.denodo.com/ ✓ Denodo博客：http://www.datavirtualizationblog.com/ ✓ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives ✓ 联系我们： ✓ 添加微信 ✓ 电话至 +86.13661880097 / +886.933169037 ✓ 邮件至 mwu@denodo.com
- 8. 8 收益 大型设备制造商 自服务 / 预测分析 – IoT 集成 降低零件故障导致生产活动影响 改善生产制造 和 主动预测性维护 增加服务 和 零部件销售收入
- 10. 10 挑战：复杂IT架构 -> 数据碎片化 ETL 物理数仓 Kafka 数据湖 ML/AI SQL interface IT Storage and Processing Streaming Analytics Files Bus. Tools, Ent. Apps, Portals, Mobile… Gov/SecGov/Sec Gov/Sec Gov/Sec Gov/Sec Gov/Sec Gov/SecGov/SecGov/SecGov/Sec Bus.LogicBus.LogicBus.LogicBus.Logic IT 不得不 在每个数据源上实施 数据治理和数据安全 业务 不得不 在每一个终端上 重复添加业务逻辑
- 11. 11 Gartner – 逻辑数据架构的兴起 从传统数仓 -> 数据湖 -> 逻辑数据架构 Operational Application Operational Application Operational Application IoT Data Other NewData Operational Application Operational Application Cube Operational Application Cube ? Operational Application Operational Application Operational Application IoT Data Other NewData 1980s Pre EDW 1990s EDW 2010s2000s Post EDW Time LDW Operational Application Operational Application Operational Application Data Warehouse Data Warehouse Data Lake ? Logical Data Warehouse Data Warehouse Data Lake Marts ODS Staging/Ingest Unified analysis › Consolidated data › "Collect the data" › Single server, multiple nodes › More analysis than any one server can provide ©2018 Gartner, Inc. Unified analysis › Logically consolidated view of all data › "Connect and collect" › Multiple servers, of multiple nodes › More analysis than any one system can provide ID: 342254 Fragmented/ nonexistent analysis › Multiple sources › Multiple structured sources Fragmented analysis › "Collect the data" (Into › different repositories) › New data types, › processing, requirements › Uncoordinated views
- 12. 12 Gartner – 逻辑数据架构的兴起 This is a Second Major Cycle of Analytical Consolidation Operational Application Operational Application Operational Application IoT Data Other NewData Operational Application Operational Application Cube Operational Application Cube ? Operational Application Operational Application Operational Application IoT Data Other NewData 1980s Pre EDW 1990s EDW 2010s2000s Post EDW Time LDW Operational Application Operational Application Operational Application Data Warehouse Data Warehouse Data Lake ? Unified analysis › Consolidated data › "Collect the data" › Single server, multiple nodes › More analysis than any one server can provide ©2018 Gartner, Inc. Unified analysis › Logically consolidated view of all data › "Connect and collect" › Multiple servers, of multiple nodes › More analysis than any one system can provide ID: 342254 Fragmented/ nonexistent analysis › Multiple sources › Multiple structured sources Fragmented analysis › "Collect the data" (Into › different repositories) › New data types, › processing, requirements › Uncoordinated views Operational Application Operational Application Operational Application IoT Data Other NewData Logical Data Warehouse Data Warehouse Data Lake Marts ODS Staging/Ingest Data Virtualization √ 将上市时间缩短了50%到90% √ 改善报告的一致性 √ 减少数据重复 √ 提高透明度 √ 降低开发成本 √ 数据架构可以对抗未来技术的变化
- 13. 13 2020：Data Fabric 数据中台 业务 客户 产品 服务 RDBMS/OLTP 传统分析/BI 数据湖 云数据存储 应用程序和文档存储库 Flat Files 第三方 Legacy Mart 数据仓库 Mart ETL ETL XML • JSON • PDF DOC • WEB ▪ 利用所有元数据构建数据资产，实现数据结构的统一管理。 ▪ 满足数据时效性，更快速的获取数据，自动化的数据访问和共享能力。 ▪ 实现跨平台的数据治理和数据访问安全控制。 基于Data Fabric理念的数据中台架构 Data Fabric(数据中台架构) 是一种通用的数据体系结构模式，无论什么样结构的数据、平 台和模式，都可以执行统一的数据集成、安全治理、服务和部署。
- 15. 15 消除数据孤岛实时互通 大幅减少数据移动复制 大幅减少数据管理工作 快速提供多种数据服务 提高数据安全简化治理 挑战 数据虚拟化中台解决方案 管理集中物理分散减少复制，节省资源降本增效 逻辑数据分离，异构数据整合统一的数据模型中 集中管理跨平台的元数据和主数据 一键发布多种数据服务，Rest API、 SOAP WS 不移动复制数据，采用集中式数据安全治理策略 单独确定目标和虚拟化概念的 实际匹配度 2 根据业务价值调整解决方案，充分发挥 虚拟化的业务价值 采取行动！ 发现痛点 和待做事项！ 提升数据时效性，降低开发成本 提升业务自服务，释放数据价值 提高管理敏捷性，降低复杂度。 业务价值 如何应对数据管理挑战 数据虚拟化技术实现管理集中、物理分散，从容应对各种数据挑战。
- 16. 16 现代数据架构需要融合能力
- 17. 17 使用 各种数据访 问 整合 异构数据 2 3 DATA CONSUMERS Enterprise Applications, Reporting,BI, Portals, ESB, Mobile, Web, Users, IoT/Streaming Data 连接 各种数据源 1 不同的数据源 数据库 & 传统数仓, 业务系统 / 云应用, 大数据, 外部数据,非结构化数据, Web服务, XML, Excel, Hbase, TD... 非结构化结构化 多个协议 格式 链接数据服务 查询、搜索、浏览 请求/回复 事件驱动 安全交付 Library of wrappers Web automation Any data or content Read & Write 数据虚拟化平台 数据使用者数据分析 数据应用 连接 合并 消费 共享、交付、 发布、管理、 协作 发现、改造、 准备、提高 质量、整合 异构数据 的规范化 视图 数据实时集成 异构数据建模 数据开放共享 数据资产管理 定制开发扩展 数据访问加速 智能优化引擎 数据安全管控 基于数据虚拟化技术的数据中台架构
- 19. 19 现代数据架构如何创造业务价值 更快更准确的决策 • 更快的业务响应速度 和 支持需求复杂度显著提高 企业级的数据治理 和 数据安全 • 各种数据相关法规及管理要求：税收、财务、隐私、人力资 源、环境、GDPR等 降低成本 • 庞大的数据增长导致的存储开销 和 运维成本
- 20. Demo演示
- 23. 23 示例 不同国家 / 地区营销活动的销售 情况？ • 历史销售收入相关数据被转存至大 数据平台(Impala)，以节省存储成 本。 • 营销活动数据存储在云服务(REST API)。 • 国家 / 地区等客户详细信息，存储 在基于Oracle数据库的数据仓库 (DW) 中。 源 合并 转换 集成 使用 基本视图 源抽象化 连接 按地区分组 连接 销售额 活动 客户
- 24. 24 Denodo 智能优化引擎的最佳性能优化策略 SELECT c.state, AVG(s.amount) FROM customer c JOIN sales s ON c.id = s.customer_id GROUP BY c.state 销售额 客户 连接 分组依据 销售额 客户 创建临时表 格 连接 分组依据 选项 1？ 选项 2？ 选项 3？ Temp_Customer 客户 和 销售额来自不同的数据源。 最佳执行计划是什么？ 原生策略 临时数据移动策略 300 M 2 M 2 M 50 销售额 客户 连接 按 ID 分组 按地区分组 部分聚合下推策略 2 M 2 M
- 25. 25 Denodo 智能优化引擎带来极致性能 SELECT c.name, AVG(s.amount) FROM customer c JOIN sales s ON c.id = s.customer_id GROUP BY c.state 与其他联合引擎相比，Denodo 如何工作 系统 执行时间 传输的数据 优化技术 Denodo 9 sec. 4 M 聚合下推 其他 125 sec. 302 M 无：全盘扫描 300 M 2 M 销售额 客户 连接 分组依据 2 M 2 M 销售额 客户 连接 按 ID 分组 按地区分组 要最大限度 下推至 EDW， 聚合将分为 2 个步骤： •第 1 步按客户 ID •第 2 步按地区 这样可以大幅 减少 Denodo 的 网络流量和 处理负荷
- 26. 26 Photo by Obi Onyeador on Unsplash
- 27. 27 客户案例研究 - Asurion 挑战: 扩展现有的数据架构，以应对业务的全球增长，同时利 用数据提供超出客户期望的服务。 业务需求: • 将创建新服务和产品的时间从数月缩短到数周。 • 遵守严格的各国数据法规，限制数据移动。 • 数据物理分散，管理集中，实现统一的安全管理控制。 • 2.9亿消费者 • 年收入(2016)为58亿美元 • 超过17000名员工 • 在18个国家设有49个办事处 • 数字设备的保险和保证
- 28. 28 Asurion – 数字化转型 解决方案: • Asurion开发了一个跨云和 本地数据的混合数据层。 • 对数据的单点访问，确保所 有数据访问的安全性。 • 消除用户数据访问的复杂性， 实现了更敏捷、更实时的数 据集成，随时根据数据洞察 需要增加新数据源。
- 29. 基于数据虚拟化技术的好处 1. 更快、更准确的决策 • 数据虚拟化 – 用于所有企业数据的单一访问中台 2. 满足法律法规、企业需要的数据治理和数据安全 • 数据虚拟化 – 用于数据治理和安全的统一元数据管理 3. 降低 IT 成本 • 数据虚拟化 – 最小化数据管理基础架构
- 31. Q&A
- 32. 32 Denodo 资源 ✓ Denodo官网：https://www.denodo.com/ ✓ Denodo社区：https://community.denodo.com/ ✓ Denodo博客：http://www.datavirtualizationblog.com/ ✓ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives ✓ 联系我们： ✓ 添加微信 ✓ 电话至 +86.13661880097 / +886.933169037 ✓ 邮件至 mwu@denodo.com
- 33. Thank you! © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.