现代数据集成解决方案及应用案例介绍（下）
•
1 like•152 views
Watch full webinar here: https://bit.ly/3tXOlnB 在上一节网络研讨会中，我们介绍了企业面临着不断增长的数据量及日益多样化的数据类型挑战，各行各业的客户如何正确地借助虚拟化技术，实时集成大量、多样化且分散的数据，创建统一的视图。 然而，伴随着云服务的高速发展，面对日渐增加的业务量及创新业务的需求，企业迁移上云也成为应对爆炸性业务增长及IT挑战，降低维护成本，确保数据安全及合规的绝佳选择。 注册参加3月23日网络研讨会，了解： - Denodo如何提供大数据解决方案 - 数据虚拟化如何助力企业加速迁移上云 - 产品演示及行业应用案例
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 现代数据集成解决方案及应用案例介绍（下）
Similar to 现代数据集成解决方案及应用案例介绍（下） (20)
More from Denodo
More from Denodo (20)
现代数据集成解决方案及应用案例介绍（下）
- 1. 现代数据集成解决方 案及应用案例介绍 Sam Wu 吴明宪 大中华区副总经理 mwu@denodo.com 13661880097
- 2. Denodo公司介绍
- 3. 3 Denodo 数据虚拟化的领导者 DENODO 办公室、客户、合作伙伴 遍布北美、欧洲、中东和非洲、亚太地区和拉丁美洲 的全球业务。 客户 客户超过800+，包括所有主要行业的财富500和 全球2000强公司，利用数据虚拟化显著提高了业务 灵活性和投资回报率。 财务状况 有超过40亿美元的私有公司支持。 年增长 60% 以上;可盈利。 领导者 ▪ 自1999年以来，对数据虚拟化的持续关注时间最长 ▪ 2020 Forrester Wave 的领导者 - 大数据结构 ▪ 2020 Gartner数据集成工具魔力象限领导者 ▪ Forrester 2018 Wave 的领导者 - 数据虚拟化 ▪ 增长最快 — 前十大数据集成供应商 ▪ 多次获奖
- 4. 30+行业 & 800+ 客户 部分行业的客户 公共服务 金融服务 电信 医疗健康 科技 制造 保险 零售 制药/生物技术 能源
- 5. 5 Denodo 资源 ✓ Denodo官网：www.denodotech.cn ✓ Denodo社区：https://community.denodo.com/ ✓ Denodo博客：http://www.datavirtualizationblog.com/ ✓ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives ✓ 联系我们： ✓ 添加微信 ✓ 电话至 +86.18518356610 ✓ 邮件至 azhao@denodo.com
- 6. 数据虚拟化入门 - 第 2 部分
- 7. Agenda 1. 为什么需要逻辑架构 2. 数据虚拟化如何简化云迁移 3. 十点事实解读数据虚拟化 4. 客户案例
- 8. 逻辑架构
- 9. 6 逻辑架构的演变
- 10. 10 数据湖 - 并非完美世界 物理性质 • 基于复制。数据湖需要将数据拷贝到其物理存储中 • 复制会延长开发周期，并增加开发成本 • 并非所有数据都适合复制 • 实时需求：云和 SaaS API • 数量庞大：现有 EDW • 法律和限制 单一用途 • 数据湖的使用通常仅局限于数据科学家 • 新的数据孤岛。没有与业务用户分享洞见的畅通渠道 • 缺乏业务用户所习惯的治理、安全性和质量（例如在 EDW 中）
- 11. 11 多用途数据湖是专门为支持各类用户而开发的数据交付环境，不论是传统的自助式商业智能 用户，例如财务、营销、人力资源、运输，还是经验丰富的数据科学家都可以从中获益。 多用途数据湖有助于更广泛深入地利用数据湖投资，既不会降低数据科学的潜在价值，也 不会使其变成僵化的环境。 Rick Van der Lans，R20 Consultancy
- 12. 12 基于数据虚拟化构建的多用途数据湖 逻辑性质 • 可自由选择是否复制，而非必须复制 • 扩展数据访问，缩短开发时间，提供更好的洞察力 • 与大数据系统紧密集成。快速执行大量数据 多用途 • 为非技术用户提供监理访问 • 改善治理和访问控制 • 提高数据湖的投资回报
- 13. 13 逻辑数据湖 - 参考架构 “多用途数据湖可以成为组织的通用数据交付系统” Architecting the Multi-Purpose Data Lake with Data Virtualization（借助数据虚拟化构建 多用途数据湖），Rick Van der Lans，2018 年 4 月
- 14. 14 提供对内外部所有数据资产的单一访问： ▪ 物理数据湖（通常基于 SQL-on-Hadoop 系统） ▪ 其他数据库（EDW、ODS、应用程序等） ▪ SaaS API（Salesforce、Google、社交媒体等） ▪ 文件（本地、S3、Azure 等） 逻辑数据湖 - 访问所有数据源
- 15. 15 物理数据湖也可以用作 Denodo 的缓存 如此便可快速向 Hadoop 群集加载 Denodo 可访问的任 何数据 缓存成为保留沿袭和治理的摄取 ELT 流程的替代方案 基于到 HDFS 的直接负载的加载进程： 1. 在缓存系统中创建目标表 2. 在本地机器上使用 Snappy 压缩生成 Parquet 文 件（以数据块的形式） 3. 并行将 Parquet 文件上传至 HDFS 逻辑数据湖 - 摄取和缓存
- 16. 16 Denodo 优化器支持与 MPP 系统原生集成，提供另 外一项关键功能：查询加速 Denodo 可以在执行查询期间，按需将处理迁移至 MPP • 在虚拟层并行处理计算 • 当处理缓冲区不适合 Denodo 的内存（交 换数据）时避免磁盘内处理缓慢的情况 逻辑数据湖 - 使用数据湖处理引擎
- 17. 17 逻辑数据湖如何处理大型数据集 200 万行 （销售（按客户）） 当前销售 6,800 万行 1.部分聚合下推 最大化源处理，显著降低网 络流量 3.按需数据传输 Denodo 自动生成并上传 Parquet 文件 4.与本地数据集成 引擎将检测数据何时缓存或 来自已存在于 MPP 中的本 地表 2.与基于成本的优化器集成 基于数据量估算及这些特定操作的 成本，CBO 可决定将全部或部分执 行树移向 MPP 5.快速并行执行 支持 Spark、Presto 和 Impala， 可在基于 Hadoop 的低成本解决 方案中进行快速分析处理 历史销售 2.2 亿行 客户 200 万行 （已 缓存） 联结 按邮编分组 系统 执行时间 优化技术 其他 约 10 分钟 简单联合 无 MPP 43 秒 聚合下推 有 MPP 11 秒 聚合下推 + MPP 集成 （Impala 8 节点） 按客户 ID 分组
- 18. 18 逻辑数据仓库架构 8 EDW Hadoop 群集 销售 HDFS 文件 文档集合 NoSQL 数据库 ERP 数据库 Excel 数据虚拟化层
- 19. 19 逻辑数据仓库：六大场景 LDW 模式 虚拟数据集市 数据仓库 + 主数据管理 数据仓库 + 云 数据仓库 + 数据仓库 数据仓库 历史卸载 精简数据 仓库扩展 扩展包含了主数据的数据仓库 扩展包含了云数据的数据仓库 集成多个数据源，打造对业务友好的 数据模型 数据仓库垂直分区，很少用到 的数据放在成本较低的存储器 中 数据仓库水平分区，历史数据放 在成本较低的存储器中 多个数据仓库集成
- 20. 数据虚拟化和云迁移
- 23. 23 了解云迁移 1.将数据或应用程序或将两者从本地迁移至 公有云 2. 将部分工作负载迁移至云端，并将其中 一些保留在本地 - 混合云 3. 将本地应用程序/数据迁移至多个公有云 （应用场景驱动） - 多云 4. 构建本地云计算平台 - 私有云
- 25. 25 云采用/迁移挑战 • 孤岛仍然存在（成本和互操作性）。缺乏战略。 • 云端安全顾虑（GDPR 等） • 性能瓶颈（跨区域数据，基础架构） • 业务停机（迁移复杂性，应用程序/数据源） • 学习新的技能和资源。
- 27. 27 混合数据中心在迁移期间发挥作用的另 一场景 • 数据库和应用程序可以逐步迁移至 云端 • 通过 DV 层应对这些变化 • 迁移对最终用户保持透明 Active Directory 数据中心 云 混合数据结构 - 云迁移
- 28. 28 架构： • 数据源位置 • 扩展 - 自动/群集 • 负载平衡/高可用性 调整大小： • 数据量（大小） • 并发（查询） • 基础架构选择 • 云突发工作负载 性能： • 查询下推 • 缓存 • 网络 (VPC) 数据源： • SaaS 应用程序（SFDC、 ServiceNow） • 适 用 于 AWS Redshift 、 Snowflake 、 Spark SQL 、 Azure SQL DW 的专用连接器 • REST 和 Odata 连接器 最佳实践 - 云端数据虚拟化
- 29. 30 BHP借助Denodo提升业务敏捷性 业务场景 BHP希望跨多个地区集成数据系统统一管理业务风险，但这是一项耗时且昂 贵的操作。 BHP全球应用格局为现有数据平台提供有限且受限制的可重用性，从而导致： • 针对不同数据解决方案访问相同数据源的重复工作 • 在开发数据解决方案之前需要很长的时间提取或加载数据 • 创建以项目为中心的数据存储库，提供用于特定目的的合并数据集，从 而增加总拥有成本，数据解释的复杂性和可变性 BHP是世界著名铁矿石、 煤炭、和铜等主要矿业生 产商之一。业务遍及全球， 在澳大利亚，亚洲，英国， 加拿大，美国以及中美及 南美设有办公室及运营中 心。
- 30. Reference architecture 31 数据源 ✓ 应用程序数据源 ✓ SaaS / 云应用程序 ✓ 应用界面 ✓ 手动数据源 数据虚拟化平台 用户 ✓ 企业级或区域数 据存储 自助服务数据目录 查询优化 查询开发 数据联邦 数据发现 抽象/语义层 安全层 Kerberos委派 + 传输中的加密 + 广泛的审计 安全 更迅速 连接到数据存储或直接到源 快速访问正确数据 自助服务 灵活的协议 ✓ 分析 ✓ 自助服务 ✓ 商业智能 ✓ 交易应用程序 ✓ 携带自己的工具 Built using technology by
- 31. 项目举例 32 解决方案：使用数据虚拟化平台快速虚拟化多个数据源。这样可以减少项目成本，并减少项目原始解决方案设 计中出现的时间延迟。 原始设计 最终设计 结果 • 不再需要实体化数据集成 • 加快数据转换和仪表板开发 的迭代速度 • 所有必需的数据集已发布， 可作为可重用的数据资产独 立使用 数据源 1 数据源 2 数据源 3 数据集市 仪表板 数据源 1 数据源 2 数据源 3 Denodo 仪表板
- 33. 小结
- 34. 38 十点事实解读数据虚拟化 • 维护成本低于传统集成工具 -多次物理复制、移动和存储数据所需费用高昂，数据虚拟化可创建虚拟数据层，省去复 制或存储成本。 • 以更快的方式管理数据 - 传统数据集成方法要等待数小时甚至数天才能获得结果，而数据虚拟化可以实时提供结果。 • 最大限度提升性能 - 性能不佳往往源于网络延迟（即数据传输开始之前的延迟）。 数据虚拟化可直连来源，实时提 供可操作的洞察。 • 远超数据联合范畴 - 数据虚拟化集数据联合技术发展之大成， 涵盖性能优化以及自助式搜索和发现的高级功能。 • 实现自助式商业智能 - 数据虚拟化使业务用户能够自行利用数据，不必总依赖技术团队。
- 35. 39 十点事实解读数据虚拟化（续） • 与传统数据仓库相辅相成。数据虚拟化可与传统仓库工具共用及互补。 • 确保安全的数据治理 - 数据虚拟化使企业能够集中访问各种信息，从而实现安全管理、数据治理和性能监控。 • 提供优越的投资回报 (ROI) - 典型数据虚拟化项目实施之后在六个月以内即可看到回报。 相较于传统集成方法，企业 借由数据虚拟化可节省 50% 到 80% 的时间。 • 比传统方法更敏捷 - 数据虚拟化技术包括原型设计功能，意味着您可在执行战略测试之后再在企业层面推广实施。 • 为大数据结构提供恰当情境。数据虚拟化支持的大数据结构可以集成数据，为预测分析做好准备，并将数据实时提供 给使用者。
- 36. 40 活动预告 2021年3月30日 14:00 – 17:00 Denodo线上动手实践课程 数据虚拟化入门指南白皮书
- 37. 41 Denodo 资源 ✓ Denodo官网：www.denodotech.cn ✓ Denodo社区：https://community.denodo.com/ ✓ Denodo博客：http://www.datavirtualizationblog.com/ ✓ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives ✓ 联系我们： ✓ 添加微信 ✓ 电话至 +86.18518356610 ✓ 邮件至 azhao@denodo.com
- 38. Thanks! www.denodo.com info@denodo.com © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.