数据服务和现代数据
生态系统
Denodo公司介绍
3
Denodo
数据虚拟化的领导者
DENODO 办公室、客户、合作伙伴
遍布北美、欧洲、中东和非洲、亚太地区和拉丁美洲
的全球业务。
客户
客户超过800+,包括所有主要行业的财富500和
全球2000强公司,利用数据虚拟化显著提高了业务
灵活性和投资回报率。
财务状况
有超过40亿美元的私有公司支持。
年增长 60% 以上;可盈利。
领导者
▪ 自1999年以来,对数据虚拟化的持续关注时间最长
▪ 2020 Forrester Wave 的领导者 - 大数据结构
▪ 2021 Gartner数据集成工具魔力象限领导者
▪ Forrester 2018 Wave 的领导者 - 数据虚拟化
▪ 增长最快 — 前十大数据集成供应商
▪ 多次获奖
5
Denodo 资源
6
Denodo 资源
7
Denodo 资源
Bob Yin,尹寒柏 资深解决方案架构师
byin@denodo.com
数据服务和现代数据
生态系统
日程
1. 数据服务和现代数据生态系统
• 数据生态系统
• API
• 模式与实践
• 应用场景
• 功能
2. 产品演示
3. 问答
4. 后续步骤
数据生态系统
7
Web(数据生态系统)
无需存储任何内容,
便可即时访问所有内容
8
传统数据生态系统
需要存储所有内容,
延迟访问某些内容
9
现代数据生态系统
部署 本地 云
处理 批量 实时
访问 点对点 分离
数据模型 僵化 灵活
协调 手动 自动
10
数字化转型
▪ 数字化转型是大多数组织的一项战略举措。
▪ 这一理念体现了技术在战略决策中的作用,它能够自
动化和简化业务流程,改善客户关系,提高效率并节
约成本。
▪ CEO 等公司高层统筹支持:充分掌控全局,保证资
金充裕。
▪ Gartner:在 2018 年 CIO 预算中占比达 28%
▪ IDC:全球 2000 强中有 2/3 的 CEO 将数字化转型作为
公司战略的核心
▪ 成功与否关乎企业存亡
▪ “汝若不为,他人亦会为之”
11
数字化 IT 的兴起
及传统 IT 面临的挑战
▪ 数字化 IT 通常称为影子 IT,LOB 工具和需求更为复杂。
▪ 数字化社会带来更多由 LOB 管理/拥有或与之交互的互动渠道或系统。
▪ 运营系统自动运转,信息访问对于协助管理运营活动(供应链、订单履行等)至关重要。
▪ LOB 必须能够敏捷地访问信息,以便分析数据并推动必要的快速试错机制。
▪ 不同类型的数据需求增加,包括图像、视频、音频等。
12
API 的相关性
▪ 互联网创造了互连世界。
▪ 同样,公司内部不同流程和应用程序也需
要相互通信。
▪ Web 服务是用于构造这种互连世界的构建
模块。
▪ “应用程序公开功能”概念已演变为“Web
服务即应用程序”(微服务)。
定义
API - 一种接口
Web 服务 - 经由 Web 的远程 API
数据服务 - 适用于数据的 Web 服务
微服务 - 一种架构样式
13
应用程序视角下的现代数据生态系统
https://www.omg.org/cloud/deliverables/CSCC-Cloud-Customer-Architecture-for-Hybrid-Integration.pdf
数据服务为何重要?
抽象化
▪ 使用者无需担心数据采集与复合的复杂性。
▪ 提高 IT 灵活性,减少对业务的影响
▪ 聚合数据提供商信息
可利用
▪ 多个使用者可针对大量应用场景共享同一服务(通用、可互操作、灵活的使用模式)
治理
▪ 数据服务还负责关键的治理功能,帮助集中进行度量、监控、版本管理及数据类型重用,确保增强数据可见性并切实
执行访问规则。
语义
▪ 与逻辑数据模型保持一致
受控访问
▪ 单一交互点
14
15
数据服务常见场景
模式与实践
API 中的数据虚拟化
17
数据服务层(数据 API)
这种数据访问层抽取底层数据源的共同特性并加以抽象,将其作为独立服
务公开以形成“数据 API”。
▪ 企业内不同用户和开发人员能以安全、受管理的方式访问数据并共享通用数据“模型”
▪ 确保跨整个企业安全、受管理地访问数据
▪ 保证数据一致性
▪ 隐藏实际数据源的复杂性、格式和位置
▪ 支持多种使用协议和模式
示例:
所有开发团队使用单一数据访问层,以避免“按项目分别搜索和解释数据”
18
数据即服务的数据虚拟化
Denodo 可在任何功能完备的数据模型之上提供
一键式、零开发 REST Web 服务:
▪ 支持 XML、JSON、GeoJSON、RSS 和 HTML
▪ 支持分层结构
▪ 使用基础 HTTP、Kerberos、OAuth 2.0 和 SAML 进行
身份验证
▪ 使用 OpenAPI 进行自我记录
▪ 提供 REST、OData 和 GraphQL 格式
19
应用 – 服务容器
20
应用 – 数据源
21
应用 – API 网关
Denodo – API 网关
22
模式 – 数据访问
模式 描述 应用
聚合 提供聚合结果集以供
使用
将处理作业从前端卸载至后端。利用下推功能。此外,还可与
缓存和/或查询加速功能结合使用。
扩展(融合) 提供额外的计算或派生
元素
新字段中包含从现有字段扩展而来的数据。这种方式通常旨在
避免存储或修改底层系统。应用示例包括添加来自多个列的地
理空间信息或公式。
混合 将(不同来源的)多个数
据元素链接至一项服务
此服务对多个元素进行整合。针对要混合的内容/混合时间指定
规则。数据存在于由唯一标识符链接的单独存储库中。
筛选 限制结果中返回的数据 通常是出于安全性考虑,基于请求者的类型加以限制(行)或
约束(列)。用于提升性能时,即成为微服务架构模式。
23
模式 – 数据访问
模式 描述 应用
(实体)域 在现有系统上呈现逻辑数
据域
支持组合使用微服务,以表达特定(功能)域范围。通常由所
有权(集中式或分布式)和控制(例如官方/监理)驱动。利用
可遍历的关系。
复合 通过单一“复合”服务,
整合(多项)其他服务
调用
简化底层服务的复杂性,包括安全性、事务性、性能和建模的
驱动因素。
共享 将服务公开至另外的层 通常用于将“数据”公开至“应用程序”层,或从“内部”组
织公开至“外部”。通常在与 API 管理工具相关联的情况下使
用,以及与基于 Web 的 IdP(SAML、OpenID 和 OAuth2)
解决方案结合使用。
应用场景
25
业务流程 – 芯片制造商
26
分析模型 – Prologis
功能
29
数据即服务 (DaaS),利用微服务
数据服务的功能
▪ 数据模型(表、视图、存储过程)可自动作为 Web 服务使用 - 完全
无需编码
▪ 提供多种格式:RESTful(XML、JSON)、OData 4、GeoJSON
▪ 支持 GraphQL:灵活的数据服务新格式
▪ 自动文档 (OpenAPI) 以及与数据目录集成
▪ 使用 OAuth 2.0 等现代协议进行身份验证
▪ 基于角色的授权,利用列/行限制和脱敏等规则
▪ 工作负载管理:优先级、配额(每小时查询数)、依据用户/角色/IP
的限制等。
▪ 缓存和查询加速功能
▪ 与 BPM、iPaaS 和 API 管理工具集成
▪ 监控、访问审核
30
31
Graph QL
▪ 零代码实现 GraphQL 接口的发布
▪ 无需再多一次查询
▪ 拥有 Denodo 数据虚拟化引擎的全部功能
▪ 高级查询功能(可选)
▪ 与 Denodo 的安全基础架构集成
▪ 支持 GraphQL 的 Web 应用程序和框架
现在可以与 Denodo 对话
演示
关键信息
34
关键信息
▪ 数据虚拟化可通过现代数据生态系统中的 API 缩短上市周期并提高
数据资产利用率。
▪ 将访问和存储分离是 API 和数据即服务的基本概念。
▪ 实时性在与业务流程和分析模型交互时尤为重要。
▪ 诸如REST、OData 和 GraphQL 等微服务方法可扩展数据的用途。
39
Denodo 资源
✓ Denodo官网:www.denodotech.cn
✓ Denodo社区:https://community.denodo.com/
✓ Denodo博客:http://www.datavirtualizationblog.com/
✓ 产品试用:https://www.denodo.com/en/denodo-platform/test-drives
✓ 联系我们:
✓ 添加微信
✓ 电话至 +86.18518356610
✓ 邮件至 cli@denodo.com

数据服务和现代数据生态系统