0
实时数据处理 - Oracle GoldenGate
孟和
渠道售前咨询顾问
2
内容安排
 GoldenGate作为Oracle战略产品的现状和地位
 GoldenGate 产品常见应用和实施方案
 高可用性支持和容灾恢复
 实时数据集成
 GoldenGate 的技术原理
 抓取复制原理
 检查点机制
...
3
产品现状
成长历程和全球服务
战略伙伴一起共成长
全球的35个国家的500多个大客户那里有4000多个实施案例
稳定广阔的用户群
创建于1995
年,2009年
被Oracle收
购
遍布全球的服务支持:北美,
欧洲及中东,亚太
提供全球范...
4
全球的典型客户
银行和金融业 医疗和卫生行业
电信服务业
制造业
政府公共部门
航空和交通运输服务行业
零售和电子商务
5
GoldenGate 是Oracle的战略性产品
5
• 实时数据解决方案的行业领先者
• 和Oracle数据库的最佳集成融合
• 异构基础架构持续的高可用性
• 数据处理软件的强强联合
• 财富500强超过 400 客户和超过4,000例...
6
GoldenGate 产品– Transactional Data Management 事务数据
管理
GoldenGate TDM 提供了跨平台,异构系统上的实时事务数据的抓取,路由,传输,加载
和数据校验.
Real Time 实时...
7
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
实时数据...
8
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
更稳定...
9
高可用性方案:零宕机操作
减少或者消除“计划停机时间”,包括平台,数据库或应用
 迁移
 升级
 维护
 测试
10
高可用性方案:活备机
最快的恢复和失败切换
二次同步备机和主系统
减少数据丢失和损坏
不受地理距离限制,对带宽要求小
11
高可用性方案:双活数据库
持续的可用性,单个节点中断不影响
事务的分布式处理,满足跨地域的部署要求,提高处理能力
性能的可伸缩性,可以增减节点
冲突检测和解决 ,必须的保证
12
高可用性方案:数据库分层
应付生产系统中的大量只读操作
事务处理的高可用性和高性能
以较低的成本代价来容忍无限的数据块增长
13
GoldenGate 解决方案
实时数据集成
实时数据仓库
实时报表
最即时数据
快速灵活决策
数据整合
易集成性
Real-Time Information
实时数据信息
14
数据集成:实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源,夜间作业)
其它数据集成有如下要求时:
 低负载
 事务的完整性
 更灵活
 易实施和维护
15
数据集成:实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
Collector
Replicat
Trail
Manager Manager
源库
目标库
网络
(TCP/IP)抓取 跟踪文件数据收集 复制
监控进程 监控...
17
配置了“中转数据泵”的复制过程
Data
Pump
Local
Trail
事务日志
Extract Server
Collector
Replicat
Trail
Manager Manager
源库
目标库
网络
(TCP/IP)抓取...
18
检查点机制 – Extract 抓取进程
为了准确记录变化数据的捕捉情况,extract和replicat进程都通过一个检查点文件来记录检
查点,从而保证能够从各种情况的失败中恢复。
抓取进程Extract维护了:
 两个输入检查点(标...
19
检查点机制 – Replicat 复制进程
最佳做法:同时配置检查点表和检查点文件。
检查点被同时保存于两处。
复制进程replicat维护了两个检查点:
检查点文件/表
输入端:跟踪文件
最后一条已经读
取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN / WAN /
Internet
源库 目标库
双向
跟踪文件: 统一的数据格式适用于异构系统
路由传输: 不受距离限制,TCP/IP协议,压缩和加密
抓取: 提交的数据可以被过滤性抓取,通过事务...
21
单向
报表应用
双向
实时恢复和双活
点对点
负载均衡,高可用,容灾
广播
数据分发
合并
数据仓库
GoldenGate: 多种可选择性配置
分层
数据超市
22
GoldenGate : 对异构平台的支持,系统可以运行在如下平台
数据库 操作系统和平台
抓取端:
 Oracle
 DB2
 Microsoft SQL Server
 Sybase ASE
 Teradata
 Ensc...
23
GoldenGate TDM: 其它的关键特性
 支持表,行,列级的数据转换处理和过滤
 支持自定义:存储过程,查询,宏定义
 动态回滚和时间定点恢复
 冲突检测和解决 -- 常用于双活环境
 数据压缩
 数据加密
 归档和...
24
GoldenGate Director™ 图形化的配置管理包
管理,定义,配置以及监控GoldenGate TDM
进程
关键特性:
 集中化管理GoldenGate 的各进程
 丰富的管理界面和基于Web的图形界面
 报警提示机制...
25
GoldenGate Veridata™ 数据校验引擎
高速,低负载的数据比较方案
 校验和报告两个数据库之间的差异性
 几乎不影响生产系统的性能
优点:
 减少财务和法律层面的风险暴露
 加速和简化IT部门的数据比较工作
 不...
26
26
Active Data
Guard
Direct
Memory Access
Read
On-Disk Logs
SQL
Direct
Write to Logs
Oracle的数据迁移产品
Comparing How They W...
27
GoldenGate 总结
 GoldenGate提供了跨平台,异构数据库上的实时事务数据
复制(抓取、路由、传输、加载、校验)。
 用途
 多业务中心(高可用)
 容灾
 报表分离
 数据仓库
 优势
 速度快
 延迟...
问&答
04.golden gate概览
04.golden gate概览
Upcoming SlideShare
Loading in...5
×

04.golden gate概览

275

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
275
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
13
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "04.golden gate概览"

  1. 1. 实时数据处理 - Oracle GoldenGate 孟和 渠道售前咨询顾问
  2. 2. 2 内容安排  GoldenGate作为Oracle战略产品的现状和地位  GoldenGate 产品常见应用和实施方案  高可用性支持和容灾恢复  实时数据集成  GoldenGate 的技术原理  抓取复制原理  检查点机制  多种可选择性配置  异构平台的适应性  GoldenGate Director 和Veridata
  3. 3. 3 产品现状 成长历程和全球服务 战略伙伴一起共成长 全球的35个国家的500多个大客户那里有4000多个实施案例 稳定广阔的用户群 创建于1995 年,2009年 被Oracle收 购 遍布全球的服务支持:北美, 欧洲及中东,亚太 提供全球范围内 24×7的全面支持
  4. 4. 4 全球的典型客户 银行和金融业 医疗和卫生行业 电信服务业 制造业 政府公共部门 航空和交通运输服务行业 零售和电子商务
  5. 5. 5 GoldenGate 是Oracle的战略性产品 5 • 实时数据解决方案的行业领先者 • 和Oracle数据库的最佳集成融合 • 异构基础架构持续的高可用性 • 数据处理软件的强强联合 • 财富500强超过 400 客户和超过4,000例实施案例 : 金融 服务行业;电讯行业; 卫生; 公用事业和零售业 • 全球最大的5家商业银行中的3家 (60%) • 全球最繁忙的3家ATM网络(100%) • 全球最大的10家金融服务公司中的7家(70%) • 全球最大的5 家电信运营商中的4家(80%) • 在中国已经落地开花,开始大规模应用部署: • 国家海关总署 • 国家税务总局 • 国家体育总局体彩中心
  6. 6. 6 GoldenGate 产品– Transactional Data Management 事务数据 管理 GoldenGate TDM 提供了跨平台,异构系统上的实时事务数据的抓取,路由,传输,加载 和数据校验. Real Time 实时 亚秒级的数据传输 Heterogeneous 异构性 支持数据传输的跨平台 和跨数据库品牌 Transactional 事务性 确保事务的完整性 TDM 需求: Performance Extensibility & Flexibility Reliability GoldenGate TDM的优异性: 每秒处理数千事务的 能力,并且对宿主系 统的性能影响小 支持开放的底层系统 和客户的各种需求 提供持续的可操作性 和可用性
  7. 7. 7 GoldenGate 解决方案 高可用和容灾 双活数据库 Active-Active 零宕机 Zero-Downtime Operations 活备机 Live Standby 数据库分层 Database Tiering 实时数据集成 实时数据仓库 Real-Time Data Warehousing 实时报表 Live Reporting
  8. 8. 8 GoldenGate 解决方案 高可用和容灾 双活数据库 Active-Active 零宕机 Zero-Downtime Operations 活备机 Live Standby 数据库分层 Database Tiering 更稳定的服务 更高的性能 更快的恢复 最少的数据丢失 Real-Time Access 实时数据访问
  9. 9. 9 高可用性方案:零宕机操作 减少或者消除“计划停机时间”,包括平台,数据库或应用  迁移  升级  维护  测试
  10. 10. 10 高可用性方案:活备机 最快的恢复和失败切换 二次同步备机和主系统 减少数据丢失和损坏 不受地理距离限制,对带宽要求小
  11. 11. 11 高可用性方案:双活数据库 持续的可用性,单个节点中断不影响 事务的分布式处理,满足跨地域的部署要求,提高处理能力 性能的可伸缩性,可以增减节点 冲突检测和解决 ,必须的保证
  12. 12. 12 高可用性方案:数据库分层 应付生产系统中的大量只读操作 事务处理的高可用性和高性能 以较低的成本代价来容忍无限的数据块增长
  13. 13. 13 GoldenGate 解决方案 实时数据集成 实时数据仓库 实时报表 最即时数据 快速灵活决策 数据整合 易集成性 Real-Time Information 实时数据信息
  14. 14. 14 数据集成:实时数据仓库 提供BI的实时数据 减少批处理窗口的依赖性(往往占用大量系统资源,夜间作业) 其它数据集成有如下要求时:  低负载  事务的完整性  更灵活  易实施和维护
  15. 15. 15 数据集成:实时报表 报表不对生产系统产生性能影响 实时按需出报表 无限的可伸缩性和较低的成本代价
  16. 16. 16 GoldenGate的数据复制原理 事务日志 Extract Server Collector Replicat Trail Manager Manager 源库 目标库 网络 (TCP/IP)抓取 跟踪文件数据收集 复制 监控进程 监控进程
  17. 17. 17 配置了“中转数据泵”的复制过程 Data Pump Local Trail 事务日志 Extract Server Collector Replicat Trail Manager Manager 源库 目标库 网络 (TCP/IP)抓取 跟踪文件数据收集 复制 本地跟踪文件 数据泵 监控进程 监控进程
  18. 18. 18 检查点机制 – Extract 抓取进程 为了准确记录变化数据的捕捉情况,extract和replicat进程都通过一个检查点文件来记录检 查点,从而保证能够从各种情况的失败中恢复。 抓取进程Extract维护了:  两个输入检查点(标识于日志log文件中)  一个输出检查点(标识于跟踪trail文件中) 检查点文件/表 输出端:对应的跟踪文 件 输入端: 事务日志文件 最后一条被读的 记录 事务日志中最早的未提交记录 最后一条被写入跟踪文件的 提交事务记录
  19. 19. 19 检查点机制 – Replicat 复制进程 最佳做法:同时配置检查点表和检查点文件。 检查点被同时保存于两处。 复制进程replicat维护了两个检查点: 检查点文件/表 输入端:跟踪文件 最后一条已经读 取的记录 最早的未提交的记录
  20. 20. 20 GoldenGate工作原理总结 LAN / WAN / Internet 源库 目标库 双向 跟踪文件: 统一的数据格式适用于异构系统 路由传输: 不受距离限制,TCP/IP协议,压缩和加密 抓取: 提交的数据可以被过滤性抓取,通过事务日志读取 复制: 完整性机制保障下的事务数据加 载 抓取 源 Trail 目标 Trail 源 Trail 目标 Trail 加载 加载 抓取
  21. 21. 21 单向 报表应用 双向 实时恢复和双活 点对点 负载均衡,高可用,容灾 广播 数据分发 合并 数据仓库 GoldenGate: 多种可选择性配置 分层 数据超市
  22. 22. 22 GoldenGate : 对异构平台的支持,系统可以运行在如下平台 数据库 操作系统和平台 抓取端:  Oracle  DB2  Microsoft SQL Server  Sybase ASE  Teradata  Enscribe  SQL/MP  SQL/MX  Ingres 加载端:  All listed above  MySQL  and any ODBC compatible databases Windows 2000, 2003, XP Linux Sun Solaris HP NonStop HP-UX HP TRU64 HP OpenVMS IBM AIX IBM z/OS
  23. 23. 23 GoldenGate TDM: 其它的关键特性  支持表,行,列级的数据转换处理和过滤  支持自定义:存储过程,查询,宏定义  动态回滚和时间定点恢复  冲突检测和解决 -- 常用于双活环境  数据压缩  数据加密  归档和审计能力  管理和监控 -- GoldenGate Manager
  24. 24. 24 GoldenGate Director™ 图形化的配置管理包 管理,定义,配置以及监控GoldenGate TDM 进程 关键特性:  集中化管理GoldenGate 的各进程  丰富的管理界面和基于Web的图形界面  报警提示机制,并且可以和第三方的监 控软件集成  实时的反馈信息  对生产系统零影响
  25. 25. 25 GoldenGate Veridata™ 数据校验引擎 高速,低负载的数据比较方案  校验和报告两个数据库之间的差异性  几乎不影响生产系统的性能 优点:  减少财务和法律层面的风险暴露  加速和简化IT部门的数据比较工作  不影响生产系统的性能  对于备系统提供了更好的失败恢复机制  准确的决策支持和报表生成
  26. 26. 26 26 Active Data Guard Direct Memory Access Read On-Disk Logs SQL Direct Write to Logs Oracle的数据迁移产品 Comparing How They Work Redo in Memory Buffer GoldenGate Data Integrator DECREASINGLATENCY INCREASINGTRANSFORMATION Retrieve Data Load Data Disaster Recovery & Data Protection Real Time Data Integration & High Availability SQL Query Multi-step, Complex SQL Data Integration for Data Warehouse & SOA
  27. 27. 27 GoldenGate 总结  GoldenGate提供了跨平台,异构数据库上的实时事务数据 复制(抓取、路由、传输、加载、校验)。  用途  多业务中心(高可用)  容灾  报表分离  数据仓库  优势  速度快  延迟小  可靠性高  跨系统跨平台
  28. 28. 问&答
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×