04.golden gate概览

358 views
322 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
358
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
14
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

04.golden gate概览

  1. 1. 实时数据处理 - Oracle GoldenGate 孟和 渠道售前咨询顾问
  2. 2. 2 内容安排  GoldenGate作为Oracle战略产品的现状和地位  GoldenGate 产品常见应用和实施方案  高可用性支持和容灾恢复  实时数据集成  GoldenGate 的技术原理  抓取复制原理  检查点机制  多种可选择性配置  异构平台的适应性  GoldenGate Director 和Veridata
  3. 3. 3 产品现状 成长历程和全球服务 战略伙伴一起共成长 全球的35个国家的500多个大客户那里有4000多个实施案例 稳定广阔的用户群 创建于1995 年,2009年 被Oracle收 购 遍布全球的服务支持:北美, 欧洲及中东,亚太 提供全球范围内 24×7的全面支持
  4. 4. 4 全球的典型客户 银行和金融业 医疗和卫生行业 电信服务业 制造业 政府公共部门 航空和交通运输服务行业 零售和电子商务
  5. 5. 5 GoldenGate 是Oracle的战略性产品 5 • 实时数据解决方案的行业领先者 • 和Oracle数据库的最佳集成融合 • 异构基础架构持续的高可用性 • 数据处理软件的强强联合 • 财富500强超过 400 客户和超过4,000例实施案例 : 金融 服务行业;电讯行业; 卫生; 公用事业和零售业 • 全球最大的5家商业银行中的3家 (60%) • 全球最繁忙的3家ATM网络(100%) • 全球最大的10家金融服务公司中的7家(70%) • 全球最大的5 家电信运营商中的4家(80%) • 在中国已经落地开花,开始大规模应用部署: • 国家海关总署 • 国家税务总局 • 国家体育总局体彩中心
  6. 6. 6 GoldenGate 产品– Transactional Data Management 事务数据 管理 GoldenGate TDM 提供了跨平台,异构系统上的实时事务数据的抓取,路由,传输,加载 和数据校验. Real Time 实时 亚秒级的数据传输 Heterogeneous 异构性 支持数据传输的跨平台 和跨数据库品牌 Transactional 事务性 确保事务的完整性 TDM 需求: Performance Extensibility & Flexibility Reliability GoldenGate TDM的优异性: 每秒处理数千事务的 能力,并且对宿主系 统的性能影响小 支持开放的底层系统 和客户的各种需求 提供持续的可操作性 和可用性
  7. 7. 7 GoldenGate 解决方案 高可用和容灾 双活数据库 Active-Active 零宕机 Zero-Downtime Operations 活备机 Live Standby 数据库分层 Database Tiering 实时数据集成 实时数据仓库 Real-Time Data Warehousing 实时报表 Live Reporting
  8. 8. 8 GoldenGate 解决方案 高可用和容灾 双活数据库 Active-Active 零宕机 Zero-Downtime Operations 活备机 Live Standby 数据库分层 Database Tiering 更稳定的服务 更高的性能 更快的恢复 最少的数据丢失 Real-Time Access 实时数据访问
  9. 9. 9 高可用性方案:零宕机操作 减少或者消除“计划停机时间”,包括平台,数据库或应用  迁移  升级  维护  测试
  10. 10. 10 高可用性方案:活备机 最快的恢复和失败切换 二次同步备机和主系统 减少数据丢失和损坏 不受地理距离限制,对带宽要求小
  11. 11. 11 高可用性方案:双活数据库 持续的可用性,单个节点中断不影响 事务的分布式处理,满足跨地域的部署要求,提高处理能力 性能的可伸缩性,可以增减节点 冲突检测和解决 ,必须的保证
  12. 12. 12 高可用性方案:数据库分层 应付生产系统中的大量只读操作 事务处理的高可用性和高性能 以较低的成本代价来容忍无限的数据块增长
  13. 13. 13 GoldenGate 解决方案 实时数据集成 实时数据仓库 实时报表 最即时数据 快速灵活决策 数据整合 易集成性 Real-Time Information 实时数据信息
  14. 14. 14 数据集成:实时数据仓库 提供BI的实时数据 减少批处理窗口的依赖性(往往占用大量系统资源,夜间作业) 其它数据集成有如下要求时:  低负载  事务的完整性  更灵活  易实施和维护
  15. 15. 15 数据集成:实时报表 报表不对生产系统产生性能影响 实时按需出报表 无限的可伸缩性和较低的成本代价
  16. 16. 16 GoldenGate的数据复制原理 事务日志 Extract Server Collector Replicat Trail Manager Manager 源库 目标库 网络 (TCP/IP)抓取 跟踪文件数据收集 复制 监控进程 监控进程
  17. 17. 17 配置了“中转数据泵”的复制过程 Data Pump Local Trail 事务日志 Extract Server Collector Replicat Trail Manager Manager 源库 目标库 网络 (TCP/IP)抓取 跟踪文件数据收集 复制 本地跟踪文件 数据泵 监控进程 监控进程
  18. 18. 18 检查点机制 – Extract 抓取进程 为了准确记录变化数据的捕捉情况,extract和replicat进程都通过一个检查点文件来记录检 查点,从而保证能够从各种情况的失败中恢复。 抓取进程Extract维护了:  两个输入检查点(标识于日志log文件中)  一个输出检查点(标识于跟踪trail文件中) 检查点文件/表 输出端:对应的跟踪文 件 输入端: 事务日志文件 最后一条被读的 记录 事务日志中最早的未提交记录 最后一条被写入跟踪文件的 提交事务记录
  19. 19. 19 检查点机制 – Replicat 复制进程 最佳做法:同时配置检查点表和检查点文件。 检查点被同时保存于两处。 复制进程replicat维护了两个检查点: 检查点文件/表 输入端:跟踪文件 最后一条已经读 取的记录 最早的未提交的记录
  20. 20. 20 GoldenGate工作原理总结 LAN / WAN / Internet 源库 目标库 双向 跟踪文件: 统一的数据格式适用于异构系统 路由传输: 不受距离限制,TCP/IP协议,压缩和加密 抓取: 提交的数据可以被过滤性抓取,通过事务日志读取 复制: 完整性机制保障下的事务数据加 载 抓取 源 Trail 目标 Trail 源 Trail 目标 Trail 加载 加载 抓取
  21. 21. 21 单向 报表应用 双向 实时恢复和双活 点对点 负载均衡,高可用,容灾 广播 数据分发 合并 数据仓库 GoldenGate: 多种可选择性配置 分层 数据超市
  22. 22. 22 GoldenGate : 对异构平台的支持,系统可以运行在如下平台 数据库 操作系统和平台 抓取端:  Oracle  DB2  Microsoft SQL Server  Sybase ASE  Teradata  Enscribe  SQL/MP  SQL/MX  Ingres 加载端:  All listed above  MySQL  and any ODBC compatible databases Windows 2000, 2003, XP Linux Sun Solaris HP NonStop HP-UX HP TRU64 HP OpenVMS IBM AIX IBM z/OS
  23. 23. 23 GoldenGate TDM: 其它的关键特性  支持表,行,列级的数据转换处理和过滤  支持自定义:存储过程,查询,宏定义  动态回滚和时间定点恢复  冲突检测和解决 -- 常用于双活环境  数据压缩  数据加密  归档和审计能力  管理和监控 -- GoldenGate Manager
  24. 24. 24 GoldenGate Director™ 图形化的配置管理包 管理,定义,配置以及监控GoldenGate TDM 进程 关键特性:  集中化管理GoldenGate 的各进程  丰富的管理界面和基于Web的图形界面  报警提示机制,并且可以和第三方的监 控软件集成  实时的反馈信息  对生产系统零影响
  25. 25. 25 GoldenGate Veridata™ 数据校验引擎 高速,低负载的数据比较方案  校验和报告两个数据库之间的差异性  几乎不影响生产系统的性能 优点:  减少财务和法律层面的风险暴露  加速和简化IT部门的数据比较工作  不影响生产系统的性能  对于备系统提供了更好的失败恢复机制  准确的决策支持和报表生成
  26. 26. 26 26 Active Data Guard Direct Memory Access Read On-Disk Logs SQL Direct Write to Logs Oracle的数据迁移产品 Comparing How They Work Redo in Memory Buffer GoldenGate Data Integrator DECREASINGLATENCY INCREASINGTRANSFORMATION Retrieve Data Load Data Disaster Recovery & Data Protection Real Time Data Integration & High Availability SQL Query Multi-step, Complex SQL Data Integration for Data Warehouse & SOA
  27. 27. 27 GoldenGate 总结  GoldenGate提供了跨平台,异构数据库上的实时事务数据 复制(抓取、路由、传输、加载、校验)。  用途  多业务中心(高可用)  容灾  报表分离  数据仓库  优势  速度快  延迟小  可靠性高  跨系统跨平台
  28. 28. 问&答

×