Ibm solid db overview v6.3 20090320

1,302
-1

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,302
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
8
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Ibm solid db overview v6.3 20090320

  1. 1. IBM solidDB & solidDB Universal Cache黄庆双huangqs@cn.ibm.com13911050825 IBM 软件部, solidDB Ver. Dec. 2008 © 2008 IBM Corporation
  2. 2. IBM SWG – Information Management Software关于Solid…. 业界领先的内存数据库 92年成立, 10+年商用历程 Solid的客户包括Airbus、Alcatel、Cisco、HP、Motorola、 Nokia-Siemens、NEC、Nortel等几百个知名企业 超过三百万的应用部署 在通信行业广泛使用 快速、灵活、高可靠2 IBM Confidential © 2008 IBM Corporation
  3. 3. IBM SWG – Information Management SoftwareSolid遍布各个行业的知名客户 BUSCOM Unclassified, 45 Communications, 73 Automotive, 3 Publishing, 5 e-business, 5 Gaming, 6 Manufacturing, 10 Transportation, 13 Retail , 13 Cross-Industry, 64 Financial Services, 20 Public Sector , 21 Healthcare, 23 Education, 243 IBM Confidential © 2008 IBM Corporation
  4. 4. IBM SWG – Information Management SoftwareSolid在电信行业的应用 先进的OSS解决方案 Solid部分客户 – HP OpenView 系列 – Nokia Traffica – Nortel Shasta 高可靠性应用平台 – Siemens TSP7000 – Nortel Siren – NEC 智能控制 – SIP 应用服务器、Class 5 软交换、媒体网关、 IMS 控制器 (HSS..) 关键应用 – VoIP – Push-to-Talk – E-911 – Online Charging4 IBM Confidential © 2008 IBM Corporation
  5. 5. IBM SWG – Information Management SoftwareIBM solidDB 产品系列 IBM solidDB Universal Cache App App App IBM solidDB (standalone) Applications Universal Cache5 IBM Confidential © 2008 IBM Corporation
  6. 6. IBM SWG – Information Management SoftwareIBM solidDB是…关系型数据库(RDBMS) 高性能数据库服务器 – 可扩展性强 – 基于多线程 – 并发控制 Client – 支持标准:SQL、ODBC、JDBC Application(s) – 乐观锁和悲观锁 ODBC SA JDBC 基于事务 – 自动恢复 – 完整的事务处理(ACID) 可嵌入至应用程序 – 最小内存开销: ~5MB – 广泛的平台支持 – 链接库或C/S模式 – 零维护6 IBM Confidential © 2008 IBM Corporation
  7. 7. IBM SWG – Information Management SoftwaresolidDB: 全功能的关系型内存数据库 通讯: ANSI SQL89, SQL92 及SQL99 • Client/Server ODBC、JDBC 驱动, SA(Solid API) • 链接库 存储过程 JDBC ODBC SA 触发器和事件 完整的事务处理 (ACID) 并发控制 Solid Solid 事务级别控制 内存 基于磁盘 基于成本的优化器 的 引擎 多线程数据库引擎 引擎 Unicode 在线备份 自动失败回滚 批量加载数据 数据导出工具 永久数据 内建计划调度 图像管理工具 对 BLOB和CLOB 数据类型的强大处理 空间要求 磁盘数据库 • 数据库程序:3M 能力 • 完全的检查点 • 最小RAM要求:5M 支持多种平台 • 完全的日志 • 最小数据库文件:1M7 IBM Confidential © 2008 IBM Corporation
  8. 8. IBM SWG – Information Management Software特点:内存和磁盘混合型数据库 远程访问 App App App App 双引擎数据库 solidDB ODBC SA JDBC 内存数据库 API 磁盘数据库 Client RPC 表的存储位置确定基于应用 TCP/IP 考量 链接式应用 对应用程序透明 App App Server RPC 查询操作可以同时访问两种 SQL engine 类型的表 连接其它 solidDB 检查点机制相同,只有一份 In-memory 节点 Flow db engine Disk- 数据文件 In-memory based db engine 性能最大化 tables 连接HA HSB 节点 易于优化 Disk storage manager 数据库文件 检查点 第一款混合型数据库! 第一款混合型数据库! 日志8 IBM Confidential © 2008 IBM Corporation
  9. 9. IBM SWG – Information Management SoftwaresolidDB 支持的表类型 表类型 特点 创建方式 持久型内 内存表默认类型,数据存储在内存中,并有磁盘 CREATE TABLE tab_name 存表 映象; (col_1 INT, xxxx) STORE 支持Log和Checkpoint持久化机制; MEMORY 支持行级锁、表级锁和事务隔离级别 或DefaultStoreIsMemory=Yes 全局临时 所以数据存储在内存中,没有磁盘映象;不支持 CREATE TRANSIENT TABLE 内存表 Log和Checkpoint持久化机制; tab_name (col_1 INT, xxxx) 支持行级锁、表级锁和事务隔离级别;全局可见 性能比持久型内存表好; 数据不复制到HSB的备节点; 局部临时 所以数据存储在内存中,没有有磁盘映象;不支 CREATE TEMPORARY TABLE 内存表 持Log和Checkpoint持久化机制; tab_name (col_1 INT, xxxx) 不支持行级锁,会话级可见; 性能在所有表中最好; 数据不复制到HSB的备节点 持久型磁 数据存储在磁盘中,支持Buffer Pool; CREATE TABLE tab_name 盘表 支持Log和Checkpoint持久化机制; (col_1 INT, xxxx) STORE DISK 支持行级锁、表级锁和事务隔离级别; 或DefaultStoreIsMemory=No9 IBM Confidential © 2008 IBM Corporation
  10. 10. IBM SWG – Information Management SoftwareIBM solidDB 内存数据库性能 solidDB 6.0 内存数据库 企业级磁盘数据库 160,000 solidDB内存数据库能 140,000 120,000 高达10倍的性能 100,000 MQTH 80,000 60,000 40,000 20,000 0 0 100 200 300 400 500 600 700 800 900 1,000 1,100 1,200 时间 [s] TM1 v.4.0.1 基准测试(2008-2-6),10分钟的预热和20分钟的采样。 128 个并发客户端模拟10万个移动电话用户。 solidDB使用异步日志,链接库模式,每5分钟执行检查点。 IBM 刀片服务器:2个2.66GHz Intel Xeon双核CPU、4GB内存、 Windows Server 2003 RR SP2。10 IBM Confidential © 2008 IBM Corporation
  11. 11. IBM SWG – Information Management SoftwaresolidDB内存数据库引擎的性能与多处理器的扩展 IBM solidDB 内存数据库引擎 TM1 基准测试: 80,000 模拟HLR 1百万用户数, 66910 70,000 80: 20读写比例的工作负 60,000 荷; 8个双核AMD 50,000 CPU;SuSe 10平台 MQTH 36533 40,000 30,000 与solidDB 6同一台机器上 18449 20,000 32个客户端并发 6518 10,000 0 MQTh = 每秒完成的事务 1 2 4 8 (TPS) 双核CPU数量 solidDB 6.0 内存数据库引擎11 IBM Confidential © 2008 IBM Corporation
  12. 12. IBM SWG – Information Management Software业界领先的高可用功能:Solid HSB(电信级的高可用集群功能) 高可用数据库 应用程序 – 满足5个9或6个9的高可用环境 – 同步的(或异步的)自动事务复制 – 1+1 冗余拓扑 事务读写操作 读操作 – 对应用程序透明的失败切换 快速切换 – 1秒内的失败切换 易于实施 主数据库 从数据库 – 无需专门的硬件 事务 – 可使用低配置的机器 支持轮替式升级 符合SAF规范 (www.saforum.org) 同步/异步复制 可选的数据安全级别 自动恢复功能13 IBM Confidential © 2008 IBM Corporation
  13. 13. IBM SWG – Information Management Software solidDB HSB 复制模式 1-safe 及 2-safe 复制 激活 备用 1-safe 提交 OK 事务同步 异步复制 异步复制 + 事务提交响应时间短 + 事务提交响应时间短 OK -失败接管时,可能会丢失事务 -失败接管时,可能会丢失事务 响应时间 主节点 从节点 数据库 数据库 2-safe 提交 事务同步 同步复制 同步复制 + 失败接管时,不会丢失事务 + 失败接管时,不会丢失事务 OK OK - 事务提交响应时间稍长 - 事务提交响应时间稍长 主节点 从节点 数据库 数据库14 IBM Confidential © 2008 IBM Corporation
  14. 14. IBM SWG – Information Management SoftwaresolidDB HSB 性能 vs 单点数据库性能 TM1基准测试: – 单点solidDB数据库(同步日志模式)对比 – solidDB HSB双机架构(2safe同步复制模式) 3500 3269 3000 2500 2034 事务/秒(TPS) 2000 R20W80 1465 R80W20 1500 1000 711 500 0 单点数据库(同步日志) HA双机架构(同步复制模式) solidDB HSB数据库比单点数据库更快15 IBM Confidential © 2008 IBM Corporation
  15. 15. IBM SWG – Information Management SoftwaresolidDB HSB 透明失败切换 独有的TF技术 应用程序 Transparent Failover (TF) 在切换后,保留Connection或Session 虚拟连接 信息 ODBC/JDBC ODBC/JDBC驱动自动识别可用数据库, 驱动 无需虚拟IP TF 实际连接 实际连接 在API级自动完成失败切换和状态转 换,对应用程序透明 主数据库 从数据库 即使数据库系统发生了Failover,应用 HA 程序也不会中断,不影响应用程序对外 提供服务 异常 主数据库16 IBM Confidential © 2008 IBM Corporation
  16. 16. IBM SWG – Information Management SoftwaresolidDB HSB 自动负载均衡功能 集成负载均衡功能 应用程序 主数据库可读可写,从数据只读 读/写 只读 对应用程序透明,由数据库驱动自 动将部分只读事务分发到从数据库 充分利用从数据库的硬件资源 主数据库 HA 从数据库 提高系统的吞吐率17 IBM Confidential © 2008 IBM Corporation
  17. 17. IBM SWG – Information Management SoftwaresolidDB HSB性能:负载均衡 (80% 读, 20% 写) TM1 - solidDB 6.0 Beta (DBE) - Test:R80/W20 (2CPU/4core server) 25000 20000 15000 Standard HSB Clustered reads 25% 10000 Clustered reads 50% 5000 0 1 4 16 64 # of Concurrent Clients 挖掘“备用”数据库的读性能以提高系统吞吐量 >60%(该测试) 备数据库不再只是“空闲”的备用数据库…18 IBM Confidential © 2008 IBM Corporation
  18. 18. IBM SWG – Information Management SoftwaresolidDB HSB性能:负载均衡(100% 读操作) TM1 - solidDB 6.0 Beta (DBE) - Test: R100 (2CPU/4core server) 60000 50000 40000 Standard HSB 30000 Clustered reads 50% 20000 10000 0 1 4 16 64 # of Concurrent Clients 读操作密集型的事务大量并发(C/S模式),更能体现solidDB负载均衡优势 两个数据库节点能提供2倍吞吐量19 IBM Confidential © 2008 IBM Corporation
  19. 19. IBM SWG – Information Management Software总结:IBM solidDB 关系型内存数据库 极高性能 – 微秒级的查询响应速度 App App App – 每秒以数万计的事务吞吐量 超高可用性 – 失败识别和切换时间低于1秒 – 高达99.9999%的可用性 低成本 – 容易实施和部署,完全支持数据库标准和接口 – 零维护和管理 IBM solidDB – 低开发成本、能充分继承现有的数据库经验和 技能23 IBM Confidential © 2008 IBM Corporation
  20. 20. IBM SWG – Information Management SoftwareIBM solidDB 产品系列 IBM solidDB Universal Cache App App App IBM solidDB (standalone) Applications Universal Cache24 IBM Confidential © 2008 IBM Corporation
  21. 21. IBM SWG – Information Management SoftwareIBM solidDB作为前端应用 - solidDB Universal Cache solidDB作为前端内存数据库,提供... App App App – 快速响应,加速访问关键数据 – 更高的事务吞吐率 – 读写操作 – 与后台数据库双向复制增量数据 后台数据库提供... – 存储所有数据 – 与前端solidDB双向双向复制增量数据 Universal Cache – 写事务的高吞吐量 – 其他应用、OLAP 场景... – 电子商务 – 股票交易 – 电信计费 – 数据采集25 IBM Confidential © 2008 IBM Corporation
  22. 22. IBM SWG – Information Management SoftwaresolidDB Universal Cache 包括什么? 1 • 内存数据库:关系型的内存数据库 提供高性能 Universal Cache 4 • GUI 工具:用于配置和监 控数据的同步 2 • solidDB 代理:读取内存数据 solidDB agent 库的事务日志,并与指定的后台 数据库代理通信 management console backend 3 • 后台数据库代理:读取后台数据 库的事务日志,并与solidDB代 database agent 理通信26 IBM Confidential © 2008 IBM Corporation
  23. 23. IBM SWG – Information Management SoftwaresolidDB Universal Cache 如何工作? App App App solidDB Universal 应用可以同时连接到内存数 2 Cache 从后台数据库加 3 据库和后台数据库进行存取 载关键性能数据 和修改数据 Universal Cache 管理员确定关键性能的 solidDB Universal 1 数据,并配置Cache 4 Cache与指定的后台数据 库之间双向复制数据27 IBM Confidential © 2008 IBM Corporation
  24. 24. IBM SWG – Information Management SoftwareUniversal Cache 管理工具 Universal Cache28 IBM Confidential © 2008 IBM Corporation
  25. 25. IBM SWG – Information Management SoftwaresolidDB Universal Cache – 复制模型 按条件Cache部分数据 1:N 单表对应多份只读Cache 1:N 单表对应多份可读写Cache – 自定义冲突处理机制29 IBM Confidential © 2008 IBM Corporation
  26. 26. IBM SWG – Information Management SoftwaresolidDB Universal Cache – 双机部署 Default HA NOTE THE LOCATION solidDB solidDB solidDB Primary Secondary Front-end Front-end solidDB JDBC driver Active Standby CDC for solidDB CDC Management Front-end Console solidDB JDBC driver CDC CDC for solidDBCDC management node CDC Management JDBC driver Console CDC JDBC driver CDC management node Data server Data server Back-end Back-end30 IBM Confidential © 2008 IBM Corporation
  27. 27. IBM SWG – Information Management SoftwaresolidDB to solidDB 节点间复制 N-Active复制 多节点扩展 表级复制 负载均衡 高可用31 IBM Confidential © 2008 IBM Corporation
  28. 28. IBM SWG – Information Management SoftwaresolidDB Cache在电子交易/订单系统中的应用 订单/历史信息 查询/在线预订 /数据归档 SolidDB: – 查询有效的航班信息、酒店预订信息等等 – 查询价格、时间、座位等具体信息 – 预订、下达订单、更改、取消 Cache DB2 or IDS : – 客户资料 – 订单信息、历史记录 – 报表、分析、商业智能32 IBM Confidential © 2008 IBM Corporation
  29. 29. IBM SWG – Information Management SoftwareIBM solidDB Universal Cache: 支持平台和后台数据库 App App App 支持平台 – AIX, HP-UX, Linux, Solaris, Windows 支持后台数据库 – IDS V11.50.3 on AIX, HP-UX, Solaris, Linux, Windows – DB2 LUW (V9.1, V9.5) on AIX, Windows, Universal Cache Solaris, Linux, zLinux – DB2 z (V7, V8, V9) on z/OS – Oracle (9i, 10g, 11g) on AIX, HP-UX, Solaris, Linux, zLinux, Windows – Sybase (V12.5.4, V15) on AIX, HP-UX, Solaris, Linux, Windows – Microsoft SQL Server34 IBM Confidential © 2008 IBM Corporation
  30. 30. IBM SWG – Information Management Software客户案例:solidDB in PDSN 项目背景 -- 中国某电信运营商 3G项目,全国20多个省公司在使用solidDB -- solidDB作为接入认证服务器的数据库 项目描述 -- 采用标准的ODBC/JDBC接口开发 -- 整个开发周期很短 -- solidDB工程师提供现场开发支持辅导 -- 2008年10月份上线到现在,solidDB运行良好 solidDB的优势 -- 基于标准的数据库语言和接口,开发、移植方便 -- 轻量、可嵌入 -- 极高的事物处理性能 (传统数据库的数倍乃至10倍) -- 同等性能要求情况下,硬件成本降低 -- 同时提供磁盘/内存数据库,软件成本降低 -- 多年电信系统的经验,数据库稳定可靠 (1秒钟的切换时间适合电信应用) -- 有竞争力的价格和合作方式 -- 非常好的技术支持和开发支持35 IBM Confidential © 2008 IBM Corporation
  31. 31. IBM SWG – Information Management Software客户案例:IBM solidDB 支撑3千7百万的用户语音相关服务 如语音邮件 路由:指定SIP应用服务的重定向目 MRS 标,如语音邮件系统,从某个用户 SIP PROV MR HLR 的电话号码,通过SIP发送重定向目 标信息至终端设备(如移动电话) Standby Server Primary Server KEY 用户信息存取:收到来自HLR的新 提供服务 SIP solidDBtells SIP module PROV: MR: 媒体资源 用户信息后,solidDB为SIP应用服 Gateway solidDB MRS: 媒体资源服务器 solidDB指示 which MRS to SIP模块连接 connect UPS: 用户数据服务器 务器提供用户信息快速存取服务 哪个MRS 城市 2 城市 n UPS in City 1 UPS 2 UPS n 可便携号码:使得用户在不需要更 换电话号码的情况下,在PSTN与IP 网络之间切换服务变成可能 3千7百万用户(每个城市) 20微秒的查询相应 24x7x365在线服务,上线后至今未出现异常和重启36 IBM Confidential © 2008 IBM Corporation
  32. 32. IBM SWG – Information Management Software Q&A37 IBM Confidential © 2008 IBM Corporation
  33. 33. IBM SWG – Information Management Software38 IBM Confidential © 2008 IBM Corporation
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×