Your SlideShare is downloading. ×

OTN软硬件结合数据库解决方案

20,968

Published on

0 Comments
10 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
20,968
On Slideshare
0
From Embeds
0
Number of Embeds
16
Actions
Shares
0
Downloads
0
Comments
0
Likes
10
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. 软硬件结合的数据库解决方案 Hardware and Software Engineered to Work Together 张瑞 @ Alibaba
  • 2. 提纲
    • 硬件架构与性能分析
      • 主机,存储性能分析
      • SSD 存储技术介绍
    • Oracle 系统架构最佳实践
      • Oracle HA 方案优劣分析
      • Oracle ASM 特性解读
    • 软硬件结合的解决方案
      • Exadata 和 OUDA 介绍
      • 软硬件结合的案例分享
  • 3.
    • 硬件架构与性能分析
  • 4. 硬件架构与性能
    • 主机
      • SMP , NUMA , MPP
      • CPU (核数,频率,线程),内存容量
      • 性能指标: TPC , SPEC , A-TPS
    • 存储
      • 磁盘性能:转速,容量,接口
      • 存储性能:磁盘数量,缓存大小,存储架构
      • 性能指标:响应时间, IOPS ,吞吐量
    • 网络
      • 1GbE/10GbE , SAN
      • 性能指标:响应时间,带宽
  • 5. 硬件技术发展
    • 主机
      • CPU 处理能力不断提升
      • PC 服务器替代小型机
    • 存储
      • Flash 存储技术: SSD
      • SSD 替代磁盘存储
    • 网络
      • 高吞吐低延迟 Infiniband
      • 用于集群互联和高速存储网络
  • 6. SSD 存储技术
    • SSD 分类:
      • NAND , NOR
      • SLC , MLC
    • 接口类型:
      • SATA , SAS , FC , PCIE
    • 生产厂家:
      • Intel , Fusionio
      • STEC , SandForce
      • HUAWEI
  • 7. SSD 性能数据
    • SSD :
      • IOPS :随机读 10000-60000 ,随机写 5000-60000
      • Throughput : 连续读 200M-600M ,连续写 200M-600M
      • Latency : 30us
    • 磁盘:
      • IOPS :随机读 160 ,随机写 160
      • Throughput : 连续读 170M ,连续写 130M
      • Latency : 6ms
  • 8. SSD 存储原理
    • SSD 需要擦除:
      • 允许直接写入,不允许更新
      • 更新 = 读取 + 擦除 + 写入
      • 擦除代价大,延时 2ms
      • 写入单位与擦除单位单位不一致
      • 擦除次数有次数限制
    • SSD firmware 的功能:
      • FTL :物理逻辑地址映射
      • Reclamation :回收策略,异步擦除
      • Wear leveling :均衡写磨损,提升寿命
      • Reserved space :减小写入放大,提升写性能
  • 9. SSD 特性总结
    • 优势:
      • 巨大的 IOPS 优势
      • IO 延时非常低
      • 适合 OLTP 应用
    • 劣势:
      • 不同产品的性能差异很大
      • 擦除导致的性能抖动
      • 磨损导致的寿命问题
      • 吞吐量相比较磁盘无优势
      • 单位容量价格贵
      • 不适合 DSS 应用
  • 10. 数据库 IO 分析
    • 日志文件
      • DirectIO ,写入底层磁盘,顺序 IO
      • LGWR 同步写,响应时间要求 <1ms
    • 数据文件
      • 数据文件写:异步 IO , DBWR 后台写,随机 IO
      • 数据文件顺序读:索引查询,单块读,随机 IO
      • 数据文件离散读:全表扫描,多块读,连续 IO
      • 响应时间要求 <5ms
  • 11. 数据库存储方案
    • 在线日志
      • 带缓存的磁盘存储或 SSD
      • 裸设备或 ASM ,不建议文件系统
      • 独立存储,与数据文件分离
    • 数据文件
      • SSD 适用于随机读写,磁盘适用于顺序读写
      • SSD 存放活跃数据,磁盘存放历史数据
      • SSD 作为磁盘的缓存, Flashcache
    • 归档日志
      • 磁盘,独立存储
      • ASM 或文件系统
  • 12.
    • Oracle 系统架构最佳实践
  • 13. Oracle 系统架构
    • Active/Standby Cluster
    • Oracle RAC
    • Oracle DataGuard
    • Oracle ASM
  • 14. Active/Standby Cluster
    • 传统主备模式
    • 基于共享存储
    • 典型产品
      • IBM hacmp
      • HP Serviceguard
      • Veritas Cluster Service
    • 优劣分析:
      • 简单可靠
      • 资源浪费
      • 无法扩展
  • 15. Oracle RAC
    • 优势
      • 高可用
      • 水平扩展
    • 劣势
      • 共享存储的扩展能力
      • 节点间通信成本高
    • 最佳实践
      • 低延迟的互联网络
      • 减少节点间通信
      • OLTP :高可用
      • DSS :扩展性
  • 16. Oracle DataGuard
    • Primary 服务, Standby 只读 (11g)
    • 异步传送方式,可能导致数据丢失
    • 失败切换需要人工干预
    • 廉价的容灾方案
  • 17. Oracle ASM
    • 整合存储设备,解决存储扩展的问题
    • 自动负载均衡,解决 IO 热点的问题
    • 支持数据冗余,软件 RAID 10
    • Failure group 防止单节点损坏
    • 所有的数据都可以放在 ASM 中
    • ASM 替换裸设备和文件系统
    • ASM 是免费的
  • 18. Oracle ASM
  • 19.
    • 软硬件结合的解决方案
  • 20. Oracle 的软硬件一体机
    • Exadata
      • 硬件: Compute node , Storage Cell , SSD , Infiniband
      • 软件: SmartScan , HCC , Flashcache , StorageIndex
      • 特点: Offloading , Extreme performance , OLTP & DSS
      • 架构: Balance ,介于 shared-storage 和 shared-nothing 之间
    • OUDA
      • 硬件: 2 server node , 24*SAS , 4*SSD , 1GbE/10GbE
      • 软件: Oracle 11gR2 RAC+Oracle Linux
      • 特点:廉价的软硬件一体机,易配置,易管理,高可用
      • 性能: 2*X5675 , 96G mem , SSD 存储 redo , SAS 存储数据
  • 21. HA 软件 -SmartCluster
    • 自主开发,替代商业软件
    • 数据库探测,共享资源管理
      • 第三方探测,防止信息孤岛
      • IP 资源,存储资源 (ASM DiskGroup) 漂移
      • 标准 IPMI 接口控制服务器
    • 适用于 PC 服务器和 Linux 平台
    • 自定义切换方式
      • Datagurad failover/activate
      • Shared-storage switchover
  • 22. SmartCluster 架构
  • 23. 案例 1- 单机混合存储方案
    • 硬件方案
      • 服务器混插 SSD 和 SAS 磁盘
      • 无硬件 RAID , ASM mirror
    • HA 方案
      • SmartCluster + DataGurad failover
      • 同步传递日志,保证数据不丢失
    • 存储方案
      • SLC SSD 存放日志文件
      • MLC SSD 存放数据文件
      • SAS 磁盘存放历史数据和归档文件
  • 24. 案例 2- 共享 redo 的 HA 方案
    • 硬件方案
      • 服务器内置 Fusionio 和 SAS 磁盘
      • 主备服务器连接一套共享存储
    • HA 方案
      • SmartCluster + DataGurad
      • 利用共享 redo ,实现完美切换
    • 存储方案
      • 本地 Fusionio 存放数据文件
      • 本地 SAS 磁盘存放归档文件
      • 共享存储存放控制文件,参数文件和日志文件
  • 25. 案例 2- 系统架构图
  • 26. 案例 3-Oracle Flashcache
    • Oracle flashcache
      • 11g R2 + Oracle linux
      • Read cache , WT 模式
      • 安全,需要预热
    • 其他实现方式
      • OS 层: Linux Flashcache
      • RAID 层: LSI Cachecade
      • 存储层:自动分层技术
  • 27. 案例 4 :高性能数据库一体机
    • 系统整体架构
      • PC+SSD+Infiniband 提供高性能
      • ASM 提供数据存储和数据冗余
      • SmartCluster 提供数据库高可用
      • 没有 Exadata 的软件特性
    • 系统设计目标
      • 为 OLTP 数据库设计
      • 提供极限 IOPS 性能
      • 开放系统替代封闭系统
      • 高可用,高性能,可扩展
  • 28. Q & A
    • 关于我
      • Database Architect @ Alibaba
      • Email : [email_address]
      • 新浪微博: hellodba
      • Twitter : hellodba
      • 技术博客: HelloDB.net
      • 提供 Oracle , MySQL 数据库咨询服务

×