Successfully reported this slideshow.
Exadata那点事                     Jacky @ AlibabaAskHelloDBA数据库技术论坛
AskHelloDBA活动介绍 • 关于我  • HelloDBA,阿里巴巴数据库架构师  • 推动Flash存储技术在数据库领域的应用  • 研究软硬件结合的数据库解决方案 • 活动起源  • 微博上AskHelloDBA的互动问答 • 活动...
议程介绍• 9:30-9:40 活动介绍• 9:40-10:20 Exadata那点事   • 阿里巴巴,张瑞• 10:20-10:40 茶歇&交流• 10:40-11:20 Oracle RAC Dynamic Remastering   •...
Exadata那点事 • 硬件技术那点事   • 硬件性能指标   • 硬件技术发展 • Exadata硬件那点事   • Exadata硬件解读 • Exadata软件那点事   •   HCC & Storage Index   •   S...
硬件性能指标• 主机 • SMP,NUMA,MPP • CPU(核数,频率,线程),内存容量 • 性能指标:TPC,SPEC,A-TPS• 存储 • 磁盘性能:转速,容量,接口 • 存储性能:磁盘数量,缓存大小,存储架构 • 性能指标:响应时间...
硬件技术发展• 主机 • CPU处理能力不断提升 • PC服务器替代小型机• 存储 • Flash存储技术成熟 • Flash+Disk=Flashcache• 网络 • 高吞吐低延迟Infiniband • 用于集群互联和高速存储网络
Exadata发展历程• Exadata V1   • HP硬件   • 适用于DW• Exadata V2   • SUN硬件   • 引入Flash存储   • 适用于OLTP&DW• Exadata X2   • X2-2,X2-8   ...
Exadata硬件架构
Exadata硬件解读• Exadata硬件解读  •   存储节点与计算节点都是PC服务器(X86)  •   存储节点配置磁盘与闪存  •   计算节点配置强力CPU与大内存  •   计算节点与存储节点用IB互联  •   计算节点间(R...
Exadata软件特性• Exadata软件特性  •   HCC  •   Storage Index  •   Smart Scan  •   Smart Flash Cache• 你知道吗?  •   Exadata运行标准Oracle ...
HCC• Hybrid Columnar Compression   •   行列混合式存储,CU   •   利用列式存储提升压缩率   •   同时具备行式存储的优点   •   适用于DW应用,不适合OLTP应用   •   非Exada...
Storage Index • Storage Index    • 存储索引位于存储节点上    • 记录单位数据的最大/小值和物理位置    • 只能用于SmartScan,提升查询性能
Smart Scan • Exadata的杀手锏-offloading   • Smart Scan将工作卸载到存储节点上   • 显著降低网络带宽和计算节点CPU资源 • Smart Scan局限性   • 只对direct path rea...
Smart Flash Cache • ESFC vs DBFC    •   DBFC与ESFC的写入都是WT模式    •   DBFC的Flash Cache位于数据库服务器内    •   ESFC的Flash Cache位于存储服务器...
ESFC I/O Path
Flash Cache vs Flash Disk • 如何使用闪存   • Flash Cache   • Flash Disk • 你知道吗?    •   Flash Cache适合读多写少的场景    •   Flash Disk性能最...
Exadata扩展性和高可用• 存储节点-ASM  •   整个多个存储节点的I/O能力,diskgroup  •   提供节点之间数据镜像,failgroup  •   数据动态重平衡,rebalance  •   快速重同步,fast mi...
Exadata测试案例分析• 测试场景  •   用户管理商品:用户表(20GB),商品表(300GB hash partition)  •   索引查找测试Flash Cache & Flash Disk  •   全表扫描测试Smart S...
Exadata启示录 • Exadata运行标准Oracle 11gR2数据库   • RAC和ASM在Oracle 11gR2中得到了加强   • Exadata证明ASM可以提供可靠的数据冗余   • 普通用户也可以使用部分Exadata特...
好书推荐•   Expert Oracle Exadata•   唯一一本深入介绍Exadata的技术书籍•   Kaya,Kamus和HelloDBA共同翻译•   即将出版,敬请期待!
Upcoming SlideShare
Loading in …5
×

Exadata那点事

17,710 views

Published on

Published in: Technology
  • Be the first to comment

Exadata那点事

  1. 1. Exadata那点事 Jacky @ AlibabaAskHelloDBA数据库技术论坛
  2. 2. AskHelloDBA活动介绍 • 关于我 • HelloDBA,阿里巴巴数据库架构师 • 推动Flash存储技术在数据库领域的应用 • 研究软硬件结合的数据库解决方案 • 活动起源 • 微博上AskHelloDBA的互动问答 • 活动目的 • 促进数据库技术交流,Oracle,MySQL,Postgres…. • 推动互联网与传统行业的技术结合,共享技术成果 • 活动形式 • 每个季度举办一次,每次一个主题 • 主题演讲,自由交流,问答
  3. 3. 议程介绍• 9:30-9:40 活动介绍• 9:40-10:20 Exadata那点事 • 阿里巴巴,张瑞• 10:20-10:40 茶歇&交流• 10:40-11:20 Oracle RAC Dynamic Remastering • 阿里集团,王英杰• 11:20-12:00 Oracle Exadata实战案例 • Oracle公司,贾春光• 12:00-13:00 午餐&交流• 13:00-13:40 我对后端优化的一点想法 • 支付宝,童家旺
  4. 4. Exadata那点事 • 硬件技术那点事 • 硬件性能指标 • 硬件技术发展 • Exadata硬件那点事 • Exadata硬件解读 • Exadata软件那点事 • HCC & Storage Index • Smart Scan/offloading • ESFC vs DBFC • Flash Cache vs Flash Disk • Exadata测试数据分析 • 测试场景&数据 • 有趣的发现
  5. 5. 硬件性能指标• 主机 • SMP,NUMA,MPP • CPU(核数,频率,线程),内存容量 • 性能指标:TPC,SPEC,A-TPS• 存储 • 磁盘性能:转速,容量,接口 • 存储性能:磁盘数量,缓存大小,存储架构 • 性能指标:响应时间,IOPS,吞吐量• 网络 • 1GbE/10GbE,SAN • 性能指标:响应时间,带宽
  6. 6. 硬件技术发展• 主机 • CPU处理能力不断提升 • PC服务器替代小型机• 存储 • Flash存储技术成熟 • Flash+Disk=Flashcache• 网络 • 高吞吐低延迟Infiniband • 用于集群互联和高速存储网络
  7. 7. Exadata发展历程• Exadata V1 • HP硬件 • 适用于DW• Exadata V2 • SUN硬件 • 引入Flash存储 • 适用于OLTP&DW• Exadata X2 • X2-2,X2-8 • 更强的硬件
  8. 8. Exadata硬件架构
  9. 9. Exadata硬件解读• Exadata硬件解读 • 存储节点与计算节点都是PC服务器(X86) • 存储节点配置磁盘与闪存 • 计算节点配置强力CPU与大内存 • 计算节点与存储节点用IB互联 • 计算节点间(RAC)也用IB互联• 你知道吗? • X2-2和X2-8配置的区别? • Quarter Rack,Half Rack和Full Rack的区别? • Quarter Rack为什么有三个存储节点? • High speed和High capacicy磁盘的区别?
  10. 10. Exadata软件特性• Exadata软件特性 • HCC • Storage Index • Smart Scan • Smart Flash Cache• 你知道吗? • Exadata运行标准Oracle 11gR2软件 • ASM提供存储节点扩展性与高可用 • RAC提供计算节点扩展性与高可用 • Exadata提供了资源管理的特性 • Exadata提供了非常灵活的配置
  11. 11. HCC• Hybrid Columnar Compression • 行列混合式存储,CU • 利用列式存储提升压缩率 • 同时具备行式存储的优点 • 适用于DW应用,不适合OLTP应用 • 非Exadata平台的局限性
  12. 12. Storage Index • Storage Index • 存储索引位于存储节点上 • 记录单位数据的最大/小值和物理位置 • 只能用于SmartScan,提升查询性能
  13. 13. Smart Scan • Exadata的杀手锏-offloading • Smart Scan将工作卸载到存储节点上 • 显著降低网络带宽和计算节点CPU资源 • Smart Scan局限性 • 只对direct path read生效 • 索引唯一/范围查询无法使用 • 适用于全表/索引扫描 • 你知道吗? • 通常情况下,Smart Scan只使用磁盘 • 某些情况下,可以同时扫描闪存和磁盘 • 11gR2串行扫描也可以direct path read • 为什么direct path read比full table scan更有效率
  14. 14. Smart Flash Cache • ESFC vs DBFC • DBFC与ESFC的写入都是WT模式 • DBFC的Flash Cache位于数据库服务器内 • ESFC的Flash Cache位于存储服务器内 • ESFC在多个计算节点间共享,而DBFC非共享 • ESFC的I/O读取路径与DBFC不同 • 你知道吗? • ESFC比DBFC更有效率 • 对象可以指定缓存在Flash Cache中 • Smart Scan可以同时扫描闪存和磁盘 • Flash Cache存在预热过程
  15. 15. ESFC I/O Path
  16. 16. Flash Cache vs Flash Disk • 如何使用闪存 • Flash Cache • Flash Disk • 你知道吗? • Flash Cache适合读多写少的场景 • Flash Disk性能最高,但代价也高 • Online redo log适合放在磁盘上 • Flash Cache可间接提升写入性能 • 为什么数据写入通常不是问题 • Exadata最新推出Flash logging特性 • 推荐使用Flash Cache
  17. 17. Exadata扩展性和高可用• 存储节点-ASM • 整个多个存储节点的I/O能力,diskgroup • 提供节点之间数据镜像,failgroup • 数据动态重平衡,rebalance • 快速重同步,fast mirror resync• 计算节点-RAC • 运行标准Oracle11gR2数据库 • RAC提供计算节点扩展性和高可用• 你知道吗? • Exadata可以配置为多个RAC或单机数据库 • 多个数据库可共享存储节点上磁盘和闪存 • 不同DG放在磁盘不同位置,得到不同性能 • Exadata最多可以扩展到8个机柜
  18. 18. Exadata测试案例分析• 测试场景 • 用户管理商品:用户表(20GB),商品表(300GB hash partition) • 索引查找测试Flash Cache & Flash Disk • 全表扫描测试Smart Scan对性能影响 • 关闭存储节点测试对数据库的影响• 测试数据 • Flash Cache纯读,IOPS 140000 • Flash Cache读写混合,IOPS 60000,TPS 4000 • Flash Disk读写混合,IOPS 60000+,TPS 4000+• 有趣的发现 • 计算节点上观察不到iowait,为什么? • 一台存储节点宕机,会发生什么? • Commit_write参数对性能的影响?
  19. 19. Exadata启示录 • Exadata运行标准Oracle 11gR2数据库 • RAC和ASM在Oracle 11gR2中得到了加强 • Exadata证明ASM可以提供可靠的数据冗余 • 普通用户也可以使用部分Exadata特性 • Exadata的核心在于存储服务器软件 • Offloading是Exadata的核心理念 • 软硬件结合是未来方向 • Hardware and Software Engineered to Work Together • Exadata的云特性体现在哪里 • 强大的扩展能力 • 数据库整合平台
  20. 20. 好书推荐• Expert Oracle Exadata• 唯一一本深入介绍Exadata的技术书籍• Kaya,Kamus和HelloDBA共同翻译• 即将出版,敬请期待!

×