Exadata training

1,803 views

Published on

Exadata-overview

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,803
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
61
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • 该幻灯片中的图表基于本课中前面显示的配置工作表示例说明了安装和配置之后的结果。它还假定配置程序电子表格已指定使用默认设置创建一个数据库。主机名和IP地址基于默认设置和分配策略。请注意,每个主机名都以DatabaseMachine名称(eidm)开头。另请注意默认的IP地址分配方案。每个数据库服务器都安装有相同的操作系统配置,其中包括相同的Oracle用户帐户和组定义。数据库服务器被配置为受OracleClusterware软件控制的一个群集。还配置了ASM群集。最后,在每个数据库服务器上安装了Oracle数据库软件,并在所有群集节点间建立了RealApplicationClusters(RAC)数据库。请注意有关在DatabaseMachine上安装和配置OracleGridInfrastructure和Oracle数据库的以下细节:未配置网格命名服务(GridNamingService,GNS)。DNS是DatabaseMachine的首选命名服务。默认情况下,没有为安装和配置过程中创建的数据库配置数据库控制。
  • DatabaseMachine中的每台ExadataStorageServer是自治的,在某种程度上,每个Exadata单元中的操作系统和存储服务独立于所有其他ExadataStorageServer运行。与该自治相对应的是,每个单元都是单独管理的。使用Exadata单元命令行界面(cellcommand-lineinterface,CellCLI)可执行大多数管理功能。CellCLI只能用来从某个单元中管理该单元。不过,通过dcli实用程序,您可以在多个单元上远程运行相同的CellCLI命令,本课中稍后将介绍该实用程序。CellCLI与ExadataStorageServer管理服务器(ManagementServer,MS)配合使用。CellCLI提供了命令界面,而MS执行管理功能(例如创建和删除网格磁盘)。
  • 为每台ExadataStorageServer配置了三个操作系统用户:root、celladmin和cellmonitor。该幻灯片描述了每个用户帐户的功能。在使用OneCommand实用程序初始配置DatabaseMachine之后,会为操作系统用户帐户设置初始密码。root的默认初始密码为welcome1。cellmonitor和celladmin用户的默认初始密码为welcome。建议在初始配置完成后将所有用户帐户的初始密码更改为更安全的密码。
  • CALIBRATE命令对ExadataStorageServer磁盘和闪存模块运行原始性能测试。这将引入两个重要指标的度量-IOPS和MBPS:IOPS(I/Opersecond,每秒I/O):此指标表示每秒可以提供的小型随机I/O的数量。IOPS速率主要取决于磁盘介质可以旋转的速度以及存储系统中存在的磁盘数量。MBPS(megabytespersecond,MB/s):此指标表示计算服务器节点和存储阵列之间的数据传送的速率。这主要取决于用于传送数据的I/O通道的容量。数据库I/O工作负荷通常由小型随机I/O和大型顺序I/O组成。小型随机I/O在OLTP应用程序环境中比较普遍,而大型顺序I/O常见于数据仓库环境中。
  • 通过CALIBRATE命令,您可以检验磁盘和闪存性能。在以root操作系统用户身份登录到存储服务器时,您必须执行此命令。CALIBRATEFORCE命令允许您在CELLSRV正在运行时运行测试。如果不使用FORCE选项,则必须关闭CELLSRV。在CELLSRV正在运行时运行CALIBRATE会影响性能,因此在正常运行期间不建议这样做。在单元未运行用户工作负荷的情况下(例如计划内维护期间),CALIBRATE FORCE是可以接受的。幻灯片中的示例显示了针对高性能磁盘的典型输出,相应结果符合期望值。如果性能度量值不达标,则会显示不同的消息。
  • 您可以使用CellCLIALTERCELL命令更改或配置单元属性。该幻灯片显示了一个示例ALTERCELL命令,该命令配置电子邮件通知。只要存储单元检测到严重、警告性和阐明性警报,该工具就向该单元的管理员发送电子邮件。除了电子邮件通知外,还可以使用简单网络管理协议(SimpleNetworkManagementProtocol,SNMP)配置通知。
  • 有时,您可能需要启动、停止或重新启动ExadataStorageServer软件服务:重新启动服务器(RestartServer,RS)、管理服务器(ManagementServer,MS)和单元服务器(CellServer,CELLSRV)。这可通过使用CellCLIALTERCELL命令实现。幻灯片中显示了一个示例。以下是相关语法摘要:ALTERCELL{SHUTDOWN|RESTART|STARTUP}SERVICES{RS|MS|CELLSRV|ALL}
  • 必须使用CREATECELLDISK命令创建基于磁盘的单元磁盘,然后ExadataStorageServer中的磁盘存储才可供使用。请注意,在大多数情况下,使用OneCommand实用程序执行的初始配置过程将配置ExadataStorageServer单元磁盘和网格磁盘。本课中稍后将讨论重新配置现有的单元磁盘和网格磁盘。幻灯片中的示例显示了使用CREATECELLDISKALLHARDDISK命令创建12个基于磁盘的单元磁盘,并且单元磁盘使用默认名称。在大多数情况下,会使用默认的单元磁盘名称。如果需要,可以对单元磁盘进行配置以便能够创建交错的网格磁盘。使用以下命令在启用交错的情况下创建单元磁盘:CREATECELLDISKALLHARDDISKINTERLEAVING='normal_redundancy'上述示例还显示了LISTCELLDISK命令的使用。在大多数情况下,LISTCELLDISK命令的输出显示12个基于磁盘的单元磁盘以及通常与Exadata智能闪存高速缓存配合使用的16个基于闪存的单元磁盘。此命令应针对所有单元磁盘返回normal状态。
  • 创建单元磁盘后,必须使用CREATEGRIDDISK命令置备网格磁盘。与单元磁盘一样,网格磁盘通常是在DatabaseMachine的初始配置期间创建的。但是,有时可能会删除现有的网格磁盘并将其替换为新的网格磁盘,例如调整默认磁盘组的大小时。本课中稍后将详细讨论此情况。该幻灯片显示了有关如何在新的空单元磁盘上创建网格磁盘的示例。在幻灯片中的示例中,ALLPREFIX选项用于在每个单元磁盘上自动创建一个网格磁盘。当使用了ALLPREFIX选项时,生成的网格磁盘名称构成如下:网格磁盘前缀,后跟一个下划线(_),然后接单元磁盘名称。最佳做法是使用所规划的ASM磁盘组名称作为对应的网格磁盘的前缀名。在示例中,前缀值data和fra是所规划的将使用网格磁盘的ASM磁盘组的名称。在单个DatabaseMachine部署内的所有单元中,网格磁盘名称必须是唯一的。通过遵循以下用于对单元磁盘和网格磁盘进行命名的命名约定,可以自动获得唯一的名称。可选的SIZE属性指定每个网格磁盘的大小。如果省略,网格磁盘将自动使用对应的单元磁盘上的所有剩余空间。LISTGRIDDISK命令显示存储服务器上定义的所有网格磁盘。
  • 默认情况下,为网格磁盘分配空间时所遵循的顺序是从物理磁盘的外侧磁轨到内侧磁轨。因此,在每个单元磁盘上创建的第一个网格磁盘将使用磁盘的最外侧部分,其中每个磁轨可包含较多数据,因而可获得更高的传送速率和更好的性能。不过,也可以按交错方式为网格磁盘分配空间。使用此空间分配类型的网格磁盘称为交错的网格磁盘。此方法试图使驻留在同一物理磁盘上的网格磁盘的性能保持均衡。该幻灯片将默认网格磁盘分配与交错的网格磁盘进行了对比。在左侧,在物理磁盘上使用默认的空间分配创建了两个网格磁盘。在本例中,网格磁盘1占用所有外侧(最快的)磁轨,而网格磁盘2占用所有内侧(较慢的)磁轨。在右侧,可看到交错的网格磁盘的示例。当启用了交错时,磁盘划分为两个相等部分:外侧一半(上面的部分)和内侧一半(下面的部分)。在创建新的网格磁盘时,网格磁盘空间的一半分配在上面的部分上,网格磁盘空间的另一半分配在下面的部分上。交错的网格磁盘最适合在以下情况下使用:您要创建单独的ASM磁盘组来共享单元磁盘,并且不需要侧重考虑性能。请注意,交错是通过设置单元磁盘的INTERLEAVING属性启用的。例如:CellCLI>CREATECELLDISKcd_03_cell01_intLUN=03– INTERLEAVING='normal_redundancy'
  • 默认情况下,初始单元配置过程会在所有闪存设备上创建基于闪存的单元磁盘,然后将大部分可用闪存空间分配给Exadata智能闪存高速缓存。在某些情况下,通过创建基于闪存的网格磁盘作为永久的基于闪存的数据存储,您可以获得益处。要创建基于闪存的网格磁盘的空间,您首先需要删除默认的闪存高速缓存。然后,您可以按照您选择的大小创建闪存高速缓存和基于闪存的网格磁盘。在幻灯片中的示例中,删除了默认的闪存高速缓存。接着,创建了一个新的Exadata智能闪存高速缓存。新的高速缓存的总大小为100GB,这意味着将在16个基于闪存的单元磁盘中的每一个磁盘上分配6.25GB的空间。CREATEGRIDDISK命令用于以创建基于磁盘的网格磁盘时所用的同一方式创建基于闪存的网格磁盘。请注意,FLASHDISK选项用于指定使用基于闪存的单元磁盘作为网格磁盘的基础。在幻灯片中的示例中,创建了16个基于闪存的网格磁盘,每个网格磁盘使用基于闪存的单元磁盘上的剩余可用空间。基于闪存的网格磁盘与基于磁盘的网格磁盘使用相同的默认命名约定。虽然此示例中未显示,但是您可以在基于闪存的单元磁盘上创建多个网格磁盘。与物理磁盘设备不同,从性能角度来说,闪存空间的分配顺序不重要。同样,交错不适用于基于闪存的磁盘。注意:标题为“通过Exadata优化数据库性能”的一课中讨论了适合使用基于闪存的网格磁盘的情况。
  • 从ExadataStorageServer发行版11.2.2.4.0开始,Exadata智能闪存日志提供了一种用于改善数据库重做日志写入操作延迟的机制。对于使用此软件发行版或更高发行版构建的Database Machine环境,Exadata智能闪存日志自动配置为针对每个基于闪存的单元磁盘使用32MB,每台ExadataStorageServer上的存储总容量为512MB。对于更新到提供了Exadata智能闪存日志的软件发行版的DatabaseMachine,必须对其进行重新配置才能启用此功能。该幻灯片显示了针对单个Exadata单元的所需命令序列。执行此进程不需要任何停机时间;不过,您可能会察觉到短期的性能影响,因为会临时删除Exadata智能闪存高速缓存。请注意,尽管可以指定Exadata智能闪存日志的大小,但是除了在一些极端情况下,设计的默认大小已足够了。此外,如果使用的是基于闪存的网格磁盘,则可能需要针对分配给Exadata智能闪存日志的内存的因素进行调整。
  • 作为DatabaseMachine的初始配置的一部分,在每台数据库服务器上将创建两个重要的配置文件,通过它们可以访问ExadataStorageServer:cellinit.ora文件包含用于连接到存储网络的数据库服务器IP地址。此文件是特定于主机的,包含用于该数据库服务器的接合InfiniBand存储网络接口的IP地址。IP地址是以无类别域间路由(ClasslessInter-DomainRouting,CIDR)格式指定的。cellip.ora文件包含可供数据库服务器访问的ExadataStorageServer的接合InfiniBand存储网络接口的IP地址。如果在任何时候数据库服务器与ExadataStorageServer之间的连接有任何问题,请检验这些文件以确保提供了正确的设置。如果在任何时候需要对这些文件进行更改,请执行以下操作:1.停止数据库服务器主机上的数据库和OracleASM实例。2.进行所需的文件更改。3.重新启动数据库服务器主机上的数据库和OracleASM实例。
  • 必须始终保持各种DatabaseMachine软件组件的合适版本,才能确保正确运行。这包括用于ASM和数据库实例的Oracle数据库软件的版本。有关适用于DatabaseMachine软件组件的受支持版本的最新列表,请参阅MyOracleSupport公告888828.1。要确保ASM搜索Exadata网格磁盘,请设置ASM_DISKSTRING初始化参数。以下形式的搜索字符串用于搜索Exadata网格磁盘:o/<cellIPaddress>/<griddiskname>可以使用通配符来扩展搜索字符串。例如,要显式搜索所有可用的Exadata网格磁盘,请设置ASM_DISKSTRING='o/*/*'。要搜索可用网格磁盘中名称以data开头的网格磁盘,请设置ASM_DISKSTRING='o/*/data*'。请注意,如果未设置ASM_DISKSTRING初始化参数,则默认为搜索当前可访问的所有Exadata网格磁盘,即cellip.ora中列出的且安全性设置未禁止的单元的网格磁盘。ExadataStorageServer安全性将在本课中稍后进行讨论。要对数据库实例进行配置以访问单元存储,请确保在数据库初始化文件中将COMPATIBLE参数设置为11.2.0.0.0或更高版本。
  • 在DatabaseMachine上创建ASM磁盘组基本上与在任何其他平台上进行创建相同。不过,要启用智能扫描处理,必须使用以下磁盘组属性设置:'compatible.rdbms'='11.2.0.0.0'(或更高版本)'compatible.asm'='11.2.0.0.0'(或更高版本)'cell.smart_scan_capable'='TRUE'此外,建议您将AU_SIZE磁盘组属性值设置为4M以优化磁盘扫描。幻灯片中的示例显示了来自两个Exadata单元的候选ASM磁盘:cell01和cell02。CREATEDISKGROUP语句引用了名称以data开头的所有候选ASM磁盘。默认情况下,与每个单元对应的ASM故障组是自动定义的。因此,会使用每个单元中的对应网格磁盘自动创建两个故障组。默认情况下,故障组名称对应于单元名称。在创建后,基于Exadata的磁盘组可用来存储Oracle数据文件,其使用方式与在其他存储中定义的ASM磁盘组使用方式相同。要弥补建议的4MBAU_SIZE的不足,您应将初始区大小设置为8MB以允许较大的段。这可以通过使用段级或表空间级设置来实现。标题为“通过DatabaseMachine优化数据库性能”的一课中讨论了建议的方法。
  • 通常,使用OneCommand实用程序执行的初始配置过程用于配置DatabaseMachine上所有的单元磁盘、网格磁盘和ASM磁盘组。如果要重新配置存储,最佳时间是在将用户数据加载到DatabaseMachine之前。如果需要重新配置正在由生产数据库使用的存储,可以进行配置,但是需要更多的时间、更多的工作,还要小心谨慎。重新配置存储的最常用方式是调整默认磁盘组的大小以在DATA磁盘组和RECO磁盘组之间重新分配空间。通常,一次在一个单元(故障组)上对存储进行配置。也就是说,首先对第一个单元中的存储进行重新配置,完成重新配置后,将存储重新添加回磁盘组中,然后对下一个单元进行重新配置,依此类推。该幻灯片概述了所需的命令。MyOracleSupport说明1272569.1详细介绍了基于此大纲的三个过程。在每一情况下,细微的命令变化都会改变过程。每个改变对正在重新配置的磁盘组中所需的空闲空间大小都有不同的要求。这些选项在重新配置过程中维护ASM冗余所使用的方式以及完成重新配置所需的时间量也不同。另一种合理的常用做法是减小默认磁盘组以容纳另外的磁盘组。虽然这完全可以实现,但是Oracle建议客户认真考虑是否确实需要另外的磁盘组,因为无谓地创建磁盘组会将可用存储分段,从而无谓地增加管理开销。在重新配置Exadata存储时,请牢记下列一般注意事项:重新配置现有磁盘组要求能够从磁盘组删除磁盘、重新配置这些磁盘然后将其重新添加回磁盘组。如果磁盘组中的空闲空间量大于V$ASM_DISKGROUP中报告的REQUIRED_MIRROR_FREE_MB值,您可以使用一次一个单元对磁盘组进行重新配置的方法。如果空闲空间小于REQUIRED_MIRROR_FREE_MB,则可能需要重新组织您的存储以生成更多空闲空间。还可以(但不建议)一次一个磁盘对存储进行重新配置。建议的最佳做法是ASM磁盘组中的所有磁盘应当大小相等且具有等同的性能特征。对于Exadata,这意味着分配给一个磁盘组的所有网格磁盘应当大小相等并占用每个磁盘上的相同区域。不应既存在交错网格磁盘,又存在非交错网格磁盘;同样,不应既存在来自大容量单元的磁盘,又存在来自高性能单元的磁盘。最后,网格磁盘应当在每个磁盘上都占用相同的位置。如果网格磁盘正由一个ASM磁盘组使用,则当您尝试在不使用FORCE选项的情况下删除网格磁盘时,将不会处理该命令,而且会显示一个错误。如果您从ASM磁盘组删除某个磁盘,请确保所导致的重新平衡操作完成后,再尝试删除关联的网格磁盘。有时,即使您已从所有ASM磁盘组删除了某个网格磁盘,但看起来好像您无法删除该网格磁盘。在这种情况下,可能需要尝试使用DROPGRIDDISK命令并使用FORCE选项。使用FORCE选项时应特别小心谨慎,因为未正确删除活动网格磁盘可能会导致数据丢失。如果单元磁盘包含任何网格磁盘,则当您尝试在不使用FORCE选项的情况下删除单元磁盘时,将不会处理该命令,而且会显示错误。可以使用DROPCELLDISK命令并使用FORCE选项删除某个单元磁盘和所有关联的网格磁盘。使用FORCE选项时应特别小心谨慎,因为未正确删除活动网格磁盘可能会导致数据丢失。DatabaseMachineclusterware文件(群集注册表和表决磁盘)默认情况下存储在名DBFS_DG的一个特殊ASM磁盘组中。通常不建议调整DBFS_DG磁盘组的大小,因为与其关联的网格磁盘的大小是专门确定的,与每个单元中前两个磁盘上的系统区域的大小匹配。如果需要更改该磁盘组或者更改底层网格磁盘或单元磁盘,必须特别注意要保留clusterware文件。可以在不停机的情况下重新配置活动DatabaseMachine上的Exadata存储。不过,这样做可能是一个耗时的过程,涉及许多ASM重新平衡操作。所需时间取决于存储单元的数量、现有磁盘使用情况以及系统上的负载。重新配置全机架DatabaseMachine的存储可能需要两天时间。
  • Exadata training

    1. 1. Exadata Storage Server 简介Exadata Storage Server • 适用于 Oracle 数据库的高性能存储 • 基于 64 位 Intel 的 Sun Fire 服务器 • 预先安装的软件: – Exadata Storage Server 软件 – Oracle Linux x86_64 – 驱动程序和实用程序 • 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    2. 2. Exadata Storage Server 体系结构:概览 Oracle 数据库服务器Exadata 单元 Linux OS Exadata 单元 Linux OS Exadata Exadata 单元软件 单元软件 … … 磁盘 磁盘 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    3. 3. Exadata Storage Server 功能:概览 Oracle 数据库服务器 50% 的 I/O 34% 的 I/O 16% 的 I/O智能存储 操作 I/O 资源管理 高性能 存储网络 智能闪存高速缓存 存储整合 (对数据库透明) 数据压缩
    4. 4. Exadata Storage Server X2-2 硬件详细信息 (Sun Fire X4270 M2)处理器 2个六核IntelXeonL5640处理器(2.26GHz)内存 24GB(6x4GB)本地磁盘 12x600GB15KRPM高性能SAS 或12x2TB7.2KRPM高容量SAS闪存 4x96GBSunFlashAcceleratorF20PCIe卡磁盘控制器 具有由电池供电的512MB高速缓存的磁盘控制器HBA网络 两个InfiniBand4XQDR(40Gb/s)端口 (1个双端口PCIe2.0HCA) 四个嵌入式千兆位以太网端口远程管理 1个以太网端口(ILOM)电源 2个可热交换的冗余电源 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    5. 5. Exadata Storage Server X2-2 规格 HP磁盘 HC磁盘 1 384GB 384GB Exadata智能闪存高速缓存 1 7.2TB 24TB 原始磁盘容量 2 3.25TB 10.75TB 未压缩数据容量 原始磁盘吞吐量 1.8GB/s 1.0GB/s 闪存吞吐量 5.4GB/s 4.6GB/s 每秒磁盘I/O数(IOPS) 3,600 1,800 每秒闪存I/O数(IOPS) 100,000 100,0001 - 通过使用 1 GB = 1000 x 1000 x 1000 字节和 1 TB = 1000 x 1000 x 1000 x 1000 字节计算得出的原始容量。2 - 用户数据:未压缩的最终用户数据的实际空间,在单个镜像(ASM 正常冗余)后计算得出,同时还提供足够的空间以在磁盘出现故障后重新建立镜像保护。实际用户数据容量因应用程序而异。 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    6. 6. Database Machine X2-2 全机架 14 台 Exadata Storage Server(全部为高性能的或 全部为高容量的) 8 台基于 Intel 的 2 CPU Sun Fire 数据库服务器 1 台 Cisco 以太网交换机 键盘、视频、鼠标 (48 个端口) (Keyboard, Video, Mouse, KVM) 硬件 3 台 Sun Datacenter 背部有 2 个配电设备 (Power InfiniBand Switch 36 Distribution Unit, PDU) (管理 36 个端口的 QDR交换机 - 40 GB/s) 备件套件: • 两个硬盘驱动器(高性能或 高容量) • 两个 96 GB 闪存卡 • 备用 InfiniBand 电缆
    7. 7. X2-2 数据库服务器硬件详细信息 (Sun Fire X4170 M2)处理器 2个六核IntelXeonX5670处理器(2.93GHz)内存 96GB(12x8GB),可扩展到144GB(18x8GB)本地磁盘 四个300GB10KRPMSAS磁盘磁盘控制器 具有由电池供电的512MB高速缓存的磁盘控制器HBA网络 两个QDR(40Gb/s)InfiniBand端口 (1个双端口PCIe2.0HCA) 四个1GB以太网端口 两个10GB以太网SFP+端口 (1个基于Intel8259910GbE控制器技术的双端口10GbEPCIe2.0 网卡)远程管理 1个以太网端口(ILOM)电源 2个可热交换的冗余电源 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    8. 8. 从小规模起步,逐步扩展 X2-2 X2-2 X2-2四分之一机架 半机架 全机架 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    9. 9. Database Machine X2-8 全机架14 台 Exadata StorageServer(全部为高性能的或全部为高容量的) 2 台基于 Intel 的 8 CPU Sun Fire 数据库服务器1 台 Cisco 以太网交换机(48 个端口)3 台 Sun Datacenter 背部有 2 个配电设备 (PowerInfiniBand Switch 36 Distribution Unit, PDU)(管理 36 个端口的 QDR交换机 - 40 Gb/s) 备件套件: • 两个硬盘驱动器(高性能或 高容量) • 两个 96 GB 闪存卡 • 备用 InfiniBand 电缆
    10. 10. X2-8 数据库服务器硬件详细信息 (Sun Fire X4800)处理器 8x八核IntelXeonX7560处理器(2.26GHz)内存 1TB(64x16GB)本地磁盘 八个300GB10KRPMSAS磁盘磁盘控制器 具有由电池供电的512MB高速缓存的磁盘控制器HBA网络 八个InfiniBand4XQDR(40Gb/s)端口 (四个双端口PCE2.0express模块) 两个NetworkExpressModule(NEM),总共可提供 八个1GbE以太网端口和 八个10GbE以太网SFP+端口 (使用Intel8259910GbE控制器技术的四个FabricExpressModule(FEM))远程管理 一个以太网端口(ILOM)电源 四个可热交换的冗余电源 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    11. 11. Database Machine 容量 X2-2 X2-2 X2-8 X2-2 半机架 全机架 全机架 四分之一 机架 高性能 21TB 50TB 100TB 100TB 1 原始磁盘容量 72TB 168TB 336TB 336TB 高容量 1 1.1TB 2.6TB 5.3TB 5.3TB 闪存容量 高性能 9.5TB 22.5TB 45TB 45TB 2 用户数据容量 31.5TB 75TB 150TB 150TB 高容量2 - 用户数据:未压缩的最终用户数据的实际空间,在单个镜像(ASM 正常冗余)后计算得出,同时还提供足够的空间以在磁盘出现故障后重新建立镜像保护。实际用户数据容量因应用程序而异。1 - 通过使用 1 GB = 1000 x 1000 x 1000 字节和 1 TB = 1000 x 1000 x 1000 x 1000 字节计算得出的 原始容量。 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    12. 12. Database Machine 性能 X2-2 X2-2 X2-8 X2-2 半机架 全机架 全机架 四分之一 机架 3 高性能 5.4GB/s 12.5GB/s 25GB/s 25GB/s 磁盘吞吐量 高容量 3GB/s 7GB/s 14GB/s 14GB/s 3 16GB/s 37.5GB/s 75GB/s 75GB/s 闪存吞吐量 高性能 高容量 13.5GB/s 32GB/s 64GB/s 64GB/s 4 高性能 10,800 25,000 50,000 50,000 磁盘IOPS 高容量 5,400 12,500 25,000 25,000 4 370,000 750,000 1,500,000 1,500,000 闪存IOPS 4 - 每秒 IO 数 (IO per second, IOPS) - 基于 8K 大小的 IO 请求。3 - 吞吐量为峰值物理扫描吞吐量,假定没有压缩。 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    13. 13. Exadata 存储扩展机架 四分之一 半机架 全机架 机架ExadataStorageServer 4 9 18InfiniBand交换机 2 3 3原始磁盘容量 96TB 216TB 432TB闪存容量 1.5TB 3.4TB 6.75TB用户数据容量 42.5TB 97TB 194TB磁盘吞吐量 4GB/s 9GB/s 18GB/s闪存吞吐量 18GB/s 41GB/s 82GB/s磁盘IOPS 7,200 16,000 32,000闪存IOPS 425,000 950,000 1,900,000 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    14. 14. InfiniBand 网络InfiniBand:• 是 Database Machine 互连结构: – 提供可用的最高性能 - 每个方向 40 Gb/s – 自 2002 年以来广泛用于高性能计算• 用于存储联网、RAC 互连和高性能外部连接: – 更少的配置、更低的成本、更高的性能• 看起来像连接主机软件的普通以太网: – 所有基于 IP 的工具都以透明方式运行 - TCP/IP、UDP、SSH 等等• 使用高性能 SDP InfiniBand 协议 : – 零复制、零丢失数据报协议• – Oracle 开发的开源软件 – CPU 开销非常低 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    15. 15. InfiniBand 网络体系结构• Sun Datacenter 36 端口托管 QDR (40 Gb/s) 交换机 – 两台用于连接服务器 InfiniBand 端口的叶交换机。 – 一台中心交换机(仅限于全机架和半机架配置中)。• Exadata Storage Server 和 X2-2 数据库服务器 – 每台服务器都有一个双端口 QDR (40 Gb/s) InfiniBand HCA。 – 每个 HCA 端口都连接到一台不同的叶交换机以实现高可用性。• X2-8 数据库服务器 – 每台服务器都有四个双端口 QDR (40 Gb/s) InfiniBand HCA。 – 在每个接合对中,每个 HCA 端口都连接到一台不同的叶交换 机以实现高可用性。 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。•
    16. 16. Database Machine 网络体系结构 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    17. 17. X2-2 全机架叶交换机拓扑版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    18. 18. 中心和叶拓扑版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    19. 19. 扩展性能和容量可伸缩 冗余和容错• 通过添加电缆可扩展到八个机架。 • 仸一组件发生故障都是可以• 通过添加 2 台 InfiniBand 交换机 承受的。 可从 9 个机架扩展到 36 个机架。 • 数据在存储服务器之间进行• 扩展到数百台存储服务器可支持 了镜像。 多拍字节数据库。 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    20. 20. 扩展到八个机架• 基于胖树拓扑的单个 InfiniBand 网络 – 现有交换机最多支持 8 个机架 – 数据库和存储服务器电缆连接不变• 两机架示例:
    21. 21. 扩展到八个以上的机架• 基于胖树拓扑的单个 InfiniBand 网络 – 通过添加两个外部中心交换机可扩展到 36 个机架 – 胖树拓扑中将增加一个层次• 示例:
    22. 22. 安装和配置之后的结果 eidm01 172.16.1.101 eidm02 172.16.1.102 eidm01-vip 172.16.1.103 eidm02-vip 172.16.1.104 eidm-scan 172.16.1.105 eidmdb01 eidmdb01-ilom eidmdb02 eidmdb02-ilom 172.16.1.106 10.7.7.101 10.7.7.106 10.7.7.102 10.7.7.107 172.16.1.107 DB 服务器 1 DB 服务器 2 DB 实例:dbm1 DB 实例:dbm2 ASM 实例:+ASM1 ASM 实例:+ASM2 群集:eidm 群集:eidm eidmdb01-priv eidmdb02-priv 192.168.10.1 192.168.10.2 InfiniBand 存储网络eidmcel01-priv eidmcel02-priv eidmcel03-priv 192.168.10.3 192.168.10.4 192.168.10.5 DBFS_DG DBFS_DG DBFS_DG DATA_EIDM DATA_EIDM DATA_EIDM RECO_EIDM RECO_EIDM RECO_EIDM Exadata 服务器 1 Exadata 服务器 2 Exadata 服务器 3 eidmcel01 eidmcel01-ilom eidmcel02 eidmcel02-ilom eidmcel03 eidmcel03-ilom 10.7.7.103 10.7.7.108 10.7.7.104 10.7.7.109 10.7.7.105 10.7.7.110 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    23. 23. InfiniBand 网络外部连接• 每台叶交换机为外部连接预留了六个端口。• 外部连接端口可用于: – 连接到用于磁带备份的介质服务器 – 连接到外部 ETL 服务器 – 客户机或应用程序访问 — 包括 Oracle Exalogic Elastic Cloud
    24. 24. Database Machine 软件体系结构:概览 单实例数据库 RAC 数据库 数据库服务器 数据库服务器 数据库服务器 Enterprise 数据库实例 Manager 数据库实例 数据库实例 单个 DBRM DBRM DBRM ASM 群集 ASM ASM ASM LIBCELL LIBCELL LIBCELL 基于 InfiniBand 且配有路径故障 转移的 iDB 协议 InfiniBand 存储网络 Oracle Linux OracleLinux OracleLinux单元控制 CLI CELLSR MS CELLSRV MS CELLSR MS(cellcli/dcli) V V IORM RS IORM RS IORM RS SSH Exadata 单元 Exadata 单元 Exadata 单元 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    25. 25. Database Machine 软件体系结构详细信息 Exadata 单元 数据库服务器 智能 RDBMS 实例 ASM 实例 SGA SGA 数据 闪存高速缓存 ASM ASM dskm I/O dskm I/O 进程 进程 LIBCELL LIBCELL/opt/oracle/cell/ cellsrv/deploy/ cellsrv CellCLI config MS diskmon adrci css cell_disk_ config.xml iDB 协议 iDB 协议 CELLSRV /etc/oracle/cell/network-config cellinit.ora RS ADR cellip.ora cellinit.ora bond0 MS 内部字典与 列出可访问的 列出本地CELLSRV 内部参数 Exadata 单元 接口 IP 和本地接口 IP InfiniBand 网络 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    26. 26. 闪存存储实体和关系闪存 LUN 单元磁盘 网格磁盘 ASM 磁盘 或 闪存高速缓存Exadata 单元 CellCLI> CREATE FLASHCACHE ... CellCLI> CREATE GRIDDISK ... FLASHDISK ... 闪存高速缓存 闪存 LUN 单元磁盘 或 闪存高速缓存 网格磁盘 对 ASM 可见 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    27. 27. 磁盘组配置 SQL> CREATE DISKGROUPExadata 单元 (CELL1) Exadata 单元 (CELL2) DATA_1 CELL1 故障组 磁盘组 CELL2 故障组 FRA_1 CELL1 故障组 CELL2 故障组 磁盘组 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    28. 28. Traditional Scan ProcessingSELECT  • With traditional storage, allcustomer_name Rows Returned database intelligence FROM calls resides in the databaseWHERE amount > hosts200;  • Very large percentage of DB Host reduces terabyte of data to 1000 customer data returned from storage  names that are returned to is discarded by database Table Extents Identified client servers • Discarded data consumes valuable resources, and   impacts the performance of I/Os Issued I/Os Executed: other workloads 1 terabyte of data returned to hosts
    29. 29. Exadata Smart Scan  SELECT Processing customer_name  • Only the relevant columns FROM calls Rows Returned – customer_name WHERE amount > and required rows 200; – where amount>200 are are returned to hosts  Consolidated • CPU consumed by predicateSmart Scan Constructed Result Set Built evaluation is offloadedAnd Sent To Cells From All Cells • Moving scan processing off the database host frees host CPU cycles and eliminates massive amounts of unproductive messagingSmart Scan identifies  – Returns the needle, not therows and columns 2MB of data returned to entire hay stackwithin terabyte table serverthat match request
    30. 30. Exadata 智能存储功能• 联接处理: – 在 Exadata Storage Server 内执行星形联接处理• 扫描加密数据• 扫描压缩数据• 对数据挖掘评分 – 例如:SELECT cust_idFROM customersWHERE region = USAND prediction_probability(churnmod,Y using *) > 0.8;
    31. 31. Exadata 智能扫描横向扩展:示例 数据库 dbs1 服务器 InfiniBand 存储网络 最高 40 Gb/sExadata 单元 edsc1 edsc2 … edsc13 edsc14 每个单元可提供 1.8 GB/s。 总共 14 个单元可提供 14 x 1.8 = 25.2 GB/s 磁盘(12 个/单元) 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    32. 32. Exadata 智能扫描横向扩展:示例 select /*+ full(lineitem) */ count(*) 不使用智能扫描 from lineitem where l_orderkey < 0; 数据库 dbs1 数据库要求执行完整表扫描以检索 服务器 所有块,然后过滤匹配的行。 如果表均匀地分布在所有磁盘中, 如果表的大小为 4800 GB, 每个单元向数据库实例发送的数据不能超过 完整扫描将耗时大约 16 分钟。 40/14 = 2.85 Gb/s = 0.357 GB/s。 单元 Exadata … edsc1 edsc2 edsc13 edsc140.357 GB/s 磁盘受到网络带宽限制! 磁盘 (12 个/ 单元) 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    33. 33. Exadata 智能扫描横向扩展:示例 select /*+ full(lineitem) */ count(*)使用智能扫描 from lineitem where l_orderkey < 0; 数据库要求 Exadata 单元 数据库 dbs1 服务器 返回所有匹配行。 如果表均匀地分布在所有磁盘中, 如果表的大小为 4800 GB, 每个单元向数据库实例发送的数据不能超过 扫描整个表将在大约 3 分 10 秒内完成! 40/14 = 2.85 Gb/s = 0.357 GB/s。 Exadata 单元 … edsc1 edsc2 edsc13 edsc141.8 GB/s 每个单元都能够以 1.8 GB/s 的速度 进行扫描并将其匹配的 行发送至数据库示例。 这表示扫描的总速度为 磁盘 25.2 GB/s! (12 个/ 单元) 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    34. 34. Exadata 混合列式压缩:概览 仓库压缩 归档压缩 针对速度进行优化 针对空间进行优化• 10 倍的平均存储节省 • 15 倍的平均存储节省• 10 倍的扫描 I/O 缩减 – 对于某些数据高达 50 倍• 针对查询性能进行优化 • 较大的访问开销 • 适用于冷数据或历史数据 降低仓库大小 回收磁盘 更出色的性能 保持数据联机 可以按分区混合压缩类型以 进行信息生命周期管理 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    35. 35. Exadata 混合列式压缩数据结构 压缩单元 块头 块头 块头 块头 CU 头 C5 C7 C8 C2 C1 C4 C3 C2 C5 C6• 压缩单元是跨多个数据库块的逻辑结构。• 压缩单元内的每一行都是独立的。• 在加载数据时按列组织数据。• 每一列都分别进行压缩。• 支持智能扫描。
    36. 36. Exadata 智能闪存高速缓存:概览• 用于经常访问的对象的高性能缓存• 非常适用于缓存重复的随机读取• 允许按应用程序表优化 每秒数百个 I/O 每秒数万个 I/O 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    37. 37. Exadata 智能闪存高速缓存智能缓存Exadata 智能闪存高速缓存了解各种类型的数据库 I/O: • 缓存经常访问的数据和索引块。 • 缓存控制文件读取和写入。 • 缓存文件头读取和写入。 • DBA 可以设定缓存优先级。• 不缓存镜像副本的 I/O。• 不缓存备份相关 I/O。• 不缓存数据泵 I/O。• 不缓存数据文件格式设置。• 表扫描不独占缓存。
    38. 38. 使用 Exadata 智能闪存高速缓存 写入操作 读取操作 读取操作 基于之前缓存的数据 基于未缓存的数据 DB 1 DB 1 DB 读取请求 读取请求3 1 3 3确认 cellsrv cellsrv cellsrv 2 4 2 2 4 Exadata 智能 闪存高速缓存 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    39. 39. Exadata 智能闪存日志:概览• Exadata 智能闪存日志为重做日志写入提供高性能、低延迟 的可靠临时存储: – 日志写入将被定向到磁盘和 Exadata 智能闪存日志。 – 将以最快速度进行确认并继续进行处理。 – 其概念类似于多路复用重做日志。 – Exadata Storage Server 自动管理智能闪存日志并确保所有日 志条目都保存到磁盘。 重做日志 最快速确认后 记录 继续处理 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    40. 40. Exadata 存储索引:概览 内存中的存储索引 只有第一个块可以匹配 区域索引 SELECT * FROM T1 WHERE B<2; B:1/5 B:3/8 E:a/j G:4/9 … … 1 ASM AU … 1 M 存储区域 B DBA 1ASM磁盘 表T1 表T1 表T2 A B C D A B C D E F G … 1 … … … 5 … … a … 4最小 B = 1 最小 B = 3最大 B = 5 … 3 … … … 8 … … 最大 B = 8 d … 7 … 5 … … … 3 … … j … 9 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    41. 41. 使用分区的存储索引:示例 订单号 ORDER_DATE SHIP_DATE 物品 (分区键) 1 2007 2007 2 2008 2008 3 2009 2009• 对 SHIP_DATE 的查询不会从 ORDER_DATE 分区中获益: – 但是,SHIP_DATE 与 ORDER_DATE 高度相关• 存储索引可增强对 SHIP_DATE 的查询的性能: – 利用分区创建的排序
    42. 42. 数据库文件系统• 数据库文件系统 (Database File System, DBFS) 使得数据 库可以用作文件系统。• 文件作为 SecureFile LOB 存储在数据库表内: – 与仸何 Oracle 数据一样受保护 - ASM 镜像、Data Guard、 闪回等 – 为 ETL 暂存、脚本、报告以及其他应用程序文件共享存储 – 在全机架 Database Machine 上具备 5 到 7 GB/s 的文件系统 I/O 吞吐量能力 转换并加载到 将文件复制到 DBFS 数据库表中 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    43. 43. I/O 资源管理:概览 传统存储服务器 FIFO 磁盘队列 I/O 请求RDBMS H L H L L L 您无法 高优先级 低优先级 影响 I/O 工作负荷 工作负荷 调度程序 请求 请求 Exadata Storage Server 基于优先级模式 的 I/O 调度程序 I/O 请求 H HRDBMS L H H H L L L L 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    44. 44. 优势倍增 多 TB 的用户数据 使用 Exadata 混合 使用分区删减可通常需要多 TB 的 I/O 列式压缩可减少 I/O 进一步减少 I/O 在 Database Machine 上 可以实时 存储索引跳过 智能扫描意味着仅将 获取结果 无价值的 I/O 结果返回到数据库 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    45. 45. Exadata Storage Server 管理:概览• 每台 Exadata Storage Server 是单独管理的。• 可使用 CellCLI 执行大多数管理: – CellCLI 只能在要管理的单元上执行。 – CellCLI 与 MS 配合使用来执行管理任务。 – CellCLI 会话示例:[celladmin@cell01 ~]$ cellcliCellCLI: Release 11.2.1.2.0 - Production ...CellCLI> list cell cell01 onlineCellCLI> exitquitting[celladmin@cell01 ~]$
    46. 46. Exadata Storage Server 管理用户帐户为每台 Exadata Storage Server 配置了三个操作系统用户:• root 用户可以: – 编辑配置文件(如 cellinit.ora 和 cellip.ora) – 更改网络配置设置 – 运行位于 /opt/oracle.SupportTools 目录下的支持和 诊断实用程序 – 运行 CellCLI CALIBRATE 命令 – 执行 celladmin 用户可以执行的所有任务• celladmin 用户可以: – 使用 CellCLI 实用程序执行管理任务(CREATE、DROP、 ALTER,等等) – 使用 adrci 实用程序为 Oracle 支持对事件进行打包• cellmonitor 用户使用 CellCLI 实用程序只能查看 (LIST) Exadata 单元对象。
    47. 47. 使用 CALIBRATE 测试 Storage Server 性能 磁盘带宽 通道带宽 指标 = IOPS 指标 = MBPS 需要高 RPM 和 需要大型 I/O 通道 快速查找时间 OLTP DW/OLAP (小型随机 I/O) (大型顺序 I/O) CALIBRATE 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    48. 48. CALIBRATE:示例[root@cell01 ~]# cellcliCellCLI: Release 11.2.1.2.0 - Production on Mon Nov 02 16:42:06 PST 2009Copyright (c) 2007, 2009, Oracle. All rights reserved.Cell Efficiency ratio: 1.0CellCLI> CALIBRATE FORCECalibration will take a few minutes...Aggregate random read throughput across all hard disk luns: 1601 MBPSAggregate random read throughput across all flash disk luns: 4194.49 MBPSAggregate random read IOs per second (IOPS) across all hard disk luns: 4838Aggregate random read IOs per second (IOPS) across all flash disk luns: 137588Controller read throughput: 1615.85 MBPSCalibrating hard disks (read only) ...Lun 0_0 on drive [20:0 ] random read throughput: 152.81 MBPS, and 417 IOPSLun 0_1 on drive [20:1 ] random read throughput: 154.72 MBPS, and 406 IOPS...Lun 0_10 on drive [20:10 ] random read throughput: 156.84 MBPS, and 421 IOPSLun 0_11 on drive [20:11 ] random read throughput: 151.58 MBPS, and 424 IOPSCalibrating flash disks (read only, note that writes will be significantly slower).Lun 1_0 on drive [[10:0:0:0]] random read throughput: 269.06 MBPS, and 19680 IOPSLun 1_1 on drive [[10:0:1:0]] random read throughput: 269.18 MBPS, and 19667 IOPS...Lun 5_2 on drive [[11:0:2:0]] random read throughput: 269.15 MBPS, and 19603 IOPSLun 5_3 on drive [[11:0:3:0]] random read throughput: 268.91 MBPS, and 19637 IOPSCALIBRATE results are within an acceptable range.
    49. 49. 配置 Exadata Cell Server 软件[celladmin@cell01 ~]$ cellcliCellCLI: Release 11.2.1.2.0 - Production on Mon Nov 02 17:46:13 PST 2009Copyright (c) 2007, 2009, Oracle. All rights reserved.Cell Efficiency ratio: 1.0CellCLI> ALTER CELL smtpServer=my_mail.example.com, - smtpFromAddr=exadata.cell01@example.com, - smtpPwd=<email_address_password> - smtpToAddr=jane.smith@example.com, - notificationPolicy=critical,warning,clear, - notificationMethod=mailCell cell01 successfully alteredCellCLI>
    50. 50. 启动和停止 Exadata Cell Server 软件[celladmin@cell01 ~]$ cellcliCellCLI: Release 11.2.2.1.0 - Production on Wed Jul 20 17:54:21 EDT 2011Copyright (c) 2007, 2009, Oracle. All rights reserved.Cell Efficiency Ratio: 19MCellCLI> ALTER CELL RESTART SERVICES ALLStopping the RS, CELLSRV, and MS services...The SHUTDOWN of services was successful.Starting the RS, CELLSRV, and MS services...Getting the state of RS services... runningStarting CELLSRV services...The STARTUP of CELLSRV services was successful.Starting MS services...The STARTUP of MS services was successful.CellCLI>
    51. 51. 配置单元磁盘CellCLI> CREATE CELLDISK ALL HARDDISKCellDisk CD_00_cell01 successfully created...CellDisk CD_10_cell01 successfully createdCellDisk CD_11_cell01 successfully createdCellCLI> LIST CELLDISK CD_00_cell01 normal ... CD_10_cell01 normal CD_11_cell01 normal FD_00_cell01 normal ... FD_14_cell01 normal FD_15_cell01 normalCellCLI> 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    52. 52. 配置网格磁盘CellCLI> CREATE GRIDDISK ALL PREFIX=data, SIZE=300G 使用最快的GridDisk data_CD_00_cell01 successfully created 磁盘部分...GridDisk data_CD_11_cell01 successfully createdCellCLI> CREATE GRIDDISK ALL PREFIX=fraGridDisk fra_CD_00_cell01 successfully created...GridDisk fra_CD_11_cell01 successfully created 之前 之后 单元 网格CellCLI> LIST GRIDDISK 磁盘 磁盘 data_CD_00_cell01 active ... data_CD_11_cell01 active fra_CD_00_cell01 active ... … … fra_CD_11_cell01 activeCellCLI> exit[celladmin@cell01 ~]$ 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    53. 53. 交错的网格磁盘网格磁盘 1 从磁盘的较高性能外侧磁轨受益。 网格磁盘 3 和网格磁盘 4 的性能更均匀平衡。 默认网格磁盘分配 交错的网格磁盘 网格磁盘 1 网格磁盘 3 最快的磁轨 快速磁轨 最快的磁轨 较慢的磁轨 50% 50% 50% 50% 较慢的磁轨 最慢的磁轨 快速磁轨 最慢的磁轨 网格磁盘 2 网格磁盘 4 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    54. 54. 创建基于闪存的网格磁盘CellCLI> DROP FLASHCACHEFlash cache cell01_FLASHCACHE successfully droppedCellCLI> CREATE FLASHCACHE ALL SIZE=100GFlash cache cell01_FLASHCACHE successfully createdCellCLI> CREATE GRIDDISK ALL FLASHDISK PREFIX=flashGridDisk flash_FD_00_cell01 successfully createdGridDisk flash_FD_01_cell01 successfully created 闪存 之前 之后高速缓存... 闪存GridDisk flash_FD_15_cell01 successfully created 高速缓存 网格 磁盘CellCLI> LIST GRIDDISK ... flash_FD_00_cell01 active ... … … flash_FD_15_cell01 activeCellCLI> exit[celladmin@cell01 ~]$ 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    55. 55. 创建智能闪存日志CellCLI> DROP FLASHCACHEFlash cache cell01_FLASHCACHE successfully droppedCellCLI> CREATE FLASHLOG ALLFlash log cell01_FLASHLOG successfully createdCellCLI> CREATE FLASHCACHE ALLFlash cache cell01_FLASHCACHE successfully createdCellCLI> exit[celladmin@cell01 ~]$ 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    56. 56. 配置主机访问 Exadata 单元• 通过每台数据库服务器上的配置文件,可实现对 Exadata 存储的访问。 – cellinit.ora 标识数据库服务器上的存储网络接口。 – cellip.ora 标识可供数据库服务器访问的 Exadata 单元。 – 示例:$ cat /etc/oracle/cell/network-config/cellinit.oraipaddress1=192.168.50.23/24$ cat /etc/oracle/cell/network-config/cellip.oracell="192.168.51.27"cell="192.168.51.28"cell="192.168.51.29"
    57. 57. 配置 ASM 和数据库实例以访问 Exadata 单元• 确保使用的是兹容版本的 Oracle 数据库软件: – 有关适用于 Database Machine 软件组件的受支持版本的最新 列表,请参见 My Oracle Support 公告 888828.1• 设置 ASM_DISKSTRING ASM 初始化参数: – ASM_DISKSTRING=o/*/*• 设置 COMPATIBLE 数据库初始化参数: – COMPATIBLE=11.2.0.0.0
    58. 58. 使用 Exadata 存储配置 ASM 磁盘组 磁盘组 DATA 故障组 cell01 故障组 cell02o/<cell01 IP address>/data_cd_00_cell01 o/<cell02 IP address>/data_cd_00_cell02o/<cell01 IP address>/data_cd_01_cell01 o/<cell02 IP address>/data_cd_01_cell02 ... ...o/<cell01 IP address>/data_cd_11_cell01 o/<cell02 IP address>/data_cd_11_cell02o/<cell01 IP address>/fra_cd_00_cell01 o/<cell02 IP address>/fra_cd_00_cell02o/<cell01 IP address>/fra_cd_01_cell01 o/<cell02 IP address>/fra_cd_01_cell02 ... ...o/<cell01 IP address>/fra_cd_11_cell01 o/<cell02 IP address>/fra_cd_11_cell02 cell01 和 cell02 上的所有候选磁盘CREATE DISKGROUP data NORMAL REDUNDANCYDISK o/*/data*ATTRIBUTE compatible.rdbms = 11.2.0.0.0, compatible.asm = 11.2.0.0.0, cell.smart_scan_capable = TRUE, au_size = 4M;
    59. 59. 闪存使用情况– 每个Exadata Storage Server 均包含384 GB 的高性能闪 存。可能的用途: • Exadata 智能闪存高速缓存: – 加速访问频繁访问的数据 – 默认使用大多数可用的闪存 – 可自动进行管理以实现最大效率 » 用户可以提供可选提示来影响高速缓存优先级 – 有益于OLTP 和数据仓库工作负荷 • 基于闪存的永久存储: – 使用闪存作为高级存储设备 – 必须由管理员进行配置 – 需要深思熟虑的计划以有效使用 – 为特定应用程序提供附加优势 • Exadata 智能闪存日志: – 用于重做日志记录的小型(512 MB) 高性能临时存储 – 由Exadata Storage Server 软件自动进行管理
    60. 60. 压缩使用情况
    61. 61. 索引使用情况– 需要先前系统上的索引的查询使用Exadata Database– Machine 和智能扫描可能会效率更好。– 如果智能扫描提供了可接受的性能,可考虑删除索引。– 删除不必要的索引: • 提高DML 性能 • 节省存储空间– 通过使索引不可见来测试删除索引的影响:
    62. 62. ASM 分配单元大小– 默认情况下,ASM 使用的分配单元(allocation unit, AU)大小 为1 MB– 对于Exadata 存储,建议的AU 大小为4 MB • 创建磁盘组时必须设置AU 大小 • 创建磁盘组后无法再更改AU 大小 • AU 大小是使用AU_SIZE 磁盘组属性设置的 • 示例:
    63. 63. 操作系统参数建议– 将共享内存段数(SHMMNI) 设置为大于数据库的数量。– 将最大共享内存段大小(SHMMAX) 设置为物理内存大小的 85%。– 将系统信号的最大总数(SEMMNS) 设置为大于所有数据库 进程的总和。– 将信号集内信号的最大数量(SEMMSL) 设置为大于任何一个 数据库中的最大进程数。– 对于Linux,如果/proc/meminfo 中的PageTables 大于物理内存大小的2%,请考虑将HugePages 设置为等 于所有共享内存段的总和。 • 请参见My Oracle Support 说明401749.1 和361468.1。
    64. 64. 数据库内存建议– 对于OLTP: • 每台服务器上所有数据库的总和 (PGA_AGGREGATE_TARGET + SGA_TARGET) 应小于服务器物 理内存大小的75%。– 对于数据仓库: • 每台服务器上所有数据库的总和 ((3 x PGA_AGGREGATE_TARGET) + SGA_TARGET) 应小于服务 器物理内存大小的75%。
    65. 65. CPU 管理建议– 使用实例锁定防止单个数据库使用过多的CPU。– 建议的CPU_COUNT 参数设置: • 对于关键pod:总和(CPU_COUNT) < CPU 内核总数的75% • 其他: – 对于占用大量CPU 的数据库:总和(CPU_COUNT) <= CPU 内核 的总数 – 对于使用少量CPU 的数据库:总和(CPU_COUNT) <= CPU 内核 总数的3 倍– 使用数据库资源管理器控制每个数据库中的CPU 分配。 • 使用MAX_UTILIZATION_LIMIT 指令属性来限制使用者组 的CPU 利用率
    66. 66. 其他建议– 配置I/O 资源管理– DB_RECOVERY_FILE_DEST_SIZE 设置: • 总和(DB_RECOVERY_FILE_DEST_SIZE) < 可用FRA 大小– 进程管理: • PARALLEL_THREADS_PER_CPU = 1 • X2-2:总和(PARALLEL_MAX_SERVERS) <= 240 • X2-8:总和(PARALLEL_MAX_SERVERS) <= 1280– 进程和连接准则: • 活动进程<= 4 x CPU_COUNT • 使用连接池管理应用程序连接 • 使用连接速率限制器防止连接风暴
    67. 67. 结合使用 RMAN 与 Database Machine• 在 Database Machine 上使用 RMAN 与在其他地方使用 RMAN 基本相同。 – 相同的概念。 – 相同的命令。• 改进了增量备份性能: – 块过滤负载转移到了 Exadata Storage Server。 – 只有很少的块需要由 RMAN 进行处理。 – 负载转移处理是自动且透明的。• Exadata 混合列式压缩功能可帮助进一步提高备份性能: – 降低了数据大小,因而备份更小且速度更快。
    68. 68. 针对 RMAN 的一般建议使用 RMAN 备份和恢复 Database Machine 上的数据库:• 使用 RMAN 增量备份和块更改跟踪。• 使用外部 RMAN 恢复目录系统信息库。• 将 DB_RECOVERY_FILE_DEST_SIZE 设置为快速恢复区 中使用的限制空间。
    69. 69. 基于磁盘的备份策略对于基于磁盘的数据库备份,Oracle 建议:• 使用快速恢复区• 执行 0 级(完整)初始备份• 执行定期 1 级增量备份• 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    70. 70. 基于磁带的备份策略对于基于磁带的数据库备份,Oracle 建议:• 使用集成有 RMAN 的介质管理软件,例如 Oracle Secure Backup• 执行定期 0 级(完整)数据库备份• 更频繁地执行 1 级累积备份,并备份 Oracle Secure Backup 目录
    71. 71. 基于磁带的备份体系结构 Database Machine Sun StorageTek SL500 Oracle Secure Backup 管理服务器 (Sun Fire X4170) Oracle Secure Backup 介质服务器 (Sun Fire X4275) Infiniband 光纤通道 SAN 网络20-10 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    72. 72. 基于磁带的备份建议• 介质服务器到 Database Machine 之间的网络的配置建议: – 使用 InfiniBand 获得最佳备份速率: — 配置介质服务器 InfiniBand 接口的接合。 — 更新介质服务器上的 OpenFabrics Enterprise Distribution。 — 配置 IP over InfiniBand 连接模式以获得最佳性能。 — 对于 InfiniBand 接口,将消息传输单元 (message transfer unit, MTU) 大小设置为 65520。 — 配置介质管理软件以使用 InfiniBand 网络。• 介质服务器 SAN 配置建议: – 为磁带设备配置持久绑定。
    73. 73. 使用以太网连接介质服务器 • 如果吞吐量足够,可以使用以太网: – GigE:预期每个接口最高 120 MB/秒 – 10GigE:预期每个接口最高 1 GB/秒 • 建议: – 使用专用备份网络: — 在每台 Database Machine 数据库服务器上配置专用网络接口 – 使用接合的网络接口: — 配置 LACP 以获得最大吞吐量: — 断开一个链路后仍保持可用性 — 介质服务器、网络交换机和数据库服务器上所需的配置 — 或者使用主动-被动接合以获得高可用性: — 配置数据库服务器和介质服务器 — 不需要执行特定的交换机配置20-13 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    74. 74. 基于磁带的备份建议• 在所有可用数据库实例之间运行 RMAN: – 创建一个在群集中运行的数据库服务: $ srvctl add service –d <dbname> -s <service name>-r <instance1>, ... ,<instancen> – 使用服务名称和 SCAN 地址来连接 RMAN: $ rman target sys/<passwd>@<scan_address>/<service_name>catalog …• 为每个磁带机分配一个 RMAN 通道。• 配置 IORM 和 DBRM 以控制在备份和应用程序工作负荷 之间的资源分配。 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    75. 75. 混合备份策略• 混合备份策略组合了基于磁盘和基于磁带的备份方法: – 0 级(完整)数据库备份存储在磁带上: — 相对便宜的备份介质,可以存储在场外 – 1 级增量备份存储在 FRA 中的磁盘上: — 可以轻松进行高性能访问• 请同时遵循针对这两种方法的建议。
    76. 76. 还原和恢复建议• 还原到现有数据文件(如果可能): – 还原性能更好。 – 使用所有数据库实例进行还原。• 如果不存在仸何现有数据文件,请使用最多两个数据库实 例进行还原。• 建议的 RMAN 通道数: – 对于基于磁盘的还原,请为每个数据库实例使用两个到四个 RMAN 通道。 – 对于基于磁带的还原,请根据磁带机的总数设置 RMAN 通 道数。
    77. 77. 备份和恢复 Database Machine 软件 • 数据库服务器软件 – 执行文件系统级备份和恢复: — 使用您选择的文件系统备份管理软件,也可以使用 Oracle Secure Backup。 — Oracle 群集注册表的副本是在数据库服务器文件系统上自动维护 的,并且应包含在数据库服务器文件系统备份中。 • Exadata Storage Server 软件 – 建议不要执行文件系统级备份: — 系统区域已镜像: — 如果一个系统磁盘发生故障,请使用 CellCLI 命令进行恢复。 — 如果两个系统磁盘同时发生故障,请使用 Exadata 软件援救过程: — 该援救过程使用内置的 USB 闪存驱动器。20-17 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    78. 78. 关闭和打开 Database Machine 电源• 电源关闭顺序: 1. 数据库服务器: # <Grid_Home>/bin/crsctl stop cluster # shutdown -h -y now — 确保所有数据库服务器都已关闭,然后再继续。 2. Exadata Storage Server: # shutdown -h -y now — 确保所有存储服务器都已关闭,然后再继续。 3. 机架,包括网络交换机• 打开电源顺序: 1. 机架,包括网络交换机 — 通电几分钟后再继续。 2. Exadata Storage Server: — 检查所有单元是否都在运行,然后再继续。 3. 数据库服务器 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    79. 79. 安全地关闭单个 Exadata Storage Server 安全关闭顺序:• – 检查以确保关闭存储服务器将不会使任何 ASM 磁盘组脱机: CellCLI > LIST GRIDDISK WHERE asmdeactivationoutcome != ’Yes’ – 使所有网格磁盘都处于非活动状态: CellCLI> ALTER GRIDDISK ALL INACTIVE – 检验所有网格磁盘是否都处于非活动状态: CellCLI> LIST GRIDDISK WHERE STATUS != inactive – 关闭存储服务器。 启动顺序:• – 启动存储服务器: — 单元服务会自动启动。 – 使所有网格磁盘都处于活动状态: CellCLI> ALTER GRIDDISK ALL ACTIVE – 检验所有网格磁盘是否都处于活动状态: CellCLI> LIST GRIDDISK ATTRIBUTES name, asmmodestatus 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。
    80. 80. 更换损坏的闪存卡 1 确定损坏的闪存卡。CellCLI> LIST PHYSICALDISK DETAIL name: [9:0:2:0] diskType: FlashDisk ... slotNumber: "PCI Slot: 1; FDOM: 2" status: critical2 关闭单元的电源。 3 更换闪存卡。 4 打开单元的电源。 如果该卡包含基于闪存的网格磁盘, 5 则监视 ASM 以确认重新添加了磁盘。SQL> SELECT NAME, STATE FROM V$ASM_DISKSQL> SELECT * FROM GV$ASM_OPERATION 版权所有 © 2012,Oracle 和/或其附属公司。保留所有权利。

    ×