Oracle RACの弱点を克服する infinibandを使ったクラスターテクノロジー

Oracle RACの弱点を克服する
Infinibandを使ったクラスターテクノロジー
- Super RACへの道 -

株式会社インサイトテクノロジー
エンジニアリング本部
テクノロジーコンサルティング部
平間大輔

Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 1

1. RACでデータウェアハウス
2. Super RACの構成
3. Super RACの転送速度
4. TPC-Hとは
5. TPC-Hの測定結果


DWHの決め手は並列処理 1.RACでデータウェアハウス

oracledatabase.jp Webサイトより


スケールアップとスケールアウト 1.RACでデータウェアハウス

ThinkIT Webサイトより


RACがリニアにスケールしない原因 1.RACでデータウェアハウス

@IT Webサイトより


コモディティ化で開かれる新しい世界 1.RACでデータウェアハウス


ボトルネックを解消するには 1.RACでデータウェアハウス

Oracle RAC

Infiniband !

SSD Cluster !


Super RACへの第1歩 2.Super RACの構成

DBサーバ：2台
CPU:
AMD Phenom II X6 1100T (6core)
Clock Speed 3.3GHz
RDBMS:
Oracle Database 11g
Enterprise Edition
Release 11.2.0.2.0

ストレージサーバ：6台
SSD:
Crucial C300 64GB * 6


Super RACの要：Infiniband 2.Super RACの構成

• 40Gbps

• 低レイテンシー

• 低CPU負荷(RDMA)

• TCP/IPもSCSIも自由自在


Super RACの要：Infiniband 2.Super RACの構成

Mellanox OFED Product Briefより

理論上の読取速度 3.Super RACの転送速度

Motherboard: 5.2GB/s

Infiniband: 4GB/s

4GB/s x 2 = 8GB/s

2.1GB/s x 6nodes = 12.6GB/s

SSD: 350MB/s x 6 = 2.1GB/s


読取速度を実測 3.Super RACの転送速度

• HDD x 1 ：
109.47 MB/s
• SSD x 1：
367.63 MB/s
• SSD x 6 (1node x 6):
1152.25 MB/s
• SSD x 6 (6node x 1)：
2109.63 MB/s


読取速度を実測 3.Super RACの転送速度

SSD x 36：

4980.00MB/s !
※DDR3-1333(メモリ)の転送速度は10.7GB/s


TPC-H データE-R図
4.TPC-Hとは

ORDERS (O_) LINEITEM (L_) PARTSUPP (PS_) PART (P_)

ORDERKEY ORDERKEY PARTKEY PARTKEY

CUSTKEY PARTKEY SUPPKEY NAME

ORDERSTATUS SUPPKEY AVAILQTY MFGR

TOTALPRICE LINENUMBER SUPPLYCOST BRAND

ORDERDATE QUANTITY COMMENT TYPE

ORDERPRIORITY EXTENDEDPRICE SIZE

CLERK DISCOUNT CONTAINER

SHIPPRIORITY TAX RETAILPRICE

COMMENT RETURNFLAG COMMENT

LINESTATUS

SHIPDATE SUPPLIER (S_)
CUSTOMER (C_)
COMMITDATE SUPPKEY
CUSTKEY
RECEIPTDATE NAME
NAME
SHIPINSTRUCT ADDRESS
ADDRESS
SHIPMODE NATIONKEY
NATIONKEY
COMMENT PHONE
PHONE
ACCTBAL
ACCTBAL
COMMENT
MKTSEGMENT
NATION (N_)
COMMENT REGION (R_)
NATIONKEY
REGIONKEY
NAME
NAME
REGIONKEY
COMMENT
COMMENT


TPC-H データ量 (SF: 100GB) 4.TPC-Hとは

Table Name Number of Rows Object Size(KB)

LINEITEM 600,000,000 83,886,080

ORDERS 150,000,000 18,546,688

PARTSUPP 80,000,000 13,474,816

PART 20,000,000 3,145,728

CUSTOMER 15,000,000 2,555,904

SUPPLIER 1,000,000 155,648


TPC-H SQLの例 4.TPC-Hとは

例：Q21
select
s_name, and not exists (
count(*) as numwait select
from *
supplier, from
lineitem l1, lineitem l3
orders, where
nation l3.l_orderkey = l1.l_orderkey
where and l3.l_suppkey <> l1.l_suppkey
s_suppkey = l1.l_suppkey and l3.l_receiptdate > l3.l_commitdate
and o_orderkey = l1.l_orderkey )
and o_orderstatus = 'F' and s_nationkey = n_nationkey
and l1.l_receiptdate > l1.l_commitdate and n_name = '[NATION]'
and exists ( group by
select s_name
* order by
from numwait desc,
lineitem l2 s_name;
where
l2.l_orderkey = l1.l_orderkey
and l2.l_suppkey <> l1.l_suppkey
)


TPC-H スコア算出方法 4.TPC-Hとは

TPC-H Power

※今回の測定用に一部改変


パフォーマンス測定の観点 5.TPC-Hの測定結果

• CPUコア数までリニアにスケールするの？

• インターノードパラレルクエリの効果は？


TPC-H 結果発表：1ノード編 5.TPC-Hの測定結果

ノード時
1ノード時
12000

10000

8000

6000

4000

2000
並列度
0
1 2 3 4 5 6 7 8 9 10 11 12 20 30



使用率並列度1)
CPU使用率 (1node - 並列度 wa sy us
100
90
80
70
60
50
40
30
20
10
0



100
90
80
70
60
50
40
30
20
10
0



CPU使用率 (1node - 並列度10)
使用率並列度 wa sy us
100
90
80
70
60
50
40
30
20
10
0



ノード時
2ノード時
18000
16000
14000
12000
10000
8000
6000
4000
2000
並列度
0
7 8 9 10 11 12 13 14 15 20 30 40 50



100
90
80
70
60
50
40
30
20
10
0



ノード時との比較
1ノード時との比較
18000
16000
14000
12000
10000
8000
1node
6000 2node
4000
2000
並列度
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 20 30 40 50


Super RACへの旅は、まだ終わらない。


Oracle RACの弱点を克服する infinibandを使ったクラスターテクノロジー

More Related Content

What's hot

Similar to Oracle RACの弱点を克服する infinibandを使ったクラスターテクノロジー

More from Insight Technology, Inc.

Oracle RACの弱点を克服する infinibandを使ったクラスターテクノロジー