1. Super RACへの道
Infinibandを使ったクラスターテクノロジー
株式会社インサイトテクノロジー
エンジニアリング本部
テクノロジーコンサルティング部
平間 大輔
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 1

2. Super RACチーム誕生
これは、Super RACに魅せられた男たちの
これは、 に魅せられた男たちの
終わりなき闘いの記録である。
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 2

3. 1.RACで処理するBig Data
2.Super RACの構成
3.TPC-Hとは
4.TPC-Hの測定結果
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 3

4. Big Dataの時代 1.RACで処理するBig Data
ハードウェアの力技で
Big Dataを正面突破！
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 4

5. RACでBig Data! 1.RACで処理するBig Data
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 5

6. RACって何？ 1.RACで処理するBig Data
@ITより
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 6

7. RACの弱点を解消するには 1.RACで処理するBig Data
Oracle RAC
Infiniband !
SSD Cluster !
Oracledatabase.jpの資料を基に改変
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 7

8. Super RACへの道 2.Super RACの構成
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 8

9. Super RACへの第1歩 2.Super RACの構成
DBサーバ：2台
CPU:
AMD Phenom II X6 1100T (6core)
Clock Speed 3.3GHz
RDBMS:
Oracle Database 11g
Enterprise Edition
Release 11.2.0.2.0
ストレージサーバ：6台
SSD:
Crucial C300 64GB * 6
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 9

10. Super RACの要：Infiniband 2.Super RACの構成
• 40Gbps(実効32Gbps)
※参考：FCは4Gbps
• 低CPU負荷(RDMA)
• TCP/IPもSCSIも自由自在
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 10

11. Super RACの要：Infiniband 2.Super RACの構成
Mellanox OFED Product Briefより
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 11

12. Super RACの構成 - 理論上の転送速度 - 2.Super RACの構成
Chipset: 5.2GB/s
Infiniband: 4GB/s
4GB/s x 2 = 8GB/s
2.1GB/s x 6nodes = 12.6GB/s
SSD: 350MB/s x 6 = 2.1GB/s
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 12

13. では実際に測ってみよう - ディスク転送速度 - 2.Super RACの構成
• HDD x 1 ：
109.47 MB/s
• SSD x 1：
367.63 MB/s
• SSD x 6 (1node x 6):
1152.25 MB/s
• SSD x 6 (6node x 1)：
2109.63 MB/s
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 13

14. では実際に測ってみよう - ディスク転送速度 - 2.Super RACの構成
SSD x 36：
4980.00MB/s !
※チップセットにより、理論値は5.2GB/S
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 14

15. TPC-H データE-R図
3.TPC-Hとは
ORDERS (O_) LINEITEM (L_) PARTSUPP (PS_) PART (P_)
ORDERKEY ORDERKEY PARTKEY PARTKEY
CUSTKEY PARTKEY SUPPKEY NAME
ORDERSTATUS SUPPKEY AVAILQTY MFGR
TOTALPRICE LINENUMBER SUPPLYCOST BRAND
ORDERDATE QUANTITY COMMENT TYPE
ORDERPRIORITY EXTENDEDPRICE SIZE
CLERK DISCOUNT CONTAINER
SHIPPRIORITY TAX RETAILPRICE
COMMENT RETURNFLAG COMMENT
LINESTATUS
SHIPDATE SUPPLIER (S_)
CUSTOMER (C_)
COMMITDATE SUPPKEY
CUSTKEY
RECEIPTDATE NAME
NAME
SHIPINSTRUCT ADDRESS
ADDRESS
SHIPMODE NATIONKEY
NATIONKEY
COMMENT PHONE
PHONE
ACCTBAL
ACCTBAL
COMMENT
MKTSEGMENT
NATION (N_)
COMMENT REGION (R_)
NATIONKEY
REGIONKEY
NAME
NAME
REGIONKEY
COMMENT
COMMENT
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 15

16. TPC-H データ量 (SF: 100GB) 3.TPC-Hとは
Table Name Number of Rows Object Size(KB)
LINEITEM 600,000,000 83,886,080
ORDERS 150,000,000 18,546,688
PARTSUPP 80,000,000 13,474,816
PART 20,000,000 3,145,728
CUSTOMER 15,000,000 2,555,904
SUPPLIER 1,000,000 155,648
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 16

17. TPC-H SQLの例 3.TPC-Hとは
例：Q21
select
s_name, and not exists (
count(*) as numwait select
from *
supplier, from
lineitem l1, lineitem l3
orders, where
nation l3.l_orderkey = l1.l_orderkey
where and l3.l_suppkey <> l1.l_suppkey
s_suppkey = l1.l_suppkey and l3.l_receiptdate > l3.l_commitdate
and o_orderkey = l1.l_orderkey )
and o_orderstatus = 'F' and s_nationkey = n_nationkey
and l1.l_receiptdate > l1.l_commitdate and n_name = '[NATION]'
and exists ( group by
select s_name
* order by
from numwait desc,
lineitem l2 s_name;
where
l2.l_orderkey = l1.l_orderkey
and l2.l_suppkey <> l1.l_suppkey
)
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 17

18. TPC-H スコア算出方法 3.TPC-Hとは
TPC-H Power
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 18

19. パフォーマンス測定の観点 4.TPC-Hの測定結果
• ノードを増やすとスケールするの？
• インターノードパラレルクエリの効果は？
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 19

20. TPC-H 結果発表：1ノード編 4.TPC-Hの測定結果
qphH qphH
12000
10000
8000
6000
4000
2000
並列度
0
1 2 3 4 5 6 7 8 9 10 11 12 20 30
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 20

21. TPC-H 結果発表：1ノード編 4.TPC-Hの測定結果
使用率 並列度1)
CPU使用率 (1node - 並列度 wa sy us
100
90
80
70
60
50
40
30
20
10
0
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 21

22. TPC-H 結果発表：1ノード編 4.TPC-Hの測定結果
使用率 並列度6)
CPU使用率 (1node - 並列度 wa sy us
100
90
80
70
60
50
40
30
20
10
0
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 22

23. TPC-H 結果発表：1ノード編 4.TPC-Hの測定結果
CPU使用率 (1node - 並列度10)
使用率 並列度 wa sy us
100
90
80
70
60
50
40
30
20
10
0
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 23

24. TPC-H 結果発表：2ノード編 4.TPC-Hの測定結果
qphH qphH
18000
16000
14000
12000
10000
8000
6000
4000
2000
並列度
0
7 8 9 10 11 12 13 14 15 20 30 40 50
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 24

25. TPC-H 結果発表：2ノード編 4.TPC-Hの測定結果
qphH ノード時との比較
1ノード時との比較
18000
16000
14000
12000
10000
8000
1node
6000 2node
4000
2000
並列度
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 20 30 40 50
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 25

26. TPC-H 結果発表：2ノード編 4.TPC-Hの測定結果
使用率 並列度12)
CPU使用率 (2node - 並列度 wa sy us
100
90
80
70
60
50
40
30
20
10
0
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 26

27. TPC-H 結果発表：2ノード編 4.TPC-Hの測定結果
使用率 並列度30)
CPU使用率 (2node - 並列度 wa sy us
100
90
80
70
60
50
40
30
20
10
0
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 27

28. TPC-H 結果発表：2ノード編 4.TPC-Hの測定結果
使用率 並列度50)
CPU使用率 (2node - 並列度 wa sy us
100
90
80
70
60
50
40
30
20
10
0
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 28

29. への旅は
Super RACへの旅は
への
まだ終わらない。
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 29

30. 無断転載を禁ず
この文書はあくまでも参考資料であり、掲載されている情報は予告なしに変更されることがあります。
株式会社インサイトテクノロジーは本書の内容に関していかなる保証もしません。また、本書の内容に関連したいかなる
損害についても責任を負いかねます。
本書で使用している製品やサービス名の名称は、各社の商標または登録商標です。
Copyright © 2011 Insight Technology, Inc. All Rights Reserved. 30