More Related Content
Similar to [C31]世界最速カラムナーDBは本物だ! by Daisuke Hirama
Similar to [C31]世界最速カラムナーDBは本物だ! by Daisuke Hirama (20)
More from Insight Technology, Inc.
More from Insight Technology, Inc. (20)
[C31]世界最速カラムナーDBは本物だ! by Daisuke Hirama
- 3. 世界最速！
TPC-H ベンチマークのトップ 8（Non-Clustered 1TB ） 2013/7/11時点
Vectorwise
3 May 2011
Vectorwise
6 Jan 2012
400,000
Performance
(QphH@1TB)
300,000
Oracle
200,000
Oracle
Sybase IQ
15 Dec 2010
3 Jun 2011
Microsoft
5 Apr 2011
26 Apr 2010
Microsoft
30 Aug 2011
Oracle
26 Sep 2011
32 cores
1 TB RAM
32 cores
0.75 TB
RAM
64 cores
0.5TB RAM
80 cores
2TB RAM
32 cores
0.5TB RAM
64 cores
0.5TB RAM
32 cores
0.5TB RAM
80 cores
2TB RAM
140,181
164,747
173,961
436,788
445,529
209,533
219,887
201,487
$12.15 US
100,000
$6.85 US
$1.37 US
$0.88 US
$0.75 US
$9.53 US
$1.86 US
$4.60 US
0
Price/Performance
US$/QphH@1TB
Source: www.tpc.org / Jul 11, 2013
TPC, TPC Benchmark, TPC-H, QppH, QthH and QphH are trademarks of the Transaction Processing Performance Council (TPC)
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
- 4. ParAccel SMP (Vectorwise)のイノベーション
• カラム指向データベース
• 圧縮
• 効率的なブロックI/O
Millions
DISK
150-250
RAM
CHIP
2-20
Time / Cycles to Process
• Queryの並列処理
40-400MB
2-3GB
10GB
• CPUの最適化
(オンチップコンピューティング)
Data Processed
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
- 5. カラム指向データベースのメリット
•
列指向とは?
•
メリットは?
(シーケンシャルな)アクセス効率 + データ圧縮 = 分析基盤に向いている
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
•1ブロックには様々なタ
イプのデータが格納され
ているので圧縮効率を
上げにくい
•1ブロックには同様のタ
イプのデータが格納され
ているので圧縮効率を
上げやすい
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
- 6. カラム指向データベースのデメリット
•
デメリットは?
一般的に
(ランダムな)アクセスが非効率 + データ圧縮 = OLTP基盤に向いていない
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
Prod ID
Prod Name
Date
•更新時に圧縮・展開
•のオーバーヘッドが
•大きい(*1)
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
- 7. 自動的な圧縮と解凍
• 複数のアルゴリズムを使ってカラム毎に圧縮
– 最適なものをParAccel SMPが自動的に使用
• 解凍はベクトル処理
– CPUキャッシュ中でデータ処理
I/Oスループット
を最大化
CPUキャッシュ中に
解凍し格納
カラム
カラム
キャッシュ
バッファ
管理
解凍
Disk
RAM
CPU
RAMへの書き込み・
読み込みを削減
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
- 9. ベクトル処理とキャッシュ最適化
SIMD (Single Instruction Multiple Data)
1
2
3
4
5
6
7
8
x
x
x
x
x
x
x
x
1
2
3
4
5
6
7
8
=
=
=
=
=
=
=
=
1
4
9
16
25
36
49
64
.
.
.
n x n = n2
1
2
3
4
5
6
7
8
x
x
x
x
x
x
x
x
.
.
.
nx
1
1
2
4
3
9
4
16
5
25
6 = 36
7
49
8
64
.
.
.
n
n2
SSE（ストリーミング SIMD 拡張命令）
16個の128bitのレジスタ
(Intel Sandy Bridgeは256bit)
＊32bit float * 4
＊16bit integer * 8
＊8bit byte/char * 16
etc.
＊加減算、積除算、比較、最大最小など
＊文字列の処理でSSE4.2が効果大
（GROUP BYやLIKEなど）
SSE2はPentium 4, AMD64以降
SSE3は後期Pentium 4,
後期Athlon64以降
SSE4は後期Core2以降
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
- 11. ロードを含めた性能比較
TPC-H(dbgen) 10GBをロード時のパフォーマンス(秒) – インデックスなし PostgreSQL
8.4
MySQL
5.1
商用RDBMS
X
Vectorwise
3.0
customer
(234MB/1.5M rows)
lineitem
(7416MB/60M rows)
nation
(0MB/25 rows)
orders
(1668MB/15M rows)
part
(232MB/2.0M rows)
partsupp
(1149MB/8.0M rows)
region
(0MB/5 rows)
supplier
(14MB/0.1M rows)
Total
(10GB/86.6M rows)
Actual DB Size
(10GB/86.6M rows)
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
某カラムナー
DB(1)
某カラムナー
DB(2)
- 13. ロードを含めた性能比較
TPC-H(qgen) 10GBに対するQuery時のパフォーマンス(秒) - キャッシュなし PostgreSQL
8.4
MySQL
5.1
商用RDBMS
X
Vectorwise
3.0
Query1
Query3
MySQLはインデッ
クスなしでは返って
こないので、
Primary Keyの
み付与
Query4
Query6
Query7
Query8
Query9
Query10
Query11
Query12
Query13
Query14
Query16
Query18
Query19
Query20
Query21
Query22
Total
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
某カラムナー
DB(1)
某カラムナー
DB(2)
- 15. DEMO
DBMS X
ParAccel SMP
Redhat Enterprise
Linux 5.7 64bit
Redhat Enterprise
Linux 5.7 64bit
Intel Xeon X5672
3.20GHz * 2
Intel Xeon E5645
2.40GHz * 4
48GB
48GB
SATA SSD * 6
(RAID10)
SATA 1K rpm HDD *
18 (RAID50)
Vectorwise 2.５.1
DBMS X
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
- 18. Ingresとの内部構造比較
&
SQL Parser
SQL Parser
Ingres Rewriter
Ingres Rewriter
Modify
Ingres Optimizer
Ingres Optimizer
Heavy
Modify
X Compiler
Ingres Storage &
Executor
Classic
Ingres
Storage
&
Executor
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Vectorwise
Rewriter
Vectorwise
Executor
Compressed
PAX/DSM
Add
- 20. 速くなる、はずが…
チャート名
現行
導入後
(修正前)
186 秒
74 秒
メーカー
77 秒
66 秒
メーカー_規格詳細
11 秒
128 秒
メーカー_品目詳細
16 秒
156 秒
129 秒
66 秒
品目_詳細
28 秒
204 秒
製品カテゴリ
51 秒
7秒
製品カテゴリ（抜粋）
11 秒
4秒
製品カテゴリ（抜粋）_詳細
47 秒
8秒
165 秒
22 秒
製品カテゴリ（抜粋）_全店舗一覧（スクロールなし）
88 秒
12 秒
製品カテゴリ_詳細
62 秒
9秒
製品カテゴリ_全店舗一覧
248 秒
23 秒
製品カテゴリ_全店舗一覧（スクロールなし）
127 秒
16 秒
60 秒
15分以上
トップ
品目
製品カテゴリ（抜粋）_全店舗一覧
顧客
＊チャート名は、顧客との守秘義務の為、一部変更しております
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
- 22. 乗り越えれば、世界最速が待っている
チャート名
現行
導入後
(修正前)
導入後
(修正後)
短縮率
186 秒
74 秒
14 秒
92.46 %
メーカー
77 秒
66 秒
19 秒
75.32 %
メーカー_規格詳細
11 秒
128 秒
2秒
82.35 %
メーカー_品目詳細
16 秒
156 秒
3秒
81.25 %
129 秒
66 秒
35 秒
72.87 %
品目_詳細
28 秒
204 秒
5秒
82.14 %
製品カテゴリ
51 秒
7秒
7秒
86.27 %
製品カテゴリ（抜粋）
11 秒
4秒
4秒
62.50 %
製品カテゴリ（抜粋）_詳細
47 秒
8秒
8秒
83.10 %
165 秒
22 秒
22 秒
86.64 %
製品カテゴリ（抜粋）_全店舗一覧（スクロールなし）
88 秒
12 秒
12 秒
86.31 %
製品カテゴリ_詳細
62 秒
9秒
9秒
85.41 %
製品カテゴリ_全店舗一覧
248 秒
23 秒
23 秒
90.71 %
製品カテゴリ_全店舗一覧（スクロールなし）
127 秒
16 秒
16 秒
87.40 %
60 秒
15分以上
12 秒
80.00 %
トップ
品目
製品カテゴリ（抜粋）_全店舗一覧
顧客
＊チャート名は、顧客との守秘義務の為、一部変更しております
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
