YCSB benchbark for PostgreSQL JSONB, and compare MongoDB

1. PostgreSQL Unconference
(2015-05-30)
YCSB Benchmark
JSONB vs MongoDB
ぬこ＠横浜 (@nuko_yokohama)

2. 自己紹介
ぬこ＠横浜です
詳細はググれ ( ください )

3. またおまえか
・・・と言わず聞いてください

4. ネタは JSONB
また JSONB か
・・・と言わず聞いてください

5. 目次
YCSB とは
YCSB JSONB 対応版
MongoDB 比較

6. YCSB とは
Yahoo! Cloud Service
Benchmark の略
いろんな NoSQL 系に
対応したベンチマーク
https://github.com/brianfrankcooper/YCSB

7. YCSB とは
対応している DB
PNUTS 、 BigTable 、 HBase 、
Hypertable 、 Azure 、 Cassandra 、
CouchDB 、 Voldemort 、 MongoDB 、
OrientDB 、 Infinispan 、 Dynomite 、
Redis 、 GemFire 、 GigaSpaces
XAP 、 DynamoDB 、 JDBC

8. YCSB とは
Java で実装されている。
（ビルドは Maven を使用）
前ページ以外の DB に対応する
ドライバを自分で作成も可能

9. YCSB とは
6 種類のコア・ワークロード
今回は、以下の 3 つを使う
load ( 挿入のみ )
workload-a ( 更新 / 参照 )
workload-c ( 参照のみ )

10. YCSB JSONB 対応版
PostgreSQL JSONB 対応の
ドライバはないので自作する
ベースは JDBC 版

11. YCSB JSONB 対応版
改造方針
JDBC 版の SQL を JSONB を
使うモデルに合わせて修正

12. YCSB JSONB 対応版
JDBC 版テーブル定義
CREATE TABLE usertable (ycsb_key text, field1 text, field2 text,
field3 text, field4 text, field5 text, field6 text, field7 text,
field8 text, field9 text, field10 text);
CREATE INDEX ycsb_key_idx ON usertable (ycsb_key);
JSONB 版テーブル定義
CREATE TABLE usertable(data jsonb);
CREATE INDEX ycsb_pk_idx ON usertable USING btree ((data-
>'YCSB_KEY'));

13. YCSB JSONB 対応版
JDBC 版挿入 SQL
INSERT INTO usertable
VALUES(?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
JSONB 版挿入 SQL
INSERT INTO usertable VALUES(json_build_object('YCSB_KEY', ?,
'FIELD1', ?, 'FIELD2', ?, 'FIELD3', ?, 'FIELD4', ?, 'FIELD5', ?,
'FIELD6', ?, 'FIELD7', ?, 'FIELD8', ?, 'FIELD9', ?,
'FIILD10', ?)::jsonb)
9.5-devel だと
jsonb_build_object() が
あるので、 JSONB への
キャストは不要

14. YCSB JSONB 対応版
JDBC 版更新 SQL
UPDATE usertable SET FIELD1 = ?
WHERE YCSB_KEY = ?
JSONB 版更新 SQL
UPDATE usertable SET data = json_build_object('YCSB_KEY', data-
>>'YCSB_KEY', 'FIELD1', ?, 'FIELD2', data->>'FIELD2', 'FIELD3',
data->>'FIELD03', 'FIELD4', data->>'FIELD4', 'FIELD5', data-
>>'FIELD5', 'FIELD6', data->>'FIELD6', 'FIELD7', data->>'FIELD7',
'FIELD8', data->>'FIELD8', 'FIELD9', data->>'FIELD9', 'FIELD10',
data->>'FIELD10')::jsonb
WHERE data->>'YCSB_KEY' = ?
9.5-devel だと
jsonb_build_object() が
あるので、 JSONB への
キャストは不要
見ただけで
うんざりしますよね。

15. YCSB JSONB 対応版
JDBC 版更新 SQL
UPDATE usertable SET FIELD1 = ?
WHERE YCSB_KEY = ?
PostgreSQL 9.5 JSONB 版更新 SQL
UPDATE usertable SET data = data || json_build_object('FIELD1', ?)
WHERE data->>'YCSB_KEY' = ?
まだ試してないけど
めっさスッキリ書けるはず
参考

16. YCSB JSONB 対応版
JDBC 版参照 SQL
SELECT * FROM usertable
WHERE YCSB_KEY = ?
JSONB 版参照 SQL
SELECT * FROM usertable
WHERE data->>'YCSB_KEY' = ?

17. MongoDB 比較
測定内容
ロード (load)⇒10 万件
更新と参照 (workload-a ）
参照のみ（ workload-c ）
⇒ それぞれ 10 万回実行

18. MongoDB 比較
測定対象
PostgreSQL 9.4.1
MongoDB 3.0.0

19. まず、手元にある
マシンでやってみた

20. MongoDB 比較
測定環境 1
Let's note SX4/Windows8.1
VMWare 6/CentOS 7
VM メモリ 4GB

21. MongoDB 比較
測定環境 1
PostgreSQL 9.4.1
MongoDB 3.0.0

22. MongoDB 比較
測定環境 1
PostgreSQL の環境設定は
checkpoint_segments=30
に変更したくらい。
MongoDB は特に設定なし。

23. MongoDB 比較
ロード処理

24. MongoDB 比較
更新と参照

25. MongoDB 比較
参照のみ

26. MongoDB 比較
まとめ
今回は、一言でいうと測定環境が
PostgreSQL ＋ JSONB に
かなり不利かも（ CPU 数が少ないので
並列性の優位がでない）
でも、更新はやっぱり遅いね・・・
参照はほぼ互角かな。

27. MongoDB 比較
課題
・ CPU リソース等きちんと確認せねば。
⇒JSONB が CPU 結構使う疑惑
・コア数が多いマシンで試したい。
⇒PostgreSQL が有利になるはず？
⇒AWS EC2 使うか・・・
・シャード環境での確認
⇒MongoDB シャードとの比較
⇒PostgreSQL は？ pgpool? pg_shard?

28. AWS EC2 で
そこそこいいマシンを
使ってやってみた

29. MongoDB 比較
測定環境 2
m3.2xlarge on-demand
CPU 数 8 、メモリ 30GB
( 面倒だったので CL-SV 同居 )
測定のために
ラーメン一杯分くらいの
コストがかかったよ！

30. MongoDB 比較
測定環境 2
PostgreSQL 9.4.1 (yum)
MongoDB 3.0.2 (yum)

31. MongoDB 比較
測定環境 2
PostgreSQL の環境設定は
checkpoint_segments=30
に変更したくらい。
MongoDB は特に設定なし。

32. MongoDB 比較
ロード処理
0 5 10 15 20 25
0
2000
4000
6000
8000
10000
12000
14000
16000
YCSB load Throughput
PostgreSQL 9.4
MongoDB 3.0
number of concurrency
Throughput(ops/sec)

33. MongoDB 比較
更新と参照
0 5 10 15 20 25
0
5000
10000
15000
20000
25000
YCSB load Workload-a Throughput
PostgreSQL 9.4
MongoDB 3.0
number of concurrency
Throughput(ops/sec)
10000(opt/sec)
程度になるはず
なのに・・・

34. MongoDB 比較
参照のみ
0 5 10 15 20 25
0
10000
20000
30000
40000
50000
60000
YCSB workload-c Throughput
PostgreSQL 9.4
MongoDB 3.0
number of concurrency
Throughput(ops/sec)

35. MongoDB 比較
まとめ
PostgreSQL は CPU 数がないと
スループットだせないね。
逆に言えば MongoDB は CPU 数が多い
マシンで動かしても嬉しくない。
⇒ その代わりシャードで書き込み分散？

36. MongoDB 比較
YCSB 修正の課題
・ YCSB 対応版の修正方法がやっつけすぎ。
まだ公開できるレベルじゃない。
・今回は直接 JDBC 版直したので、
きちんと JSONB 版として作成しなおしたい。
・ INSERT の SQL と UPDATE の SQL は
本当にこれでいいのだろうか・・・
⇒9.5 で改善できるかも

37. 今後も AWS のような
環境を使って
ちょこちょこ測定は
してみようと思います。