SDS QuantaStorを用いて、Cephベンチマークを実施。 仮想マシンKVM イメージ格納領域としての性能を測定。

1. - 0 -
2015年11月
Cephベンチマーク結果
～ 仮想マシン イメージ格納領域としての性能～
アファーム・ビジネスパートナーズ株式会社
データソリューション・サービス事業部
川端 利海

2. - 1 -
はじめに
Copyright 2015 AFfirm Business Partners All Rights Reserved.
本書は、SDS(Software Defined Storage)製品の QuantaStor を用いて
Ceph Block Device(RBD)機能を実現させ、仮想マシン イメージ格納領域
としてのパフォーマンスを検証したものです。
仮想マシンとして、OSSのKVMを用いています。
本資料のお問い合わせ先
アファーム・ビジネスパートナーズ株式会社
データソリューション・サービス事業部 川端
TEL : 03-3583-7730(代表)
URL : http://affirmbp.com/
E-mail : toshimi_kawabata@affirmbp.com

3. - 2 -
1. 検証環境 ① ハードウェア/ソフトウェアの構成
Copyright 2015 AFfirm Business Partners All Rights Reserved.
検証で利用した環境は、以下の通りです。
検証環境 結果
Super Micro Computer製サーバ
Intel Xeon CPU E5-2670 v3 @ 2.30GHz * 2
16GB memory
HDD SEAGATE ST300MM0026 278.875GB SAS
SSD Intel DC S3500 300GB*2
ストレージ サーバ(Ceph)
ハードウェア
１０Gbps, MTU 9,000ネットワーク
Ceph Cluster : QuantaStor v3.16.1 (Ceph 0.94 “Hammer”)
Benchmark Client : CentOS 7 3.10.0-229.14.1
KVM : 6.2
ソフトウェア
ディスクI/O ベンチマーク測定ツール「fio」を使用
テスト シナリオ
・ブロックサイズ 4KB、ファイルサイズ 2GB
・ランダム リード/ライト、シーケンシャル リード/ライト
・その他のfioパラメータ
-ioengine=libaio -direct=1 -numjobs=64 -runtime=20
ベンチマーク ツール
☆ Special Thanks ☆
ハードウェアご提供及び検証作業サポート：株式会社トゥモロー・ネット様
Super Micro Computer製サーバ
Intel Xeon CPU E5-2670 v3 @ 2.30GHz * 2
32GB memory
HDD SEAGATE ST300MM0026 278.875GB SAS
コンピュートノード サーバ
ハードウェア

4. - 3 - Copyright 2015 AFfirm Business Partners All Rights Reserved.
Ceph Technology Layers
Storage Volume#1 Storage Volume#2
KVM Supervisor
Guest OS#1
10Gbps
MTU 9,000
Storage Pool (Ceph)
1. 検証環境 ② システム構成
OSD#1 OSD#2 OSD#3
QuantaStor Server#1
Storage Pool (XFS)
QuantaStor
OS
HDD
Disk
SSD
Disk
Ceph
Journal
SSD
DiskTest Data
QuantaStor Server#2
Storage Pool (XFS)
QuantaStor
OS
HDD
Disk
SSD
Disk
Ceph
Journal
SSD
DiskTest Data
QuantaStor Server#3
Storage Pool (XFS)
QuantaStor
OS
HDD
Disk
SSD
Disk
Ceph
Journal
SSD
DiskTest Data
Guest OS#2 Guest OS#3 Guest OS#4 Guest OS#5 Guest OS#6 Guest OS#7 Guest OS#8 Guest OS#9 Guest OS#10
Compute Node
# fio -ioengine=libaio -direct=1 -filename=fio_testfile -rw=read -bs=4k -size=2G -numjobs=64 -runtime=20 -group_reporting -name=file1
# fio -ioengine=libaio -direct=1 -filename=fio_testfile -rw=write -bs=4k -size=2G-numjobs=64 -runtime=20 -group_reporting -name=file1
# fio -ioengine=libaio -direct=1 -filename=fio_testfile -rw=randread -bs=4k -size=2G -numjobs=64 -runtime=20 -group_reporting -name=file1
# fio -ioengine=libaio -direct=1 -filename=fio_testfile -rw=randwrite -bs=4k -size=2G -numjobs=64 -runtime=20 -group_reporting -name=file1
Guest OS内でfioを実行しながら、同時に起動させるGuest OSの数を追加し、パフォーマンスの変化を確認します。
同時に起動させるGuest OS内では、
ファイルのランダム リード/ライト処理を実行させる
検証環境 結果

5. - 4 -
2. 結果 - ① ｆｉｏ(ファイルシステム キャッシュ クリア)で計測したＩＯＰＳ値
Copyright 2015 AFfirm Business Partners All Rights Reserved.
0
14,000
IOPS
1
Random
Read
13,000
12,000
11,000
10,000
9,000
8,000
7,000
6,000
5,000
4,000
3,000
2,000
1,000
15,000
Sequential
Write
Random
Write
Sequential
Read
2 3 4 5 6 7 8 9 10同時実行
VM数
■4k, sequential read
# fio -ioengine=libaio -direct=1 -filename=fio_test2g -rw=read -bs=4k -size=2G -numjobs=64 -runtime=20 -group_reporting -name=file1
■4k, sequential write
# fio -ioengine=libaio -direct=1 -filename=fio_test2g -rw=write -bs=4k -size=2G -numjobs=64 -runtime=20 -group_reporting -name=file1
■4k, random read
# fio -ioengine=libaio -direct=1 -filename=fio_test2g -rw=randread -bs=4k -size=2G -numjobs=64 -runtime=20 -group_reporting -name=file1
■4k, random write
# fio -ioengine=libaio -direct=1 -filename=fio_test2g -rw=randwrite -bs=4k -size=2G -numjobs=64 -runtime=20 -group_reporting -name=file1
※fioコマンドの前に毎回”echo 3 >/proc/sys/vm/drop_caches”を実行してキャッシュをクリアする
fioパラメータ
検証環境 結果

6. - 5 -
2. 結果 - ② ｆｉｏ(ファイルシステム キャッシュ クリア無)で計測したＩＯＰＳ値
Copyright 2015 AFfirm Business Partners All Rights Reserved.
0IOPS
1
9,000
8,000
7,000
6,000
5,000
4,000
3,000
2,000
1,000
2 3 4 5 6 7 8 9 10同時実行
VM数
Random
Read
Random
Write ■4k, random read
# fio -offset_increment=1M -ioengine=libaio -direct=1 -filename=fio_test2g -rw=randread -bs=4K -size=1G -numjobs=64 -runtime=30 -group_reporting -name=file1 -startdelay=0
■4k, random write
# fio -offset_increment=1M -ioengine=libaio -direct=1 -filename=fio_test2g -rw=randwrite -bs=4K -size=1G -numjobs=64 -runtime=30 -group_reporting -name=file1 -startdelay=0
0IOPS
1
800
700
600
500
400
300
200
100
2 3 4 5 6 7 8 9 10同時実行
VM数
Sequential
Read
Sequential
Write
■1M, sequential read
# fio -offset_increment=1M -ioengine=libaio -direct=1 -filename=fio_test2g -rw=read -bs=1M -size=1G -numjobs=64 -runtime=30 -group_reporting -name=file1 -startdelay=0
■1M, sequential write
# fio -offset_increment=1M -ioengine=libaio -direct=1 -filename=fio_test2g -rw=write -bs=1M -size=1G -numjobs=64 -runtime=30 -group_reporting -name=file1 -startdelay=0
fioパラメータ
fioパラメータ
検証環境 結果
Sequential
Access
Random
Access