SDS製品QuantaStorを用いて、Ceph (0.94 “Hammer”)のベンチマークを行った。

1. - 0 -
2015年11月
Ceph ベンチマーク結果
アファーム・ビジネスパートナーズ株式会社
データソリューション・サービス事業部
川端 利海
～ SDS製品 QuantaStorでの検証 ～

2. - 1 -
1. QuantaStor とは － ① SDSとしての機能
QuantaStor は、x86系サーバにインストールすることで、仮想的なストレージを実現します。
ストレージ専用機に匹敵する機能を、ソフトウェアベースで提供するSDS(Software Defined Storage)の
代表的な製品です。併せて、 Cloud Storage Gateway の機能も有しています。
Copyright 2015 AFfirm Business Partners All Rights Reserved.
Server
Disk
仮想ストレージ
Server
Disk
Server
Disk
Server
Disk
ストレージ
高価な専用ストレージを利用
(ベンダー主体の販売戦略)
安価なx86系サーバを用いて仮想ストレージを利用
(ユーザー主体の購入)
QuantaStor とは ベンチマーク目的
検証環境 結果
QuantaStor

3. - 2 - Copyright 2015 AFfirm Business Partners All Rights Reserved.
オンプレミス クラウド
ハードウェア
ソフトウェア
StorSimple
TwinStrata
AltaVault
SAN/NAS
SDS
Cloud Storage Gateway
Storage Gateway Cloud Storage System
Scale Out
Scale Out
Scale Up
QuantaStor は、以下の様なポジションを持つユニークで非常に優れたプロダクトです。
QuantaStor
QuantaStor とは ベンチマーク目的
検証環境 結果
1. QuantaStor とは － ② ストレージ製品群でのポジション

4. - 3 -
1. QuantaStor とは － ③ 他社Ceph製品との優位性
Copyright 2015 AFfirm Business Partners All Rights Reserved.
QuantaStor は独自のGUIを用いて、Cephの設定や運用管理を簡単に行う事ができます。
一般的なCeph製品
QuantaStor とは ベンチマーク目的
検証環境 結果
% ssh user@ceph-server
% sudo useradd -d /home/ceph -m ceph
% sudo passwd ceph
% echo "ceph ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/ceph
% sudo chmod 0440 /etc/sudoers.d/ceph
% ssh-keygen
Generating public/privatekey pair.
Enter file in which to save the key (/ceph-client/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /ceph-client/.ssh/id_rsa.
Your public key has been saved in /ceph-client/.ssh/id_rsa.pub.
% ssh-copy-id ceph@ceph01
% ssh-copy-id ceph@ceph02
% ssh-copy-id ceph@ceph03
% git clone https://github.com/ceph/ceph-deploy.git ~/ceph-deploy
% sudo apt-get update ; sudo apt-get -y install python-virtualenv
% cd ~/ceph-deploy
% ./bootstrap
% ceph-deploy new ceph01 ceph02ceph03
% ceph-deploy install ceph01ceph02ceph03
% ceph-deploy mon create ceph01ceph02ceph03
% ceph-deploy gatherkeys ceph01ceph02ceph03
% ceph-deploy osd create create ceph01:/dev/sdb ceph02:/dev/sdb
ceph03:/dev/sdb
% ceph-deploy mds create ceph01 ceph02 ceph03
・・・・・・・・・・・・
% rbd create foo --size 4096
% sudo modprobe rbd
% sudo rbd map foo --pool rbd --name client.admin
コマンドラインを用いた煩雑な設定！
スクリプトで以前よりは簡素化されたが、専門の知識が必要
OSSで管理用のGUIが存在するが、別途Webサーバを構築する必要があり、
設定するには手間がかかる！
QuantaStor
必要な設定や運用管理を、統一されたGUIで一元的に簡単に対応可能！
Network設定 Cluster設定 User設定Storage設定
Ceph OSD設定 Ceph Pool設定 Ceph 運用監視Ceph Device設定

5. - 4 -
1. QuantaStor とは － ④ サポート体制
Copyright 2015 AFfirm Business Partners All Rights Reserved.
QuantaStor は米国 OSNEXUS社が開発を行い、日本では当社(アファーム・ビジネスパートナーズ
株式会社)が総販売代理店として、皆様にご提供いたします。
 OSNEXUS Corporation
 設立 ：2010年1月
 CEO ：Steven Umbehocker
VERITAS社、Citrix Systems社を経て、
OSNEXUS社を設立
 所在地：アメリカ ワシントン州 Bellevue
http://www.osnexus.com/
日本国内総販売代理店製品開発
 アファーム・ビジネスパートナーズ株式会社
 設立 ：2008年5月
 代表取締役社長：藤生 徹
サン・マイクロシステムズ社、ベリタス・ソフト
ウエア社、EMCジャパン社などを経て
アファーム・ビジネスパートナーズ社を設立
 所在地：東京都港区赤坂
http://affirmbp.com/
QuantaStor とは ベンチマーク目的
検証環境 結果

6. - 5 - Copyright 2015 AFfirm Business Partners All Rights Reserved.
QuantaStor の基本的なご利用パターンは、以下の様になります。
Cloud Backup
Replication
QuantaStor
データセンター
クラウドサービス
Object
Storage
QuantaStor
オンプレミス
自社システム
拠点A
オンプレミス
自社システム
拠点Ｂ
( 2 ) Cloud Storage Gateway
対障害性を考慮したバックアップ
これらの利用パターンをもとに、様々なソリューションとして応用できます。
1. QuantaStor とは － ⑤ ご利用のパターン
Server
Disk
仮想ストレージ
Server
Disk
Server
Disk
Server
Disk
( 1 ) SDS
大容量のスケールアウト ストレージ
QuantaStor
QuantaStor とは ベンチマーク目的
検証環境 結果

7. - 6 -
1. QuantaStor とは － ⑥ 導入事例 IBM/SoftLayer様
Copyright 2015 AFfirm Business Partners All Rights Reserved.
IBM/SoftLayer 上でのLAN経由 専用ディスク サービスは、QuantaStor を用いて提供されています。
QuantaStor とは ベンチマーク目的
検証環境 結果
種別 構成 用途
ローカル ディスク
サーバ内臓 SATA / SAS / SSD
SAN接続 SAN
LAN経由ディスク
共有
ファイル
ストレージ
CIFS / NFS / FTP
ブロック
ストレージ
iSCSI
オブジェク
ストレージ
Potal / REST API
専有 QuantaStor iSCSI / NFS / CIFS
仮想ストレージ
iSCSI CIFS/NFS
物理ディスク
ベアメタルサーバ(ユーザ専有)
QuantaStor
他のサーバ
IBM / SoftLayer ホームページ
SoftLayer Summit 2015での講演
「SoftLayerの最大の特徴は、
IBM製品との親和性とIBMの品格」
↓
その品格あるストレージ専有サービス
として、IBMが選んだSDS製品が
QuantaStor
IBM / SoftLayer のストレージ サービス メニュー

8. - 7 -
2. ベンチマークの目的
Copyright 2015 AFfirm Business Partners All Rights Reserved.
QuantaStor を用いて提供される Ceph の基本機能を、パフォーマンスの観点から検証する。
QuantaStor とは ベンチマーク目的
検証環境 結果
共有ファイルサーバ、 VMイメージストア、 OpenStack用ストレージ想定ユースケース
iSCSI(QuantaStorが提供する機能)、 RBDドライバ(Ceph Native) ※Object Storageは今回の対象外Cephへの接続
同一環境でのローカルHDD、 NFS比較対象
アクセス中にノード1台をダウンさせ、サービス提供に影響が無い事を確認耐障害性試験

9. - 8 -
3. 検証環境 ① ハードウェア/ソフトウェアの構成
Copyright 2015 AFfirm Business Partners All Rights Reserved.
検証で利用した環境は、以下の通りです。
QuantaStor とは ベンチマーク目的
検証環境 結果
Super Micro Computer製サーバ
Intel Xeon CPU E5-2670 v3 @ 2.30GHz * 2
16GB memory
RAID LSI SMC3108
HDD SEAGATE ST300MM0026 278.875GB SAS *12
SSD Intel DC S3500 300GB *1
サーバ ハードウェア １０Gbps, MTU 9,000ネットワーク
Ceph Cluster : QuantaStor v3.16 (Ceph 0.94 “Hammer”)
Ceph Client : CentOS 7 3.10.0-229.14.1
ソフトウェア
アクセス中にノード1台をダウンさせ、サービス提供に影響が無い事を確認耐障害性試験
ディスクI/O ベンチマーク測定ツール「fio」を使用
テスト シナリオ
・ブロックサイズ 4KB、ファイルサイズ 1GB
・ランダム リード/ライト、シーケンシャル リード/ライト
・純粋なストレージ性能計測の為に、各種キャッシュからではなくデータが
ディスクから呼び出されるようにする(“offset_increment=XX”を設定)
・各タイプは3回実行して平均値を参照
ベンチマーク ツール
☆ Special Thanks ☆
ハードウェアご提供及び検証作業サポート：株式会社トゥモロー・ネット様

10. - 9 -
3. 検証環境 ② システム構成
Copyright 2015 AFfirm Business Partners All Rights Reserved.
検証で利用したシステム構成は、以下の通りです。
QuantaStor OS
Storage Pool (XFS)
Storage Pool (Ceph)
Storage Volume#1 Storage Volume#2
OSD#1
SSD
Disk
HDD
Disk
HDD
Disk
HDD
Disk
HDD
Disk
HDD
Disk
HDD
Disk
Ceph
Journal
RAID5
Hardware RAID5 Unit
HDD
Disk
Storage Pool (XFS)
OSD#2
HDD
Disk
HDD
Disk
HDD
Disk
HDD
Disk
HDD
Disk
RAID5
Hardware RAID5 Unit
OSD#3 OSD#5 OSD#6OSD#4
RAID1
QuantaStor Server#2 QuantaStor Server#3
QuantaStor Server#1
HDD
Disk
HDD
Disk
HDD
Disk
HDD
Disk
HDD
Disk
fio
ベンチマークファイル
【 ローカルHDD 環境 】
HDD
Disk
HDD
Disk
HDD
Disk
HDD
Disk
HDD
Disk
ベンチマークファイル
fio
NFS mount
10Gbps
NFS V4
【 NFS 環境 】
fio fio
iSCSI Ceph Native Client
ベンチマークファイル
【 Ceph 環境 】
Linux Client
Linux Client Linux Client
10Gbps
10Gbps 10Gbps
10Gbps 10Gbps
QuantaStor とは ベンチマーク目的
検証環境 結果
RAID5
RAID5

11. - 10 -
4. 結果 ① ランダム アクセス リード/ライト ミックス
Copyright 2015 AFfirm Business Partners All Rights Reserved.
各システム構成で計測したIOPS値は、以下の通りです。
0
500
1,000
1,500
2,000
2,500
3,000
IOPS
ランダム アクセス リード/ライト ミックス リード 70%
893 368 371 146 2,883 1,159 2,609 1,058
Local HDD NFS QuantaStor
iSCSI
QuantaStor
RBD
read write read write read write read write
QuantaStor とは ベンチマーク目的
検証環境 結果

12. - 11 -
4. 結果 ② ランダム アクセス リード
Copyright 2015 AFfirm Business Partners All Rights Reserved.
各システム構成で計測したIOPS値は、以下の通りです。
0
10,000
20,000
30,000
40,000
50,000
70,000
IOPS
ランダム アクセス リード
2,653
Local HDD NFS QuantaStor
iSCSI
QuantaStor
RBD
60,000
64,325 3,825 42,703
QuantaStor とは ベンチマーク目的
検証環境 結果

13. - 12 -
4. 結果 ③ ランダム アクセス ライト
Copyright 2015 AFfirm Business Partners All Rights Reserved.
各システム構成で計測したIOPS値は、以下の通りです。
0
200
400
600
800
1,000
1,400
IOPS
ランダム アクセス ライト
549
Local HDD NFS QuantaStor
iSCSI
QuantaStor
RBD
1,200
146 1,259 1,142
QuantaStor とは ベンチマーク目的
検証環境 結果

14. - 13 -
4. 結果 ④ シーケンシャル アクセス リード/ライト
Copyright 2015 AFfirm Business Partners All Rights Reserved.
各システム構成で計測したIOPS値は、以下の通りです。
0
50,000
100,000
150,000
200,000
250,000
300,000
IOPS
シーケンシャル アクセス リード/ライト
99,667 17,000 282,417 15,667 226,000 70,167 252,000 62,417
Local HDD NFS QuantaStor
iSCSI
QuantaStor
RBD
read write read write read write read write
QuantaStor とは ベンチマーク目的
検証環境 結果

15. - 14 -
4. 結果 ⑤ パフォーマンス総括
Copyright 2015 AFfirm Business Partners All Rights Reserved.
ランダム アクセス リード/ライト ミックス ランダム アクセス リード
ランダム アクセス ライト シーケンシャル アクセス リード/ライト
Local HDD
NFS
QuantaStor
iSCSI
QuantaStor
RBD
全般的に QuantaStor/Ceph の方がパフォーマンスに優れている。
QuantaStor/Ceph へのアクセスは、iSCSI/RBD ではほぼ同程度のパフォーマンスとなっている。
QuantaStor とは ベンチマーク目的
検証環境 結果

16. - 15 -
4. 結果 ⑥ 耐障害性の確認
Copyright 2015 AFfirm Business Partners All Rights Reserved.
アクセス中にノード1台をダウンさせても、サービス提供に影響が無い事を確認できた。
Server
Disk
仮想ストレージ
Server
Disk
Server
Disk
QuantaStor
Linux Client
ノード ダウンに伴うOSDクラスタマップ更新やレプリケーション処理でサービスのパフォーマンス劣化が発生するが、
サービス提供に影響はない。fioの計測では、復旧処理中は50%程度パフォーマンスが低下した。
QuantaStor とは ベンチマーク目的
検証環境 結果

17. - 16 -
今後の対応
Copyright 2015 AFfirm Business Partners All Rights Reserved.
今回のベンチマーク実施は、時間やリソースに制約があり以下の検証ができなかった。
近日中に改めてベンチマークを行う予定である。
他社Cephとの比較 サーバ スペックとの関係
ブロック サイズとの関係 ファイル サイズとの関係 ノード数/OSD数との関係
VMイメージ ストア利用時の
VM数増加に伴う影響
Coming Soon !