Ceph Day Tokyo - High Performance Layered Architecture

Ceph階層化の高性能
アーキテクチャー
講演者 : Vikter Pan

目次
Cephのご紹介
Ceph階層化（Tiering）アーキテクチャー
Cephの性能測定ツール
性能測定の結果
結論

Cephとは?
分散ストレージソフトウェア
-障害耐性、単一障害点(SPoF)なし
汎用のX86サーバーを利用
-低コスト、柔軟性に優れる
大規模に拡張（スケール）する
-ノード台数の増設でPBレベルの容量拡張が可能
統一されたストレージシステム
-オブジェクト/ブロック/ファイルのストレージを提供
オープンソース – ベンダー・ロックインなし
データを自動再バランス
データセキュリティ
-二つ以上のデータコピー（レプリカ）を異なる物理ストアに格納

Cephのアーキテクチャー

PG と Pools
単一OSD内のPG数： 30 ~ 300 (soft limit)、お勧めは256
PoolごとのPG数 =
OSD数 * 単一OSD内のPG数 / レプリカ数
この例では： 4 * 256 / 2 = 512
Object Size = 4KB ~ 32MB, default = 4MB
Object Sizeが増えるとスループットも増える場合がある
PG数をOSDに分散配置するとパフォーマンスが高くなる

CRUSH Maps
CRUSH Map Parameter
1. Setting : 基本の設定（Settingを変更する必要
はめったにない）
2. Device: 物理Device List(全てのOSD Deviceを
リストし、IDとNameのマッピングを定義す
る）
3. Type: Bucket Typeを定義(Root～OSD)
4. Bucket: OSD Group 及び階層化構造を定義
5. Rule : CRUSH rule (object chunkを定義)

CRUSH Maps
Rules
ruleset : rule_id
type : object chunkの種類（レプリカ、 erasure）
min_size : レプリカ数がこの設定を下回る場合、PoolはこのRuleを選びません
max_size :レプリカ数がこの設定を上回る場合、PoolはこのRuleを選びません
step take :このRuleにマッピングするosd_treeのを設定
step chooseleaf : object chunkのレプリカのマッピング方法を設定。例えば、
“step chooseleaf firstn 0 type host” はHostでレプリカ数を設定（各Hostに配置され
たレプリカ数は1）

CRUSH Maps
OSD Tree（階層化後）

CRUSH Maps
CRUSH ruleset と Pool List

Ceph 階層化アーキテクチャー

Ceph 階層化アーキテクチャー
Storage
Node
SATA
SSD
SAS
Storage
Node
SATA
SSD
SAS
Storage
Node
SATA
SSD
SAS
Ceph-Mon
Node
ceph-mon
RGW
SSD Pool
SAS Pool
SATA Pool
1層
2層
3層
CephプールのOSDは異なるノード
から組み合わせることができる

Storage
node
ceph-osd
(SATA)
ceph-osd
(SSD)
ceph-osd
(SAS)
Storage
node
ceph-osd
(SATA)
ceph-osd
(SSD)
ceph-osd
(SAS)
Storage
node
ceph-osd
(SATA)
ceph-osd
(SSD)
ceph-osd
(SAS)
Ceph Monitor
ceph-mon
Ceph Deploy
Ceph Monitor
ceph-mon
Ceph Deploy
Ceph Monitor
ceph-mon
Ceph Deploy
SSD-journalSSD-journalSSD-journal Journal disk NVME
(Intel SSD 750)*1
SSD Tier disk*1
SAS Tier disk*1
SATA Tier disk*1
Client
ceph-client
FIO
NVME Tier
SSD Tier
SAS Tier
SATA Tier
ハードウェアアーキテクチャー

パフォーマンス測定ツール

FIO
IOmeter
IOZone
dd
Radows-bench
Rest-bench
Cosbench

ツール測定シナリオ Command line/GUI OS Support 人気レファレンス
FIO
(Flexible I/O Tester)
多数はBlock級ストレージ
ex.SAN、DAS
Command line Linux / Windows 高 fio github
IOmeter
多数はBlock級ストレージ
ex.SAN、DAS
GUI / Command line Linux / Windows 高
Iometer and
IOzone
iozone File級ストレージ ex.NAS GUI / Command line Linux / Windows 高
IOzone
Filesystem
Benchmark
dd File級ストレージ ex.NAS Command line Linux / Windows 高
dd over NFS
testing
rados bench Ceph RADOS Command line Linux only 普通
BENCHMARK A
CEPH STORAGE
CLUSTER
rest-bench CEPH RESTful Gateway Command line Linux only 普通
BENCHMARK A
CEPH OBJECT
GATEWAY
cosbench Cloud Object Storage Service GUI / Command line Linux / Windows 高
COSBench -
Cloud Object
Storage
Benchmark

IOPSとスループットの公式
IOPS
IOPS = (MBps スループット / KB per IO) * 1024
スループット
MBps = (IOPS * KB per IO) / 1024

パフォーマンステストの結果

結論
Ceph階層化は単一システム内に様々なユース
ケースシナリオに対応できる
読み込み場合はどの階層でも良いパフォーマン
スと評価された
書き込み場合はNvmeがSSD、SAS、SATAよ
り良いパフォーマンスと評価された

ご清聴ありがとうございました
ご連絡・ご質問：
営業担当者：Jimmy Kao
TEL (オフィス）：+886-2-7738-2858 #7105
TEL (携帯）：+886-912-892-081
E-メール：jimmy.k@inwinstack.com

Ceph Day Tokyo - High Performance Layered Architecture

More Related Content

What's hot

Viewers also liked

Similar to Ceph Day Tokyo - High Performance Layered Architecture

Ceph Day Tokyo - High Performance Layered Architecture

Editor's Notes