Ceph Loves OpenStack:
Why and How
レッドハット株式会社
グローバルサービス本部
ストレージソリューションアーキテクト
岩尾 はるか
F-‐‑‒6

本⽇日の内容
l Cephのあらまし
l Inktank Ceph Enterprise について
l Ceph のアーキテクチャ
l OpenStack と Ceph の連携
l まとめ
Copyright 2 © 2014 Red Hat K.K.

CEPHのあらまし
Copyright 3 © 2014 Red Hat K.K.

Cephとは
l オープンソースの分散ストレージ
l オブジェクトとブロック両対応
l ⼤大規模にスケールする(~∼10000台)
l エクサバイト(ペタの1000倍)が射程
Copyright 4 © 2014 Red Hat K.K.

Cephの10年年
OpenStack
統合
2011
Xen 統合
2013
Copyright 5 © 2014 Red Hat K.K.
RHEL-OSP
認定
FEB 2014
MAY 2012
Inktank設立
2010
Linux
Kernel に
マージ
オープン
ソース化
2006
2004
UCSCで
開発開
始
Production
Readyに
SEPT 2012
2012
CloudStack
統合
OCT 2013
Inktank Ceph
Enterprise 出荷
APR 2014
レッドハットが
Inktankを買収

Ceph の統合されたストレージ
S3
SwiF
マルチテナント
スナップショット
クローン
Copyright 6 © 2014 Red Hat K.K.
FILE
SYSTEM
BLOCK
STORAGE
OBJECT
STORAGE
Keystone
Geo-­‐Replicaon
Erasure
Coding
OpenStack
Linux
カーネル
Tiering
POSIX
Linux
Kernel
CIFS/NFS
HDFS
分散メタデータ

Cephを⽀支えるコミュニティ
COMMUNITY METRICS DASHBOARD
METRICS.CEPH.COM
Copyright 7 © 2014 Red Hat K.K.

INKTANK CEPH
ENTERPRISE について
Copyright 8 © 2014 Red Hat K.K.

Inktank Ceph Enteprise
l 商⽤用版”Ceph”
l 略略称 ICE (アイス)
l Ceph + Calamari + セットアップ
ツール + サポート、サービス
Copyright 9 © 2014 Red Hat K.K.

ICE – Whatʼ’s Inside?
DEPLOYMENT TOOLS
新しい「ウィザード」形式のイ
ンストールツール
依存関係も含めたローカルレポ
ジトリを提供
クラスタ構築ツール
CALAMARI
オンプレミス, Webアプリ
クラスタのモニタリング、監視
RESTful API
インスタンス数無制限
CEPH FOR OBJECT BLOCK
Copyright 10 © 2014 Red Hat K.K.
SUPPORT SERVICES
SLA付きテクニカルサポート
バグのエスカレーション
ホットフィックスの提供
ロードマップへの反映

Calamari
Copyright 11 © 2014 Red Hat K.K.

ICEのメリット
TCO
将来性
専門性
Copyright 12 © 2014 Red Hat K.K.
エンタープライズ
READY
ü 低いTCO
ü 効率的なオペ
レーション
ü スケーラブル
ü 長期間のサポート
ü 単一の、わかりやす
い価格体系
ü 幅広いユースケー
ス
ü Cephの専門家に
よるサービス
ü Cephの開発者に
よるサポート
ü 既存インフラの活用
ü SLA付きサポート

ICEのリリース計画
Q3
Q4
Q1
Q2
Q3
Q4
Q1
Q2
2013
2014
2015
Copyright 13 © 2014 Red Hat K.K.

ICEのロードマップ
Copyright 14 © 2014 Red Hat K.K.

CEPHのアーキテクチャ
Copyright 15 © 2014 Red Hat K.K.

Cephのコンポーネント
APP
HOST/VM
CLIENT
Copyright 16 © 2014 Red Hat K.K.

RADOS
APP
HOST/VM
CLIENT
Copyright 17 © 2014 Red Hat K.K.

RADOSとは
l 信頼性のある(Reliable)
l データ消失を避けるため複製を作成
l ⾃自律律的な(Autonomic)
l お互いに通信し、障害を検知
l レプリケーションが透過的に⾏行行われる
l 分散(Distributed)
l オブジェクトストア(Object Store)
Copyright 18 © 2014 Red Hat K.K.

RADOSとは (2)
l Cephの中核
l すべてのデータをRADOSに保存
l mon と osd の2つから成る
l CRUSHアルゴリズムが特徴
Copyright 19 © 2014 Red Hat K.K.

OSD
l Object storage daemon
l 1ディスクにつき1OSD
l xfs/btrfs をバックエンドに使⽤用
l Btrfs のサポートは実験的
l 整合性担保と性能向上のため、
Write-‐‑‒aheadなジャーナルを利利⽤用
l OSDの台数は3〜～数万
Copyright 20 © 2014 Red Hat K.K.

MON
l Monitoring daemon
l クラスタマップとクラスタの状態を
管理理
l 3, 5など奇数で少ない台数
Copyright 21 © 2014 Red Hat K.K.

OSD と MON
btrfs
xfs
ext4
Copyright 22 © 2014 Red Hat K.K.

RADOSクラスタ
RADOS
CLUSTER
Copyright 23 © 2014 Red Hat K.K.

オブジェクトの配置
l RADOS は “CRUSH” アルゴリズム
を⽤用いてオブジェクトを配置
l オブジェクトの場所は100%計算のみで
求められる
l メタデータサーバーが不不要
l SPoFなし
l ⾮非常に良良いスケーラビリティ
Copyright 24 © 2014 Red Hat K.K.

CRUSH アルゴリズム
POOLS
Copyright 25 © 2014 Red Hat K.K.
CLUSTER
(CONTAINING
PGs)
POOL
A
POOL
B
POOL
C
POOL
D

クラスタマップ
l 階層的なOSDのマップ
l 障害単位(ラックやスイッチ)をまたいで
複製
l トラフィックの集中を防⽌止
Copyright 26 © 2014 Red Hat K.K.

RGW
APP
HOST/VM
CLIENT
Copyright 27 © 2014 Red Hat K.K.

RADOS Gateway
Copyright 28 © 2014 Red Hat K.K.
REST
socket
RADOS
CLUSTER

RADOS Gateway(2)
l RESTベースのオブジェクトストアプ
ロキシ
l オブジェクトはRADOSに格納
l S3/Swiftと互換なAPIを持つ
l 課⾦金金のための利利⽤用量量統計を提供
Copyright 29 © 2014 Red Hat K.K.

RBD
APP
HOST/VM
CLIENT
Copyright 30 © 2014 Red Hat K.K.

RBD + 仮想化
RADOS
CLUSTER
Copyright 31 © 2014 Red Hat K.K.

RBD + カーネルモジュール
RADOS
CLUSTER
Copyright 32 © 2014 Red Hat K.K.

RBD (2)
l RADOSにディスクイメージを格納
l クラスタ全体にストライピング
l スナップショットのサポート
l Copy-‐‑‒on-‐‑‒writeクローンをサポート
l Linux Kernel, KVM, OpenStackから
利利⽤用可能
Copyright 33 © 2014 Red Hat K.K.

CEPHFS
APP
HOST/VM
CLIENT
Copyright 34 © 2014 Red Hat K.K.

CEPHFS (2)
l POSIX互換な共有ファイルシステム
l コミュニティ版において「実験的」
な実装が存在
l ICEには含まれない
Copyright 35 © 2014 Red Hat K.K.

CEPHとOPENSTACKの連携
Copyright 36 © 2014 Red Hat K.K.

CephとOpenStack
RADOS
CLUSTER
Copyright 37 © 2014 Red Hat K.K.

Swift/Keystone統合
認証を統合Swift互換API
RADOS
CLUSTER
Copyright 38 © 2014 Red Hat K.K.
を提供

Glance統合
OSイメージをRBDに格納
Glance組み込みのドライバを利利⽤用
RADOS
CLUSTER
Copyright 39 © 2014 Red Hat K.K.

Cinder統合
ディスクイメージをRBDに格納
Cinder組み込みのドライバを利利⽤用
CoWクローンが利利⽤用可能
RADOS
CLUSTER
Copyright 40 © 2014 Red Hat K.K.

NOVA/Hypervisor統合
KVMにドライバを統合
RBD上のボリュームを直接マウント
⾼高いパフォーマンス、安定性
RADOS
CLUSTER
Copyright 41 © 2014 Red Hat K.K.

Copyright 42 © 2014 Red Hat K.K.

Ceph loves OpenStack: How
l オブジェクト、ブロックそれぞれに
最適化されたアーキテクチャ
l 単⼀一のストレージプール
l ⾼高いディスク使⽤用効率率率
l OpenStackの各コンポーネントに組
み込みのドライバサポート
Copyright 43 © 2014 Red Hat K.K.

Ceph loves OpenStack: Why
l 組み込みドライバによる⾼高性能、⾼高
い安定性の実現
l Copy-‐‑‒on-‐‑‒writeによるクローン・ス
ナップショットのサポート
l ⼤大きなコミュニティ
l レッドハットはCephとOpenStack両
⽅方の最⼤大の貢献者
l 技術的な裏裏付け、協⼒力力体制
Copyright 44 © 2014 Red Hat K.K.

OpenStackユーザー調査 2014/05
開発環境
実証環境
プロダクション環境
Copyright 45 © 2014 Red Hat K.K.

まとめ
Copyright 46 © 2014 Red Hat K.K.

Cephの優位性
l エクサバイトを視野に⼊入れた、ソフ
トウェアによる分散ストレージ
l OpenStackとの深い統合による⾼高い
安定性、⾼高性能、⾼高機能の実現
l 広く活発なユーザーコミュニティ
Copyright 47 © 2014 Red Hat K.K.

Inktank Ceph Enterprise
l Cephの利利点をエンタープライズで
l より⻑⾧長いリリースサイクル
l インストーラーの提供
l コンサルティング、サポートの提供
l Clamari(Web監視モニタ)の統合
l Hotfix提供、ロードマップへの反映
l ⽇日本でも提供中
Copyright 48 © 2014 Red Hat K.K.

RHEL-‐‑‒OSPとICE
l レッドハットが持つ2つの製品
l Red Hat Enterprise Linux OpenStack
Platform
l Inktank Ceph Enterprise
l OpenStackとそのストレージに対す
る、単⼀一のソリューション
l サポート、コンサルティングをワン
ストップでご提供
Copyright 49 © 2014 Red Hat K.K.

ご静聴ありがとうございました
Copyright 50 © 2014 Red Hat K.K.