Ceph Loves OpenStack: Why and How from Red Hat Forum Tokyo 2014

1. Ceph Loves OpenStack:
Why and How
レッドハット株式会社
グローバルサービス本部
ストレージソリューションアーキテクト
岩尾 はるか
F-‐‑‒6

2. 本⽇日の内容
l Cephのあらまし
l Inktank Ceph Enterprise について
l Ceph のアーキテクチャ
l OpenStack と Ceph の連携
l まとめ
Copyright 2 © 2014 Red Hat K.K.

3. CEPHのあらまし
Copyright 3 © 2014 Red Hat K.K.

4. Cephとは
l オープンソースの分散ストレージ
l オブジェクトとブロック両対応
l ⼤大規模にスケールする(~∼10000台)
l エクサバイト(ペタの1000倍)が射程
Copyright 4 © 2014 Red Hat K.K.

5. Cephの10年年
OpenStack
統合
2011
Xen 統合
2013
Copyright 5 © 2014 Red Hat K.K.
RHEL-OSP
認定
FEB 2014
MAY 2012
Inktank設立
2010
Linux
Kernel に
マージ
オープン
ソース化
2006
2004
UCSCで
開発開
始
Production
Readyに
SEPT 2012
2012
CloudStack
統合
OCT 2013
Inktank Ceph
Enterprise 出荷
APR 2014
レッドハットが
Inktankを買収

6. Ceph の統合されたストレージ
S3
SwiF
マルチテナント
スナップショット
クローン
Copyright 6 © 2014 Red Hat K.K.
FILE
SYSTEM
BLOCK
STORAGE
OBJECT
STORAGE
Keystone
Geo-­‐Replicaon
Erasure
Coding
OpenStack
Linux
カーネル
Tiering
POSIX
Linux
Kernel
CIFS/NFS
HDFS
分散メタデータ

7. Cephを⽀支えるコミュニティ
COMMUNITY METRICS DASHBOARD
METRICS.CEPH.COM
Copyright 7 © 2014 Red Hat K.K.

8. INKTANK CEPH
ENTERPRISE について
Copyright 8 © 2014 Red Hat K.K.

9. Inktank Ceph Enteprise
l 商⽤用版”Ceph”
l 略略称 ICE (アイス)
l Ceph + Calamari + セットアップ
ツール + サポート、サービス
Copyright 9 © 2014 Red Hat K.K.

10. ICE – Whatʼ’s Inside?
DEPLOYMENT TOOLS
新しい「ウィザード」形式のイ
ンストールツール
依存関係も含めたローカルレポ
ジトリを提供
クラスタ構築ツール
CALAMARI
オンプレミス, Webアプリ
クラスタのモニタリング、監視
RESTful API
インスタンス数無制限
CEPH FOR OBJECT BLOCK
Copyright 10 © 2014 Red Hat K.K.
SUPPORT SERVICES
SLA付きテクニカルサポート
バグのエスカレーション
ホットフィックスの提供
ロードマップへの反映

11. Calamari
Copyright 11 © 2014 Red Hat K.K.

12. ICEのメリット
TCO
将来性
専門性
Copyright 12 © 2014 Red Hat K.K.
エンタープライズ
READY
ü 低いTCO
ü 効率的なオペ
レーション
ü スケーラブル
ü 長期間のサポート
ü 単一の、わかりやす
い価格体系
ü 幅広いユースケー
ス
ü Cephの専門家に
よるサービス
ü Cephの開発者に
よるサポート
ü 既存インフラの活用
ü SLA付きサポート

13. ICEのリリース計画
Q3
Q4
Q1
Q2
Q3
Q4
Q1
Q2
2013
2014
2015
Copyright 13 © 2014 Red Hat K.K.

14. ICEのロードマップ
Copyright 14 © 2014 Red Hat K.K.

15. CEPHのアーキテクチャ
Copyright 15 © 2014 Red Hat K.K.

16. Cephのコンポーネント
APP
HOST/VM
CLIENT
Copyright 16 © 2014 Red Hat K.K.

17. RADOS
APP
HOST/VM
CLIENT
Copyright 17 © 2014 Red Hat K.K.

18. RADOSとは
l 信頼性のある(Reliable)
l データ消失を避けるため複製を作成
l ⾃自律律的な(Autonomic)
l お互いに通信し、障害を検知
l レプリケーションが透過的に⾏行行われる
l 分散(Distributed)
l オブジェクトストア(Object Store)
Copyright 18 © 2014 Red Hat K.K.

19. RADOSとは (2)
l Cephの中核
l すべてのデータをRADOSに保存
l mon と osd の2つから成る
l CRUSHアルゴリズムが特徴
Copyright 19 © 2014 Red Hat K.K.

20. OSD
l Object storage daemon
l 1ディスクにつき1OSD
l xfs/btrfs をバックエンドに使⽤用
l Btrfs のサポートは実験的
l 整合性担保と性能向上のため、
Write-‐‑‒aheadなジャーナルを利利⽤用
l OSDの台数は3〜～数万
Copyright 20 © 2014 Red Hat K.K.

21. MON
l Monitoring daemon
l クラスタマップとクラスタの状態を
管理理
l 3, 5など奇数で少ない台数
Copyright 21 © 2014 Red Hat K.K.

22. OSD と MON
btrfs
xfs
ext4
Copyright 22 © 2014 Red Hat K.K.

23. RADOSクラスタ
RADOS
CLUSTER
Copyright 23 © 2014 Red Hat K.K.

24. オブジェクトの配置
l RADOS は “CRUSH” アルゴリズム
を⽤用いてオブジェクトを配置
l オブジェクトの場所は100%計算のみで
求められる
l メタデータサーバーが不不要
l SPoFなし
l ⾮非常に良良いスケーラビリティ
Copyright 24 © 2014 Red Hat K.K.

25. CRUSH アルゴリズム
POOLS
Copyright 25 © 2014 Red Hat K.K.
CLUSTER
(CONTAINING
PGs)
POOL
A
POOL
B
POOL
C
POOL
D

26. クラスタマップ
l 階層的なOSDのマップ
l 障害単位(ラックやスイッチ)をまたいで
複製
l トラフィックの集中を防⽌止
Copyright 26 © 2014 Red Hat K.K.

27. RGW
APP
HOST/VM
CLIENT
Copyright 27 © 2014 Red Hat K.K.

28. RADOS Gateway
Copyright 28 © 2014 Red Hat K.K.
REST
socket
RADOS
CLUSTER

29. RADOS Gateway(2)
l RESTベースのオブジェクトストアプ
ロキシ
l オブジェクトはRADOSに格納
l S3/Swiftと互換なAPIを持つ
l 課⾦金金のための利利⽤用量量統計を提供
Copyright 29 © 2014 Red Hat K.K.

30. RBD
APP
HOST/VM
CLIENT
Copyright 30 © 2014 Red Hat K.K.

31. RBD + 仮想化
RADOS
CLUSTER
Copyright 31 © 2014 Red Hat K.K.

32. RBD + カーネルモジュール
RADOS
CLUSTER
Copyright 32 © 2014 Red Hat K.K.

33. RBD (2)
l RADOSにディスクイメージを格納
l クラスタ全体にストライピング
l スナップショットのサポート
l Copy-‐‑‒on-‐‑‒writeクローンをサポート
l Linux Kernel, KVM, OpenStackから
利利⽤用可能
Copyright 33 © 2014 Red Hat K.K.

34. CEPHFS
APP
HOST/VM
CLIENT
Copyright 34 © 2014 Red Hat K.K.

35. CEPHFS (2)
l POSIX互換な共有ファイルシステム
l コミュニティ版において「実験的」
な実装が存在
l ICEには含まれない
Copyright 35 © 2014 Red Hat K.K.

36. CEPHとOPENSTACKの連携
Copyright 36 © 2014 Red Hat K.K.

37. CephとOpenStack
RADOS
CLUSTER
Copyright 37 © 2014 Red Hat K.K.

38. Swift/Keystone統合
認証を統合Swift互換API
RADOS
CLUSTER
Copyright 38 © 2014 Red Hat K.K.
を提供

39. Glance統合
OSイメージをRBDに格納
Glance組み込みのドライバを利利⽤用
RADOS
CLUSTER
Copyright 39 © 2014 Red Hat K.K.

40. Cinder統合
ディスクイメージをRBDに格納
Cinder組み込みのドライバを利利⽤用
CoWクローンが利利⽤用可能
RADOS
CLUSTER
Copyright 40 © 2014 Red Hat K.K.

41. NOVA/Hypervisor統合
KVMにドライバを統合
RBD上のボリュームを直接マウント
⾼高いパフォーマンス、安定性
RADOS
CLUSTER
Copyright 41 © 2014 Red Hat K.K.

42. Copyright 42 © 2014 Red Hat K.K.

43. Ceph loves OpenStack: How
l オブジェクト、ブロックそれぞれに
最適化されたアーキテクチャ
l 単⼀一のストレージプール
l ⾼高いディスク使⽤用効率率率
l OpenStackの各コンポーネントに組
み込みのドライバサポート
Copyright 43 © 2014 Red Hat K.K.

44. Ceph loves OpenStack: Why
l 組み込みドライバによる⾼高性能、⾼高
い安定性の実現
l Copy-‐‑‒on-‐‑‒writeによるクローン・ス
ナップショットのサポート
l ⼤大きなコミュニティ
l レッドハットはCephとOpenStack両
⽅方の最⼤大の貢献者
l 技術的な裏裏付け、協⼒力力体制
Copyright 44 © 2014 Red Hat K.K.

45. OpenStackユーザー調査 2014/05
開発環境
実証環境
プロダクション環境
Copyright 45 © 2014 Red Hat K.K.

46. まとめ
Copyright 46 © 2014 Red Hat K.K.

47. Cephの優位性
l エクサバイトを視野に⼊入れた、ソフ
トウェアによる分散ストレージ
l OpenStackとの深い統合による⾼高い
安定性、⾼高性能、⾼高機能の実現
l 広く活発なユーザーコミュニティ
Copyright 47 © 2014 Red Hat K.K.

48. Inktank Ceph Enterprise
l Cephの利利点をエンタープライズで
l より⻑⾧長いリリースサイクル
l インストーラーの提供
l コンサルティング、サポートの提供
l Clamari(Web監視モニタ)の統合
l Hotfix提供、ロードマップへの反映
l ⽇日本でも提供中
Copyright 48 © 2014 Red Hat K.K.

49. RHEL-‐‑‒OSPとICE
l レッドハットが持つ2つの製品
l Red Hat Enterprise Linux OpenStack
Platform
l Inktank Ceph Enterprise
l OpenStackとそのストレージに対す
る、単⼀一のソリューション
l サポート、コンサルティングをワン
ストップでご提供
Copyright 49 © 2014 Red Hat K.K.

50. ご静聴ありがとうございました
Copyright 50 © 2014 Red Hat K.K.