2014/10/30 第六回クラウドストレージ研究会 での資料。

1. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 1

2. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 2
Agenda
What is GlusterFS?
The latest GlusterFS
Real world GlusterFS

3. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 3
What is
GlusterFS?

4. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 4
分散ファイルシステム
出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59

5. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 5
What is GlusterFS?
Since 2005
目指す世界
すべてのクラウド事業者がGoogleのようにスケーラブル
なストレージ基盤を構築できること
クラウド事業者が自由にハードウェアを選べるようにソフ
トウェアを実装すること

6. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 6
What is GlusterFS?
特徴
中央サーバを持たない構成
サーバサイドはシンプル。クライアントが豊富な機能を備
える。
多様なインタフェース

7. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 7
特徴１：中央サーバを持たない構成
出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59

8. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 8
特徴２：クライアントに豊富な機能
出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59

9. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 9
特徴３：多様なインタフェース
出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59

10. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 10
self-heal
出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59

11. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 11
The latest
GlusterFS

12. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 12
The latest GlusterFS
3.6.0beta3, 3.5.3beta1
Bug triage中 (7回目, 10/29時点)
トリアージ対象のバグは全て解消
新たなトリアージ対象11件

13. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 13
GlusterFS 3.6 でのアップデート
Erasure Coding
ヘテロジニアスなブリック
ボリュームをスコープとしたglusterdのロックが可能に
ボリュームのスナップショット
レプリケーションのチェンジログ
SSLサポートの強化
RDMAの強化

14. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 14
将来の機能追加予定
ストレージ自動階層化
ログをベースとしたチェイン・レプリケーション
ゴミ箱
小容量ファイルに関する性能向上
リバランスの性能向上
SELinuxとのインテグレーション
ポリシーベースのsplit brain解決
GlusterFS Serverのクォーラム
REST API
カスタム・トランスレータ追加の簡易化
etc...

15. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 15
参考: ストレージ自動階層化
出典：http://gluster.org/community/documentation/index.php/Features/gluster_compliance_archive

16. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 16
その他の話題
OpenShift
GlusterFlow

17. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 17
GlusterFlow
出典: http://glusterflow.org/

18. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 18
GlusterFlow
出典: http://glusterflow.org/

19. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 19
Real world
GlusterFS

20. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 20
ストレージプール
事例：OpenStackとのインテグレーション
GlusterFS GlusterFS GlusterFS GlusterFS
qemu
libgfapi I/F
Nova
KVMゲスト
Cinder
Block
Storage
qemu
libgfapi I/F
Nova
KVMゲスト
Cinder
Block
Storage
qemu
libgfapi I/F
Nova
KVMゲスト
Cinder
Block
Storage
qemu
libgfapi I/F
Nova
KVMゲスト
Cinder
Block
Storage
qemu
libgfapi I/F
Nova
KVMゲスト
Cinder
Block
Storage
......

21. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 21
イベントテーマ「分散ストレージを評価してみた」
性能
 libgfapi vs FUSE vs NFS
 KVMゲストの収容限界調査
評価環境
 10Gig-E
 SSD
 CentOS 7, Kernelチューニング済み
 OpenStack Icehouse
 GlusterFS 3.5.2, 各パラメタチューニング済み
ベンチマークツール：fio 2.1.7
 各KVMゲスト上で5回計測、平均値を採用
 record size = 4KB
 file size = 10GB
 jobs数 = 8
 iodepth = 8, 1 (それぞれseq, rand)
参考値(rand r, rand w, seq r, seq w, IOPS)
 東芝SSD&XFS ... 76213, 29371, 98295, 112217
 上記+GlusterNative ... 16464, 14927, 17553, 26624

22. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 22
libgfapi vs FUSE vs NFS
・KVMゲスト50VM
・このうち10VM上でfioを同時実行
・各KVMゲストのIOPS上限を1000に制限
↓
・ホストOSのload average, iowaitに関して、
libgfapiに大きなアドバンテージ。
・KVMゲストのiowaitもlibgfapiが優位。

23. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 23
KVMゲストの収容限界調査(libgfapi, IOPS)
・qemu-kvmのバージョン2.0を使用 (1.5.3使用時
は、KVMゲスト50VM時にVMがio-errorでクラッ
シュ)
・各KVMゲストのIOPS上限を1000に制限(10VM
以上の場合)

24. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 24
KVMゲストの収容限界調査(libgfapi, スループット)

25. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 25
イベントテーマ「SDS導入に必要なことは？」
冷静になって考える
本当に必要か？なぜ必要なのか？
インタフェースは最適か？
２冗長？３冗長？
パフォーマンスのスケールアウトに対する考察
収容設計は入念に
アクセスパターン
要求されるスループット
ログの管理も要検討
ログローテーション
ログコレクタの活用

26. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 26
Conclusion
GlusterFSについて紹介しました。
実装予定機能や関連ツールなど、技術的な話題は（今
も昔も）豊富にあります。
多数の商用実績があります。今回は２つの事例を紹介
しました。
評価として、OpenStack Cinderとしてのユースケース
における性能評価を紹介しました。
Software Defined Storageの導入は計画的に。

27. Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 27
To contact us, e-mail here -> storage-contact@nttpc.co.jp