GlusterFS 技術と動向 1of2

第4回クラウドストレージ研究会

GlusterFS 技術と動向
1of2

 
2011/12/8
(株)NTTPCコミュニケーションズ

Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 1

発表者の紹介

高橋　敬祐 (TAKAHASHI Keisuke)
(個人用)Twitter ID : @keithseahus
•  NTTPCコミュニケーションズ在籍 (2006年〜)
– Webマイニング系開発
– 分散FS特にGlusterFSの調査，研究，それを利用した開発及びOSS活動
– 宇宙航空関連実証実験及び開発
– その他先端技術調査 •  出入りしている勉強会
–  VIOPS
•  この界隈で特に関係の深い人 –  クラウドネットワーク研究会
–  伊藤氏 ( @thatsdone ) –  クラウドストレージ研究会
–  STEC 伊藤氏 ( @HarrisonIto ) –  Tokyo Erlang Workshop
–  NTTPC 中冨 ( @nakacya ) –  その他
–  NTTPC 高田 ( @mikiT_T )

Google Groups: http://groups.google.com/group/gluster-ja

GlusterFS 技術と動向 1of2

1.  GlusterFSの概要と動向
2.  GlusterFSの技術
1.  ストレージの階層構造
2.  分散アルゴリズム
1.  分散アルゴリズム
2.  Elasticなレイアウト変更
3.  特殊なケース
3.  メタデータ構造
4.  レプリケーション
1.  レプリケーション
2.  レプリケーションのデータフロー
3.  レプリカ障害とその対応
5.  運用面での注意点
3.  FAQ
4.  まとめ


GlusterFSの概要と動向


GlusterFSの概要と動向

さんのもオススメ！

@doryokujin

ストレージの階層構造



block device



GlusterFSはblock deviceを直接管理することはできません。
（カーネル空間のファイルシステムではありません。）

file system

block device



VFS

file system

block device



GlusterFSはカーネル空間ファイルシステムの上で動作します。
下位のファイルシステムへの操作はglusterfsdが行います。

glusterfsd

VFS

file system

block device



glusterfsがglusterfsdへの命令を実行します。
glusterfs-glusterfsd間はデフォルトではTCP/IPで接続されます。

glusterfs

glusterfsd

VFS

file system

block device



glusterfsにはFUSEとのI/Fがあります。

FUSE

glusterfs

glusterfsd

VFS

file system

block device



そのため、POSIX準拠のファイルシステムとして
マウントすることができます。

VFS

FUSE

glusterfs

glusterfsd

VFS

file system

block device



VFS

FUSE

glusterfs

glusterfsd

VFS

file system

block device


分散アルゴリズム



③800〜1199

①0〜399

②400〜799

注）ハッシュ値及びbrick名は説明のために簡略化してあります。以下同じ。 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 17


A
/path/to/fileA
③800〜1199

768

①0〜399

②400〜799



/path/to/fileA
③800〜1199

768

①0〜399
A
②400〜799


Elasticなレイアウト変更



brick追加直後の状態（gluster volume add-brick ④）
古いハッシュテーブル新しいハッシュテーブル
(3 bricks) (4 bricks)

③800〜1199 ④900〜1199

③600〜899 ①0〜299
①0〜399
A
②400〜799
②300〜599

既存データの読み書きは
古いハッシュテーブルに基づき
実行される。


新規ファイルの作成には新しいハッシュテーブルを使う

③800〜1199 ④900〜1199

③600〜899 ①0〜299
①0〜399
A
②400〜799
②300〜599

B /path/to/fileB 1024


新規ファイルの作成には新しいハッシュテーブルを使う
リンク先brickの書かれた
B スパースファイル B
③800〜1199 ④900〜1199

③600〜899 ①0〜299
①0〜399
A
②400〜799
②300〜599

/path/to/fileB 1024


rebalanceを実行（gluster volume rebalance <volume> start）

B B
③800〜1199 ④900〜1199

③600〜899 ①0〜299
①0〜399
A
②400〜799
②300〜599



rebalanceを実行（gluster volume rebalance <volume> start）

B B
③800〜1199 ④900〜1199

A
③600〜899 ①0〜299
①0〜399
A リンク先brickの書かれた
②400〜799 スパースファイル
②300〜599



rebalanceを実行中...

B B
③800〜1199 ④900〜1199

A
③600〜899 ①0〜299
①0〜399
A リンク先brickの書かれた
②400〜799 スパースファイル
②300〜599




B B
③800〜1199 ④900〜1199

A
③600〜899 ①0〜299
①0〜399

②400〜799
②300〜599




B B
③800〜1199 ④900〜1199

A
③600〜899 ①0〜299
①0〜399

②400〜799
②300〜599

C /path/to/fileC 384
rebalance中のファイル生成処理は...



B B
③800〜1199 ④900〜1199

A
①0〜299
C ③600〜899
①0〜399

②400〜799 C
②300〜599

/path/to/fileC 384
rebalance実行前と同様 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 29


rebalance完了

B B
③800〜1199 ④900〜1199

A
古いハッシュテーブルを破棄
①0〜299
C ③600〜899
①0〜399

②400〜799 C
②300〜599



B
④900〜1199

A
B C
③600〜899
①0〜299

C
②300〜599

特殊なケース


特殊なケース

③800〜1199

一部brickがdisk full!!

①0〜399

②400〜799


特殊なケース

そこへ新規ファイル作成
A
/path/to/fileA
③800〜1199

768

①0〜399

②400〜799


特殊なケース

実体は書き込み可能な
brickへ
A
/path/to/fileA
③800〜1199

768

①0〜399

A ②400〜799
リンク付きスパースファイル

メタデータ構造



メタデータ (xattr)

(実)データ



A

VFS

FUSE

glusterfs

glusterfsd

VFS

file system

block device



VFS glusterfsがxattrを記述
(するようにglusterfsdに命令)
FUSE

glusterfs
A
glusterfsd

VFS

file system

block device



VFS

FUSE

glusterfs

glusterfsd
glusterfsdがfile system上に
VFS xattrを記述

file system
A
block device



VFS
glusterfsを
FUSE 経由しないと
xattrが付与
glusterfs
されない！
glusterfsd

　　VFS

　　　　　　　　　　file system
A B
　　　　　　　　　　　block device



VFS

FUSE 原則、GlusterFS経由では
アクセスできない。
glusterfs
但し、ディレクトリエントリとして
glusterfsd 見えてしまう場合もある。

　　VFS

　　　　　　　　　　file system
A B
　　　　　　　　　　　block device



ディレクトリに付与されるxattr
trusted.gfid
trusted.glusterfs.dht
trusted.glusterfs.test

ファイルに付与されるxattr
trusted.gfid
trusted.afr.<volume>-client-<number>
trusted.afr.<volume>-client-<number++>
trusted.<volume>-stripe-<number>.stripe-count
trusted.<volume>-stripe-<number>.stripe-index


GlusterFS 技術と動向 1of2

GlusterFS 技術と動向 1of2

Recommended

More Related Content

Viewers also liked

Viewers also liked(16)

More from Keisuke Takahashi

More from Keisuke Takahashi(11)

Recently uploaded

Recently uploaded(8)

GlusterFS 技術と動向 1of2