PrettyFS perl による分散ファイルストレージ ふしはらかん ( 株式会社モバイルファクトリー )

自己紹介 伏原幹(ふしはらかん) 株式会社モバイルファクトリー所属 wassrをどうぞよろしく 過去に作ったもの wema (付箋wiki) perl 関係ない wasaco (wassr client) perl関係ない xircd (irc server) perl製

伏原幹(ふしはらかん)

株式会社モバイルファクトリー所属

wassrをどうぞよろしく

過去に作ったもの

wema (付箋wiki) perl 関係ない

wasaco (wassr client) perl関係ない

xircd (irc server) perl製

agenda Webサービスでのファイルの扱い 分散ファイルストレージ mogilefsの特徴と不満 prettyfsの概要

Webサービスでのファイルの扱い

分散ファイルストレージ

mogilefsの特徴と不満

prettyfsの概要

Webサービスとファイル ある程度大きなファイルをどう扱うか 画像(写真、イラスト) 音声(podcast, 着うた着メロ) 動画 ユーザーのアップロードするファイルの置場 ローカルに保存 DB(RDBMS)に保存

ある程度大きなファイルをどう扱うか

画像(写真、イラスト)

音声(podcast, 着うた着メロ)

動画

ユーザーのアップロードするファイルの置場

ローカルに保存

DB(RDBMS)に保存

ローカル保存 処理は簡単(普通のfile read/write) app serverが分散している場合 NFSでディスク共有 ディスク障害が心配…… rsync等でファイル同期 全app serverに配布するのは勿体無い

処理は簡単(普通のfile read/write)

app serverが分散している場合

NFSでディスク共有

ディスク障害が心配……

rsync等でファイル同期

全app serverに配布するのは勿体無い

DBに保存 app serverが分散していても平気 MySQLのBLOBとかでつっこむ 検索しやすい パフォーマンスに課題

app serverが分散していても平気

MySQLのBLOBとかでつっこむ

検索しやすい

パフォーマンスに課題

そこで分散ファイルストレージ サーバの追加で容量を拡張できる ファイルの種類に合わせた冗長性を確保 実際のソフトウエア mogilefs livedoorでのapache+mod_perlによる実装 (amazon S3)

サーバの追加で容量を拡張できる

ファイルの種類に合わせた冗長性を確保

実際のソフトウエア

mogilefs

livedoorでのapache+mod_perlによる実装

(amazon S3)

mogilefsとは？ perlで実装された分散ファイルストレージ Brad Fitzpatrick氏が開発 trackとstore(とperlbal)で構成されている

perlで実装された分散ファイルストレージ

Brad Fitzpatrick氏が開発

trackとstore(とperlbal)で構成されている

mogilefsの構成 store store store store tracker tracker client perlbal

tracker clientとやりとりする ファイルの登録 ファイルの取得 storeからファイルを参照するURLの一覧を返す(後述)

clientとやりとりする

ファイルの登録

ファイルの取得

storeからファイルを参照するURLの一覧を返す(後述)

store ファイルを保存する 実体はWebDAVに対応したHTTPサーバ trackerが複数のstoreにファイルを保存する

ファイルを保存する

実体はWebDAVに対応したHTTPサーバ

trackerが複数のstoreにファイルを保存する

mogileのファイル管理 device store内のストレージ最小単位 class 保存するファイルのクラス class毎に幾つのdeviceにファイルを保存するか決められる ファイル A ファイル B

device

store内のストレージ最小単位

class

保存するファイルのクラス

class毎に幾つのdeviceにファイルを保存するか決められる

perlbal Perlで実装されたロードバランサー X-REPROXY-URL 裏側のappが↑のURLを返すとperlbalがそのファイルを取りにいって返す trackerが返すstoreのURL(s)を渡して使える storeは適切なheader(content-typeとか)を返さないのでappで頑張る

Perlで実装されたロードバランサー

X-REPROXY-URL

裏側のappが↑のURLを返すとperlbalがそのファイルを取りにいって返す

trackerが返すstoreのURL(s)を渡して使える

storeは適切なheader(content-typeとか)を返さないのでappで頑張る

mogilefsの問題 実質perlbalが前提 同じキーのデータを更新するとstoreのURLが変わる(->X-REPROXY-CACHE-FORを迂闊に使えない) class,deviceの概念が無駄に複雑 運用処理の動作が不安定(均等化、store毎コピーなど)

実質perlbalが前提

同じキーのデータを更新するとstoreのURLが変わる(->X-REPROXY-CACHE-FORを迂闊に使えない)

class,deviceの概念が無駄に複雑

運用処理の動作が不安定(均等化、store毎コピーなど)

不満があるなら 作ればいい!

作ればいい!

prettyfs 手軽に使える「かわいい」分散ファイルストレージ 1hostに1対以上のtracker,storeが動く前提 trackerがrevers proxyとしても動く perlbal不要(ただしロードバランサはあったほうが良いかも？)

手軽に使える「かわいい」分散ファイルストレージ

1hostに1対以上のtracker,storeが動く前提

trackerがrevers proxyとしても動く

perlbal不要(ただしロードバランサはあったほうが良いかも？)

prettyfsの起動 ファイルとシステムの情報を記録するdbへの接続オプションを設定に書いて起動 db層を抽象化してあるので、RDBMSを使うこともKVSを使うこともできる ファイルコピー数も指定できる

ファイルとシステムの情報を記録するdbへの接続オプションを設定に書いて起動

db層を抽象化してあるので、RDBMSを使うこともKVSを使うこともできる

ファイルコピー数も指定できる

ファイルの登録 クライアントからファイルを登録する content-typeなど、出力時に指定したいHTTP headerを同時に指定できる trackerでファイルを受け付け workerも抽象化してあるので、job queueにどれを使うか、storeへの配置をどうやるか、等選べる

クライアントからファイルを登録する

content-typeなど、出力時に指定したいHTTP headerを同時に指定できる

trackerでファイルを受け付け

workerも抽象化してあるので、job queueにどれを使うか、storeへの配置をどうやるか、等選べる

ファイルの取得 mogileと同じ、クライアントによるデータ、store URLの取得も可能 trackerがhttpd(storeに対するrevers proxy)になってる http://tracker/filekey のようなURLで直接データ取得ができる ↑のURLはデータ更新しても当然不変

mogileと同じ、クライアントによるデータ、store URLの取得も可能

trackerがhttpd(storeに対するrevers proxy)になってる

http://tracker/filekey のようなURLで直接データ取得ができる

↑のURLはデータ更新しても当然不変

運用 mogilefs+αな管理 起動中にtracker+storeを追加 障害の発生したstoreを切り離す storeからstoreへファイルを全コピー 全storeの使用量が均質化するようファイル移動

mogilefs+αな管理

起動中にtracker+storeを追加

障害の発生したstoreを切り離す

storeからstoreへファイルを全コピー

全storeの使用量が均質化するようファイル移動

今後の展望 とりあえず公開したい trackerをplackで動くように worker, dbの種類を増やす パフォーマンス向上

とりあえず公開したい

trackerをplackで動くように

worker, dbの種類を増やす

パフォーマンス向上