More Related Content
Viewers also liked
Viewers also liked (20)
Recently uploaded
Recently uploaded (9)
分散ファイルストレージAPIのアーキテクチャについていろいろ考えてみた
- 1. 分散ファイルストレージAPIの アーキテクチャについて いろいろ考えてみた Jul 2012 @xorphitus
- 3. アーキテクチャ図 read only L/B Gateway Gateway metadata holder files files files bucket bucket bucket (cluster) (cluster) (cluster) Gateway for Write write
- 4. read とwrite の口を分けていますが、 両者に明確な構造の違いは今のところないです これを考えた当時、write用の口に特定の経路でしか アクセスできなくすることで、 read onlyなクライアントが作れたらいいなと 雑なアクセスコントロールを考えていたためです
- 5. read onlyの部分について read only L/B サイト上のファイル読み込 みは、L/Bから多重化された Gateway (ファイル読出し窓 口) にアクセスが割振られる Gateway Gateway metadata holder files files files bucket bucket bucket (cluster) (cluster) (cluster) Gateway for Write write
- 6. read onlyの部分について read only L/B Gateway Gateway metadata holder Gatawayは、 metadataholderから、 リクエストされたファイルの files files メタデータと、どのノードに files 格納されているか (distination) を 取得する bucket bucket bucket (cluster) (cluster) (cluster) Gateway for Write write
- 7. read onlyの部分について read only L/B Gateway Gateway metadata holder Gatawayは、ファイルの distinationにあるノードから ファイルを取得する files files files bucket bucket bucket (cluster) (cluster) (cluster) Gateway for Write write
- 8. read onlyの部分について read only L/B Gateway Gateway metadata holder files files files bucketって何？ については後述 bucket bucket bucket (cluster) (cluster) (cluster) Gateway for Write write
- 9. bucketとは何か？
- 10. bucketとは ファイルのレプリケートの単位である。 1つのbucketは複数のノードから構成される。 ファイルは設置される時に、どのbucketに配置されるかが (consistent hashing等の分散アルゴリズムで) 決定され、 配置される時にbucketを構成している各ノードにレプリケートされる。 →ノードが1つ落ちても動作を続けられるようになる 各bucketを構成するノード数はそれぞれ任意とする (bucket Aは2台構成、Bは3台構成、などとしてよい) bucketからファイルを取得する際、どのノードからファイル取得を するかはラウンドロビン等で分散することとする。 これによって、単一バケット内からのファイル取得 (ディスクシーク) を パラレルで行えるようにする。 bucketの縮退については後述。
- 12. ファイルの追加
- 13. ファイルの追加 read only L/B Gateway Gateway metadata holder files files files bucket bucket bucket (cluster) (cluster) (cluster) Gateway for Write ファイルの追加、更新、削除は、 更新専用のGatewayから行う write
- 14. ファイルの追加 read only L/B Gateway Gateway metadata holder files files files bucket bucket bucket metadata holderを参照し、どの (cluster) (cluster) (cluster) bucketにファイルを設置するか決定 Gateway for Write write
- 15. ファイルの追加 read only L/B Gateway Gateway metadata holder files files files bucket bucket bucket (cluster) (cluster) (cluster) 書き込み対象bucketの全ノードに ファイルを設置する Gateway for Write write
- 16. ファイルの追加 read only L/B Gateway Gateway metadata holder files files files bucket bucket bucket (cluster) (cluster) (cluster) ノードが多いほど遅くなるが堅牢性は上がる 別のアプローチとして、ノード間でrsyncさせる ことを考えてもいいかも Gateway for Write write
- 17. ファイルの追加 read only L/B Gateway Gateway metadata holder files files files bucket bucket bucket ファイルのメタデータを登録する (cluster) (cluster) (cluster) タグ付け等ができてもよい Gateway for Write write
- 18. ファイルの更新
- 19. ファイルの追加 read only L/B Gateway Gateway metadata holder files files files bucket bucket bucket ファイルのメタデータを更新 (cluster) (cluster) (cluster) Gateway for Write write
- 20. ファイルのコピー
- 21. ファイルのコピー read only L/B Gateway Gateway metadata holder files files files bucket bucket bucket ファイルのメタデータを複製し (cluster) (cluster) (cluster) 異なるパスで同一のファイルの 実体を参照するようにする Gateway for Write write
- 22. ファイルの削除
- 23. ファイルのコピー read only L/B Gateway Gateway metadata holder files files files bucket bucket bucket 対象ファイルのメタデータを (cluster) (cluster) (cluster) 削除する Gateway for Write write
- 24. ファイルのコピー read only L/B Gateway Gateway metadata holder files files files bucket bucket bucket (cluster) (cluster) (cluster) 同一のファイルの実体を参照しているメ タデータがなくなったら、bucketの各 ノードからファイルの実体を削除する Gateway for Write write
- 25. bucketの縮退稼動
- 26. bucketの縮退稼動 metadata Gateway holder Gatewayは、bucket中の特定のノードから応答がない場合、別の ノードからファイルを取得する この時、応答のなかったノードについては、metadata holderに X 対してdead markを付与する Gatewayは以後、dead markの付与されたノードにはアクセスし ないようにする bucket aliveなノードがnｋ (cluster)
- 27. bucketの縮退稼動 metadata Gateway holder 縮退状態から復旧させる場合 (およびノード追加) 1. 復旧対象bucketにロックをかけ、read以外を拒否する X 2. 復旧させたノードに、別ノードのデータをフルコピーする 3. bucketのロックを解除する LOCK ちなみにここがダサいって言われた bucket (cluster)
- 28. bucketの追加/削除