2013 情報特別演習1

1. 先導的研究者体験プログラム 平成25年度 採択テーマ
情報特別演習1
P2Pネットワークを利用した
分散ファイルシステムの開発
情報科学類 2年
桐井 祐樹
田野井 優斗
!
アドバイザ教員: 前田 敦司 先生

2. 課題設定のきっかけ・目的
ファイルを安全に保存する … RAID
機器を用意する手間とコストがかかる
RAID コントローラが単一障害点となる可能性
ネットワーク接続されたマシンを使えないか？
既存の LAN を用いて分散保存し
マシントラブルのリスクを減らそう
自律型ネットワークで単一障害点を無くそう

3. 演習で取り組む課題
単一障害点の無い分散ファイルシステムを開発し
障害時のファイル消失を防ぐ機構を備える
一般的なPCを利用することができる
Ruby でプロトタイプ的なプログラムを実装してみる
P2Pネットワークを構築し複数のマシンを接続
担当: 桐井
ネットワーク上にデータを保存するファイルシステムを実装
担当: 田野井

4. 演習で取り組む課題
マウントして利用可能
利用者に分散を意識させない
LAN

5. DHT - Distributed Hash Table
複数マシンで構成される巨大なハッシュテーブル
マシン間は P2P ネットワークで接続
ネットワークに対してKey と Value のペアを
保存したり取得したりできる
保存
データ
���Key: ”Tsukuba”
Value:�12345678
DHT
取得

6. DHT の実装�- Chord アルゴリズム
データ保存担当ノードの決定と探索の仕組み
リング状のネットワーク - 閉じた数直線
1
4
14
キーのハッシュ値を求める
4bit ID空間
12
Hash(“Tsukuba”) =�9
(最大2^4=16ノード)
8
データ
例:�次のKey&Value を保存する
Key: Tsukuba Value: 1234
ハッシュ値”9” に時計回りに
一番近いノードが担当となる

7. FUSEを使用したファイルシステムの実装
Filesystem in Userspase (FUSE)
システムに手を加えずにユーザ独自の
ファイルシステムを実装できる機能を提供する
一般的なディスクと同様にマウントして利用可能
データの保存先 … DHT を使い分散保存
データの読み書き … FUSE を介して行う
→�一般的なPCで利用できる
����自律分散型のファイルシステムが実現可能

8. 開発したプログラム
DRChord - Chord アルゴリズムを用いた DHT
Ruby 2．0．0 + dRuby(分散オブジェクト環境)
TestFS - FUSEを用いたファイルシステム
データの保存に DHT を利用
Ruby 2.0.0 + rbfuse(FUSE library)
Node01
ファイルシステム
レイヤ
DRChord
Node03
DRChord
DRChord
TestFS
P2Pネットワーク
レイヤ
Node02

9. ファイル保存の仕組み
Unix のファイルシステムに似た構造
inode, ディレクトリエントリ, ファイルエン
トリを持つ
dir entry 33942
dirAAA 19234
ITF.mp3 42133
情特.pdf 94782
情特.pdf
inode
94782
type
file
ID : 121299
Chord ring
DHTに保存
121299
user data

10. 例: /情特.pdf を開く場合
root ディレクトリから順に ID をたどり
ファイルの実体へたどり着く
root dir
inode
2
type
dir
dir entry 33942
inode
94782
dirAAA 19234
ITF.mp3 42133
情特.pdf 94782
type
file
ID : 121299
ID : 33942
Chord ring
121299
user data
情特.pdf の実体

11. レプリケーション
DHT 側でデータのレプリカを自動作成
Chord リングの3つ先のノードまで同じデータ
を作成
本来の担当ノードではないが
障害発生に備え複製を持つ
担当ノード
保存
Chord ring

12. 結果
Ruby + dRuby を利用した DHT が実装できた
ファイルシステムから DHT を操作しファイルを
分散保存できた
FUSE を用いてマウントすることで基本的な
ファイル操作コマンドが実行できた

13. 結果
書き込み速度が遅い
% dd if=/dev/zero of=./test count=1000 bs=1024
��Read: 403.14 MB/s
���Write:
4.28 MB/s����������������（100回の平均）
参考�(通常のディスクアクセスの結果)
3C113教室 coins 環境 (iMac NFS)
�R: 134.14 MB/s W: 34.40 MB/s
MacBookPro Retina (Mid 2012 SSD)
��R: 431.68 MB/s W: 316.08 MB/s

14. 考察
DHTによる自律分散でマスタノードが不要
レプリケーションによりノードが故障しても
データの継続的な読み込みが可能
既存のLANとPCで構築可能であるため
コストがかからない
速度が遅い原因としてFUSEライブラリの内部実
装やinodeによる管理の仕組み等が考えられる