VIOPS07: “Practical” Guide to GlusterFS

939 views

Published on

VIOPS07: “Practical” Guide to GlusterFS

Etsuji Nakai
Senior Solution Architect
Cloud Evangelist
Red Hat K.K.


2012年7月20日(金曜日)10:00-18:00
VIOPS07 WORKSHOP
Virtualized Infrastructures Workshop [07]

Published in: Technology
  • Be the first to comment

VIOPS07: “Practical” Guide to GlusterFS

  1. 1. “Practical” Guide to GlusterFS 2012/07/20 Etsuji Nakai Senior Solution Architect Cloud Evangelist Red Hat K.K.
  2. 2. GlusterFSとは  コモディティハードウェアで、スケールアウト 型分散ファイルシステムを構築するソフトウェア  Linuxが動く所であればどこでも利用可能 – オンプレミスでの利用 – クラウド上での利用  複数APIからのアクセスに対応 – REST APIで保存したファイルをHadoopで処理す るなども可能
  3. 3. GlusterFSとRed Hat Storageの関係  GlusterFSは、コミュニティメンバーによる オープンソースプロジェクトとして開発を継続  Red Hat Storage (RHS) は、コミュニティ版を アップストリームとする安定版に、RHEL/XFS/ 管理ツールなどを組み合わせたソフトウェアアプ ライアンス GlusterFS Red Hat Storage
  4. 4. http://download.gluster.org/pub/gluster/glusterfs/  NFS Lock対応 / Memory Leak Fix / ボリューム の動的縮小 / Replication数の動的変更 etc....
  5. 5. メタデータノードを持たないアーキテクチャ  ファイル名のハッシュで保存するノードを決定  ディレクトリ毎に分散ハッシュテーブルを用意 – ハッシュレンジなどの情報は拡張属性に保存  レプリケーション、ストライピングなども可能 file01 file02 file03 ・・・ ストレージノード file01, file02, file03 クライアントノード ボリューム 詳細はこちらを参照 http://slidesha.re/LvEusu
  6. 6. GlusterFSの使い所  数百TBの大容量ファイルサーバが必要な場合 – Near-line / Backup / Archive Storage  多数のクライアントからの同時アクセスに対す るパフォーマンス耐性が必要な場合  HPCクラスタのバックエンドストレージ – IO Intensiveな計算には向かない(目安は ”4〜5K IOPS/node” 以下)  複数ロケーションに同じデータを配置する場合 – GeoReplicationを利用
  7. 7. GlusterFSを使わない方がよいケース  High Transaction / IO Intensive – 特にRDBのバックエンド –「mv処理のAtomicity」などのコーナケースに依 存するアプリケーションにも要注意  同一ファイルへの書き込み競合が多い場合 – 整合性を確保するためのロック機構のオーバー ヘッドはそれなりに大きい 「SAN Storageの安価な代替」とは考えないこと
  8. 8. (参考)典型的なHW構成  Nehalem-EX以降の2ソケットサーバ  Disk – SAS Disk (RAID6) / Archive目的ならSATAでも可 – ファイルシステムの i-node サイズは、512B推奨  Memory – 16GB(Generic) / 32GB(HPC) / 48GB(Archive)  Network – 10GbE or 1GbE(HPCでは10GbE推奨) – Bondingで冗長化
  9. 9. その他の気になるキーワード  仮想化ハイパーバイザのバックエンドストレージ – RHEV / KVM – VMware  CIFS/Samba  InfiniBand – TCP/IP over IB – RDMA  IoDrive / SSD 個別にご相談ください
  10. 10. Thankyou

×