Storage by Red Hat
Haruka Iwao
Storage Solution Architect, Red Hat K.K.
February 6, 2015

自己紹介
• 岩尾 はるか (@Yuryu)
• 所属: レッドハット株式会社
– ストレージソリューションアーキテクト
– 大手家電メーカー、ソーシャルゲーム会社、
Web広告ベンチャーを経て現職
• 大学・大学院で高性能計算(HPC)、分散
ファイルシステムを研究
• ゲーマーです(主に某国産MMORPG)

ソフトウェアによるストレージ

歴史
• ソフトウェアによる分散ストレージは長
い歴史を持っている
– Andrew File System (1988)
– Lustre (1999)
– Google File System (2003)
– Ceph (2004)
– GlusterFS (2005)
• オープンなストレージが技術を牽引

Google File System(GFS)
• Google による分散ファイルシステム
• Google の検索エンジンのための、専用
ファイルシステム
– 他の技術では数PBのデータをうまく扱えな
かった
• コモディティx86サーバーで、世界最大の
計算機クラスターを構築・運用
• 論文で技術が公開

GFSがもたらしたもの
• ソフトウェアストレージとコモディティ
サーバーが、最適な選択肢だと示した
– 研究室レベルではなく、実アプリで実証
• 現在の技術トレンドを決定づけた
• Ceph, GlusterFS他多数の分散ファイルシ
ステムがGFSの影響を受け設計された

なぜソフトウェアなのか
• ソフトウェアで最初に実現された
– 27年以上の歴史
– Google File Systemが作ったトレンド
• 論文、ソースコードが公開
– Hadoop, HDFS 誕生のきっかけ
– お互いに影響し合い、技術が急速に発展
– オープンイノベーション
• オープンソースが事実上の標準になった

Ceph, GlusterFS の考え方
• オープンソースソフトウェア
• コモディティのx86サーバーを利用
• スケールアウトで容量・性能を確保
• 「ハードウェア故障は障害ではない」
– 自動で監視、修復
• 容量の追加、削減が自由に行える

CephとGlusterFS, 比較
Ceph GlusterFS
特徴 ソフトウェアによる分散ストレージ
完全な分散(SPoF, ボトルネック無し)
容量 数十∼数百PB
用途 オブジェクト、ブ
ロックストレージ
OpenStack用
ファイルサーバー
企業内NAS
Hadoop用
商用版 Red Hat Inktank
Ceph Enterprise
Red Hat Storage

元になっているOSS レッドハットの製品
RED HAT
STORAGE

コミュニティ版と商用版の差
コミュニティ版 商用版
機能 実験的なものも含
めすべて
安定した機能のみ
サポート メーリングリスト
でのボランティア
ベース
SLAに基づく24時
間365日のサポート
が利用可能
メンテナンス期間 基本的に新バー
ジョンが出るまで
各バージョン2年間
その他 追加のテストや品
質保証を行う

Cephについて

Cephの概要
• オブジェクト、ブロック、POSIXファイ
ルシステムを単一のストレージプールと
して利用可能
• Linuxカーネルに組み込まれたドライバ
• 数千台のサーバーまで拡張可能

Ceph の統合されたストレージ
FILE
SYSTEM
BLOCK
STORAGE
OBJECT
STORAGE
Keystone
Geo-Replication
Erasure Coding
マルチテナント
S3 & Swift
OpenStack
Linux カーネル
Tiering
クローン
Snapshots
CIFS/NFS
HDFS
分散メタデータ
Linux Kernel
POSIX

Cephのコンポーネント
APP HOST/VM CLIENT

Cephを支えるコミュニティ
COMMUNITY METRICS DASHBOARD
METRICS.CEPH.COM

Ceph at CERN
http://www.slideshare.net/Inktank_Ceph/scaling-­‐ceph-­‐at-­‐cern

CephとOpenStack
RADOS CLUSTER

• オブジェクト、ブロックそれぞれに最適
化されたアーキテクチャ
• 単一のストレージプール
– 高いディスク使用効率
• OpenStackの各コンポーネントに組み込み
のドライバサポート
– 高い性能と可用性
CephとOpenStack: 利点
Copyright © 2014 Red Hat
K.K.
19

From OpenStack User Survey
http://superuser.openstack.org/articles/openstack-­‐user-­‐survey-­‐insights-­‐november-­‐2014
November 2014

Ceph “Hammer” Release
• 次のupstreamメジャーリリース
• 2月5日にfeature freeze

Hammerの新機能 (予定)
• CephFSの改善
– Scrub(fsck)対応
– サブツリー単位のquota対応
– 大量の(!)バグ修正
• OSD: Discard(SSDで役に立つ)対応
• OSD: チェックサム対応
• RGW: Bucketスケーラビリティ改善
• 性能改善、バグ修正、etc

Ceph Developer Summit
• 開発者が開発方針を集中的に議論する場
– 日頃の話題はceph-devel ML
• Bluejeans, IRC, Etherpad を利用
• https://wiki.ceph.com/Planning/CDS
• 次のバージョンで何が入るかがわかる
– しばしばスリップするので注意

FAQ: CephFSは使えるのか？
• まだ使えません
– マルチマスターMDSが特に使えません
• コミュニティでは「そろそろ大丈夫だか
ら誰か人柱に…」という状態
– レッドハット社内では常用してます
• Hammerの次ぐらいでほぼ安定するのでは
• ICE(製品版)にいつ入るかは不明

FAQ: FUSE? in-kernel?
• CephFSにはin-kernelとFUSEの2種類のド
ライバがある
• Sage「両方とも開発継続する」
• ユースケースに応じて使い分け
• 性能は一長一短
– Linux 3.15 でFUSEはかなり良くなった
• 古いカーネル使うならFUSEの方が良い

GlusterFSについて

GlusterFSの概要
• 高性能・高可用な分散ファイルシステム
– NAS、ファイルサーバー用途に特化
– Hadoop用ファイルシステムにも利用可能
• NFS, CIFSでの接続をサポート
– 従来のストレージをそのまま置き換え
• 数百台のサーバーまで拡張可能
• ストレージノード上で他のソフトウェア
が実行可能

GlusterFS
計算・ストレージを単一サーバーで実現
ファイルサービス オブジェクト用API
オープン・ソフトウェアディファインドストレージ
ビッグデータ
ワークロード
エンタープライズ
アプリケーション
データサービス エンタープライズ
モビリティ
クラウド
アプリケーション
スケールアウト
アーキテクチャ
物理環境
標準のx86サーバー
スケールアウトNAS
仮想環境
遊休・レガシー
資産の活用
クラウド
EBSEBS
Persistent data stores

GlusterFSの構造

GlusterFSのレプリケーション

Red Hat Storage について
• GlusterFS のエンタープライズ版
• Red Hat Enterprise Linux を含めて提供
• 他のレッドハット製品との統合
– 仮想化製品などをサポート
• オンプレミス、パブリッククラウドをサ
ポート

パートナーとの連携
プライベート、ハイブリッドクラウド
上で組織のデータを安全に共有
WORKLOAD SOLUTION PARTNERS
バックアップ・ウィンドウをレガシー
ソリューションと比べ50%削減
コールドストレージとして利用し、よ
り長期間のログを保存可能に
HadoopジョブをRHSクラスタ上で実
行し、データ解析を実施
ビッグデータ
Hadoop
サイバーセキュリティ
ログ解析
エンタープライズ
ファイル共有
バックアップ
アーカイブ

Hadoop プラグイン
• Hadoop MapReduceでデータを解析
• ストレージサーバーに蓄積したファイル
を直接解析可能
RED HAT STORAGE
Hadoop
認定Hadoopプラットフォーム

GlusterFS 3.7の予定
• 小さなファイルの性能向上
– いろんなサブプロジェクトが混ざってる
• ゴミ箱(.trashcan)
• SELinux対応
• リバランス性能向上
• NFS Ganeshaそろそろ使える？
• 2015年4月29日GA予定

GlusterFS 4.0の予定
• 3.7 の次は 4.0 かも
• スケーラビリティ改善
– 現状はノード数に対してO(n^2)の管理負荷
– Paxos, Raft などを導入
• DHT2: DHTを作り直す
• sharding-xlator: stripe-xlator RIP
• NSR: New-style-replication

Gluster Community Weekly Meeting
• 毎週IRCで開発方針を話す場
– 水曜日 12:00 UTC, 21:00 JST
• 議事録は https://public.pad.fsfe.org/p/
gluster-­‐community-­‐meetings
• その他の開発の話題は gluster-devel ML

FAQ: CephFSが来たらどうなる?
• 得意不得意があるので、共存
• コミュニティベースの開発が継続
• お互いに技術を取り入れることはする
• 製品もICE/RHSが両方売られる予定

まとめ

ソフトウェアによるストレージ
• 27年以上の歴史を持つストレージ技術
• オープンイノベーションが発展を牽引
• Google File Systemがソフトウェアによる
ストレージが最良の選択肢だと示す
– 実アプリケーションで証明
• オープンなストレージ技術が事実上標準

Ceph, GlusterFS
• Ceph: OpenStack、オブジェクトストア
– OpenStackでは最もよく使われるストレージ
• GlusterFS: ファイルサーバー、NAS
– Hadoopプラグインもサポート
• ともにレッドハットから商用版を提供
• 両方とも開発が続きます!

レッドハット!
クラウドストレージソリューション
RED HAT
INKTANK CEPH
Storage: Cinder, Glance
Storage: Scale-out VM storage
Storage: Scale-out file/unified object
APPLICATIONS DATA
Nova: Compute
Neutron: Networking Keystone: Identity

ご静聴ありがとうございました