Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Storage by Red Hat #rhcpday 2015

3,390 views

Published on

Red Hat Certified Professionals Day 2015 で話した、レッドハットのストレージ製品+アップストリームの紹介です。

Published in: Engineering
  • Be the first to comment

Storage by Red Hat #rhcpday 2015

  1. 1. Storage by Red Hat Haruka Iwao Storage Solution Architect, Red Hat K.K. February 6, 2015
  2. 2. 自己紹介 •  岩尾 はるか (@Yuryu) •  所属: レッドハット株式会社 – ストレージソリューションアーキテクト – 大手家電メーカー、ソーシャルゲーム会社、 Web広告ベンチャーを経て現職 •  大学・大学院で高性能計算(HPC)、分散 ファイルシステムを研究 •  ゲーマーです(主に某国産MMORPG)
  3. 3. ソフトウェアによるストレージ
  4. 4. 歴史 •  ソフトウェアによる分散ストレージは長 い歴史を持っている – Andrew File System (1988) – Lustre (1999) – Google File System (2003) – Ceph (2004) – GlusterFS (2005) •  オープンなストレージが技術を牽引
  5. 5. Google File System(GFS) •  Google による分散ファイルシステム •  Google の検索エンジンのための、専用 ファイルシステム – 他の技術では数PBのデータをうまく扱えな かった •  コモディティx86サーバーで、世界最大の 計算機クラスターを構築・運用 •  論文で技術が公開
  6. 6. GFSがもたらしたもの •  ソフトウェアストレージとコモディティ サーバーが、最適な選択肢だと示した – 研究室レベルではなく、実アプリで実証 •  現在の技術トレンドを決定づけた •  Ceph, GlusterFS他多数の分散ファイルシ ステムがGFSの影響を受け設計された
  7. 7. なぜソフトウェアなのか •  ソフトウェアで最初に実現された – 27年以上の歴史 – Google File Systemが作ったトレンド •  論文、ソースコードが公開 – Hadoop, HDFS 誕生のきっかけ – お互いに影響し合い、技術が急速に発展 – オープンイノベーション •  オープンソースが事実上の標準になった
  8. 8. Ceph, GlusterFS の考え方 •  オープンソースソフトウェア •  コモディティのx86サーバーを利用 •  スケールアウトで容量・性能を確保 •  「ハードウェア故障は障害ではない」 – 自動で監視、修復 •  容量の追加、削減が自由に行える
  9. 9. CephとGlusterFS, 比較 Ceph GlusterFS 特徴 ソフトウェアによる分散ストレージ 完全な分散(SPoF, ボトルネック無し) 容量 数十∼数百PB 用途 オブジェクト、ブ ロックストレージ OpenStack用 ファイルサーバー 企業内NAS Hadoop用 商用版 Red Hat Inktank Ceph Enterprise Red Hat Storage
  10. 10. 元になっているOSS レッドハットの製品 RED HAT STORAGE
  11. 11. コミュニティ版と商用版の差 コミュニティ版 商用版 機能 実験的なものも含 めすべて 安定した機能のみ サポート メーリングリスト でのボランティア ベース SLAに基づく24時 間365日のサポート が利用可能 メンテナンス期間 基本的に新バー ジョンが出るまで 各バージョン2年間 その他 追加のテストや品 質保証を行う
  12. 12. Cephについて
  13. 13. Cephの概要 •  オブジェクト、ブロック、POSIXファイ ルシステムを単一のストレージプールと して利用可能 •  Linuxカーネルに組み込まれたドライバ •  数千台のサーバーまで拡張可能
  14. 14. Ceph の統合されたストレージ FILE SYSTEM BLOCK STORAGE OBJECT STORAGE Keystone Geo-Replication Erasure Coding マルチテナント S3 & Swift OpenStack Linux カーネル Tiering クローン Snapshots CIFS/NFS HDFS 分散メタデータ Linux Kernel POSIX
  15. 15. Cephのコンポーネント APP HOST/VM CLIENT
  16. 16. Cephを支えるコミュニティ COMMUNITY METRICS DASHBOARD METRICS.CEPH.COM
  17. 17. Ceph at CERN http://www.slideshare.net/Inktank_Ceph/scaling-­‐ceph-­‐at-­‐cern
  18. 18. CephとOpenStack RADOS CLUSTER
  19. 19. •  オブジェクト、ブロックそれぞれに最適 化されたアーキテクチャ •  単一のストレージプール – 高いディスク使用効率 •  OpenStackの各コンポーネントに組み込み のドライバサポート – 高い性能と可用性 CephとOpenStack: 利点 Copyright © 2014 Red Hat K.K. 19
  20. 20. From OpenStack User Survey http://superuser.openstack.org/articles/openstack-­‐user-­‐survey-­‐insights-­‐november-­‐2014 November 2014
  21. 21. Ceph “Hammer” Release •  次のupstreamメジャーリリース •  2月5日にfeature freeze
  22. 22. Hammerの新機能 (予定) •  CephFSの改善 – Scrub(fsck)対応 – サブツリー単位のquota対応 – 大量の(!)バグ修正 •  OSD: Discard(SSDで役に立つ)対応 •  OSD: チェックサム対応 •  RGW: Bucketスケーラビリティ改善 •  性能改善、バグ修正、etc
  23. 23. Ceph Developer Summit •  開発者が開発方針を集中的に議論する場 – 日頃の話題はceph-devel ML •  Bluejeans, IRC, Etherpad を利用 •  https://wiki.ceph.com/Planning/CDS   •  次のバージョンで何が入るかがわかる – しばしばスリップするので注意
  24. 24. FAQ: CephFSは使えるのか? •  まだ使えません – マルチマスターMDSが特に使えません •  コミュニティでは「そろそろ大丈夫だか ら誰か人柱に…」という状態 – レッドハット社内では常用してます •  Hammerの次ぐらいでほぼ安定するのでは •  ICE(製品版)にいつ入るかは不明
  25. 25. FAQ: FUSE? in-kernel? •  CephFSにはin-kernelとFUSEの2種類のド ライバがある •  Sage「両方とも開発継続する」 •  ユースケースに応じて使い分け •  性能は一長一短 – Linux 3.15 でFUSEはかなり良くなった •  古いカーネル使うならFUSEの方が良い
  26. 26. GlusterFSについて
  27. 27. GlusterFSの概要 •  高性能・高可用な分散ファイルシステム – NAS、ファイルサーバー用途に特化 – Hadoop用ファイルシステムにも利用可能 •  NFS, CIFSでの接続をサポート – 従来のストレージをそのまま置き換え •  数百台のサーバーまで拡張可能 •  ストレージノード上で他のソフトウェア が実行可能
  28. 28. GlusterFS 計算・ストレージを単一サーバーで実現 ファイルサービス オブジェクト用API オープン・ソフトウェアディファインドストレージ ビッグデータ ワークロード エンタープライズ アプリケーション データサービス エンタープライズ モビリティ クラウド アプリケーション スケールアウト アーキテクチャ 物理環境 標準のx86サーバー スケールアウトNAS 仮想環境 遊休・レガシー 資産の活用 クラウド EBSEBS Persistent data stores
  29. 29. GlusterFSの構造
  30. 30. GlusterFSのレプリケーション
  31. 31. Red Hat Storage について •  GlusterFS のエンタープライズ版 •  Red Hat Enterprise Linux を含めて提供 •  他のレッドハット製品との統合 – 仮想化製品などをサポート •  オンプレミス、パブリッククラウドをサ ポート
  32. 32. パートナーとの連携 プライベート、ハイブリッドクラウド 上で組織のデータを安全に共有 WORKLOAD SOLUTION PARTNERS バックアップ・ウィンドウをレガシー ソリューションと比べ50%削減 コールドストレージとして利用し、よ り長期間のログを保存可能に HadoopジョブをRHSクラスタ上で実 行し、データ解析を実施 ビッグデータ Hadoop サイバーセキュリティ ログ解析 エンタープライズ ファイル共有 バックアップ アーカイブ
  33. 33. Hadoop プラグイン •  Hadoop MapReduceでデータを解析 •  ストレージサーバーに蓄積したファイル を直接解析可能 RED HAT STORAGE Hadoop 認定Hadoopプラットフォーム
  34. 34. GlusterFS 3.7の予定 •  小さなファイルの性能向上 – いろんなサブプロジェクトが混ざってる •  ゴミ箱(.trashcan) •  SELinux対応 •  リバランス性能向上 •  NFS Ganeshaそろそろ使える? •  2015年4月29日GA予定
  35. 35. GlusterFS 4.0の予定 •  3.7 の次は 4.0 かも •  スケーラビリティ改善 – 現状はノード数に対してO(n^2)の管理負荷 – Paxos, Raft などを導入 •  DHT2: DHTを作り直す •  sharding-xlator: stripe-xlator RIP •  NSR: New-style-replication
  36. 36. Gluster Community Weekly Meeting •  毎週IRCで開発方針を話す場 – 水曜日 12:00 UTC, 21:00 JST •  議事録は https://public.pad.fsfe.org/p/ gluster-­‐community-­‐meetings   •  その他の開発の話題は gluster-devel ML
  37. 37. FAQ: CephFSが来たらどうなる? •  得意不得意があるので、共存 •  コミュニティベースの開発が継続 •  お互いに技術を取り入れることはする •  製品もICE/RHSが両方売られる予定
  38. 38. まとめ
  39. 39. ソフトウェアによるストレージ •  27年以上の歴史を持つストレージ技術 •  オープンイノベーションが発展を牽引 •  Google File Systemがソフトウェアによる ストレージが最良の選択肢だと示す – 実アプリケーションで証明 •  オープンなストレージ技術が事実上標準
  40. 40. Ceph, GlusterFS •  Ceph: OpenStack、オブジェクトストア – OpenStackでは最もよく使われるストレージ •  GlusterFS: ファイルサーバー、NAS – Hadoopプラグインもサポート •  ともにレッドハットから商用版を提供 •  両方とも開発が続きます!
  41. 41. レッドハット! クラウドストレージソリューション RED HAT INKTANK CEPH Storage: Cinder, Glance Storage: Scale-out VM storage Storage: Scale-out file/unified object APPLICATIONS DATA Nova: Compute Neutron: Networking Keystone: Identity
  42. 42. ご静聴ありがとうございました

×