[日本仮想化技術] 2014/6/5 OpenStack最新情報セミナー資料
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

[日本仮想化技術] 2014/6/5 OpenStack最新情報セミナー資料

on

  • 509 views

Ceph fireflyベンチマーク

Ceph fireflyベンチマーク

Statistics

Views

Total Views
509
Views on SlideShare
492
Embed Views
17

Actions

Likes
7
Downloads
12
Comments
0

3 Embeds 17

http://s.deeeki.com 9
http://www.slideee.com 7
http://webcache.googleusercontent.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

[日本仮想化技術] 2014/6/5 OpenStack最新情報セミナー資料 Presentation Transcript

  • 1. Ceph をベンチマークしてみました 2014/6/5 Open Programmable Infrastructure Environment 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 1
  • 2. 仮想ストレージとは l  仮想ストレージの階層 l  Disk Virtualization (ディスクの仮想化) :論理ブロック(LBA) l  Block Virtualization (ブロックの仮想化) :LVM/RAID l  File Virtualization (ファイルの仮想化) :VFS l  File System Virtualization (ファイルシステムの仮想化) (SNIA(Storage Network Industry Association)が作成したストレージ仮想化技術の分類) l  ファイルシステムの仮想化: l  クラスタ/グリッドファイルシステム/仮想ストレージ/Software Defined Storage, etc. l  ユーザからはサーバや記憶装置の多様性と分散が隠蔽され、単なるボリュームや ファイルとして扱える透過性を持つ。 l  商⽤用製品例 l  EMC ViPR l  VMware VSAN l  Datacore SANSymphony-V l  NexentaStor l  Cleversafe/Amplidata l  分散ファイルシステムは、レプリケーションによるフォールトトレラント性強化 を⽬目指したもの、並列化による性能強化を⽬目指したもの、両⽅方を同時に実現しよ うと設計されたものがある。 214/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
  • 3. クラウドストレージとは l  クラウド上のストレージサービス l  ユーザは物理的にどのデータセンタ/サーバ/ストレージ/ディスクに⾃自分 のデータが格納されているのか、全く意識しなくて良い l  バックアップもオプション指定するだけで、⾃自動的に地理的分散を保証して くれる 3 オブジェクトストレージ (REST)のS3と、ブロック デバイスのEBSを提供 オブジェクトストレージ(REST, JSON/XML etc.)のCloud Storage と、ブロックデバイスの Persistent Diskを提供 オブジェクトストレージ (REST, NTFS)のBLob Storage(Azure Drive)と、ブ ロックデバイスのLocal Storageを提供 異なるサービス間、またはオンプレミス環境の ストレージと互換性/可搬性がない 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
  • 4. クラウド透過なクラウドストレージが理想 4 オンプレミス (物理・仮想マシン) プライベートクラウド パブリッククラウドサービス (仮想マシン) VMware, OpenStack, etc. POSIX (FUSE) ⾃自動 レプリケーション ブロック デバイス オブジェクト ストレージ 共有ファイル VMイメージ REST API (S3, SWIFT互換) ハイブリッド・クラウド 仮想マシン群 オンプレミス (物理・仮想マシン) プライベートクラウド パブリッククラウドサービス (仮想マシン) ⾃自動 レプリケーション 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
  • 5. 分散ファイルシステムの種類 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 5 分類 概要 例 分散ファイルシステム 複数のホストがコンピュータネットワークを経由して 共有しつつファイルにアクセスすることを可能にする。 複数のサーバ上に配置されたファイルを、論理的に 構造化された 1つ以上の名前空間で透過的にアク セスできる。 Amazon S3 Andrew File System (AFS) etc. 分散フォールト トレラント ファイルシステム データを複製する事により、分散ファイルシステムを 構成する要素に障害が発生しても、データ喪失する 事なくアクセスが継続できる。 Microsoft DFS Moose FS, etc. 分散並列 ファイルシステム データを細かく分割し、分散ファイルシステム上の各 ホストに分散配置する事により、性能をスケールア ウトできる。 FraunhoferFS (FhGFS) PVFS/OrangeFS etc. 分散並列フォールト トレラント ファイルシステム 上記全ての機能を備えたファイルシステム Ceph GlusterFS XtreemFS etc.
  • 6. 調べてみました 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 6 製品名 開発主体 ライセンス Amage クリエーションライン株式会社 プロプライエタリ Ceph Inktank LGPL2 Chiron FS luisfurquim@gmail.com GPL3 Cloudian クラウディアン株式会社 プロプライエタリ CloudStore/Kosmosfs/Quantcastfs Quantcast Apache License 2.0 Cosmos Microsoft internal 非公開 dCache DESY and others プロプライエタリ FraunhoferFS (FhGFS) Competence Center for High Performance Computing FhGFS license FS-Manager CDNetworks プロプライエタリ General Parallel File System(GPFS) IBM プロプライエタリ Gfarm file system 筑波大学/産業技術総合研究所 BSD GlusterFS Gluster, a company acquired by Red Hat GPL3 Google File System(GFS) Google 非公開 Hadoop Distributed File System ASF, Cloudera, Pivot, Hortonworks, WANdisco, Intel Apache License 2.0 IBRIX Fusion IBRIX プロプライエタリ LeoFS 楽天技術研究所 Apache License 2.0 Lustre originally developed byCluster File System and currently supported by Intel(formerly Whamcloud) GPL MogileFS Danga Interactive GPL
  • 7. 分散仮想ストレージのアーキテクチャ l  メタデータ管理 l  集中管理型/分散管理型、フォールトトレランス、スケールアウト l  ネーミング l  データ格納場所とオブジェクトIDのマッピングアルゴリズム l  クライアントアクセス l  POSIX/FUSE/Block/REST l  キャッシングと⼀一貫性保持 l  WORM/Transactional locking/Leasing l  レプリケーション/同期⽅方式 l  同期/⾮非同期、Read only/Read/Write、CAP定理、PAXOS l  ロードバランス l  データ偏在の⾃自動修正 l  ⾃自⼰己修復機能(Self Healing) 714/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
  • 8. Ceph l  概要 l  Ceph は、カリフォルニア⼤大学サンタクルーズ校 (UCSC) の Sage Weil (現 DreamHost / Inktank共同設⽴立立者)がストレージ・システムに関する博⼠士論⽂文 の研究プロジェクトとして、2004年から開発を始められたファイルシステム であり、2010年 に Linux カーネル (2.6.34 以降) に組み込まれた。 l  CephはLGPL V2.1ライセンスで提供され、商⽤用版はCeph Enterpriseとして Inktankから販売サポートされている。 l  開発/サポート体制 l  開発はInktankを中⼼心に進められているOpen Coreモデルである。オープン ソース版がコアになり、商⽤用版は管理⽤用GUIやSNMPインターフェース、 Hyper-V連携等が加えられ、サポートが提供される。 l  2012年7⽉月に最初の安定板をリリースした後、約3ヶ⽉月毎にバージョンアッ プが⾏行行われ、現在は2014年5⽉月にリリースされた6番⽬目のV0.80.1(Firefly)が提 供されている。Linuxカーネル3.4.20以降または3.6.6以降でサポートされてお り、Windows版やMac版は提供されていない。また、OpenStackや CloudStackと共同でIaaS基盤とのストレージ連携を強化している。 814/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
  • 9. 2014/4/30 “Red Hat to Acquire Inktank, Provider of Ceph” 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 9
  • 10. Cephの特徴 l  ベンダフリー l  汎⽤用PCサーバ/汎⽤用OS(Linux)を使⽤用 l  特別なハードウェア不要 l  オープンソース l  フォールトトレラント l  スケールアウト l  汎⽤用プロトコル l  POSIXファイルシステム l  ブロックデバイス l  REST(AWS S3/SWIFT互換) l  WAN越しリモートレプリケーション(RGWのみ) l  RW同期(LANのみ) 1014/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
  • 11. RADOS Reliable, Autonomous, Distributed Object Store ブロック デバイス MDS Monitors OSDs Cephのアーキテクチャ 11 CephFS POSIX互換ファイル システム Kernel-client及び FUSE-clientから使 用できる Librados C, C++, java, Python, Ruby, PHP からRADOSに アクセスできるAPI ライブラリ RADOSGW (RADOS Gateway) AWS S3及び OpenStack SWIFT 互換のREST APIを 提供するhttpプロキ シ RBD (RADOS Block Device) Linuxカーネルから RADOSをブロック デバイスとして使用 できる API Kernel Client ノード ブロック デバイス vfs ブロックデバイス ドライバ MDS Monitors OSDs MDS Monitors OSDs API QEMU /KVM Kernel Client FUSE Client Ext4/xfs/btrfs ブロック デバイス ノード ブロック デバイス vfs ブロックデバイス ドライバ Ext4/xfs/btrfs
  • 12. CephFS (Posix file system) kernel Device driver vfs FUSE File system ブロック デバイス User space Kernel space Ceph-fuse Client Application MDS Monitors OSDs vfs ブロックデバ イスドライバ vfs User space Kernel space Ceph-kernel Client Application RADOS *CephFSは、現時点(V.0.80)で本番稼働での使用は推奨されていない。 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 12 CephFS Kernel client CephFS FUSE client
  • 13. 物理サーバ QEMU/KVM Ceph RBD(ブロックデバイス) 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 13 RBD (RADOS Block Device) Kernel Client librbd VM Linux Kernel Client 物理サーバ Hypervisor VM 物理サーバ Linux アプリケー ション アプリケー ション アプリケー ション Linuxページ キャッシュを使用 ユーザースペース モジュール RBD Cacheを使用 Linuxのみサポート カーネルスペース モジュール Hypervisorの種類は 問わない VM OSの種類は 問わない Hypervisorの種類は QEMU/KVMのみ
  • 14. Ceph RADOSGW (Object Gateway) librgw File system ブロック デバイス Monitors OSDs vfs ブロックデバ イスドライバ S3 API librados Application RADOS *RADOSGWは、マルチサイト非同期レプリケーションをサポート httpd SWIFT API 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 14
  • 15. OpenStackインテグレーション 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 15 Volumes Ephemeral Copy-on-Write Snapshots
  • 16. Keystone(認証サービス)連携 Keystone Server RADOSGW RESTful Object Store Query token Access with token Grant/revoke
  • 17. Glance(イメージサービス)連携 RBD Glance Server /etc/glance/glance-api.conf default_store=rbd rbd_store_user=glance rbd_store_pool=images Store, Download Image
  • 18. Cinder/Nova連携 RBD Cinder Server Libvirt (QEMU/KVM) VM Boot from volume ボリューム作成/接続 Volume Image Copy-on-write clone librbd Nova/compute
  • 19. OpenStack+Cephのメリット l  OpenStack 全体の可⽤用性の向上 l  MySQL のデータさえダンプ取得すれば、 リストア可能 l  OS イメージ・スナップショットは Ceph 上にあ るのでバックアップ不要 l  Compute ノード上のインスタンスデータは Ceph のスナップショットから復旧 l  Network ノードは分散・冗⻑⾧長可能、データのバッ クアップは不要 l  最⼩小構成(3ノード)から始めて、スケールアウ ト可能 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 19
  • 20. Cephのユースケース 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 20 Virtualization and Private Cloud (traditional SAN/NAS) High Performance (traditional SAN) PerformanceCapacity NAS & Object Content Store (traditional NAS) Cloud Applications Traditional IT XaaS Compute Cloud Open Source Block XaaS Content Store Open Source NAS/Object Ceph Target Ceph Target
  • 21. Multi-site Replication オブジェクトストレージ(RADOSGW) のみ対応 l  物理的ロケーションの離れた別ク ラスターにメタデータとデータを 複製。 l  複製⽅方式は、マスター/スレーブ、 スレーブはRead Only l  複製先は複数可能 l  ディザスタリカバリー⽤用のバック アップデータを保証する。 l  ⼀一貫性はAP(Eventually consistency) 2114/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
  • 22. Erasure coding(イレージャーコーディング) l  Erasure Coding:定訳はないが、「消失符号」あるいは「消失訂正符号」という訳語も⼀一 部で使われている。 l  オブジェクトを分割して消失訂正符号を付加し、物理的に異なるノードに分散して格納す ることで、その分割したデータのいくつかが消失した場合でも、元のオブジェクトを復元 することができる⼿手法で、マイクロソフトのAzureストレージにも採⽤用されている技術。 l  実装の仕組みは複数のアルゴリズムが⽤用意されているが、⼀一般的にオブジェクトの容量に 対して20% 40%程度の符号を付加すれば良いことから、レプリケーション(複製)に⽐比 べ物理的なディスクの利⽤用効率(実効容量)が⾼高い。 l  ただし、オブジェクトの書き込みの都度、符号化処理を⾏行行うので、パフォーマンスが劣化 する可能性があり、ディスクの利⽤用効率を優先する⼤大規模案件やパフォーマンスを要求し ないアーカイブ⽤用途などに適している。 Erasure Coding レプリケーション 利用効率(2ディスク障害で の保証) 約140% 200% CPU使用率 High Low 読み書き速度 遅い 速い
  • 23. キャッシュ・ティアリング CEPH STORAGE CLUSTER Write ReadRead/Write SSD HDD
  • 24. Cephロードマップ (as of 4/30) 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 24 1.2 2.0 CEPH CALAMARI PLUGINS May 2014 Q4 2014 2015
  • 25. ベンチマーク⽬目的 l  想定ユースケース l  共有ファイルサーバ/VMイメージストア l  CephFS/RBDでの各ドライバでの基本性能を検 証、Object Storageは実施しなかった l  ⽐比較のために、ローカルHDDとNFSも検証した l  限られたHW環境のため、スケールアウトの検証 は⾏行行っていない 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 25
  • 26. ベンチマークテスト内容 対象ファイル アクセスパターン 書込:読出 ブロックサイズ ファイルサイズ 1 DBなどアプリケーションデータ ランダム 1 : 2 8 KB 64KB 2 ログファイル シーケンシャル 1 : 0 64 KB 1MB 3 オフィスドキュメント ランダム 1 : 2 64 KB 512KB 4 画像等BLOBデータ シーケンシャル 0 : 1 128 KB 10MB 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 26 NO. 同時並⾏行行数 作成ファイル数 1 10 10 2 100 10 3 100 100 4 1000 100 5 300 300 アクセスパターン シナリオ •  ベンチマークプログラムは、fioを使⽤用し、 fabricで⾃自動実⾏行行 •  4アクセスパターンx5シナリオ=20タイプ •  各タイプは10回実⾏行行し、最⼤大/最⼩小値を除い た8回分を平均 •  OSのページキャッシュはオフ •  Cephは全てデフォルト設定
  • 27. テスト環境 l  HW環境 l  NW環境 l  SW環境 l  CentOS6.5(クライアントのみkernel3.1) l  Ceph 0.78 環境 HW NW ファイルシステム ローカルHDD HP ML110 G7 Intel Celeron G530 @ 2.40GHz 1p/2c HP 250GB SATA disk x1 1Gbps ext3 NFS Nfs v4 Ceph ext4 RTT ms Mbps Nuttcpでの計測 0.418 928.5 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 27
  • 28. テスト環境(1) l  クライアントは、KVMホスト上のVMに Cephクライアントとベンチマークプログ ラムを配置 l  以下の5種類の結果を⽐比較 l  CephFS kernel client l  CephFS FUSE client l  CephRBD(物理サーバ) l  CephRBD(KVM VM) l  CephRBD(Librbd+QEMU/KVM) l  Cephクライアントは、CentOS6のデフォ ルトkernelでは動かないので、3.1に変更 l  VMのイメージはKVMホスト上のqcow2 l  Ceph基本設定 l  pool 2 rbd(Block Device) l  ceph osd pool set data size 3 l  ceph osd pool set data min_size 2 l  MonitorとMDSは冗⻑⾧長化(3台)しOSDと 同居 l  OSDのストライピングは⾏行行わない l  OS/Cephともデフォルト設定で実施し、特 別なチューニングは実施しなかった Mon Ceph pool 同期 レプリケーション MDS OSD Mon MDS OSD Mon MDS OSD fio fabric Ceph client 同期 レプリケーション Kvm host 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 28
  • 29. テスト環境(2) l  ⽐比較のためにローカルディスクとNFSで同⼀一のテストを⾏行行った。 / ベンチマーク ファイル fio fabric 物理サーバ 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 29 NFS V4 fio fabric NFS client Kvm host ※SATA1ドライブに、 /と同居 ローカルディスク環境 NFS環境
  • 30. キャッシング ゲストVM ホストOS ローカルファイル Page cache off NFS NFSキャッシュ有 CephFS kernel client Page cache off QEMUキャッシュ有 CephFS FUSE client Page cache off QEMUキャッシュ有 CephRBD_VM(KVM VM) RBD cache off QEMUキャッシュ有 CephRBD_BM(物理サーバ) RBD cache off CephRBD_QEMU(Librbd+QEMU/KVM) Page cache off RBD cache off 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 30
  • 31. シナリオ1: DBなどアプリケーションデータ ランダム W1 : R2 
 8KB Block, 64KB File 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 31 DBなどアプリケーションデータ ランダム W1 : R2 8 KB1 Block, 64KB File シナリオ1 Read KB/s 10並列/10ファイル 100並列/10ファイル 100並列/100ファイル 1000並列/100ファイル 300並列/300ファイル シナリオ1 Write KB/s 10並列/10ファイル 100並列/10ファイル 100並列/100ファイル 1000並列/100ファイル 300並列/300ファイル DBなどアプリケーションデータ ランダム W1 : R2 8 KB1 Block, 64KB File ローカルファイル NFS 1,478 2,162 2,523 2,515 1,220 2,149 1,347 2,315 8,610 2,043 ローカルファイル NFS 609 890 1,021 1,023 574 997 635 1,065 4,015 969 DBなどアプリケーションデータ ランダム W1 : R2 8 KB1 Block, 64KB File CephFS_Kernel CepFS_FUSE CephRBD_VM 292 4,223 2,052 252 4,358 1,955 194 2,950 1,172 185 2,690 1,145 197 2,137 1,357 CephFS_Kernel CepFS_FUSE CephRBD_VM 118 1,704 844 102 1,759 807 89 1,357 552 85 1,243 538 92 1,002 646 CephRBD_BM CephRBD_QEMU 1,763 1,932 2,752 1,980 1,277 1,441 1,391 2,325 1,118 2,938 CephRBD_BM CephRBD_QEMU 729 791 1,111 809 601 679 655 1,082 533 1,372 !" #$!!!" %$!!!" &$!!!" '$!!!" ($!!!" )$!!!" *$!!!" +$!!!" ,$!!!" #!$!!!" #!並列/#!ファイル #!!並列/#!ファイル #!!並列/#!!ファイル #!!!並列/#!!ファイル &!!並列/&!!ファイル ローカルファイル -./" 0123./4516718" 012./4.9/:" 0123;<=4>?" 0123;<=4<?" 0123;<=4@:?9" !" (!!" #$!!!" #$(!!" %$!!!" %$(!!" &$!!!" &$(!!" '$!!!" '$(!!" #!並列/#!ファイル #!!並列/#!ファイル #!!並列/#!!ファイル #!!!並列/#!!ファイル &!!並列/&!!ファイル ローカルファイル -./" 0123./4516718" 012./4.9/:" 0123;<=4>?" 0123;<=4<?" 0123;<=4@:?9"
  • 32. シナリオ2: ログファイル シーケンシャル W1 :R 0 
 64KB Block, 1MB File 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 32 ログファイル シーケンシャル W1 :R 0 64KB Block, 1MB File シナリオ2 Write KB/s 10並列/10ファイル 100並列/10ファイル 100並列/100ファイル 1000並列/100ファイル 300並列/300ファイル ログファイル シーケンシャル W1 :R 0 64KB Block, 1MB File ローカルファイル NFS 9,989 4,843 28,947 4,948 11,298 5,418 35,094 5,451 6,689 4,949 ログファイル シーケンシャル W1 :R 0 64KB Block, 1MB File CephFS_Kernel CepFS_FUSE CephRBD_VM 856 66,323 14,622 851 68,183 25,004 670 23,126 11,144 670 25,485 11,369 888 6,274 7,345 CephRBD_BM CephRBD_QEMU 12,862 19,221 28,203 22,309 16,969 15,215 33,935 18,994 17,840 9,518 !" #!$!!!" %!$!!!" &!$!!!" '!$!!!" (!$!!!" )!$!!!" *!$!!!" +!$!!!" #!並列/#!ファイル #!!並列/#!ファイル #!!並列/#!!ファイル #!!!並列/#!!ファイル &!!並列/&!!ファイル ローカルファイル ,-." /012-.3405607" /01-.3-8.9" /012:;<3=>" /012:;<3;>" /012:;<3?9>8"
  • 33. シナリオ3: オフィスドキュメント ランダム W1 :R 2 
 64KB Block, 512KB File 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 33 オフィスドキュメント ランダム W1 :R 2 64KB Block, 512KB File シナリオ3 Read KB/s 10並列/10ファイル 100並列/10ファイル 100並列/100ファイル 1000並列/100ファイル 300並列/300ファイル シナリオ3 Write KB/s 10並列/10ファイル 100並列/10ファイル 100並列/100ファイル 1000並列/100ファイル 300並列/300ファイル オフィスドキュメント ランダム W1 :R 2 64KB Block, 512KB File ローカルファイル NFS 11,020 16,204 16,698 16,137 9,033 15,323 8,706 15,596 8,289 15,073 ローカルファイル NFS 4,447 6,539 6,738 6,511 4,153 7,046 4,003 7,172 3,856 7,012 オフィスドキュメント ランダム W1 :R 2 64KB Block, 512KB File CephFS_Kernel CepFS_FUSE CephRBD_VM 3,982 18,057 11,920 5,991 17,017 16,246 2,853 7,973 13,333 2,705 9,364 17,985 2,640 6,952 14,455 CephFS_Kernel CepFS_FUSE CephRBD_VM 1,616 7,286 4,810 2,420 6,866 6,556 1,312 3,667 6,131 1,244 4,306 8,270 1,228 3,234 6,725 CephRBD_BM CephRBD_QEMU 11,462 11,794 15,534 17,240 8,406 17,036 8,820 20,418 7,089 19,426 CephRBD_BM CephRBD_QEMU 4,625 4,759 6,268 6,956 3,866 7,834 4,056 9,390 3,298 9,037 !" #$!!!" %!$!!!" %#$!!!" &!$!!!" &#$!!!" %!並列/%!ファイル %!!並列/%!ファイル %!!並列/%!!ファイル %!!!並列/%!!ファイル '!!並列/'!!ファイル ローカルファイル ()*" +,-.)*/0,12,3" +,-)*/)4*5" +,-.678/9:" +,-.678/7:" +,-.678/;5:4" !" %$!!!" &$!!!" '$!!!" <$!!!" #$!!!" =$!!!" >$!!!" ?$!!!" @$!!!" %!$!!!" %!並列/%!ファイル %!!並列/%!ファイル %!!並列/%!!ファイル %!!!並列/%!!ファイル '!!並列/'!!ファイル ローカルファイル ()*" +,-.)*/0,12,3" +,-)*/)4*5" +,-.678/9:" +,-.678/7:" +,-.678/;5:4"
  • 34. シナリオ4: 画像等BLOBデータ シーケンシャル W0 : R1 
 128KB Block, 10MB File 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 34 画像等BLOBデータ シーケンシャル W0 : R1 128KB Block, 10MB File シナリオ4 Read KB/s 10並列/10ファイル 100並列/10ファイル 100並列/100ファイル 1000並列/100ファイル 300並列/300ファイル 画像等BLOBデータ シーケンシャル W0 : R1 128KB Block, 10MB File ローカルファイル NFS 27,435 107,686 73,532 108,906 27,958 107,413 60,161 106,828 21,159 21,232 画像等BLOBデータ シーケンシャル W0 : R1 128KB Block, 10MB File CephFS_Kernel CepFS_FUSE CephRBD_VM 48,937 39,374 106,617 60,726 32,460 110,905 60,049 2,270 100,186 60,761 2,273 99,314 38,913 1,522 76,314 CephRBD_BM CephRBD_QEMU 23,649 11,029 63,999 21,158 28,028 11,448 49,722 11,103 18,501 10,785 !" #!$!!!" %!$!!!" &!$!!!" '!$!!!" (!!$!!!" (#!$!!!" (!並列/(!ファイル (!!並列/(!ファイル (!!並列/(!!ファイル (!!!並列/(!!ファイル )!!並列/)!!ファイル ローカルファイル *+," -./0+,12.34.5" -./+,1+6,7" -./089:1;<" -./089:19<" -./089:1=7<6"
  • 35. コンテキストスイッチ s1 s3 s2 s4 !" #!!" $%!!!" $%#!!" &%!!!" &%#!!" '%!!!" '%#!!" (%!!!" (%#!!" #%!!!" $!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!" *+,-*" ./0" ,123)415.1*" ,123)6789" ,123):*+,4" !" &%!!!" (%!!!" ;%!!!" <%!!!" $!%!!!" $&%!!!" $!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!" *+,-*" ./0" ,123)415.1*" ,123)6789" ,123):*+,4" !" #!!" $%!!!" $%#!!" &%!!!" &%#!!" '%!!!" '%#!!" (%!!!" (%#!!" #%!!!" $!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!" *+,-*" ./0" ,123)415.1*" ,123)6789" ,123):*+,4" !" #%!!!" $!%!!!" $#%!!!" &!%!!!" &#%!!!" '!%!!!" $!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!" *+,-*" ./0" ,123)415.1*" ,123)6789" ,123):*+,4" 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 35
  • 36. まとめ 1.  CephFS Kernelドライバはまだ本番環境には使えない 2.  CephFS FUSEドライバは、作成ファイル数が増えるとコン テキストスイッチが急激に増加する 3.  CephRBDは検証環境では普通にNFS(1台)並みの性能 1.  1G etherを使い切っている 2.  NW/キャッシングのチューニングでさらに向上が⾒見見込まれる 4.  CephRBD_QEMUドライバは、ランダムRWではkernelドラ イバより良い結果となった 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 36
  • 37. 参考情報 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 37 http://www.mellanox.com/related-docs/whitepapers/ WP_Deploying_Ceph_over_High_Performance_Networks.pdf
  • 38. 参考情報 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 38 2,419MB/sec (8M Seq. READ) 110k IOPS (4k Seq. READ)
  • 39. ⽇日本Cephユーザー会 l  https://groups.google.com/forum/#!forum/ceph-jp l  July Tech Festa 2014 l  http://2014.techfesta.jp/ l  会場: 産業技術⼤大学院⼤大学 東京都品川区東⼤大井1-10-40 l  ⽇日程: 2014年6⽉月22⽇日(⽇日) 10:00- l  タイトル:オープンソース次世代分散ストレージ「Ceph」解説 l  内容: l  「Ceph」はLinuxカーネル2.6.34で標準実装されたファイルシステ ムで、複数のストレージシステムに対して、データを分散管理する 仕組みを実現しています。 l  オブジェクトストア、ブロックストア、POSIX準拠の分散ファイ ルシステムで構成され、⾼高い拡張性、⾃自動拡張、⾃自⼰己修復などが特 徴です。OpenStackにもブロックストレージのプラグイン 「Cinder」からも利⽤用可能です。今回はこの「Ceph」の概要から 優れた特徴について解説します。 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 39