Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
LT2 : Ceph on SoftLayer
2015年3月10日
TIS株式会社 松井 暢之
Tech-Circle #3 & OCDET #7
SDS(Software Defined Storage)勉強会
2
松井 暢之(まつい のぶゆき)
TIS株式会社 戦略技術センター
~2003
2003~2008
2009
2010~2012
2013~
現場PJでアーキテクト兼モデラー兼プログラマ兼…を歴任
基盤技術センター(現戦略技術センター)で不芳...
3
今回は
SoftLayer上でCephを
動かしてみた
という話をします
Cephとは
 Ceph is a distributed object store and file system designed to
provide excellent performance, reliability and sca...
Cephとは
 RADOS:Reliable, Autonomic, Distributed Object Store
 RADOSGW:RADOS GateWay(S3/Swift互換なREST API)
 RBD:RADOS Bloc...
6
今回は、SoftLayer上に
構築したCephクラスタの
RBD & CEPH FS
のI/O性能を検証しました
(Object Storageとしての使い勝手はまたこんど!)
7
Cephはceph-deployで
インストールした
v0.80.7 Firefly
です
Cephをインストールするansible-playbookも作ったよ!
今回構築したCephクラスタ①
 同一DC内で分散(San Jose 1 x3)
 Cephクラスタの設定はデフォルトのまま
 Cephクラスタノード(Baremetal Server)のスペック
・Xeon 1270 4Core 3.4...
 別DCと分散(San Jose 1 x2 + Dallas 1 x1)
 Cephクラスタの設定はデフォルトのまま
 Cephクラスタノード(Baremetal Server)のスペック
・Xeon 1270 4Core 3.40GHz...
対照実験
 対照実験として、以下のI/O性能も測定
10
San Jose 1
OS Data
Ubuntu 14.04
Baremetal Server
fio
Baremetal Serverの
Local SATA HDD
San Jo...
計測方法
 fioを用い、以下のジョブを実行
11
[global]
ioengine=libaio
iodepth=1
size=1g
direct=1
runtime=60
directory=/mnt
filename=fio-disk...
計測結果
 全結果
12
計測結果
 Sequential Read/Write
 ceph①(同一DC内で分散)のReadは、NAS Serviceと同程度の
I/O帯域が出る(iSCSI Serviceより速い)
 ceph②(別DCと分散)のReadは遅い
...
計測結果
 Random Read/Write(ブロックサイズ 512K、iodepth=1)
 ceph①(同一DC内で分散)のReadは、NAS Serviceと同程度の
I/O帯域が出る(iodepth=1の場合、iSCSI Serv...
計測結果
 Random Read/Write(ブロックサイズ 4K、iodepth=1 & 32)
 iodepthを32にし、非同期並列読み込み数を増やすと、ceph①
(同一DC内で分散)のRBD Readが最大となる
15
計測結果
 ceph①(同一DC内で分散)と ceph②(別DCと分散)
 ceph②(別DCと分散)は ceph①(同一DC内で分散)と比べて
半分以下のI/O帯域しか得られていない
16
まとめ
 安価なBaremetal Server 3台を用い、同一DC内で構築したcephク
ラスタをファイルシステムとしてマウントした場合、Readに関して
はConsistent PerformanceではないNAS Storageサービ...
【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer
Upcoming SlideShare
Loading in …5
×

【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer

1,071 views

Published on

Tech-Circle #3 & OCDET #7SDS(Software Defined Storage)勉強会でのLT資料です。SoftLayerのベアメタル上でCephクラスタを動作させ、I/O帯域を計測しました。

Published in: Technology
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer

  1. 1. LT2 : Ceph on SoftLayer 2015年3月10日 TIS株式会社 松井 暢之 Tech-Circle #3 & OCDET #7 SDS(Software Defined Storage)勉強会
  2. 2. 2 松井 暢之(まつい のぶゆき) TIS株式会社 戦略技術センター ~2003 2003~2008 2009 2010~2012 2013~ 現場PJでアーキテクト兼モデラー兼プログラマ兼…を歴任 基盤技術センター(現戦略技術センター)で不芳PJの火消しに奔走 全社生産性向上の企画策定に従事 オープンでエッジな技術を活用した事業企画に従事 Cloud Orchestrator “CloudConductor®” の企画開発とOSS化開始 http://cloudconductor.org nbyk.matsui nmatsui nbyk.matsui@n_matsui
  3. 3. 3 今回は SoftLayer上でCephを 動かしてみた という話をします
  4. 4. Cephとは  Ceph is a distributed object store and file system designed to provide excellent performance, reliability and scalability. - See more at: http://ceph.com/ 4 なんかイイカンジに 高可用でスケールしてくれる 分散オブジェクトストレージ &ファイルシステム
  5. 5. Cephとは  RADOS:Reliable, Autonomic, Distributed Object Store  RADOSGW:RADOS GateWay(S3/Swift互換なREST API)  RBD:RADOS Block Device(iSCSI的なブロックデバイス)  CEPH FS:CEPH File System(POSIX互換のファイルシステム) 5 http://ceph.com/docs/v0.86/_images/stack.png
  6. 6. 6 今回は、SoftLayer上に 構築したCephクラスタの RBD & CEPH FS のI/O性能を検証しました (Object Storageとしての使い勝手はまたこんど!)
  7. 7. 7 Cephはceph-deployで インストールした v0.80.7 Firefly です Cephをインストールするansible-playbookも作ったよ!
  8. 8. 今回構築したCephクラスタ①  同一DC内で分散(San Jose 1 x3)  Cephクラスタの設定はデフォルトのまま  Cephクラスタノード(Baremetal Server)のスペック ・Xeon 1270 4Core 3.40GHz ・8GB RAM ・1TB SATA x2 ・1Gbps NIC 8 San Jose 1 Ubuntu 14.04 Ceph Client fio Virtual Server eth0 OS Data Journal Ubuntu 14.04 OSDMDSMON eth0 Baremetal Server OS Data Journal Ubuntu 14.04 OSDMDSMON eth0 Baremetal Server OS Data Journal Ubuntu 14.04 OSDMDSMON eth0 Baremetal Server Private VLAN Hourly最安のBaremetal (NICだけグレードアップ)
  9. 9.  別DCと分散(San Jose 1 x2 + Dallas 1 x1)  Cephクラスタの設定はデフォルトのまま  Cephクラスタノード(Baremetal Server)のスペック ・Xeon 1270 4Core 3.40GHz ・8GB RAM ・1TB SATA x2 ・1Gbps NIC 今回構築したCephクラスタ② 9 San Jose 1 Ubuntu 14.04 Ceph Client fio Virtual Server eth0 OS Data Journal Ubuntu 14.04 OSDMDSMON eth0 Baremetal Server OS Data Journal Ubuntu 14.04 OSDMDSMON eth0 Baremetal Server OS Data Journal Ubuntu 14.04 OSDMDSMON eth0 Baremetal Server Dallas 1 Private VLANPrivate VLAN Hourly最安のBaremetal (NICだけグレードアップ)
  10. 10. 対照実験  対照実験として、以下のI/O性能も測定 10 San Jose 1 OS Data Ubuntu 14.04 Baremetal Server fio Baremetal Serverの Local SATA HDD San Jose 1 Ubuntu 14.04 Ceph Client fio Virtual Server eth0 Block Storage (iSCSI) SoftLayerの Block Storage Service (iSCSI) San Jose 1 Ubuntu 14.04 Ceph Client fio Virtual Server eth0 File Storage (NAS) SoftLayerの File Storage Service (NAS) Hourly最安のBaremetal Consistent Performance無し Consistent Performance無し
  11. 11. 計測方法  fioを用い、以下のジョブを実行 11 [global] ioengine=libaio iodepth=1 size=1g direct=1 runtime=60 directory=/mnt filename=fio-diskmark [Seq-Read] bs=1m rw=read stonewall [Seq-Write] bs=1m rw=write stonewall [Rand-Read-512K] bs=512k rw=randread stonewall [Rand-Write-512K] bs=512k rw=randwrite stonewall [Rand-Read-4K] bs=4k rw=randread stonewall [Rand-Write-4K] bs=4k rw=randwrite stonewall [Rand-Read-4K-QD32] iodepth=32 bs=4k rw=randread stonewall [Rand-Write-4K-QD32] iodepth=32 bs=4k rw=randwrite stonewall
  12. 12. 計測結果  全結果 12
  13. 13. 計測結果  Sequential Read/Write  ceph①(同一DC内で分散)のReadは、NAS Serviceと同程度の I/O帯域が出る(iSCSI Serviceより速い)  ceph②(別DCと分散)のReadは遅い  cephのwriteはStorage Serviceに比べて圧倒的に遅い 13
  14. 14. 計測結果  Random Read/Write(ブロックサイズ 512K、iodepth=1)  ceph①(同一DC内で分散)のReadは、NAS Serviceと同程度の I/O帯域が出る(iodepth=1の場合、iSCSI Serviceより速い)  ceph②(別DCと分散)のReadは遅い  cephのwriteはStorage Serviceに比べて圧倒的に遅い 14
  15. 15. 計測結果  Random Read/Write(ブロックサイズ 4K、iodepth=1 & 32)  iodepthを32にし、非同期並列読み込み数を増やすと、ceph① (同一DC内で分散)のRBD Readが最大となる 15
  16. 16. 計測結果  ceph①(同一DC内で分散)と ceph②(別DCと分散)  ceph②(別DCと分散)は ceph①(同一DC内で分散)と比べて 半分以下のI/O帯域しか得られていない 16
  17. 17. まとめ  安価なBaremetal Server 3台を用い、同一DC内で構築したcephク ラスタをファイルシステムとしてマウントした場合、Readに関して はConsistent PerformanceではないNAS Storageサービスと同程度 のI/O帯域が期待できる  安価なBaremetal Server 3台を用い、同一DC内で構築したcephク ラスタをブロックデバイスとしてマウントした場合、iodepthを適切 に調整できれば、Readに関してはConsistent Performanceではない iSCSI Storageサービスと同程度のI/O帯域が期待できる  ceph v0.80.7 fireflyでは、RBDやCEPH FSでGeoLocationを意識し た設定ができないため、DC間で分散させたcephクラスタでは低い I/O帯域しか得られない  適切にチューニングしなければ、cephクラスタへのwriteは低いI/O 帯域しか得られない 17

×