OpenStack Summit Vancouver ストレージに関する動向

Copyright © NTT COMWARE CORPORATION 2018
NTTグループOpenStack Summit Vancouver報告会
ストレージに関する動向
2018/6/28
NTTコムウェア技術企画部技術SE部門
紺野良太

はじめに
2018年5月21日から5月24日にかけて開催された「OpenStack Summit
Vancouver 2018」でのストレージに関する動向を報告します。
2

自己紹介
3
氏名紺野良太 (こんのりょうた)
所属 NTTコムウェア技術企画部技術SE部門 (入社2年目)
担当業務
社内のOpenStack関連技術の支援業務を担当
 主にSDS製品(Ceph)の技術検証を中心に実施
今回のOpenStack Summitは2回目の参加
ストレージ動向調査の背景
クラウドでの利用に適したストレージ製品把握の必要性を認識
ストレージ製品調査の第一弾として、OpenStackで最も採用事例の多いCephを
ターゲットとし、昨年下期から技術調査・技術検証を開始
現在は、SSD(NVMe、SATA)、HDD等の異なるHWを用いて、オブジェクト・ブロック・
ファイルストレージの機能検証や性能測定を実施中
今回のSummitでは、最新動向をフィードバックしていくために、Cephを
中心にストレージに関連する講演全般を聴講

目次
ストレージに関する動向
1. ストレージに関する講演全般について
2. OpenStackコンポーネントに関する動向
 Cinder
 Manila
 Swift
3. SDS製品に関する動向
 Ceph
 GlusterFS
まとめ
4

ストレージに関する動向
5

1. ストレージに関する講演全般について
6

ストレージに関する講演全般について
 ストレージ系OpenStackコンポーネント(Cinder、Manila、Swift)の講演
 プロジェクトアップデートにおいては、比較的小規模な機能追加や軽微な修正、ユーザビリ
ティの向上を中心とした紹介が目立っていました。
 ユーザ事例においては、Cinderを用いたコンテナへのボリューム提供やSwiftを用いた機械
学習用オブジェクトストレージの構築など、近年重要度が高まっている新技術に合わせた
使い方が紹介されていました。
 SDS(Ceph、GlusterFS)関連の講演
 SDSの講演に関しては、Cephに関して多くの講演が行われました。GlusterFSの講演は
ほとんどありませんでした。
 NVMeなどを用いたAllFlash環境での性能評価に関する講演が多く、AllFlash環境への
注目度の高さを感じました。
 HCI構成における性能評価やビッグデータ解析用途における構成事例・チューニング方法
に関する講演も行われていました。
7
ストレージサービス構築のユーザ事例や、 HCI構成・AllFlash構成におけるCephの性能
評価に関する講演などを中心に多くの講演が行われました。

2. OpenStackコンポーネントに関する動向
8

Cinderに関する動向 (1/2)
-プロジェクトアップデート-
Queensの新機能として、マルチアタッチ機能が強調して紹介されていました。
その他のアップデート内容は、ユーザビリティの向上や改善が多くを占めました。
ドライバの追加
デフォルトポリシをpolicy.jsonからソースコード内へ移動
serviceの一覧表示コマンド実行時にバックエンドのup/downを返すように変更
バックアップボリュームから直接ボリューム作成が可能に
Rockyでのアップデート内容に関しても、新機能追加よりは機能改善が主だった
ものであり、Cinderのソフトウェアとしての成熟度の高さを感じました。
HA構成(Act/Act)のドキュメント化およびバグフィックス
フェイルオーバー時のバックエンドの切り替えをコマンドでサポート
Imageからvolume作成時の署名の検証に対応
どのvolume typeがどのAZで提供されているか確認可能に
9
マルチアタッチ機能などの要望の多かった機能の実装や機能改善に関する内容を中心に
アップデートの紹介が行われました。

Cinderに関する動向 (2/2)
-その他の講演-
 コンテナへのボリューム提供にCinderを用いる事例が紹介されました。
 OpenSDSと呼ばれる、OpenStack等のクラウド環境やKubernetes等のコンテナオーケス
トレーションシステムへの統一的なストレージ機能提供を目的としたOSS製品を利用
 バックエンドストレージとして、ベンダ製ストレージやCeph等のSDS製品、Cinder、
Standalone-Cinder、cinderlib等を利用可能
 Cinderと異なり、クラウドネイティブな環境やマルチクラウドを視野に入れて開発
 OpenSDSのバックエンドにStandalone-Cinderを用いて、Kubernetesにボリュームを
提供するデモが行われました
 Standalone-Cinderを用いたストレージ管理のPoCが紹介されました。
 Standalone-Cinder、Keystone、Horizonを組み合わせて、ストレージを統一的に
管理するストレージコントローラを作成
 OpenStackだけでなく、非OpenStack(VMware、Hyper-V)にもストレージを提供可能
 ユーザは、Web UI上からボリュームの作成・削除などの操作が可能
10
OpenStack環境ではない他の環境においてCinderを活用するStandalone-Cinder
に関する講演が複数みられました。

Manilaに関する動向 (1/2)
 Queensでのアップデート内容に関しては、小規模な機能追加・機能改善を
中心に紹介が行われ、機能的に成熟していることが感じられました。
 Pikeで実装されたIPv6のエクスポート機能に対応したドライバを追加
 共有ディレクトリに接続しているインスタンス数を取得するAPIの追加
 新しいドライバの追加
 Rockyでのアップデート内容についても、Queensと同様に機能改善やコミュ
ニティとして開発を進めていく上での改善等に留まっていました。
 アクセスルールに対する優先順位付けの対応
 ソースコードのPython3への移行
 また、クロスプロジェクト・クロスコミュニティの活動として以下が紹介されました。
 tripleOやkolla、charmsなどのデプロイツールとの統合
 Standalone版のManila
 バックアップやDRのソリューション 11
小規模な機能追加・機能改善やRocky以降のアップデート方針を中心に紹介が行われて
いました。

Manilaに関する動向 (2/2)
GlusterFSをバックエンドとしてNFSサービスを構築した事例が紹介されました。
NFSサービスを提供するVMを立てる方法や、GlusterFS Native Driverを用いる方法、
Gluster Driverを用いる方法等を検討したがそれぞれに課題が存在
最終的にはGlusterFS DriverとNFS-ganeshaに独自の修正・実装を追加
Manila自体が問題ではなく、ドライバやNFS-ganeshaなどの周辺ソフトウェアが課題
CephFSをバックエンドとする方式に関するライトニングトークが行われました。
デプロイ方式として以下の2つが紹介
CephFS Native Driverを用いる方法
Cephクラスタにアクセスできてしまうので低セキュリティ
 CephFS NFS Driverを用いる方法
VMからはNFS-ganeshaをゲートウェイとして接続
NFS-ganeshaを(act/Passive)のHA構成を組むことでSPoFを解消
この他、HPCインフラの構築にManila+CephFSを用いた講演も行われていました。
12
Manilaを用いてファイル共有サービスを構築した講演が複数行われた他、CephFSと
Manilaの組み合わせに関するライトニングトーク等が行われました。

Swiftに関する動向 (1/2)
 Rockyまでのアップデート内容に関して説明が行われました。
 コンテナシャーディング
 S3 API機能のSwift本体への取り込み
 オブジェクトのレプリケーション処理のマルチプロセス化
 エマージェンシーモードの導入
 今後の機能追加の方針として以下のものが挙げられていました。
 コンテナシャーディングの機能強化
 レプリケーションプロトコルの変更(rsyncからtsyncへ)
 大量の小規模ファイルに対応するための機能追加
 レプリケーションのポリシー移行機能の強化
 その他、Swiftと関連する以下のプロジェクトの紹介がなされました。
 Storlets、Qinling、ProxyFSなど 13
コンテナシャーディングに関する紹介を中心に、直近の追加機能、今後の機能追加の予定
について紹介が行われました。

Swiftに関する動向 (2/2)
 Swiftを活用した事例紹介が複数行われました。
 eBayでの事例
 大規模環境でのSwiftの運用事例が紹介されました
 ノイジーネイバー対応、同一オブジェクトへの同時アクセスへの対応、
地理的冗長の実現、運用監視の方法などが紹介されました
 NTTでの事例
 機械学習の基盤にて、ストレージにSwiftを利用した事例が紹介されました
 SwiftをFilesystemとして利用するProxyFSの紹介が行われました。
 オブジェクトストレージをバックエンドにして、Posix互換なFilesystemを提供
 プロトコルとしてSMBとNFSをサポート
 バックエンドのオブジェクトストレージとしてSwiftとAWS S3を利用可能
 更にマルチクラウドのデータ管理を行う1spaceと組み合わせることで、
ProxyFSから複数のオブジェクトストレージを同時に利用する方法が紹介されました 14
Swiftに関する事例紹介や、SwiftをFilesystemとして利用するProxyFSの紹介が
行われました。

3. SDS製品に関する動向
15

Cephに関する動向 (1/3)
-ユーザ事例-
他社もストレージ周りで苦労しており、OpenStackでのストレージ選定・運用が
共通の課題になっていると感じました。
Cephにて発生した3つの問題とそれぞれの対処策が紹介されました。
VMの性能が落ちる、ボリューム作成で性能が落ちる、ボリューム作成でエラーになる
分散の偏りやプロセスkillによるリバランス発生等が原因
根本的な解決策が無いものもあり、運用でのカバーも必要な状況
DiskArrayにて発生した4つの問題とそれぞれの対処策が紹介されました。
ボリュームアタッチに失敗する、Diskのフォーマットに失敗する＆ディスクの情報が矛盾する、
CinderからのGlanceのイメージアップロードが遅い、Cinder同時操作でエラーが起きる
OpenStackとの連携部分に関して成熟していない模様
物理マシン再起動などの対処も必要な状況
実運用に入る前に十分にテストすることの重要性や、コミュニティが既にテストを行
っているから問題ないと考えてはいけないことが述べられていました。
16
China Railwayが2種類のストレージ(Ceph、DiskArray)を用いてクラウドストレージ
を構築した事例が紹介されました。

-NFV関連-
HCI構成とした場合、CephのプロセスがCPUリソースを消費してしまい、VNF
の処理に十分なCPUリソースを割けない問題が報告されました。
ボトルネック特定のためのパフォーマンスプロファイリング方法が紹介されました。
トレーシングシステム(zipkin)やCephのソースに埋め込まれているトレースポイントを使用
各イベントや各処理にどれだけの時間を要しているか調査する方法を説明
IntelとAT&Tが共同でHCI構成におけるNFVのPoCを行い、性能評価およ
びチューニングを実施した講演が行われました。
Ceph JewelとLuminousの2つのバージョンにおいてIOPSやCPU使用率を比較
Jewelと比べLuminousが高パフォーマンス
そのほか、IOPSやCPU使用率の制限、CPU Affinity、NVMe SSD一台あたりのOSD
デーモン数変更など、様々な条件で性能評価を実施
17
HCI構成で構築したNFVインフラにおいて低レイテンシを実現するため、HW比較や
パフォーマンスチューニングを行った講演が複数みられました。

-AllFlash関連-
高トランザクションが求められるワークロードにおいて、10ms以下の低レイテンシ
を実現するために、NVMe SSDやOptaneメモリなどの新技術を用いて性能検
証を実施した講演が行われました。
コンピュートとストレージのノードが分かれたHCI構成ではない環境での性能検証を実施
DBとWAL用にOptaneメモリを使用した場合と使用しなかった場合の性能比較を実施
4KBのRandom WriteにおいてIOPSが25%向上、レイテンシが25%削減
その他、NVMe SSD一台あたりのOSDデーモン数を変更して、性能測定を実施
All NVMe SSD構成において、Cephのブロック・オブジェクトストレージ機能の
性能測定を実施した講演が行われました。
fioによるブロックストレージの性能測定やRADOS Benchを用いたオブジェクトストレージ
の性能測定を実施
Cephの2つのバックエンド方式(ファイルシステム経由でオブジェクトを書き込むFileStore、
デバイスに直接書き込むBlueStore)の比較を実施
全体的にBlueStoreの方が高性能 18
NVMe SSD等を用いたAllFlash構成での性能評価に関する講演が多くみられ、
AllFlash構成に対する注目度の高さがうかがえました。

GlusterFSに関する動向
私が確認した限りでは、GlusterFSを用いていた講演は1件のみでした。
ChinaMobileがManilaとGlusterFSでNFSサービスを提供した事例のみ
その一方で、5月に開催されたRedhat Summit 2018では、RedhatがOpenShift
のバックエンドストレージにGlusterFSという説明をしている
RedhatおよびGlusterFSの動向を注視していく必要があると感じました
19
GlusterFSに関する講演はほとんど見つかりませんでした。
引用元: Red Hat Summit 2018, Container-Native Storage & Red Hat Gluster Storage Roadmap, https://www.redhat.com/files/summit/session-
assets/2018/S1132-Container-native-storage-and-Red-Hat-Gluster-Storage-roadmap-Distribution.pdf

まとめ
20

まとめ
ストレージ系のOpenStackコンポーネントに関して
プロジェクトアップデートに関しては、一般的なユースケースを満たす実装は完了しており、
現在は機能改善を中心に開発が行われているようでした。
これらのコンポーネントをOpenStack以外で使う動きも多くみられました。
SDS製品に関して
AllFlash構成やHCI構成における性能評価を行った講演が数多くみられ、 AllFlash
構成・HCI構成の導入が徐々に進んでいるように感じました。
China Railwayの講演において、Cephで複数の問題が発生したことが報告されました。
OpenStack環境で最も採用数の多いCephを使えば安定した運用が可能になるわけ
ではなく、ユースケースに合わせストレージの事前検証を入念に行い、製品を選定する
必要性を感じました。
21

商標等引用に関する表示
22
OpenStackのワードマークとOpenStackのロゴは、米国とその他の国における
OpenStack Foundation の登録商標/サービスマークまたは商標/サービスマ
ークのどちらかであり、OpenStack Foundationの許諾の下で使用されていま
す。
その他、記載されている社名、製品名、サービス名などは各社の商標または登録
商標である場合があります。

OpenStack Summit Vancouver ストレージに関する動向

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to OpenStack Summit Vancouver ストレージに関する動向

Similar to OpenStack Summit Vancouver ストレージに関する動向 (20)

OpenStack Summit Vancouver ストレージに関する動向