Recommended
Recommended
More Related Content
Similar to Datrium DVX アーキテクチャー ホワイトペーパー
Similar to Datrium DVX アーキテクチャー ホワイトペーパー (20)
Recently uploaded
Recently uploaded (8)
Datrium DVX アーキテクチャー ホワイトペーパー
- 1. DVX アーキテクチャ Technical Report 385 Moffett Park Dr. Sunnyvale, CA 94089 844-478-8349 www.Datrium.com
- 2. 2 デイトリウムは２０１６年にプライベートクラウド環境での拡張性と管理の簡 素化を目的としてDVXストレージシステムを発表しました。 デイトリウムの創業者はクラウドサービスのポテンシャルを引き出すために はリッチデータ管理、安全、拡張性、管理の容易性が絶対に必要だと考えて ます。 彼らはエンタープライズクラスの製品は全てのデータは復元性、可用性を 保ち、アプリケーションに最も近いサーバー内の高速なSSDに格納されなけ ればならいと考えます。 デイトリウムは拡張可能なコンピュートリソースに於いては異機種が混在し た環境をサポートするべきだと考えます。データセンターでは異なるベンダー やモデルだけでなく、CPU、メモリー、ネットワーク、ストレージで様々な構成 が必須になってくるからです。（特にラックマウント型やブレードサーバーの 混在は多く見られます）データセンター全体のサーバーを同時に同じものに するのは現実的ではありません。 実際のビジネスに於いて新しい技術を定期的に導入しつつ、ハードウェア は可能な限り長く使用するのでラックマウント型やプレードサーバー、CPU の世代やサーバーのベンダーが混在してしまいます。 さらに顧客は適切なCPU、メモリー、IOなどのハードウエアリソースをアプ リケーションに基づいて適切に購入しますし、アプリケーション毎にクラスタ ーを配置するということはせず、ホストを割り当てます。 DVXはスケールの制限された従来のストレージやサーバーロックイン されているHCIの仮想環境に柔軟なリソースやサービスを提供します。 （VMware、RedHat/KVM, Docker Containers on bere metal Linux hostsをサポートしてます）DVXはプライベートクラウド、広域非同期レプリケ ーションを含むデータ管理に於いてデータの安全性が保たれるように暗号 化もサポートしてます。 デイトリウムはサーバーパワードデータサービスをDVXで実現しました。 DVXはアクティブなデータと信頼性のある保護されたコピーをIO性能を向 上させるために分離しました。アクティブデータはデータ保護のニーズとは 分けて拡張することが可能になってます。デイトリウムDVXコンピュートノード （デイトリウムブランドのサーバー）はサーバー側のSSDとコンピュートリソ ースでアクティブデータをキャッシュし、データーノードで高密度ストレージを 利用し保護された信頼性のあるデータの拡張を行います。 デイトリウムは利便性と簡易性を究極の自由度と一緒にオープン・コンバー ジェンスとして提供できる唯一のベンダーです。（x８６サーバーとSSDの殆ど のサポートします） このホワイトペーパーではDVXのアーキテクチャを紹介します。DVXは従来 のアプローチに見られた、費用の増大、性能のボトルネック、管理の複雑さ を取り去った革新的な製品です。 DVX アーキテクチャ DVXは拡張の制限され ている従来のストレージ やサーバーにロックインさ れているHCIより柔軟な コンピュートリソースとデ ーターサービスを仮想化 対応されたアプリケーショ ンへ提供するために開発 されました。
- 3. DVX Components Figure 1 3 図１で示されているようにDVXは2つのコンポーネントで構成されます： 1 ] コンピュートノード上のDVXホストソフトウエア（ハイパードライバー） ホスト内で全てのアクティブデータを管理し、IO性能のスケーラビリティ、 可用性、データ管理も提供します。 2 ] DVXデータノードはスナップショットを含むクラスター内の全てのデ ータに信頼性、復元性を強固な保護機能で提供します。通常は書き込み 専用ですが、フラッシュ・アップロード時のストリーミング・リードも簡単なク ラスター管理と共に提供します。 このDVXの分割アーキテクチャは特例を除き、ホスト間のトラフィックを 排除します。このことはHCIやSDSに対しての非常に大きな優位性に なります。 図１の最上段にはデータキャッシングとコンピュートを行うホストがあ ります。（それぞれは違ったリソース構成で構いません）顧客はデイト リウムのサーバーもしくはお気に入りのベンダーのサーバーやSSDを 選択できます。このホストには： 1 ] 一般的なホスト構成：これはVMware vSphere ESXi ソフトウエ ア、ゲストVMが動作します。ESXiは全てのネットワーク、CPU、メモ リー、SSDといった物理リソースのアクセスを制御します。これらの パーツを独自に調達されてもサポートされます。 アーキテクチャ 概要
- 5. 1 5 2 ] アレイコントローラ上にソフトウエアを動かす、もしくは自己暗号機能 を使ったアレイサイドでの暗号化。この手法はアレイ上のデータだけの暗 号化を行い、キャッシュやネットワーク上のデータは危険な環境に晒され ます。 Blanket Encryption Figure 2 デイトリウムのブランケット暗号化だけが重複排除や圧縮の効果を生かし たまま暗号化できます。DVXソフトウエアは全てのネットワークの両端で稼 働しているからです。もしこれが片方のみで稼働していたら実現できませ んでした。 図２に示すように、全てのデータは今後の様々な処理を行う前に、まずフィ ンガープリントが作成され、直ぐに圧縮し直後に暗号化されます。DVXは 最大限のセキュリティを確保するためデータ作成時に可能な限り迅速に 暗号化します。 書き込み処理 VMが個々の書き込み要求を発行すると（通常のデータブロックは４から６ ４K）DVXは迅速にまた安全にホスト外へデータをコピーするためにいく つかの処理を短時間で行い、コントロールをVMに戻します。 図３で示すように、VMware vSphereはそれぞれのVMのIOリクエスト をDVXで構成されたNFSデータストアにリダイレクトします NFSはAPIのリード/ライトのAPIとして使用されます。プロトコルは常にクライ アントホスト内で終了します。ライトデータは常に転送される前にチェックサム 化され圧縮されます。実際にネトワークの効率化の為にデータノードからの全 てのデータは圧縮されています。
- 6. NFS Redirect From Hypervisor Figure 3 6 DVXソフトウエアは暗号化の前に暗号化されたフィンガープリントを作成 します。次に圧縮、暗号化されたデータにECCコードを付加してローカル のRAMバッファへデータを書き込みます。 ２ 同時にハイパーバイザーソフトウエアは圧縮、暗号化されたデータを コントローラ側でミラー化されたNVRAMへ１０Gイーサを通して非同期に 書き込みます。（図４）この処理はデータノード内のDiskやSSDではなくメ モリへの書き込みになるのでサブミリ秒というレベルのローレイテンシー で行われます。 HCIやSDSメーカーはNVRAMを独自仕様と言うかもしれません。しか し、DVXではコントローラーの一部をこのNVRAMで使用することによ り、SSDより遙かに短い遅延を実現しています。 VMRAMに安全にデータが格納されると直ぐにデータノードは正常終了 の返信をホストへ返し、ゲストOSがIOリクエストを継続することを許可し ます DVXは圧縮されたデータのみをデータノードに転送します。（従来の技術に 比べネットワーク帯域幅を大幅に削減できます） この時点で圧縮されたデータは安全にESXiホストのローカルのRAMと パワーセーフで安全保管されたデータノード上の両方に格納されていま す。ゲスト側からvDiskへの同期書き込み要求はブロックされることなく継 続されます。NVRAM上のデータは書き込み専用です。ホストはデータの 後続の処理（圧縮や重複排除）のためにデータノードからではなくRAM からデータを読み込みます。NVRAMは純粋にコンポーネントの障害また は電源異常の時の保険としてコピーされるだけです。
- 7. Low-Latency Write of Compressed Blocks Figure 4 7 DVXはホストのリソースを使いログを排出します。アレイコントローラー内の限 られたリソースに依存した従来のアレイとは違い個々のホスト上のDVXホスト ソフトウエアはそのホストによって書き込まれたNVLOGの削除も行います（ 以下で説明するように、信頼できるコピーがデータノードに書かれた後）。全て のRAIDの計算、ルックアップ、IOクエストはホストのリソースを使い実行されま す。SANアレイコントローラーの場合は限られたリソースでこれらの処理が行わ れるのでNVRAMが排出される間にIOのボトルネックになる可能性がありま す。このようにDVXは単一のコントローラーのリソースに制限されることはありま せん。 さらにDVXは書き込み側のホストと受信側のデータノードの両方を管理す るので動的に全体的な負荷をバランスできます。それぞれのノードは動的 に調整されたNVLOGの割り当て領域を受け取ります。（IOアクティビティ に基づいた）DVXは継続的にそれぞれのホストのNVLOG 使用量を監視しています。もし猛烈な書き込みがログのオーバーフローを 脅かした場合、ホストはログ排除の優先順位を変更して問題の解決を行な います。ホストがダウンした時のファイルセーフとしてデータノード上のDVX はNVLOGの内容をスプールしオーバーフロー保護とドライブプールでの 長期保管も可能です。 DVXはこのステージでほとんどの処理を行ないます。ここにはデイトリウ ムの技術特許の大部分が含まれています。ここでの全ての処理はライト パスの外でゲストのIOをブロックすることなく非同期に行われます パッキング、重複 排除、RAID
- 8. Active Data Stored in Local Flash Figure 5 8 IOスピードを高速化するためのパッキング まずDVXはRAM内の複数の圧縮されたブロックを大きなグルーピング にパックし、ホスト内のローカルSSDに重複排除されて格納されます。パ ッキングには以下の3つの意味があります。 1 ] ディスクは小さなランダムIO時は性能が発揮できません。パックする ことにより大きなシーケンシャルライトの書き込みをデータノードに行うこ とができます。（1度にフルストライプ・ライト） 2 ] SSDも小さなランダムライトに於いては問題があります。（耐久性と 性能の両面）パックすることによりSSDに大きな書き込みが実行でき、こ の問題を回避できます。 3 ] DVXデータノードはランダムブロックIOではなくストリーミング書き 込みがフラッシュアップロードのためにデザインされています。データノ ード・ドライブプールはホストフラッシュに素早くアップロードすることが 目的で設計されています。パックはDVXが大規模なシーケンシャルブロ ックの書き込みを行うためだけではなく、ホストフラッシュへデータを再 度読み込む時に迅速に回復できるようにも設計されています グローバル重複排除と超高速にSSDのアップロードを行えることは以下の 2点で非常に重要です： 1. SSDもしくはホスト障害が起きた時に最適な性能を提供します。アプリ ケーションは代替えのサーバーを使いデータノードから最初のリードミス時 にリージョン全てのデータを読み込む設計になってますので急速に性能復 旧が可能です。この最初のミスで大量の先読みを行いますのでその後のリ ードは全てローカルのSSDで行われます。 2. 物理ホスト間でvDiskやパーシステントボリュームを簡単に高速クロー ンが行えますので個々のハードウエア上に書き込み可能なコピーを作成し 別々に同じデータに並列処理が行えます。それは様々な業界に於いてま すます重要なワークフローになってきてます。
- 9. Durable copy synchronously written to NetShelf Figure 6 3 9 非同期の書き込みをローカルのフラッシュとデータノードに行う時にDVX は効率的な回復を行う為に圧縮されたブロックを大容量にパックします。 このパッキング技術はスペース、時間等の情報に基づいて行われ仮想デ ィスク内で同時に更新されるブロックは可能な限り同じグループでパック します。（これらは同時に回復される可能性が高い為）このD圧縮、パッキ ング技術はDVXの書き込みを高速化しVMのIOブレンダー問題を解決 します。 従来のSANの個々のLUNはVMや仮想ディスクを数百という単位で保持 し、それらは全て同時にアップデートされます。従来のSANアレイでは個々 のvDiskを認識できませんので異なるVMからの変更でも全て同じ扱いを します。LUNベースのアレイではvDiskに関連する変更を一緒に格納する ことは出来ません。DVXはvDiskとVMをネイティブに理解しています。 LUNベースのアレイは、特定のvDisk内の関連する変更が一緒に保存さ れることを保証できないため、vDiskの一部分が必要な時でもアレイ全体か ら読み取られるため、スラッシングやその他の不具合が発生する可能性が あります。 SSDへの書き込み 図５で示すように、それぞれのホストは可変長でグルーピングされた データをインラインで重複排除しローカルのSSDへ保存します。このよう に、DVXはグルーピングされたデータがユニークに識別されるための暗 号化フィンガープリントをライト処理の最初に行ないます（暗号化の前）そ してそれらはindexで管理されています。 新しく作成されたフィンガープリントがindexに存在しなければDVXは圧 縮、暗号化されたデータをホストのSSDへ書き込み、フィンガープリントを index 保存し、続いてブロックのマッピング情報も保存します。フィンガー プリントが既に存在するときはSSD内のブロックを参照するのに必要な
- 11. 11 DVXは全てのアクティブデータをローカルSSDに置きます。ゲストが vDiskへリード要求を発行すると、ハイパードライバーはマップとフィン ガープリントindexを使用してSSDからデータを読んできます。この時に ネットワーク越しのIO要求は発生しません 従来のアレイではVMがIOバッファにデータを保持していない限りは全て のIO要求はネットワーク越しに行われます。いかにライトスルーキャッシュを ホストに持たせた大規模はオールフラッシュアレイを持ってしてもキューイン グとネットワークの遅延は性能に大きな影響を与えます。 ブロックがローカルSSDに無いケースは以下の4つになります。 1 ] VMが他のホストから直近でvMotionされてきた ２] VMが新しいSSDからブートしようとしている（サーバーのハード ウエア障害の時など） 3 ] SSDに障害が発生している時は不完全もしくは無効なデータを 返すので、その時は信頼性データから読み込みます 4 ]全てのアクティブデータを保持するのに十分なSSD容量が無い vMotion時のリモートSSDリード vMotionの直後はVMのブロックはオリジナルのホストのSSDにありま す。デスティネーション側のホストではこのVMのデータを以前に扱った 事は無いのでデータはSSD内に持っていない可能性が高いです。 DVXは非常にスマートに開発されていますのでこの場合はデータノー ドのディスクドライブから読み取るよりはネットワーク越しにデータを取 得した方が圧倒的に速いと理解し、データノードから読み出す前にリモ ートのSSDを読みに行きます。 VMがデスティネーション側でリードを要求した時、DVXはローカルの indexを確認しデータを持っていない事を確認します。DVXは分散シス テムですがデータがオリジナルホスト上にまだ存在する事を知ってま す。そしてデータをそのホストから取得するためのIO要求を発行します。 （この場合でも重複排除は有効です。もしデスティネーション側で同じ データをすでに保持して入ればindex lookupが成功しデータはそのホ ストのSSDから読み込まれます。）
- 15. Overall data-flow within DVX, including metadata Figure 7 15 SSDやホストも障害の可能性はあります。DVXはデータノード上の信頼性 のあるデータはいつでも利用出来ることを保証しています。ホストやSSD 障害はデータロストにはなりません。実際には単一障害、複数またはカス ケード障害でも常にデータはデータノードに安全に保たれています。 データノードは単一のコンポーネントの障害から耐え得る構成です。電源 障害時は冗長化された電源で十分に稼働できます。コントローラー障害も セカンドコントローラーに引き継ぎ、IOを継続します。DVXはスペースリク ラメーションやリビルドは分散方式で行いますのでシステム全体のリソー スを利用します。データノードはシステムワイドにコーディネーションを行い ます。 ゲストのIOはvDiskのメタデータのタイムスタンプと使用量も変更しま す。ESXiは（VMの追加、削除の様な）DVXで提供されるNFSデータスト アのフィルやメタデータの変更を要する他の操作も行います。 図７はシステム全体のIOフローでメタデータがどうやって管理されて いるかを示しています。 メタデータの 管理 5
- 19. 19 1 ] サーバー側SSDにおいて、RAID、圧縮、重複排除機能のない ものは非常に安価に入手できますので全てのVMのデータを保 持することが安価に実現できます。全てのデータを保持するとい うことは単なるキャッシュではないのではないと考えられます。 2 ] SSDなので電源断でもデータをロストしません。 3 ] キャッシュは全てのサーバーを集中化するのではなく分散され ていてそれぞれのホストでローカルにアクティブなIOを実行しま す。DVXはそれらがvMotionで移動されても動的に管理します。 4 ] DVXは障害時キャッシュの移行を高速に行います。部分データ のみではなく周り全てのデータをひとまとまりでフェッチします。 以上の様なキャッシュの利用をしますのでこれまでほとんどの管理 者の頭を悩ませていたキャッシュの挙動についての難解な知識は 簡素化されDVXとは関係なくなります。さらに、ドライブプールよりも ホストキャッシュの方が大きくなる可能性もありますので、キャッシュ が全容量の１０％程度の時にバックアップやウイルススキャンで発生 していたキャシューブローアウトも関係なくなります。 書き込み性能と帯域幅 ネットワーク越しにNVRAMへ書き込みを行なった後データーノードの ドライブプールへ書き込みを行います。この処理は一見すると負担に 思えます。しかし実際にはDVXはネットワーク帯域幅を有効に使用しま す。なぜならログもコピーデータも圧縮後に転送されますので通常の書 き込みと使用する帯域幅は差がありません。 DVXの帯域幅は拡張可能：データノードはそれぞれがNVRAM、Disk、 ネットワークリソースを持ってますのでデータノードの追加で拡張できま す。最大８GB/sのスループットまで提供可能です。 さらに大事な事は通常のエンタープライズクラスのストレージではクラ イアントからの書き込み要求に対して、信頼性のあるデータにするため に、複数のIO処理がバックエンドで走ります。（RAIDやミラーリングの 場合）ですので遅延はネットワークではなく安全に保存する部分に発生 しています。DVXではこの処理は全てホスト側で行ないますので高速 でしかもスケーラブルです。 ホスト側のリソースの消費量？ HCIではどのくらいのリソースがIOに対してシステム内で要求されてい るかが問題になりますし明白にする事は困難です。DVXの場合は事前 に20％以下にIOは制限されていて最大で40％まで使用可能になって います。（これらは制限であり、事前にリザーブはしません）