Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Microsoft Azure Storage 概要

3,674 views

Published on

すべてのAzureサービスの基本となる、Azure Storageの全体概要を紹介。これだけ広範囲にカバーしている日本語スライドはない。詳細の記載はないが、Azure Storage全体のインデックスとして活用できる。

Published in: Software
  • Be the first to comment

Microsoft Azure Storage 概要

  1. 1. Azure Azure Storage 概要 福原 毅 日本マイクロソフト株式会社 パートナー事業本部 パートナー ソリューション プロフェッショナル 2019年4月12日 Azure Core Infrastructure - Storage
  2. 2. オブジェクト ストレージ • Azure Blobs • Azure Data Lake Storage Gen2 ディスク ストレージ • 管理ディスク ファイル ストレージ • Azure Files & Azure File Sync • Azure NetApp Files データ転送 • Azure Data Box Family ハイブリッド ストレージ • Azure Data Box Gateway / Edge • Avere Appendix: • 今後のAzure Core Infrastructureの 理解促進のために 内容
  3. 3. コア インフラストラクチャー コンピューティング 仮想マシン 可用性セット 仮想マシンス ケール セット メンテナンスの制御 ストレージ Blob Data Lake Gen2 管理ディスク, Files, Data Box, Hybrid Storage ネットワーク 仮想ネットワーク ExpressRoute, CDN, ロードバランサー Traffic Manager 運用管理 Cloud Shell, RBAC Backup, Site Recovery Monitor, Automation, Security Center
  4. 4. Azure Storage の種類と用途 オンプレミスとクラウドストレージ間の セキュリティで保護された、 インテリジェントなデータ階層化 ハイブリッド ストレージ Azure Data Box Edge Azure File Sync Avere * データ転送 Azure へのデータの 移動または移行 Azure Import/Export Azure Data Box ディスク ストレージ Managed Disks Virtual Machines のための、 信頼性が高く、永続的で、 高パフォーマンスのストレージ オブジェクト ストレージ Azure Blobs Azure Data Lake バックアップ/障害復旧の ためのセキュリティで保護さ れた、一元化された ストレージ ターゲット ファイル ストレージ Azure Files Azure NetApp Files クラウドへのファイル共有を 必要とするレガシー アプリケーションの リフト アンド シフト
  5. 5. Azure Storage アーキテクチャ Client Libraries (.NET, Java, C++, Android, Node.JS…) SMB ClientImport / Export Massive Scale Out & Auto Load Balancing Index Layer Distributed Replication Layer Blob/Disk Endpoint Queue Endpoint Table Endpoint File Share Endpoint Stream Layer Partition Layer Front End Layer REST REST REST REST SMB 2.1
  6. 6. IaaS Azure Storage の種類と用途 PaaS 仮想マシンストレージ ネットワーク 既存 フレームワーク Web とモバイル サーバレス コンピューティング マイクロサービス ディスク ✓ Azure IaaS VMの永 続ディスク ✓ Standard Storage Disk:管理ディスク、 低いIOPS、中程度の 遅延 ✓ Premium Storage Disks: SSDベース、高 いIOPS、低遅延 ✓ 管理ディスク ファイル ✓ クラウド上の完全に管 理されたファイル共有 ✓ SMB および REST で のアクセス ✓ レガシーアプリの“リフト &シフト” BLOB ✓ 高い拡張性、REST ベースのクラウドオブ ジェクトストレージ ✓ ブロックBlob: シーケン シャルI/O、ホット層、 クール層、アーカイブ層 ✓ ページBlob: ランダム 書き込みパターンの データ ✓ 追加Blob テーブル ✓ 大規模オートスケール なNoSQLストア ✓ ロードをベースとした動 的スケール ✓ テーブルデータのペタバ イトへのスケール ✓ Fast key/valueによる 検索 キュー ✓ スケール時の信頼でき るキューサービス ✓ コンポネントの切り離 してスケール ✓ 信頼できないキュー削 除に対するメッセージ のタイムアウトやアップ デートにおけるメッセー ジの可視化 ユニファイド分散ストレージシステム上に実装 耐久性、保存時の暗号化、強固で一貫性のあるレプリケーション、フォルトトレランス、オートロードバランス
  7. 7. Azure Blobs オブジェクト ストレージ • ストレージ アカウントとストレージ概要 • 冗長性と可用性 • セキュリティとコンプライアンス対応 • 論理的な削除とアクセス層 • 開発ツール • パートナー ソリューション
  8. 8. Blob Storageは、Azure Servicesの中心 Azure’s Object Storage platform 非構造化データの保存と提供 • アプリとWebスケールのデータ • バックアップとアーカイブ • IoTやゲノムなどのビッグデータ Azureサービス全般にわたり、 Blobを広範囲に統合 多くのシナリオに適用可能 ノンプログラミングで実現できる数々の ソリューションを提供
  9. 9. ストレージ アカウント BLOB • オブジェクトストレージ Files • SMB でアクセス可能なファイル共有 Table • NoSQLデータストア Queue • 非同期タスクを実行する際などに利用するメッセージング https://<xxxxx>.core.windows.net Storage Accountの種類 ⚫ 汎用v1 / 汎用v2 / BLOB レプリケーション ⚫ LRS / ZRS / GRS / RA-GRS アクセス層 ⚫ Premium / ホット / クール / アーカイブ Public IPを持った PaaSのサービスです!!Storage Account
  10. 10. ストレージ アカウントで提供されるストレージ サービス Blobs REST経由でアクセスする オブジェクト ストレージ ストリーム及びランダムな オブジェクトアクセスの シナリオ Files SMB/REST経由で アクセスする ファイル ストレージ リフト & シフトの シナリオ Tables REST経由でアクセスする NoSQLストレージ KeyValue ストア Queues REST経由でアクセスする 信頼性の高い メッセージング 非同期タスクを スケジューリング Disks REST経由で、IaaS 仮想マシンVHDディスク アクセス 仮想マシン用 永続ディスク Premium オプション
  11. 11. Azure Blob Storage 概要 以下の用途に向けて設計: • ブラウザーから直接参照するイメージやドキュメントを提供 • 分散したアクセスのあるファイルの保存 • ビデオや音声のストリーミング • ログ ファイルの書き込み • バックアップデータの保存と復元、災害対策とアーカイブ • オンプレミスやAzure上のサービスによる分析のためのデータを保存 ストリーム及びランダムな オブジェクトアクセスの シナリオ Blobs REST経由でアクセスする オブジェクト ストレージ Blob ストレージは3種類のリソースで構成: Azure Blob Storage 概要 - https://docs.microsoft.com/ja-jp/azure/storage/blobs/storage-blobs-introduction
  12. 12. Blob ストレージ サービス Azure オブジェクト ストレージ プラットフォーム Blob ストレージは、大規模な非構造化データを 保存するために最適化 Blobsの形式 • ブロック blobs 4.7 TBまでのテキストやバイナリー データを保存。ブロック blobs は、個別で管 理されたデータのブロックで構成。 • 追加 blobs は、ブロック blobsのようなブロックで構成され、追加操作に最適化。追加 blobs は、仮想マシンからのログデータ書き込みのようなシナリオに利用。 • ページ blobs 8TBまでのランダム アクセス ファイルを保存。ページ blobs は、Azure 仮想マシ ン用ディスクととしての仮想ハードディスク (VHD) ファイルを保存。 Block 1 Block 4Block 3Block 2 Image.jpg Understanding Block Blobs, Append Blobs, and Page Blobs: https://docs.microsoft.com/ja-jp/rest/api/storageservices/understanding-block-blobs--append-blobs--and-page-blobs
  13. 13. Azure Files 概要 Files Azure Files はSMB (Server Message Block) プロトコル経由でアクセスするクラウド内のフル マネージドのファイル共有を提供。 • オンプレミス ファイル サーバーの置換え、もしくは補完 • アプリケーションのクラウドへの “リフト & シフト” で要求される、ファイルアプリケーションやユー ザーデータを保存するファイル共有を提供 • OS APIs、ライブラリ、もしくはツールによって、ネイティブ サポート • SMB 2.1で、Windows や Linuxで利用。 • 共有数には制限なし。1共有当たり、容量5TB、1000 IOPS Files “SMB で Azure Storage へアクセス” Files SMB/REST経由で アクセスする ファイル ストレージ リフト & シフトの シナリオ Azure Files の管理の構造 Azure Files 管理の概念 - https://docs.microsoft.com/ja-jp/azure/storage/files/storage-files-planning#management-concepts
  14. 14. Azure Queues 概要 Queues Azure Queue ストレージは、大量のメッセージを保存するサービス。HTTPもしくはHTTPSを使っ た認証された呼び出しを通して、世界中どこからでもアクセス可能。 Queueストレージの一般的な利用方法は、以下の通り: • 非同期処理のバックログを生成 • Azure web ロールから、Azure worker ロールへのメッセージの受け渡し Queues “クラウド サービスに向け たスケールの、信頼性の 高いメッセージング” Queues REST経由でアクセスする 信頼性の高い メッセージング 非同期タスクを スケジューリング Queue サービスの構成要素: Azure キューとは - https://docs.microsoft.com/ja-jp/azure/storage/queues/storage-queues-introduction
  15. 15. Azure Table ストレージ 概要 Azure Table ストレージは、クラウドへ構造化されたNoSQLデータを保存するサービスで、スキーマなしの設計 で、キー/属性ストアを提供。 Tableストレージは、Webアプリケーションやアドレス帳、デバイス情報、もしくは、その他サービスで要求される メタデータのような、柔軟なデータセットを保存するために利用可能。テーブル内に任意の数のエンティティを 保存でき、ストレージ アカウントの容量の上限まで、任意の数のテーブルを含むことができる。 Tables REST経由でアクセスする NoSQLストレージ KeyValue ストア Table ストレージの構成要素: Azure Table Storage の概要 - https://docs.microsoft.com/ja-jp/azure/storage/tables/table-storage-overview
  16. 16. Azure Disks 概要 Disks • すべての Azure IaaS 仮想マシンの、OSおよびデータ ディスク • VHDs のバックエンドは、ページBlobs (管理ディスクでは、ストレージアカウント管理を隠蔽) • 3 重化で強力な一貫性のあるコピー • ディスクをストライピングすることで、容量増加とスループットの向上が可能 • スケール アップが必要なワークロード向けのPremium ディスクを提供 Disks “Azure IaaS 仮想マシ ン用の永続ディスク” Disks REST経由で、IaaS 仮想マシンVHDディスク アクセス 仮想マシン用 永続ディスク Premium オプション Azure 管理ディスク概要: Windows - https://docs.microsoft.com/ja-jp/azure/virtual-machines/windows/managed-disks-overview Linux - https://docs.microsoft.com/ja-jp/azure/virtual-machines/linux/managed-disks-overview
  17. 17. ストレージ アカウントの種類と特徴 汎用v2 Account • BLOB、ファイル、キュー、テーブルの最新機能すべてをサポートするストレージ アカウント • アカウントレベルでホット、クールを選択可能 • BLOBレベルでホット、クール、アーカイブを選択可能 汎用v1 Account • ASMでは汎用v1のみ利用可能。 • クール、アーカイブは使えません。 • ストレージ単価が少し高いが、データの書き込み、読み取り操作の価格が安い。 • 汎用v2へアップグレード可能(もとに戻せません) Blob Storage Account • ブロックBLOBのみサポート。ページ BLOB などは使えない。 • 汎用v2へアップグレード可能(もとに戻せません)
  18. 18. ストレージ アカウントの種類 https://docs.microsoft.com/ja-jp/azure/storage/common/storage-account-overview?toc=%2fazure%2fstorage%2fblobs%2ftoc.json#types-of-storage-accounts ストレージ アカウント の種類 サポートされている サービス サポートされているパ フォーマンス レベル サポートされている アクセス層 レプリケーション オプション デプロイ モデル1 暗号化2 汎用 v2 BLOB、ファイル、 キュー、テーブル、 およびディスク Standard、 Premium ホット、クール、 アーカイブ 3 LRS、ZRS 4 、GRS、 RA-GRS リソース マネージャー 暗号化 汎用 v1 BLOB、ファイル、 キュー、テーブル、およ びディスク Standard、 Premium 該当なし LRS、 GRS、RA-GRS リソース マネージャー、 クラシック 暗号化 BLOB ストレージ BLOB (ブロック BLOB と追加 BLOB のみ) 標準 ホット、クール、 アーカイブ 3 LRS、 GRS、RA-GRS リソース マネージャー 暗号化 1 Azure Resource Manager デプロイ モデルが推奨されます。 一部の場所では、クラシック デプロイ モデルを使用するストレージ アカウントを引き続き作成でき、既存のクラシック アカウントもサポートされます。 詳細については、「Azure Resource Manager とクラシック デプロイ:デプロイ モデルとリソースの状態について」を参照してください。 2 すべてのストレージ アカウントは、保存データ用の Storage Service Encryption (SSE) を使用して暗号化されます。 詳細については、「保存データ向け Azure Storage Service Encryption」をご覧ください。 3 アーカイブ 層は、個々の BLOB のレベルでのみ利用でき、ストレージ アカウント レベルでは利用できません。 ブロック BLOB と追加 BLOB のみをアーカイブできます。 詳細については、「Azure Blob Storage: ホット、クール、アーカイブ ストレージ層」を参照してください。 4 ゾーン冗長ストレージ (ZRS) は、標準的な汎用 v2 ストレージ アカウントでのみ使用できます。 ZRS の詳細については、「ゾーン冗長化ストレージ (ZRS): 高可用 Azure Storage アプリケーション」を参照してくだ さい。 レプリケーション オプションの詳細については、「Azure Storage のレプリケーション」を参照してください。
  19. 19. オブジェクト ストレージ (Blob) の利用環境 シナリオに合わせて、適切な利用環境を選択可能 Azure Storage Blob REST APIセンサー Azure Storage SDK によるカスタムモジュール Azure IoT Edge デバイス Azure Blob Storage on IoT Edge データ処理 エッジ側の ローカル blob 記憶域 https://docs.microsoft.com/ja- jp/azure/iot-edge/how-to-store-data-blob➔
  20. 20. Demo: Azure Storages ストレージ アカウントの作成
  21. 21. Azure Blobs オブジェクト ストレージ • ストレージ アカウントとストレージ概要 • 冗長性と可用性 • セキュリティとコンプライアンス対応 • 論理的な削除とアクセス層 • 開発ツール • パートナー ソリューション
  22. 22. Azure Storageの冗長性 LRS ( Locally Redundant Storage ) 99.9% の Read / Write SLA ※クールアクセスレベルでは99% リージョン内3レプリカ ディスク、ノード、ラックレベル障害 への保護 全レプリカがコミットでACK データ耐久性 99.999999999 (11ナイン) GRS ( Geo-Redundant Storage ) 99.9% の Read / Write SLA ※クールアクセスレベルでは99% 2 リージョン、6 レプリカ 広域災害の保護 セカンダリへの非同期書き込み ( ペア リージョン間でコピー作成 ) データ耐久性 99.99999999999999 (16ナイン) RA-GRS ( Read Access – Geo-Redundant Storage ) 99.99 % の Read SLA ※クールアクセスレベルでは99.9% GRS + セカンダリの読み取り機能 セカンダリエンドポイントの分離 ゾーン 1 ZRS ( Zone-Redundant Storage ) 99.9% の Read / Write SLA ※クールアクセスレベルでは99% 3 ゾーン、3 レプリカ ディスク、ノード、ラック、ゾーンレベル障 害への保護 3つのゾーンへの同期書き込み データ耐久性 99.9999999999 (12ナイン) ゾーン 2 ゾーン 3 ※耐久性とSLAは異なります。
  23. 23. ペア リージョン: https://docs.microsoft.com/ja-jp/azure/best-practices-availability-paired-regions 地理的な場所 ペアになっているリージョン ( Paired regions ) アジアAsia 東アジアEast Asia 東南アジアSoutheast Asia オーストラリアAustralia オーストラリア東部Australia East オーストラリア南東部Australia Southeast オーストラリアAustralia オーストラリア中部Australia Central オーストラリア中部 2Australia Central 2 ブラジルBrazil ブラジル南部Brazil South 米国中南部South Central US カナダCanada カナダ中部Canada Central カナダ東部Canada East 中国China 中国 (北部)China North 中国 (東部)China East 中国China 中国北部 2China North 2 中国東部 2China East 2 ヨーロッパEurope 北ヨーロッパNorth Europe 西ヨーロッパWest Europe フランスFrance フランス中部France Central フランス南部France South ドイツGermany ドイツ中部Germany Central ドイツ北東部Germany Northeast インドIndia インド中部Central India インド南部South India インドIndia インド西部West India インド南部South India 日本Japan 東日本Japan East 西日本Japan West 韓国Korea 韓国中部Korea Central 韓国南部Korea South 北米North America 米国東部East US 米国西部West US 北米North America 米国東部 2East US 2 米国中央部Central US 北米North America 米国中北部North Central US 米国中南部South Central US 北米North America 米国西部 2West US 2 米国中西部West Central US 英国UK 英国西部UK West 英国南部UK South 米国国防総省US Department of Defense US DoD EastUS DoD East US DoD CentralUS DoD Central 米国政府US Government 米国政府アリゾナUS Gov Arizona 米国政府テキサスUS Gov Texas 米国政府US Government US Gov アイオワUS Gov Iowa 米国政府バージニア州US Gov Virginia 米国政府US Government 米国政府バージニア州US Gov Virginia 米国政府テキサス
  24. 24. Microsoft-managed Failover 大きな災害のためにリージョンが失われるような極端な状況では、GRSもしくは、RA-GRSを利用するユーザーのフェールオーバーを、 Microsoft が開始します。 この場合、ユーザーによる操作は必要ありません。 Microsoft 管理のフェールオーバーが完了するまで、 ストレージ アカウントに書き込みアクセスを行うことはできません。 ストレージ アカウントが RA-GRS 対応に構成されている場合は、 アプリケーションはセカンダリ リージョンから読み取ることができます。 Customer-managed Account Failover (パブリック プレビュー) お客様が管理するアカウントのフェールオーバー (プレビュー) では、何らかの理由でプライマリが使用できなくなった場合、GRSもしく はRA-GRSを利用するストレージ アカウント全体を、セカンダリ リージョンにフェールオーバーすることができます。 Microsoftがフェール オーバーを開始するまで、待つ必要はありません。セカンダリ リージョンへのフェールオーバーを強制的に実行すると、クライアントは、 フェールオーバー完了後にセカンダリ エンドポイントへのデータの書き込みを開始することができます。 フェールオーバーには、通常、約 1 時間かかります。 Microsoft-managed Failover (一般提供中) と、 Customer-managed Account Failover ( パブリック プレビュー ) Azure Storage でのディザスター リカバリーとストレージ アカウントのフェールオーバー ( プレビュー ): https://docs.microsoft.com/ja-jp/azure/storage/common/storage-disaster-recovery-guidance
  25. 25. Customer-managed Failover シナリオ 1. 書き込みデータを 非同期でレプリケート 3. ユーザーがフェールオーバー開始 4. セカンダリーがプライマリーに移行し (DNSエントリーを更新) 、LRSへ 2. プライマリー エンドポイント へのアクセス不可 RTO, RPO: • 1 時間の RTO • RPOのための LastSyncTimeプロパティ 今後の拡張予定: • RTO / RPOの改善 • フェールバック • ユーザーを介さない 自動フェールオーバー
  26. 26. Azure Blobs オブジェクト ストレージ • ストレージ アカウントとストレージ概要 • 冗長性と可用性 • セキュリティとコンプライアンス対応 • 論理的な削除とアクセス層 • 開発ツール • パートナー ソリューション
  27. 27. ストレージ アクセス制御の戦略 https://docs.microsoft.com/ja-jp/azure/storage/common/storage-auth 複数のアクセス制御方法 • ストレージ アカウント キー – フル アクセス • Shared access signature (SAS) – 権限と時間を構成したトークン • パブリック – Blob ストレージのみ Shared access signature (SAS: 共有アクセス署名) • リソース – アカウント, コンテナー, Blobs, キュー, テーブル, ファイル共有 • アクセス許可 – 読み出し, 書き込み, 削除, 作成 • 時間 – 開始日時, 有効期限 https://storageaccount.blob.core.windows.net/sascontainer?sv=2012-02- 12&se=2013-04-13 T00%3A12%3A08Z& sr=c&sp=wl& sig=t%2BbzU9%2B7ry4okULN9S0wst%2F8MCUhTjrHyV9rDNLSe8g%3Dsss オブジェクト ストレージ
  28. 28. セキュリティと コンプライアンス 保存データの暗号化 • 常にMSの暗号化キー • 独自の暗号化キー 2018年3月より一般提供 オブジェクト ストレージ
  29. 29. ストレージの暗号化 Azure Disk Encryption (ADE) Storage Service Encryption (SSE) 暗号化を行う対象 仮想マシンの OS /データディスク (VHD ファイル) ※ BitLocker (Windows) / DM-Crypt (Linux) を利用 ・非管理ディスクおよびストレージアカウント (ブロック BLOB, ページ BLOB, 追加 BLOB のみ対象) ・管理ディスク(既定でON) リスク軽減 VHD を不正に読み取られるリスクを軽減 物理ディスクが盗難等にあっても不正にと読み取られるリスクを軽減 (ダウンロードされた場合は、読み取り時に復号化されるため、第三者 による読み取りが可能) キーの管理 ユーザー Microsoft または ユーザ(選択) ユーザ管理の場合、Azure Key Vaultでキーを管理 パフォーマンスへの 影響 ほぼ無し [参考] Windows 8 で BitLocker を有効にした場合、 パフォーマンス オーバーヘッドは 10% 未満 無し 暗号化できる タイミング 随時 随時 ※ 有効化した後に作成されたデータのみ暗号化 暗号化可能な構成 詳細は、下記リンク参照 Windows および Linux IaaS VM の Azure ディスク暗号化 – 前提条件 https://docs.microsoft.com/ja-jp/azure/security/azure- security-disk-encryption • Standard Storage と Premium Storage • 汎用ストレージ アカウントと Blob Storage アカウント • すべての冗長性レベル (LRS、ZRS、GRS、RA-GRS) • ARM ストレージ アカウント (クラシック以外) • すべてのリージョンで使用可能 オブジェクト ストレージ
  30. 30. セキュリティと コンプライアンス 保存データの暗号化 • 常にMSの暗号化キー • 独自の暗号化キー 2018年3月より一般提供 ファイアウォールと仮想ネットワーク • インターネットからのアクセスを制限 2018年2月より一般提供 オブジェクト ストレージ
  31. 31. 仮想ネットワークサービスエンドポイント と Azure Storage ファイアウォール 10.0.0.0/16 10.0.1.0/24 仮想マシン 10.0.1.6 サブネット VNet ストレージ アカウント Microsoft Azure Allow VNet Firewall オブジェクト ストレージ
  32. 32. セキュリティと コンプライアンス 保存データの暗号化 • 常にMSの暗号化キー • 独自の暗号化キー 2018年3月より一般提供 ファイアウォールと仮想ネットワーク • インターネットからのアクセスを制限 2018年2月より一般提供 Azure AD と RBAC • 共有鍵やSASの代わりに AADクレデンシャルで認証 • コンテナ レベルでRBAC利用 2019年3月より一般提供開始 Azure ホスト Azure 仮想マシン Azure サービス (例: ARM, Azure Storage) Your code IMDS Identity クレデンシャル 1 2 3 Azure Active Directory Azure (inject and roll credentials) オブジェクト ストレージ
  33. 33. セキュリティと コンプライアンス 保存データの暗号化 • 常にMSの暗号化キー • 独自の暗号化キー 2018年3月より一般提供 ファイアウォールと仮想ネットワーク • インターネットからのアクセスを制限 2018年2月より一般提供 Azure AD と RBAC • 共有鍵やSASの代わりに AADクレデンシャルで認証 • コンテナ レベルでRBAC利用 2019年3月より一般提供開始 不変 Blob Storage • SEC 17a-4(f) 準拠 • 全てのストレージ階層 2018年9月より一般提供開始 オブジェクト ストレージ
  34. 34. Azure Storageのセキュリティ推奨事項 Azure Security Center: リソース正常性の監視 https://docs.microsoft.com/ja-jp/azure/security-center/security-center-sql-service-recommendations#data-and-storage-recommendations オブジェクト ストレージ
  35. 35. Advanced Threat Protection for Azure Storage Azure Security Center Standard: 高度な脅威保護 https://docs.microsoft.com/ja-jp/azure/storage/common/storage-advanced-threat-protection オブジェクト ストレージ
  36. 36. Azure Blobs オブジェクト ストレージ • ストレージ アカウントとストレージ概要 • 冗長性と可用性 • セキュリティとコンプライアンス対応 • 論理的な削除とアクセス層 • 開発ツール • パートナー ソリューション
  37. 37. • 予期しない削除や上書きからブロック blobsを保護 • ストレージ アカウントのレベルで構成 • 最長1年の保持期間を構成 • 論理的な削除が行われたデータを復旧するための、 Undelete API • 削除、もしくは上書きされた際にはいつもスナップ ショットを取ることで、保護。既存のストレージ アカウ ントのBlobサービスで論理的な削除を有効にするた めに、アプリケーションの変更は不要。 論理的な削除 ( Soft Delete ) https://azure.microsoft.com/ja-jp/blog/soft-delete-for-azure-storage-blobs-ga/ https://docs.microsoft.com/ja-jp/azure/storage/blobs/storage-blob-soft-delete https://github.com/Azure-Samples/storage-dotnet-blob-soft-delete オブジェクト ストレージ
  38. 38. Premium ストレージ: 頻繁にアクセスするデータ 向けの、高いパフォーマンスのハードウェアを提供 ホット ストレージ: 頻繁にアクセスするデータを保 存するために最適化 クール ストレージ: 少なくとも30日間は保存し、 それほど頻繁にアクセスされないデータを保存す るために最適化 アーカイブ ストレージ: 柔軟な遅延要件 (数時 間の単位)で、少なくとも180日間 は保存し、 稀にしかアクセスされないデータの保存に最適化 ストレージのアクセス層 オブジェクト ストレージ
  39. 39. Azure Blob のアクセス層 サーバーのバックアップ リポジトリ 医療情報の アーカイブ クラウド ネイティブ アプリケーションのデータ インターラクティブ トランザクション テレメトリー アーカイブクールホットPremium Azure Premium ブロック Blob Storage の一般提供が開始されました (2019年3月25日) https://azure.microsoft.com/ja-jp/blog/azure-premium-block-blob-storage-is-now-generally-available/ オブジェクト ストレージ
  40. 40. Point ストレージ料金は非常に安価 ホット、クール、アーカイブの3層間で移動可能 最低180日以上保持 用途 長期間のバックアップやセカンダリバックアップ 長期間保存が必要で、かつアクセスされることがないコン プライアンスやアーカイブデータ 利用する上での注意 アーカイブストレージのデータ読み取りのためには、一度 ホットかクールに変更する必要があります(リハイドレート 処理)。最大15時間かかる場合もあります。 アクセス層を変更する場合に課金が発生します。 アーカイブ ストレージ ホット クール アーカイブ 最初の 50 テラバイト (TB)/月 ¥2.24/GB ¥1.68/GB ¥0.28/GB 次の 450 TB/月 ¥2.16/GB ¥1.68/GB ¥0.28/GB 500 TB 超/月 ¥2.07/GB ¥1.68/GB ¥0.28/GB 移行元と移行先 課金 よりクール層 への移動 ホット→クール ホット→アーカイブ クール→アーカイブ 移動先のアクセス層への書き込 み操作課金 よりホット層へ の移動 アーカイブ→ホット アーカイブ→クール クール→ホット 移動元のアクセス層からの読み 取り操作課金 オブジェクト ストレージ
  41. 41. Demo: Azure Storages クイック スタート: Azure portal を使用して BLOB をアップロード、ダウンロード、および一覧表示する
  42. 42. Azure Blobs オブジェクト ストレージ • ストレージ アカウントとストレージ概要 • 冗長性と可用性 • セキュリティとコンプライアンス対応 • 論理的な削除とアクセス層 • 開発ツール • パートナー ソリューション
  43. 43. Developers GitHub上に、オープン ソースのクライアント ライブラリ • Retry/resume, Parallel upload/downloads, etc. • モバイル プラットフォーム (Android / iOSをサポート) • .NET, Java, Node.js, Python, Go, PHP, Rubyなど Data movement library • 高いパフォーマンスのデータ転送 • クロス プラットフォーム – CoreCLR ベース Tools CLI – Linuxユーザーにやさしい、Python ベース AzCopy – Azure Storage用Robocopy Storage Explorer – クロス プラットフォーム ユーザー エクスペリエンス SDK / Tools オブジェクト ストレージ
  44. 44. Azure Storage Client Library for C++ • https://www.nuget.org/packages/wastorage/ Azure Blob Storage Library for Go • https://github.com/Azure/azure-storage-blob-go Azure Queue Storage Library for Go • https://github.com/Azure/azure-storage-queue-go Azure Storage for Library for Java • https://github.com/Azure/azure-storage-java Azure Storage Libraries for .NET • https://github.com/Azure/azure-storage-net/ Azure Storage SDK for Node.js • https://github.com/Azure/azure-storage-node Azure Storage Library for PHP • https://github.com/Azure/azure-storage-php Azure Storage Library for Python • https://github.com/Azure/azure-storage-python Azure Storage Library for Ruby • https://github.com/Azure/azure-storage-ruby Azure Storage のサンプル • https://docs.microsoft.com/ja- jp/azure/storage/common/storage-samples Azure Storage SDKとサンプル オブジェクト ストレージ
  45. 45. AzCopy によるデータ転送 https://docs.microsoft.com/ja-jp/azure/storage/common/storage-use-azcopy-v10 • ファイル システムとストレージ アカウント間、またはストレージ アカウント間でデータをコピー • .NET Core で構築され、Storage Data Movement Libraryを提供 • 一時停止/再開機能付きで、高速にデータ転送 • Azure Data Lake Storage Gen2 APIをサポート ( プレビュー中の AzCopy v10 で提供 ) • AWS S3をデータ ソースとしてサポート ( プレビュー中の AzCopy v10 で提供 ) • AzCopy on WindowsではWindowsスタイルのコマンドライン オプション、 AzCopy on Linuxでは、POSIXスタイルのコマンドラインオプションを提供 オブジェクト ストレージ
  46. 46. Blobfuse Linux向け、Azure Blob Storage用仮想ファイルシステムドライバー コンテナーをマウントし、基本的なファイルシステム用コマンドで利用 Linux上のHPCやビッグ データのワークロードを提供 コンテナーは、複数ノードにおける読出し用にマウントされる (書き込みは同期されない) 大きなblobsへ高速にアクセスするための、並列アップロード/ダウンロード アクセス時間の改善のためのローカル読出しキャッシュ • blobfuse を使用して Blob Storage をファイル システムとしてマウントする方法 https://docs.microsoft.com/ja-jp/azure/storage/blobs/storage-how-to-mount-container-linux • A virtual file system adapter for Azure Blob storage https://github.com/Azure/azure-storage-fuse オブジェクト ストレージ
  47. 47. スナップショットの管理 https://docs.microsoft.com/ja-jp/azure/storage/blobs/storage-blob-snapshots スナップショット • ある時点のblobの読み取り専用コピー • Datetimeスタンプ付の同じ名前のblob 読み出し、コピー/復元、もしくは削除が可能 • CopyBlob は、スナップショットから書込み可能な新しいblobを作成 • CopyBlob は、スナップショットを現行バージョンへ上書き復元 • 通常のCopyBlob操作では、スナップショットはコピーされない • Blob を削除するには、すべてのスナップショットを削除する必要がある オブジェクト ストレージ
  48. 48. 同時実行制御 (Managing Concurrency in Azure Storage) https://docs.microsoft.com/ja-jp/azure/storage/common/storage-concurrency 楽観的な同時実行制御(Optimistic concurrency) – タイムスタンプ/ETags • タイムスタンプ での制御 – If-Modified-Since と If-UnModified-Since を利用 • ETag での制御 – If-Match と If-None-Match を利用 • 提示されたタイムスタンプ、もしくはEtagの条件付き更新は、条件に適合しなければ失敗 悲観的な同時実行制御(Pessimistic Concurrency) – リース • Blobの排他的な書き込み、および削除アクセスをリース • 15-60秒間(延長可能)もしくは、無制限のリース (ロック) • チェーン/ワークフローで所有権を取得するために、リースIDを変更可能 • コンテナーの削除を防ぐため、コンテナーを取得可能 最終書き込み者優先 (デフォルト) オブジェクト ストレージ
  49. 49. Azure Search: Blob Storageのフル テキスト 検索 Azure Search is a search-as-a-service cloud solution • PDF • Office (DOCX/DOC, XLSX/XLS, PPTX/PPT, MSG) • HTML • XML • ZIP • EML • plain text • JSON (preview) • CSV (preview) • Azure Searchとは https://docs.microsoft.com/ja-jp/azure/search/search-what-is-azure-search • Azure Blob Storage 内ドキュメントのインデックスを Azure Search で作成する https://docs.microsoft.com/ja-jp/azure/search/search-howto-indexing-azure-blob-storage • チュートリアル:Azure クラウド ストレージで半構造化データを検索する https://docs.microsoft.com/ja-jp/azure/search/search-semi-structured-data サポートされるデータ形式 オブジェクト ストレージ
  50. 50. Blob ストレージ サーバーレス コンピューティング データ変更イベントの通知を発行 PutBlob, PutBlockList, DeleteBlob Azure Event Grid オブジェクト ストレージ
  51. 51. Azure Storage Explorer ( Windows, Linux, MacOS対応) https://azure.microsoft.com/ja-jp/features/storage-explorer/ Blob Storage • BLOB やフォルダーの表示、削除、コピー • データの整合性を維持したままでの BLOB のアップロードおよびダウンロード • BLOB のスナップショットの管理 Queue Storage • 最新 32 件のメッセージの表示 • メッセージの表示、追加、デキュー • キューの削除 Table Storage • OData やクエリ ビルダーによるエンティティのクエリ • エンティティの追加、編集、削除 • テーブルやクエリ結果のインポートとエクスポート File Storage • ディレクトリによるファイルのナビゲート • ファイルやディレクトリのアップロード、ダウンロード、削除、コピー • ファイル プロパティの表示と編集 Azure Data Lake Storage • 複数の ADL アカウントで ADLS リソースをナビゲート • ファイルとフォルダーのアップロードおよびダウンロード • クリップボードへのファイルとフォルダーのコピー • ファイルとフォルダーの削除 Azure Cosmos DB Storage • データベースとコレクションの作成、管理、および削除 • ドキュメントの生成、編集、削除、およびフィルター • ストアド プロシージャ、トリガー、およびユーザー定義関数の管理
  52. 52. マルチクラウドでデータをAWS S3とAzure Blobsに共存させる、あるいは、AWS S3からAzure Blobsへの移行 • S3フロントエンドを持つアプリケーションとオンプレミスオブジェクトストレージ • Azure Blob/AWS S3などのクラウドサービスをサポート AWS S3アプリケーションの変更なしにAzure Blobを利用 AWS S3 API Proxy / Gateway の活用 Azure Blob オブジェクト ストレージ
  53. 53. ベンダー 製品名 (リンクはAzure MarketplaceへのURL) 参考URL OSS版の有無 日本での展開 Noobaa Multi-Cloud Deduplication and Encryption NooBaa Data Platform for distributed hybrid cloud • https://www.noobaa.com/multicloud • https://www.noobaa.com/partners Zenko Connect for Azure • https://www.scality.com/products/ze nko-connect-for-azure/ • https://www.zenko.io/ https://github. com/scality/Ze nko 2015年3月5日、 日本法人設立 MiniIO Gateway for Microsoft Azure Blob Storage • https://az.minio.io/ • https://docs.min.io/docs/minio- gateway-for-azure.html https://github. com/minio/mi nio Cloudian HyperCloud for Azure https://cloudian.com/jp/press/azure/ 2001年に日本で 創業された企業 Caringo Swarm Hybrid Cloud for Azure • https://www.caringo.com/solutions/cl oud-storage • https://www.caringo.com/press- releases/caringo-swarm-hybrid- cloud-azure/ 販売代理店: CTC SP社 Open Source (Apache License 2.0) S3Proxy https://www.microsoft.com/developerblo g/2016/05/22/access-azure-blob- storage-from-your-apps-using-s3-api/ https://github. com/gaul/s3pr oxy Open Source (Apache License 2.0) AWS S3 API Proxy / Gateway の活用 オブジェクト ストレージ
  54. 54. Azure Blobs オブジェクト ストレージ • ストレージ アカウントとストレージ概要 • 冗長性と可用性 • セキュリティとコンプライアンス対応 • 論理的な削除とアクセス層 • 開発ツール • パートナー ソリューション
  55. 55. Azure Storage + ISV = ソリューション Azure Storage オブジェクト ストレージ
  56. 56. パートナー ソリューション Azureとのハイブリッド ストレージ Partner Product Solution Key Differentiators Enterprise File Service SMB/NFS, global file sharing/locking, global deduplication and compression, Extensive Snapshot Capabilities, Replication SoftNAS Cloud NAS Unified storage (iSCSI, SMB/NFS), Deduplication and Compression, Extensive Snapshot/Cloning Capabilities, Replication ONTAP Cloud NFS, SMB, iSCSI, Deduplication and Compression, Extensive Snapshot/Cloning Capabilities, Replication CloudArray Isilon CloudPools iSCSI, SMB, NFS, Deduplication and Compression CloudFAST SMB, global file sharing/locking, intelligent file caching StorNext Flex Tier SMB, CIFS, NFS, IP, AFP, FTP, WebDav, High performance tiered Global- Namespace, Global File Sharing/Locking Panzura Global NAS Appliance SMB/NFS, global file sharing/locking, Compression and Deduplication, Extensive Snapshot Capabilities DataPlatform SMB, NFS, global data deduplication, snapshots, replication Cloud Storage Gateway SMB, NFS, AFP, FTP, WebDAV, rsync, iSCSI, CTERA Mobile, CTERA Sync desktop application, web browser オブジェクト ストレージ
  57. 57. パートナー ソリューション バックアップ パートナー 製品サービス ワークロード CommVault Backup and DR, Workload and Data Migration, Endpoint Data Protection Veritas NetBackup Veritas BackupExec Backup and DR, Workload and Data Migration, Endpoint Data Protection HPE Data Protector HPE VM Explorer StoreOnce CloudBank Backup and DR NetApp ONTAP Cloud NetApp AltaVault Cloud-Based Appliance Backup and DR, Migration, DevTest Data Domain Cloud Tier EMC Avamar Virtual Edition EMC Data Protection Suite CloudBoost Backup and DR Long-Term Retention Veeam® Cloud Connect™ for the Enterprise Veeam® Cloud Connect™ for Service Providers Veeam® Direct Restore to Azure Backup and DR, Workload and Data Migration, Endpoint Data Protection Quest Rapid Recovery Backup and DR, Archiving Carbonite Endpoint Protection Endpoint Data Protection Spectrum Protect Backup and DR for Windows, Linux, and Unix Actifio Sky Backup and DR, Data Migration, DevTest Rubrik Backup and DR, Workload and Data Migration, Archival, Search Cohesity CloudArchive, CloudTier, CloudReplicate Innovative secondary storage consolidation platform with comprehensive integration with Azure Disks and Blobs オブジェクト ストレージ
  58. 58. パートナー ソリューション 災害対策と移行 パートナー 製品ソリューション ワークロード CommVault Migration On-premises <-> Cloud Cloud <-> Cloud Carbonite Availability Replication and migration On-premises <-> Cloud Cloud <-> Cloud NetApp ONTAP Cloud NetApp volume replication Quest Rapid Recovery On-premises <-> Azure replication Veeam® Cloud Connect™ for the Enterprise Veeam® Cloud Connect™ for Service Providers On-premises --> Azure migration Resiliency Platform Replication and migration On-premises <-> Cloud Azure <-> AWS Zerto Virtual Replication Agentless Disaster Recovery and Migration for VMs On-premises <-> Cloud Cloud <-> Cloud オブジェクト ストレージ
  59. 59. Azure Data Lake Storage Gen2 オブジェクト ストレージ
  60. 60. Azure Data Lake Storage Gen2 Object Tiering and Lifecycle Policy Management AAD Integration, RBAC, Storage Account Security HA/DR support through ZRS and RA-GRS Common Blob Storage Foundation Blob API ADLS Gen2 API Server Backups, Archive Storage, Semi-structured Data Unstructured Object Data Hadoop File System, File and Folder Hierarchy, Granular ACLS Atomic File Transactions File Data オブジェクト ストレージ
  61. 61. Azure Data Lake Storage Gen2 高可用性、高拡張性を保持する Azure Blob Storage をベースに、 ビッグデータ分析に最適化されたクラウドストレージ できること 通常のファイルシステムと同様に階層型でのフォル ダ・ファイル管理ができ、アクセス制御も Azure AD と連携し、フォルダ・ファイル毎に詳細に設定可能 Hadoopエコシステムに最適化されたエンドポイント が提供されることによりビッグデータ分析にも最適 お客様のメリット 高セキュリティ状態で通常のファイルシステムと同様 のアクセス制御が行え、サイズの制限も気にする必 要もなくビッグデータを格納可能 POSIX アクセス制御 オブジェクト ストレージ
  62. 62. Azure Data Lake Gen2: 特徴 管 理 性 ス ケ ー ラ ブ ル パ フ ォ ー マ ン ス セ キ ュ リ テ ィ コ ス ト 効 率 接 続 性 ディレクトリや個別のファイルに対して POSIX アクセス許可を定義でき、セキュリティを確保 ディレクトリおよびサブディレクトリを利用して ファイルを編成および操作可能 階層型名前空間によってディレクトリ管理操 作のパフォーマンスは大幅に向上し、その結 果、全体的なジョブ パフォーマンスも向上 容量無制限 Azure Blob ストレージの上位にビルド Hadoop や Spark といったビッグデータ分析 システムとの連携するアダプター オブジェクト ストレージ
  63. 63. Azure Data Lake Store: 変遷 Blob Storage + (WASB) Azure Data Lake Store Gen1 Blob Storage + (WASB) 豊富な セキュリティ ビッグデータ 最適化 コスト効率 スケール 可用性 Azure Data Lake Storage Gen2 コスト効率 スケール 可用性 豊富な セキュリティ ビッグデータ 最適化 コスト効率 スケール 可用性 オブジェクト ストレージ
  64. 64. Azure Data Lake StoreとAzure Blob Storageの違い Azure Blob Storage Azure Data Lake Storage Gen2 URI wasb[s]://<container>@<account_name>.blob. core.windows.net/<path>/<path>/<file_name> abfs[s]://<file_system>@<account_name>. dfs.core.windows.net/<path>/<path>/<file _name>(※1) 最上位レベルの 管理単位 コンテナー ファイルシステム 下位レベルの 管理単位 仮想ディレクトリ ディレクトリ 認証 • 共有キーと Shared Access Signature (SAS)認証 • Azure Active Directory(プレビュー) • 共有キーと Shared Access Signature (SAS) 認証 • Azure Active Directory アクセス制御 SASによる簡易制御 POSIX準拠 オブジェクト ストレージ
  65. 65. Azure Data Lake Store Gen2: 接続性 サポートされるオープン ソース プラットフォーム プラットフォーム サポートされるバージョン wasb[s] abfs[s] Hadoop 2.7 以降(※1) 3.2 以降 Cloudera 6.1 以降(※1) 6.1 以降 Hortonworks 2.6 以降(※1) ー サポートされる Azure サービス プラットフォーム サポートされるバージョン wasb[s] abfs[s] Azure Databricks 4.2 以降(※1) 5.2 以降 HDInsight 3.0 以降(※1) 3.6 以降 Azure SQL Data Warehouse 〇(※1) 〇 Azure Data Factory v2 〇 https://docs.microsoft.com/ja-jp/azure/storage/blobs/data-lake-storage-upgrade?toc=%2fazure%2fstorage%2fblobs%2ftoc.json オブジェクト ストレージ
  66. 66. 最新のクラウド データ レイク Azure HDInsight IoT Hub Event Hubs Data Warehouse Data Factory App Insights Log Analytics Monitor CDN Search Power BI Storage Qualities Open & Interoperable Manageable & Cost Efficient Scalable & Performant Secure & Compliant Durable & Available Machine Learning Stream Analytics Batch Functions Data Lake Analytics Big Data のユースケース Ingest & ETL Streaming Analytics & Machine Learning Data Aggregation Presentation Container Service オブジェクト ストレージ
  67. 67. 管理ディスク ディスク ストレージ
  68. 68. Azure Disks パフォーマンス 階層 Premium SSD Disks エンタープライズの本番環境 用のパフォーマンスを提供 Standard HDD Disks HDD ベースで、 コスト効率の高い 開発/テストのワークロード用 キャッシュされた操作で、1ms 以下の遅延 Blob キャッシュ技術 最大160,000 IOPS 業界をリードする、 年間損失率0% 3重化により、エンタープライズ グレードの 耐久性 最上級の 高IOPS/帯域幅 VM毎のディスクスループット 80,000 IOPS & 2,000 MB/s Standard SSD Disks エントリー レベルの ワークロード用で、コスト効率 のよいパフォーマンス 運用管理の簡略化 リソース グループ 管理ディスク 高い可用性と拡張性 ディスク ストレージ
  69. 69. Azure VMのディスク ( VHD ファイル ) は、管理ディスクまたは非管理ディスク( ページ BLOB ) に格納 Azure VMのバックアップや各種ログは、「ブロック BLOB」 に格納 Azure 仮想マシンにおけるAzure Storageの利用 Hyper-V ホスト 管理ディスク/ 非管理ディスク(ぺージ BLOB) VHD OS ディスク VHD データ ディスク ブロック BLOB Azure Backup サービス Azure VM ストレージ サービス Azure VMのバック アップ 各種ログ ディスク ストレージ
  70. 70. 管理ディスク とは? シンプル – 利用者からストレージア カウントを隠蔽 細かなアクセス制御 – 最上位の ARMリソースで、Azure RBACを 利用 パフォーマンス向上 – ストレージ ア カウントの制限からの解放 高いスケール – サブスクリプション 毎、リージョン毎に最大10,000ディ スク 管理されたストレージアカウント Azure側で管理 ディスク ストレージ
  71. 71. 管理ディスク: 可用性の向上 ストレージ アカウント 0 ストレージ アカウント 1 ストレージ アカウント 2 FD0 FD1 FD2 VS ストレージ スタンプ 0 ストレージ スタンプ 1 FD0 FD1 FD2 ストレージ スタンプ 2 ディスク ストレージ ※管理ディスクが登場するまでは、ディスク ストレージを、Azure BlobのページBlob上に構成していました。 ※Azure BlobのページBlob上に構成されたディスク ストレージを、管理ディスク(managed disk)と区別するために、”非管理ディスク”(unmanaged disk)と呼びます。 ※Azure仮想マシンのデフォルトは、管理ディスクです。ユーザーが明示的に”非管理ディスク”を構成しない限り、新規にAzure仮想マシンを作成すると、管理ディスクが選択されます。
  72. 72. スナップ ショット – ディスク ストレージのバックアップと復元オプション ディスク イメージの保存と利用 Microsoft管理の ストレージアカウントに スナップショットを作成 スタンダード ストレージ上の 仮想マシンディスク プレミアム ストレージ上の 仮想マシンディスク スナップショットは元のディスクを消しても 存在し続ける ディスク ストレージ
  73. 73. • Azure の仮想マシン (オンプレミスの仮想マシンもOK) およびファイルを、Azure のストレージにバックアップするサービス • バックアップは容量無制限、最長 99 年保管可能であり、インフラ管理が不要。クラウド活用によりコスト削減、 物理的なスペースなど保管環境の制約を考慮する不要となる利点 • 管理ディスクのスナップ ショットは、履歴管理などのバックアップツールとしての機能がない。 Azure Backup – ディスク ストレージのバックアップと復元オプション ➔ https://azure.microsoft.com/ja-jp/services/backup/ ディスク ストレージ
  74. 74. Azure Site Recovery – ディスク ストレージのバックアップと復元オプション Disaster Recovery as a Service Azure上(またはオンプレミス)の仮想マシン(や物理サーバ)をAzure上の別リージョン(又は別のオンプレミスサイト)に 複製し、災害時の切替 ( フェールオーバー / フェールバック ) をサポートするサービス Azure Site Recovery Azure Site Recovery Azure Site Recovery ➔ https://azure.microsoft.com/ja-jp/services/site-recovery/ ディスク ストレージ
  75. 75. 管理ディスク: 再利用可能なカスタム イメージ VHD files 同じリージョンと サブスクリプション内 に、複数の仮想 マシンを作成 VM-1 VM-2 VM-N 仮想マシンを キャプチャー イメージを作成 ディスク ストレージ
  76. 76. 本番用は、Premium ディスクを常に利用 新規のワークロードは、管理ディスクだけを選択 可能であれば、レガシーの非管理ディスクを管理ディスクへアップグレード 冗長化のためのRAIDは不要 パフォーマンスの要件があれば、RAIDを利用 冗長化してもバックアップは必要 パフォーマンス ローカルSSDは一時的なもので、失われることが許容されるときのみ利用 パフォーマンス向上のために、読み取りキャッシュを有効化 仮想マシンのサイズ毎の制限と、ディスク側のパフォーマンス制限を理解する ディスク – ベスト プラクティス ディスク ストレージ
  77. 77. 管理ディスクのサイズ Disk name Disk Size IOPS per disk Throughput per disk Disk name Disk Size IOPS per disk (up to) Throughput per disk (up to) Disk name Disk Size IOPS per disk (up to) Throughput per disk (up to) P4 32 GiB 120 25 MBs E4 32 GiB 120 25 MBs S4 32 GiB 500 60 MBs P6 64 GiB 240 50 MBs E6 64 GiB 240 50 MBs S6 64 GiB 500 60 MBs P10 128 GiB 500 100 MBs E10 128 GiB 500 60 MBs S10 128 GiB 500 60 MBs P15 256 GiB 1,100 125 MBs E15 256 GiB 500 60 MBs S15 256 GiB 500 60 MBs P20 512 GiB 2,300 150 MBs E20 512 GiB 500 60 MBs S20 512 GiB 500 60 MBs P30 1 TiB 5,000 200 MBs E30 1 TiB 500 60 MBs S30 1 TiB 500 60 MBs P40 2 TiB 7,500 250 MBs E40 2 TiB 500 60 MBs S40 2 TiB 500 60 MBs P50 4 TiB 7,500 250 MBs E50 4 TiB 500 60 MBs S50 4 TiB 500 60 MBs P60 8 TiB 16,000 500 MBs E60 8 TiB 2,000 400 MBs S60 8 TiB 1300 300 MBs P70 16 TiB 18,000 750 MBs E70 16 TiB 4,000 600 MBs S70 16 TiB 2000 500 MBs P80 32 TiB 20,000 900 MBs E80 32 TiB 6,000 750 MBs S80 32 TiB 2000 500 MBs https://docs.microsoft.com/ja-jp/azure/virtual-machines/windows/disks-types https://azure.microsoft.com/ja-jp/pricing/details/managed-disks/ ディスク ストレージ
  78. 78. スケーラビリティとパフォーマンスのロードマップ Standard HDD 管理ディスク Standard SSD 管理ディスク Premium SSD 管理ディスク Ultra SSD ディスク遅延 2桁ミリ秒 1桁ミリ秒 キャッシュなしリード: ~4ms キャッシュなしライト: ~1ms <1ms 最大ディスク サイズ 4TB -> 32TB 4TB -> 32TB 4TB -> 32TB 4TB -> 64TB 最大ディスク IOPS 500 IOPS -> 2,000 500 IOPS -> 2,000 7,500 IOPS -> 20,000 160,000 最大ディスク 帯域幅 60 MBps -> 500 Mbps 60 MBps -> 750 Mbps 250 MBps -> 900 Mbps 16Gbps - 2 GB/s より大容量でより強力な Azure Virtual Machines 用マネージド ディスク (2019年3月25日) https://azure.microsoft.com/ja-jp/blog/larger-more-powerful-managed-disks-for-azure-virtual-machines/ プレビュー中 ディスク ストレージ
  79. 79. StandardからPremiumへの移行は簡単 ダウンタイムは、 3-5分間 VMの停止 Premiumが 利用できる VMサイズへ更新 Premiumへ ストレージを更新 再起動 ディスク ストレージ
  80. 80. 管理ディスクの移動 検証環境から本番環境への移行が非常に楽に!! 管理ディスクで作成されているVMもサブスクリプション間、リソースグループ間での 移動可能に ディスク ストレージ
  81. 81. Demo: Azure Disks create… snapshot…
  82. 82. Azure Files ( & Azure File Sync ) ファイル ストレージ
  83. 83. Azure Files リフト & シフト 多様なクライアントプロトコル SMB 2.1, 3.0, REST Windows, Linux, Mac OS Azure と オンプレミス セキュア 保存データの暗号化 SMB経由のセキュアな接続 クライアント アプリケーション Azure Files ¥¥<account>.file.windows.net¥<share> 仮想マシン ファイル ストレージ
  84. 84. Azure Files: スケーラビリティの強化 Standard Files - 現在 Standard Files - 今回の更新 Premium Files (SSD) プレビュー 5X 85X 20X 10X 100X 20X https://aka.ms/AzureFilesAtScaleSurvey • サインアップ @ https://aka.ms/PremiumFilesPreview ファイル ストレージ
  85. 85. Azure Active Directory Domain Services(AAD DS)にドメイン参加した Azure上のWindows 仮想マシンから、AAD資格情報を使用したAzure Filesへ のSMBアクセスが可能 Azure Files の新しい認証方式 ファイル ストレージ
  86. 86. Azure Files に、Azure Backupが対応 これからのバックアップ = Azure Backup従来のバックアップ = 共有スナップショット Microsoft Azure ストレージ アカウント Azure Files Backup 共有スナップショット Microsoft Azure ストレージ アカウント Azure Files Backup Recovery Service コンテナー ファイル ストレージ
  87. 87. • オンプレミスの Windows Server ファイルを Azure Files (Azure ファイル共有) にレプリケート • さらにAzure Files 上のデータを別のリージョンにレプリケート • 頻繁に使用するデータにローカルからすぐにアクセス • Windows/Mac/Linux からクラウド上のデータに直接アクセス Azure File Sync によるWindows ServerとAzure Filesとの同期 オンプレ オンプレ Agent Agent https://docs.microsoft.com/ja- jp/azure/storage/files/storage-sync-files-extend-servers➔ ファイル ストレージ
  88. 88. Demo: Azure File Share File Share Quickstart
  89. 89. Azure NetApp Files ファイル ストレージ
  90. 90. Full Managedなファイルサービス • ネイティブ Azure 統合 (ポータル/REST/CLI、請求、監視、セキュリティ) • 従量課金制のファイルストレージ(Azure MC、Web Direct など) • サポートもマイクロソフトが窓口となる 特徴 • 高い可用性と様々なプロトコルをサポート • データ保護、データ管理 (スナップショット、クローン)、パフォーマンス ハイブリッド • データ移行とレプリケーション機能 安全 • 保存データの暗号化、RBAC Azure NetApp Files 概要 Azure NetApp Files ファイル ストレージ
  91. 91. NetAppアカウント • 容量プールの管理グループ • リージョン単位で作成可能 容量プール • プロビジョニング容量で測定 • NetAppアカウント間で容量プールを移動すること は不可。 ボリューム • 1 ボリュームあたりのスケーリングの上限は 100 TB • 1つの容量プールに複数のボリュームを含むことが できる • 同じNetAppアカウント内であれば、容量プール間 でボリュームを移動することができる。 ストレージの階層構造 容量プール#1 e.g. Premium e.g. 4TB Provisioned 容量プール#2 e.g. Standard 容量プール #y… ボリューム#1 100GB Quota ボリューム#2 500GB Quota ボリューム#z 1TB Quota … ファイル ストレージ
  92. 92. 専用の委任されたサブネット サブネット内のAzure NIC ボリュームとマウント 完全Managedなベアメタル Azureネットワークへの統合 専用テナントとデータ保護 Azure NetApp Files アーキテクチャ Azure NetApp Files Delegated Subnet Microsoft.NetApp/volumes 10.193.2.0/24 Service Infrastructure AFF A700s AFF A700s AFF A700s Catalyst 4948-10GE PS1 PS2 FAN STATUS MGT X2-2 45 46 47 4843 4441 4239 4037 3835 3633 3431 3229 3027 2825 2623 2421 2219 2017 1815 1613 1411 129 107 85 63 41 2 CON X2-1 Catalyst 4948-10GE PS1 PS2 FAN STATUS MGT X2-2 45 46 47 4843 4441 4239 4037 3835 3633 3431 3229 3027 2825 2623 2421 2219 2017 1815 1613 1411 129 107 85 63 41 2 CON X2-1 Dedicated Secure Tenancy SDN Integration Vnet Injection Virtual Network 10.193.0.0/20 Azure VM Azure VM ANF NIC 10.193.2.1 ANF Volume Export Policy nfs://10.193.2.1/ignite-netapp-demo- volume-1 ファイル ストレージ
  93. 93. Azure Data Box Family データ転送
  94. 94. Azureへのデータ移動パターン 現行データの移動 最初に一括で移動した後、 生成された現行データを移動 お客様のデータ移行要件にかかわらず、Azure への移行手段は必ずあります ワークロードの移動 Azure にワークロードを移動 ネットワーク ExpressRoute ディスクのインポート Data Box 100 TB オンプレミス AZcopy Data Box Edge ISV/HSV: Commvault、Peer、 VEEAM、… ASR、Azure Backup、 SQL レプリ ケーション、… Robocopy Aspera Data Box Disk 8 TB Data Box 1 PB データの転送オーケストレーションアプローチ 静的データアクティブデータ オフラインオンライン または または または … スクリプト データ転送
  95. 95. Azure Import/Export サービス https://azure.microsoft.com/ja-jp/services/storage/import-export/ 最もベーシックなオフラインでのクラウド データ移行方法 10TBまでのSATAディスクをサポート 多くのリージョンで利用可能 ディスクの準備とディスクへのロードが必要 ( ユーザーがSATAディスクを準備 ) データ転送
  96. 96. オフライン転送のシナリオ Data Box オンライン アプライアンスが、クラウド データ管理を強化 オフサイトのバックアッ プ ストレージとして、ス ケーラブルでコスト効率 の高いAzure ストレー ジを利用 コンプライアンス対策と してAzureストレージの 階層(ホット、クール、 アーカイブ)を用いた 柔軟なデータ保持 サーバーやアプリケー ション データなどを Azureへ移行 ビッグデータを移行し、 Azureが提供している 様々な分析サービスを 利用 オンライン メディア ライ ブラリーを構築し、ス ケーラビリティの高い サービスを構築 デバイスで収集した データを、安全に、一 括でAzureへ転送 https://azure.microsoft.com/ja-jp/services/storage/databox/data/➔ データ転送
  97. 97. Azure Data Box: 利用の流れ データ転送
  98. 98. Azure Data Box: オフライン転送の選択肢 小規模、中規模、もしくは大規模の移行が可能 USB 3.1 SSD ディスク 発注ごとに、最大5台のディスク 高い耐久性を持つ、堅牢なアプライアンス 100 TB 8 TB, 上限40 TB 1 PB プレビュー データ転送
  99. 99. Azure Data Box Disk 小規模なAzureへのバルク データ転送デバイス https://docs.microsoft.com/ja-jp/azure/databox/data- box-disk-overview#region-availability データ転送
  100. 100. Azure Data Box 最初に登場した、Azure専用バルク データ転送デバイス データ転送
  101. 101. Azure Data Box Heavy プレビュー 大規模なデータをAzureへ転送するためのData Box 大容量データをクラウドへ移行 データ転送
  102. 102. Azure Data Box デバイスの選択指針 データ量 45 Mbps (T3) 100 Mbps 1 Gbps 10 Gbps 1 TB 2 日 1日 2 時間 14 分 10 TB 22 日 10 日 1日 2 時間 35 TB 76 日 34 日 3日 8 時間 80 TB 173 日 78 日 8日 19 時間 100 TB 216 日 97 日 10 日 1 日 200 TB 1 年 194 日 19 日 2 日 500 TB 3 年 1 年 49 日 5 日 1 PB 6 年 3 年 97 日 10 日 2 PB 12 年 5 年 194 日 19 日 ネットワークを利用 Data Box Diskを利用 Data Boxを利用 Data Box Heavyを利用 注意: データ転送
  103. 103. Azure Data Box ファミリー データ転送
  104. 104. Azure Data Edge / Gateway ハイブリッド ストレージ
  105. 105. オンライン転送のユース ケース Azure Data Box Gateway と Edge ハイブリッド ストレージ
  106. 106. Azure Data Box Gatewayを活用したBlobへのデータ転送 Azure Storage blob, page, file オンプレミス データ SMB/NFS 共有 ストレージ ゲートウェイ Data Box Edge Data Box Gateway ハイブリッド ストレージ ➔ https://azure.microsoft.com/ja-jp/services/storage/databox/edge/
  107. 107. Azure Data Box Gateway 最小要件 仕様 最小要件 サポートするハイパーバイザー Hyper-V 2012R2 以降 VMware 6 以降 最小CPUコア数 4 最小メモリー 8 GB OS ディスクサイズ 250 GB 最小データディスクサイズ 2 TB ネットワークインターフェイス 1以上 ハイブリッド ストレージ
  108. 108. Azure Data Box Edge Compute + Project Brainwave Local Storage オンプレミスのシステム FPGA + Brainwave 最適化されたネットワーク データ転送 Azure Storage (Block, Page, and Files) IoT Edge モジュール IoT Hub ➔ https://azure.microsoft.com/ja-jp/services/storage/databox/edge/ ハイブリッド ストレージ
  109. 109. Azure Data Box Edge 仕様 仕様 詳細 ローカルキャッシュ容量 12 TB NVME フラッシュストレージ クラウド側の容量 10 PB データ暗号化 AES 256-bit encryption フォームファクター 1U ラックマウントサーバー, 29.6" deep CPU 10 コア × 2 CPU ネットワークインターフェイス 4x25 GbE SFP+ アクセス インターフェイス SMB/CIFS と NFS 機械学習アクセラレーター Brainwave powered Intel FPGA 電源 110/240 (50/60 Hz) ハイブリッド ストレージ
  110. 110. Avere ハイブリッド ストレージ
  111. 111. ハイブリッドHPC環境でのより高速でアクセス 可能なデータソリューション HPCアプリケーション用の高性能ファイルアクセス パフォーマンス:要求の厳しいワークロードに必要なホットデータの自動識別とキャッシングにより、 大量の読み取り環境でストレージのレイテンシを最小限に抑えます。 アクセス:ファイルベースのアプリケーションは、オンプレミスネットワーク接続ストレージ(NFS / SMB)またはAzure Blob(REST)のいずれかからAzureコンピューティングリソースにアクセス できます。 柔軟性:重要な作業負荷をサポートするために、Azureのスケールをあなたの指先で柔軟に 利用できます。 Avere vFXT for Azure メディア&エンターテイメント| ライフサイエンス | 金融 | 製造業 | 石油&化学 | 政府・研究所 Azure Marketplace ハイブリッド ストレージ
  112. 112. メリット 1. HPCとの利用との組み合わせで特にパフォーマンス・コスト・オ ンプレミス要件の観点で特にHPCとの組み合わせが 有効 2. Azure Computeと並んで現在のオンプレミスNAS環境を活 用する 3. 大規模なデータセットを既存のストレージから移動す ることなく、Azureの計算ノードをオンデマンドで利用可能 4. クラウドキャッシングを使用してコンピューティングリソースへのレ イテンシを隠蔽 Avere vFXT のシナリオ: クラウドバースト ハイブリッド ストレージ
  113. 113. Avere vFXTのハイブリッドモデル ハイブリッド ストレージ
  114. 114. Microsoft Azure FXT Edge Filer は、Avereを利用してオンプレミスのNAS (NetApp もしくは Dell EMC Isilon) 上のデータへの アクセス、もしくは、Azure Blobへ移行したデータへのアクセスを最適化するための、高いパフォーマンスのキャッシュ アプライアンス。 • HPCワークロード用のハイパフォーマンス データ アクセラレーション • BlobとオンプレミスNAS両方のストレージをサポートするハイブリッド アプライアンス • ヘテロなストレージ リソースをシンプルに管理するためのグローバル名前空間 • 1クラスター当たり最大24ノードまで追加できるスケーラビリティ Azure FXT Edge Filer (Avere) https://azure.microsoft.com/en-us/blog/hybrid-storage-performance-comes-to-azure/ ハイブリッド ストレージ
  115. 115. Azure Storageのリソース パフォーマンスとスケーラビリティ / 価格 Azure Storageのスケーラビリティとパフォーマンスのターゲット • https://docs.microsoft.com/ja-jp/azure/storage/common/storage-scalability-targets Azure Storageのパフォーマンスとスケーラビリティに対するチェックリスト • https://docs.microsoft.com/ja-jp/azure/storage/common/storage-performance-checklist Azureサブスクリプションとサービスの制限、クォータ、制約 > ストレージの上限値 • https://docs.microsoft.com/ja-jp/azure/azure-subscription-service-limits#storage-limits Azure Storageの価格概要 • https://azure.microsoft.com/ja-jp/pricing/details/storage/
  116. 116. 今後のAzure Core Infrastructureの 理解促進のために Appendix
  117. 117. おすすめのウェビナー シリーズの一例 • Azure へのお引越しシリーズ (全6回) • Azure はじめの一歩 (全6回) • インフラ モダナイゼーション特集 (全7回) • 一歩先行く Azure Computing シリーズ (全3回) • Windows Server 2019 徹底紹介シリーズ (全4回) https://azure.microsoft.com/ja-jp/overview/webinars/ 200以上のオンデマンド ウェビナーと、随時ライブ ウェビナーを、提供中
  118. 118. 第1回 ファイルサーバー編 1/3 https://info.microsoft.com/JA-AZUREPLAT-WBNR-FY19-10Oct-16-WebinarMovingtoAzureseries-MCW0008867_01Registration- ForminBody.html 第2回 ファイルサーバー編 2/3 https://info.microsoft.com/JA-AZUREPLAT-WBNR-FY19-10Oct-30-MovingtoAzureseries-MCW0009053_01Registration-ForminBody.html 第3回 ファイルサーバー編 3/3 https://info.microsoft.com/JA-AZUREPLAT-WBNR-FY19-11Nov-09-MovingseriestoAzure-MCW0009197_01Registration-ForminBody.html 第4回 データベース編 1/2 SQL Server 2008 サポート終了について https://info.microsoft.com/JA-AZUREPLAT-WBNR-FY19-11Nov-21-SQLServer2008supporttermination-MCW0009442_01Registration- ForminBody.html 第5回 データベース編 2/2 https://info.microsoft.com/JA-AZUREPLAT-WBNR-FY19-12Dec-05-MovingtoAzureseries6times5thDatabase22Webinar- MCW0009693_01Registration-ForminBody.html 第6回 Azure って安心して使えるの? https://info.microsoft.com/JA-AZUREPLAT-WBNR-FY19-12Dec-18-WebinarMovingtoAzureseries-MCW0009912_01Registration- ForminBody.html Azure へのお引越シリーズ(全6回)
  119. 119. 第1回 クラウドって何? https://info.microsoft.com/JA-AZUREPLAT-WBNR-FY19-10Oct-09-WebinarAzureFirstStepOctober2018-MCW0008796_01Registration-ForminBody.html 第2回 Azureって何? https://info.microsoft.com/JA-AZUREPLAT-WBNR-FY19-10Oct-18-WebinarAzureFirstStepOctober-MCW0008794_01Registration-ForminBody.html 第3回 IaaSって何? https://info.microsoft.com/JA-AZUREPLAT-WBNR-FY19-11Nov-01-WebinarAzurefirstStep-MCW0008795_01Registration-ForminBody.html 第4回 Azure のネットワークってどうなってるの? https://info.microsoft.com/JA-AZUREPLAT-WBNR-FY19-11Nov-14-WebinarAzureFirstStepnovember2018-MCW0009549_01Registration-ForminBody.html (番外編) EOSってなに? ~ Windows Server 2008 / SQL Server 2008 のサポート終了に備えるために ~ https://info.microsoft.com/JA-AZUREPLAT-WBNR-FY19-11Nov-13-WhatisEOS-MCW0009713_01Registration-ForminBody.html 第5回 Azure で運用管理ってどうするの? https://info.microsoft.com/JA-AZUREPLAT-WBNR-FY19-11Nov-28-AzureFirstStep-MCW0009198_01Registration-ForminBody.html 第6回 Azure でコストを下げることはできるの? https://info.microsoft.com/JA-AZUREPLAT-WBNR-FY19-12Dec-14-AzureFirstStep-MCW0009201_01Registration-ForminBody.html Azure はじめの一歩 (全6回)
  120. 120. 第1回 Microsoft のインテリジェント エッジ テクノロジーをキャッチアップ! https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-01Jan-10-InfrastructureModernizationSpecialFeature-MCW0010545_01Registration-ForminBody.html 第2回 Microsoft の VDI 戦略! VDI 環境最新化のシナリオ https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-12Dec-12-InfrastructureModernizationSpecialFeature7timesintotal-MCW0010546_01Registration-ForminBody.html 第3回 Azure Storageを使いこなそう! ~ ファイルサーバー編 ~ https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-02Feb-04-InfrastructureModernizationFeature-MCW0011244_01Registration-ForminBody.html 第4回 Azure AD と RBAC による Azure リソースのアクセスコントロール https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-02Feb-21-InfrastructureModernizationSpecialFeature-MCW0011260_01Registration-ForminBody.html 第5回 逆引き Microsoft Azure の仮想ネットワーク機能の使い方 https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-03Mar-06-Infrastructuredataestate-MCW0011989_01Registration-ForminBody.html 第6回 オンプレミス基盤の最先端! HCI について今知っておくべきこととは? https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-03Mar-13-InfrastructuredataestateModernizationSpecialFeature-MCW0011915_01Registration-ForminBody.html 第7回 サーバーがなくても大丈夫! Azure Stack を Azure 上で動かしてみませんか? https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-03Mar-26-Infrastructuredataestate-MCW0011884_01Registration-ForminBody.html インフラ モダナイゼーション特集 (全7回)
  121. 121. 第1回 SLA を軸にした Azure 高可用性設計とは https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-11Nov-08-AzureComputing- MCW0009127_01Registration-ForminBody.html 第2回 Azure VM どれを選ぶの? https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-11Nov-20-AzureVMIntensiveCourse- MCW0009132_01Registration-ForminBody.html 第3回 VMSSやコンテナー オーケストレーターで、クラウドのコンピューティング リソー スを使いこなす https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-12Dec-04-AzureComputing- MCW0009199_01Registration-ForminBody.html 一歩先行く Azure Computing シリーズ(全3回)
  122. 122. 第1回 Windows Server 2019 概説 https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-10Oct-22-WebinarWindowsServer2019- MCW0008998_01Registration-ForminBody.html 第2回 納得! 一緒に使おう Windows Server 2019 & Microsoft Azure https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-10Oct-31-WindowsServer2019andMicrosoftAzure- MCW0008999_01Registration-ForminBody.html 第3回 Windows Server 2019 の Hyper-Converged Infrastructure の強化 ポイントとは? https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-11Nov-16-WindowsServer2019-MCW0009249_01Registration- ForminBody.html 第4回 Windows Server コンテナーと Windows Subsystem for Linuxの進化 https://info.microsoft.com/JA-AzureINFRA-WBNR-FY19-11Nov-27-WindowsServer2019FullIntroduction- MCW0009200_01Registration-ForminBody.html Windows Server 2019 徹底紹介シリーズ (全4回)
  123. 123. © 2019 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

×