AWS Storage Gateway 詳細 - AWSマイスターシリーズ

AWSマイスターシリーズ “Reloaded” AWS Storage Gateway 2012 2月8日エバンジェリスト玉川憲 (@KenTamagawa ) ソリューションアーキテクト松尾康博 (@understeer)

Webセミナーほぼ週刊AWSマイスターシリーズ Reloaded!ほぼ週刊AWSマイスターシリーズ 1/30 IAM & Consolidated Billing 2/6 AWS Direct Connect 2/8 AWS Storage Gateway 3/12 HPC申し込みサイト http://aws.amazon.com/jp/event_schedule/ http://aws.amazon.com/jp/aws-meister/

AWS Storage Gatewayとは？既存データセンタのデータを、クラウドのストレージに安全にバックアップするサービス Amazon S3にデータをバックアップ • 耐久性が高く、安価(1G/月=約10円) データ転送/保存、ともに暗号化されるバックアップ、ディザスタリカバリのコストを最小化 AWS Storage Gateway オンプレミスのデータセンタ AWSクラウド既存アプリケーションサーババックアップ Amazon S3 リストア

Amazon S3EBSスナップショット仮想アプライアンスiSCSI

Amazon S3は、データ保存の基盤は、データ保存の基盤 S3 世界中のリージョンから選択東京リージョンデータ置くだけ。イ保存するデータは、ンフラ、電源、気に自動で暗号化しない。 (AES-256)することも可能データセンターA データセンターB バケット 3か所以上でか所以上で自動複製データセンターC 高い耐久性でデータ失わない: 安価な従量課金 99.999999999% ファイル(バイナリ、ファイルバイナリ、 1GB/月 – 約10円テキスト、画像、動画) テキスト、画像、動画

EBSスナップショット EBSはいつでも、バックアップをとれるEBSは、EC2のた (スナップショットと呼ぶ)めの仮想ディスク AWS クラウド(東京リージョン) EC2 S3 EC2 アベイラビリティゾーンアベイラビリティゾーン EBSスナップ EBSスナップショットは差分で保存される SBE SBE SBE SBE SBE ショット EBSスナップショット ( EBSスナップくなる) ショット EBSスナップ 2CE 2CE ショット EBSスナップショット起動しているEC2にいつでも任意のス EBSをナップショットからアタッチできる EBSを作成できる

仮想アプライアンスとは？VMware, Xenといった仮想化技術の上で動作するよう設計された仮想イメージOS、各種ソフトウェアをあらかじめインストール、設定しており、ハイパーバイザーの上ですぐに使えるようになっているオンプレミスのデータセンタすぐ動く！仮想アプライアンスハイパーバイザ

iSCSIとは？コンピュータとストレージ装置の通信に使うSCSIコマンドをIPネットワークで送受信するためのプロトコル iSCSI対応ストレージは、LANを経由してローカルドラ iSCSIイニシエータを用いるオンプレミスのデータセンタ iSCSI対応ストレージネットワーク経由でローカルドライブに！ iSCSI イニシエータ

Storage Gatewayは仮想アプライアンス Storage Gatewayは、仮想アプライアンスとして、 AWSからダウンロードできるオンプレミスのデータセンタ Storage Gateway ハイパーバイザの上で SGサーバ (仮想稼働するだけで、アプライアンス) iSCSI対応のストレージになるハイパーバイザハイパーバイザは、 VMWare ESXi 4.1(無償) に対応

iSCSI対応のストレージになるアプリ・サーバからは、 iSCSI形式でオンプレミスのデータセンタローカル側でディスクとしてできるアプリ・サーバ SGサーバ iSCSI ネットワーク経由イニシエータ Storage Gateway ハイパーバイザ iSCSI Windows, RedHatのイニシエータを使う

SG上のデータを、S3に自動転送 SGに書き込まれたデータを、オンプレミスのデータセンタスケジュールにあわせ、自動的にAmazon S3に転送アプリ・サーバ Amazon Web Services SGサーバ iSCSI イニシエータ Storage Gateway AWS Storage Amazon ハイパーバイザ Gateway S3 サービス差分のみ、圧縮して、暗号化して転送！

保存形式は、 EBSスナップショットなので、オンプレミスのデータセンタ Amazon Web Services SGサーバプッナスSBE プッナスSBシトッョ E Amazon プッナスSBシトッョ E EC2 プッナスSBシトッョ E トッョシ Storage Gateway AWS Storage Amazon ハイパーバイザ Gateway S3 サービス Amazon EBS AWSクラウド上でデータのシステムリカバリリストアもも可能！

AWS Storage Gatewayのユースケースのユースケースバックアップテープを別拠点に送付する必要が無く、別拠点の準備も必要ないバックアップ先のストレージのスペースを、先に購入しておく必要が無く、S3 ディザスタリカバリとBCP ディザスタリカバリ用のデータセンタ、サーバを用意する必要がなく、ハードウェア投資を削減仮想サーバ(Amazon EC2)の準備のために、既存のVMイメージをクラウドに持ち込んでもよい(VM Importと呼ばれる) データを既存データセンターからクラウドへ

セキュリティへの配慮AWSと各ゲートウェイの間のデータ転送は、SSLで暗号化クラウド側のデータ(耐久性99.999999999%設計のAmazon S3に保存される)は、AES-256を用いて暗号化iSCSIのイニシエータは、CHAP (Challenge-Handshake Authentication protocol)を用いて、暗号化認証を実施

AWS Storage Gatewayの詳細機能の詳細機能ストレージゲートウェイのコントロール Webコンソールから、ボリューム作成、１ボリューム最大1TiB １ゲートウェイで最大12TiB (12ボリューム) ボリューム上限緩和申請も可能 https://aws-portal.amazon.com/gp/aws/html-forms- controller/StorageGatewayRequest スナップショット作成/ 1, 2, 4, 8, 12, 24時間間隔で設定可能現状はWebコンソールでの操作のみ。APIは後程提供

AWS Storage Gatewayの詳細機能の詳細機能ストレージゲートウェイの自動アップデートアップデートやパッチを自動的にダウンロード、インストール、デプロイメンテナンスウィンドウを設定可能。 Amazon CloudWatchを用いて、各ゲートウェイを監視し、ログ化、アラーム設定を転送ネットワークのオプションローカルのプロキシサーバ経由も可能専用線接続サービス( AWS Direct Connect)

利用料金なる毎月$125/1ゲートウェイ通常のEBSス適用 (注: S3のPUT ) WS →バックアップ時のデータ転送は AWS →リストア時 2 AWS される

AWS Storage Gatewayとは？既存データセンタのデータを、クラウドのストレージに安全にバックアップするサービス Amazon S3にデータをバックアップ • 耐久性が高く、安価(1G/月=約10円) データ転送/保存、ともに暗号化されるバックアップ、ディザスタリカバリのコストを最小化 AWS Storage Gateway オンプレミスのデータセンタ AWSクラウド既存アプリケーションサーババックアップ Amazon S3 リストア

ローカル側の構成についてESXi4.1環境最小構成 4vCPU 7.5GB RAM 最低1 NICストレージ環境 DAS (最低でも75GBのOVAインストール先ボリューム） iSCSI ストレージ（任意) NFSストレージ(任意)AWSへアップロードするSSL インターネット回線 Direct Connect（任意）

VMWare ESXi 4.1 SGサーバ iSCSI VMDK Working VMDK storage VMDK VMDK VMDK VMDK VM boot VMFS VMFS VMFS storage RAID HDD HDD HDD NFS iSCSI iSCSIVMDKの払い出し方法はESXi標準• ローカルディスクのVMFSから• NFS経由のVMFSから LUN LUN LUN• iSCSI VMFSから• iSCSI 共有ストレージ※ボリュームは最大12個※1VMDKのMax 1TiB※ VM/ストレージ層で実装

仮想ディスクを適宜追加 Boot用 Working Storage用 iSCSI target用注意点 SCSIコントローラは「準仮想化」

仮想NICを用意 iSCSI target及びAWSへの転送用仮想NICを分けることも可能NIC,N/W

ローカル側ネットワークの構成iSCSIの通信用AWS HTTPSで通信インターネット回線 Direct ConnectSOCKS Proxy Proxy経由でAWSにアクセスする際に設定が必要 Consoleから設定

ローカル環境の特記事項時刻同期 ESXiにてNTPサーバと同期 SGサーバは ESXiと同期させるIPアドレス SGサーバはDHCPでIP取得固定するならDHCPサーバにてMACアドレスで制御 (N/W, HDD) ESXiやストレージのレイヤで実装監視外部からのPing監視 ESXi

Management Console Gateway 帯域制御メンテナンスウインドウ設定ボリューム作成、削除、リカバリ iSCSI 定期スナップショットスケジュール設定監視スナップショットの進捗 CloudWatchによる各種パフォーマンス監視

帯域制御AWSとのUp/Down帯域を指定デフォルトは無制限

SGサーバ自動メンテナンス設定メンテナンスウインドウを指定可能メンテナンス内容はパッチの自動適用等

iSCSI target AWS ことで iSCSI ターゲットへ IQNはボリューム作成と同時に設定・開始作成方法は3種類新規作成 S3上のSnapshotを基に、オンプレミス側を作成オンプレミス側ディスクを基に、S3上のSnapshotを作成

VMWare側のボリュームと１：１でマッピング

ローカルのボリュームと１：１でマッピング作成と同時に、iSCSI target IQNも決定され、自動開始

ボリュームの状態確認各ボリュームのステータスを確認可能 AVAILABLE (正常) PASS THROUGH, etc. (http://docs.amazonwebservices.com/storagegateway/latest/userguide/StorageVolumeStatuses.html

ボリューム毎に設定 1 24時間間隔までデフォルトは作成時刻で24時間間隔

作成したスナップショットはEC2タブのスナップショット一覧に表示

性能監視CloudWatchにて各種メトリクスを監視可能しきい値を設定してアラーム通知も可能

想定利用ケース（バックアップサーバ）バックアップサーバ用iSCSIストレージとして S3へのスナップショットが、遠隔バックアップの役割を果たす定期的に書き込まれるバックアップとスナップショット取得のタイミングを調整することでタイムラグを削減可能DBサーバサーバ/Fileサーバサーバサーバ NetBackup/NetVault/ARCserve/etc Snapshots 定期バックアップ iSCSI Storage Gateway S3 Local DAS/SAN Backup

想定利用ケース（ファイルサーバ）ファイルサーバ用iSCSIストレージとして更新サイズ・スナップショット頻度が許容できる場合 S3へのスナップショットが、遠隔バックアップの役割を果たす DB側ですぐにファイルサーバとして復元可能 NFS/Windows Storage Server Snapshots iSCSI Storage Gateway S3 Local Volume

想定利用ケース（DBサーバ）想定利用ケース（サーバ）直接DBサーバとして更新量が性能的に許容できる場合（参照がメインなど） S3へのスナップショットが、遠隔バックアップの役割を果たす AWS側ですぐにDBとして復元可能 Web/APサーバサーバ MySQL/Oracle Snapshots iSCSI Storage Gateway S3 Local Volume

想定利用ケース（ストレージサーバプロキシ）iSCSI targetのヘッドとして既存のiSCSIストレージ環境に挿し込む形更新量が性能的に許容できる場合に限られる（参照がメインなど） S3へのスナップショットが、遠隔バックアップの役割を果たす DBサーバサーバ/Fileサーバサーバサーバ/etc サーバ Snapshots iSCSI Storage Gateway iSCSI S3 iSCSI Storage

想定利用ケース（ Direct Connect）想定利用ケース（w/ ） Direct Connectを利用転送帯域・速度を確保大量の更新データを高頻度にスナップショット取得可能 VPC接続の場合は、VPC内にSOCKS PROXYを別途用意、設定 Snapshots iSCSI Storage Gateway S3 Local Backup Direct Connect

動作の詳細重要な項目スナップショット Working Storage ボリューム EBS

ボリュームの作成新規作成の場合ボリューム内は空（既存データが存在するとクリア）スナップショットは存在しない初回スナップショットで、ボリューム内の全データをアップロード volume snapshot

ボリュームの作成新規作成（既存データを使用）の場合作成時に、ボリューム内の全データをアップロードしてスナップショット作成 volume snapshot

ボリュームの作成新規作成（既存のスナップショットを使用）の場合作成時に、スナップショット内の全データをダウンロードしてスナップショット作成ボリュームリカバリなどで使用（EBSのスナップショットはサポート対象外） volume snapshot

ボリュームの作成（EBS)スナップショットからEBSを作成通常のEBS・スナップショットの操作と同じ EBS化したデータはEC2から読み書き可能 EC2 volume volume snapshot

Working Storage Working Storageとは iSCSI経由で書きこまれたデータを一時的に保持するために必要 Snapshot作成時にAWSに転送後、クリアされる最大2TiB（複数ボリュームで構成可能）

Working Storage（Snapshot直後）ある時点で、snapshotをとった直後の状態 volume Working Storage snapshot

Working Storage（通常状態） Snapshot取得後、ボリュームにデータが書き込まれる Working Storage volume Working StorageiSCSI snapshot

Working Storage（Snapshot取得） Snapshot時にWorking Storageのデータをアップロード Working Storage volume Working Storage snapshot

Working Storageがあふれると PASS THROUGHに遷移するスナップショットが取れない状態ローカルディスクの読み書きは可能実質、S3へのアップロードが停止している状態 Working Storageの増強( ただし Max 2TiBまで）ボリューム削除・再作成（サイズに応じた時間がかかる）

Working Storageの容量管理が重要の容量管理が重要溢れないようにする AWSへのN/W帯域を太く（ Direct Connect等) いつでもWorking Storageを追加できるH/W構成監視する（ CloudWatch、vSphere Client等) WorkingStorageUsed WorkingStorageFree WorkingStoragePercentUsedhttp://docs.amazonwebservices.com/storagegateway/latest/userguide/MainAddLocalDiskWorkingStorage.html

参考情報AWS Storage Gateway http://aws.amazon.com/jp/storagegateway/Blog http://aws.typepad.com/aws_japan/2012/01/aws- storage-gateway.htmlFAQ http://aws.amazon.com/jp/storagegateway/faqs/ユーザーガイド http://docs.amazonwebservices.com/storagegateway/late st/userguide/GettingStarted.htmlビデオ http://www.youtube.com/watch?v=Fu4VuQ8bdJY

AWSプレミアムサポートアーキテクチャ設計に関するガイダンス、ベストプラクティスも日本語でご案内できます aws.amazon.com/jp/premiumsupport/ ブロンズシルバーゴールドプラチナ初回応答時間１２時間４時間１時間１５分サポート連絡先１人２人３人無制限24/365対応対応なしなしありありTEL可能可能不可不可可能可能専任スタッフなしなしなしあり特別サポートなしなしなしあり AWS利用総額の AWS利用総額の $0~$10K: 10% AWS利用総額の 10% $49 $10K~$80K: 7% 5%料金 $80K~: 5% （最低$15K） Copyright © 2011 Amazon Web Services （最低$400）

AWS無料使用枠、Linux, Windows各1台ずつ無料

http://a0.twimg.com	5
http://us-w1.rockmelt.com	4
http://blog.livedoor.jp	1
http://paper.li	1

AWS Storage Gateway 詳細 - AWSマイスターシリーズ

by 玉川憲 (Ken Tamagawa) - Amazon Web Services on Feb 08, 2012

Accessibility

Categories

Tags

Upload Details

Usage Rights

4 Embeds 11

Statistics

AWS Storage Gateway 詳細 - AWSマイスターシリーズ — Presentation Transcript