20120208 aws meister-reloaded-storage-gateway-public

1,740 views
1,632 views

Published on

ほぼ週間AWSマイスターシリーズReloadedのAWS Storage Gatewayの回の資料です。

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,740
On SlideShare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
89
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

20120208 aws meister-reloaded-storage-gateway-public

  1. 1. AWSマイスターシリーズ “Reloaded”~AWS Storage Gateway~ 2012年2月8日 エバンジェリスト 玉川 憲 (@KenTamagawa ) ソリューションアーキテクト 松尾 康博 (@understeer)
  2. 2. セミナーのAgenda AWS Storage Gatewayとは? 運用から見る Storage Gateway詳細 Copyright © 2011 Amazon Web Services
  3. 3. AWS Storage Gatewayとは? 既存データセンタのデータを、クラウドの ストレージに安全にバックアップするサービス  Amazon S3にデータをバックアップ • 耐久性が高く、安価(1G/月=約10円)  データ転送/保存、ともに暗号化される  東京リージョンをはじめ、世界各地域で利用できる  バックアップ、ディザスタリカバリのコストを最小化 AWS Storage Gateway オンプレミスのデータセンタ AWSクラウド 既存アプリケー ションサーバ バックアップ リストア Amazon S3
  4. 4. 前提知識の復習 Amazon S3 EBSスナップショット 仮想アプライアンス iSCSI
  5. 5. Amazon S3は、データ保存の基盤 S3 世界中のリージョンから選択 東京リージョンデータ置くだけ。イ 保存するデータは、ンフラ、電源、気に 自動で暗号化 しない。 (AES-256)する ことも可能 データセンターA データセンターB バケット 3か所以上で 自動複製 データセンターC 高い耐久性で データ失わない: 安価な従量課金 99.999999999% ファイル(バイナリ、 1GB/月 – 約10円 テキスト、画像、動画)
  6. 6. EBSスナップショット EBSはいつでも、 バックアップをとれるEBSは、EC2のた (スナップショットと呼ぶ)めの仮想ディスク AWS クラウド(東京リージョン) EC2 S3 EC2 アベイラビリティゾーン アベイラビリティゾーン EBSスナップ EBSスナップ ショットは差分 EBS EBS EBS EBS EBS ショット で保存される EBSスナップ ショット (保存料金が安 EBSスナップ くなる) ショット EBSスナップ EC2 EC2 ショット EBSスナップ ショット 起動しているEC2に いつでも任意のス EBSを ナップショットから アタッチできる EBSを作成できる
  7. 7. 仮想アプライアンスとは?VMware, Xenといった仮想化技術の上で動作するよう設計された仮想イメージOS、各種ソフトウェアをあらかじめインストール、設定しており、ハイパーバイザーの上ですぐに使えるようになっている オンプレミスのデータセンタ すぐ動く! 物理サーバ 仮想 アプライアンス ハイパーバイザ
  8. 8. iSCSIとは? コンピュータとストレージ装置の通信に使うSCSIコマ ンドをIPネットワークで送受信するためのプロトコル iSCSI対応ストレージは、LANを経由してローカルドラ イブとして利用できる 利用側はiSCSIイニシエータを用いる オンプレミスのデータセンタ 物理サーバ iSCSI対応 ストレージ ネットワーク経由で ローカルドライブに! iSCSI イニシエータ
  9. 9. 前提知識を用いて、 Storage Gatewayをもう一度みてみましょう Copyright © 2011 Amazon Web Services
  10. 10. Storage Gatewayは仮想アプライアンス Storage Gatewayは、 仮想アプライアンスとして、 AWSからダウンロードできる オンプレミスのデータセンタ Storage Gateway ハイパーバイザの上で SGサーバ (仮想 稼働するだけで、 アプライアンス) iSCSI対応の ストレージになる ハイパーバイザ ハイパーバイザは、 VMWare ESXi 4.1(無償) に対応
  11. 11. iSCSI対応のストレージになる アプリ・サーバからは、 iSCSI形式で オンプレミスのデータセンタ ローカル側でディスクとして 利用できる アプリ・サーバ SGサーバ iSCSI ネットワーク経由 イニシエータ Storage Gateway ハイパーバイザ iSCSIを利用する側は Windows, RedHatの イニシエータを使う
  12. 12. SG上のデータを、S3に自動転送 SGに書き込まれたデータを、 オンプレミスのデータセンタ スケジュールにあわせ、 自動的にAmazon S3に転送 アプリ・サーバ Amazon Web Services SGサーバ iSCSI イニシエータ Storage Gateway AWS Storage Amazon ハイパーバイザ Gateway S3 サービス 差分のみ、 圧縮して、 暗号化して転送!
  13. 13. データ復旧、システムリカバリ 保存形式は、 EBSスナップショットなので、 差分のみ料金がかかるオンプレミスのデータセンタ Amazon Web Services SGサーバ EBSスナップ EBSスナップ ショット EBSスナップ ショット EBSスナップ ショット Amazon ショット EC2 Storage Gateway AWS Storage Amazon ハイパーバイザ Gateway S3 サービス Amazon EBS AWSクラウド上で データの システムリカバリ リストアも も可能! 容易にできる
  14. 14. AWS Storage Gatewayのユースケース バックアップ テープを 別拠点に送付する必要が無く、別拠点の準備も必要ない バックアップ先のストレージのスペースを、先に購入しておく必要が 無く、S3の場合は容量無制限で利用できる バックアップのスケジュールも容易に周期設定できる ディザスタリカバリとBCP ディザスタリカバリ用のデータセンタ、 サーバを用意する必要がなく、ハードウェア投資を削減 仮想サーバ(Amazon EC2)の準備のために、既存のVMイメージをクラ ウドに持ち込んでもよい(VM Importと呼ばれる) データ移行 データを既存データセンターからクラウドへ移行
  15. 15. セキュリティへの配慮AWSと各ゲートウェイの間のデータ転送は、SSLで暗号化クラウド側のデータ(耐久性99.999999999%設計のAmazon S3に保存される)は、AES-256を用いて暗号化iSCSIのイニシエータは、CHAP (Challenge-Handshake Authentication protocol)を用いて、暗号化認証を実施
  16. 16. AWS Storage Gatewayの詳細機能 ストレージゲートウェイのコントロール Webコンソールから、ボリューム作成、 1ボリューム 最大1TiB 1ゲートウェイで最大12TiB (12ボリューム) ボリューム上限緩和申請も可能 https://aws-portal.amazon.com/gp/aws/html-forms- controller/StorageGatewayRequest スナップショット作成/復旧、作成スケジュールの構成 1, 2, 4, 8, 12, 24時間間隔で設定可能 現状はWebコンソールでの操作のみ。APIは後程提供
  17. 17. AWS Storage Gatewayの詳細機能 ストレージゲートウェイの自動アップデート アップデートやパッチを自動的にダウンロード、 インストール、デプロイ メンテナンスウィンドウを設定可能。 Amazon CloudWatchを用いて、 各ゲートウェイを監視し、ログ化、アラーム設定を行える 転送ネットワークのオプション ローカルのプロキシサーバ経由も可能 専用線接続サービス( AWS Direct Connect)利用も可能
  18. 18. 利用料金利用料金は、ゲートウェイの利用数、データ保存料金、データ転送料金からなる ゲートウェイ利用数 毎月$125/1ゲートウェイ データ保存料金 通常のEBSス ナップショットの料金が適用 (注: S3のPUTの料金などはかからない) データ転送料金 WSに向かう転送量は通常通り無料 →バックアップ時のデータ転送は無料 AWSから出るデータ転送料が通常どおり必要 →リストア時いまなら、ゲートウェイ利用料金が2か月無料! AWS無料使用枠の利用条件も適用される
  19. 19. AWS Storage Gatewayとは? 既存データセンタのデータを、クラウドの ストレージに安全にバックアップするサービス  Amazon S3にデータをバックアップ • 耐久性が高く、安価(1G/月=約10円)  データ転送/保存、ともに暗号化される  東京リージョンをはじめ、世界各地域で利用できる  バックアップ、ディザスタリカバリのコストを最小化 AWS Storage Gateway オンプレミスのデータセンタ AWSクラウド 既存アプリケー ションサーバ バックアップ リストア Amazon S3
  20. 20. セミナーのAgenda AWS Storage Gatewayとは? 運用から見るStorage Gateway詳細 Copyright © 2011 Amazon Web Services
  21. 21. ローカル側の構成についてESXi4.1環境  最小構成 4vCPU 7.5GB RAM  最低1物理NICストレージ環境  DAS (最低でも75GBのOVAインストール先ボリューム)  iSCSI ストレージ(任意)  NFSストレージ(任意)AWSへアップロードするSSL経路  インターネット回線  Direct Connect(任意)
  22. 22. ローカル側ストレージの構成例 VMWare ESXi 4.1 SGサーバ iSCSI VMDK Working VMDK storage VMDK VMDK VMDK VMDK VM boot VMFS VMFS VMFS storage RAID HDD HDD HDD NFS iSCSI iSCSIVMDKの払い出し方法はESXi標準• ローカルディスクのVMFSから• NFS経由のVMFSから LUN LUN LUN• iSCSI論理ボリュームのVMFSから• iSCSI論理ボリュームに直接接続 共有ストレージ※ボリュームは最大12個※1VMDKのMax 1TiB※各種冗長化はVM/ストレージ層で実装
  23. 23. ローカル側ストレージの構成例仮想ディスクを適宜追加  Boot用  Working Storage用  iSCSI target用稼働中の追加も動的に認識可能冗長化は物理層で実装注意点  SCSIコントローラは「準仮想化」
  24. 24. ローカル側ネットワークの構成例仮想NICを用意  iSCSI target及びAWSへの転送用  仮想NICを分けることも可能NIC,N/W冗長化等は物理層で実装
  25. 25. ローカル側ネットワークの構成iSCSIの通信用AWSとの経路  HTTPSで通信  インターネット回線  Direct ConnectSOCKS Proxy  Proxy経由でAWSにアクセスする際 に設定が必要  Consoleから設定
  26. 26. ローカル環境の特記事項時刻同期  ESXiにてNTPサーバと同期  SGサーバは ESXiと同期させるIPアドレス  SGサーバはDHCPでIP取得  固定するならDHCPサーバにてMACアドレスで制御冗長構成(N/W, HDD)  ESXiやストレージのレイヤで実装監視  外部からのPing監視  ESXiレイヤで計測できるメトリクスを利用
  27. 27. Management Consoleの管理項目 Gateway管理  帯域制御  メンテナンスウインドウ設定 ボリューム管理  ボリューム作成、削除、リカバリ  iSCSIターゲット管理  スナップショット作成、管理  定期スナップショットスケジュール設定 監視  スナップショットの進捗  CloudWatchによる各種パフォーマンス監視
  28. 28. 帯域制御AWSとのUp/Down帯域を指定  デフォルトは無制限
  29. 29. SGサーバ自動メンテナンス設定メンテナンスウインドウを指定可能  メンテナンス内容はパッチの自動適用等
  30. 30. ボリューム管理iSCSI target  AWS側で見えるボリュームと1:1で対応  ローカル側ディスクをボリュームとして紐付けることで iSCSI ターゲットへ  IQNはボリューム作成と同時に設定・開始作成方法は3種類  新規作成  S3上のSnapshotを基に、オンプレミス側を作成  オンプレミス側ディスクを基に、S3上のSnapshotを作成ボリュームのステータス管理
  31. 31. ボリューム管理(作成)VMWare側のボリュームと1:1でマッピング
  32. 32. ボリューム管理(作成)ローカルのボリュームと1:1でマッピング  作成と同時に、iSCSI target IQNも決定され、自動開始
  33. 33. ボリューム管理 ボリュームの状態確認  各ボリュームのステータスを確認可能 ステータスの例  AVAILABLE (正常)  PASS THROUGH, etc. (異常状態)http://docs.amazonwebservices.com/storagegateway/latest/userguide/StorageVolumeStatuses.html
  34. 34. スナップショット管理(定期実行)ボリューム毎に設定  1時間~24時間間隔まで  デフォルトは 作成時刻で24時間間隔
  35. 35. スナップショット管理作成したスナップショットはEC2タブのスナップショット一覧に表示
  36. 36. 性能監視CloudWatchにて各種メトリクスを監視可能  しきい値を設定してアラーム通知も可能
  37. 37. 想定利用ケース(バックアップサーバ) バックアップサーバ用iSCSIストレージとして  S3へのスナップショットが、遠隔バックアップの役割を果たす  定期的に書き込まれるバックアップとスナップショット取得のタイミン グを調整することでタイムラグを削減可能DBサーバ/Fileサーバ NetBackup/NetVault/ARCserve/etc Snapshots 定期バックアップ iSCSI Storage Gateway S3 Local DAS/SAN Backup
  38. 38. 想定利用ケース(ファイルサーバ)ファイルサーバ用iSCSIストレージとして  更新サイズ・スナップショット頻度が許容できる場合  S3へのスナップショットが、遠隔バックアップの役割を果たす  DB側ですぐにファイルサーバとして復元可能 NFS/Windows Storage Server Snapshots iSCSI Storage Gateway S3 Local Volume
  39. 39. 想定利用ケース(DBサーバ)直接DBサーバとして  更新量が性能的に許容できる場合(参照がメインなど)  S3へのスナップショットが、遠隔バックアップの役割を果たす  AWS側ですぐにDBとして復元可能 Web/APサーバ MySQL/Oracle Snapshots iSCSI Storage Gateway S3 Local Volume
  40. 40. 想定利用ケース(ストレージサーバプロキシ)iSCSI targetのヘッドとして  既存のiSCSIストレージ環境に挿し込む形  更新量が性能的に許容できる場合に限られる(参照がメインなど)  S3へのスナップショットが、遠隔バックアップの役割を果たす DBサーバ/Fileサーバ/etc Snapshots iSCSI Storage Gateway iSCSI S3 iSCSI Storage
  41. 41. 想定利用ケース(w/ Direct Connect) Direct Connectを利用  転送帯域・速度を確保  大量の更新データを高頻度にスナップショット取得可能  VPC接続の場合は、VPC内にSOCKS PROXYを別途用意、設定 Snapshots iSCSI Storage Gateway S3 Local Backup Direct Connect
  42. 42. 動作の詳細重要な項目  スナップショット  Working Storage  ボリューム  EBS
  43. 43. ボリュームの作成新規作成の場合  ボリューム内は空(既存データが存在するとクリア)  スナップショットは存在しない  初回スナップショットで、ボリューム内の全データをアップ ロード volume snapshot
  44. 44. ボリュームの作成新規作成(既存データを使用)の場合  ボリューム内のデータを残して利用  作成時に、ボリューム内の全データをアップロードしてスナップ ショット作成  既存データの移行などで使用 volume snapshot
  45. 45. ボリュームの作成新規作成(既存のスナップショットを使用)の場合  作成時に、スナップショット内の全データをダウンロードして スナップショット作成  ボリュームリカバリなどで使用  (EBSのスナップショットはサポート対象外) volume snapshot
  46. 46. ボリュームの作成(EBS)スナップショットからEBSを作成  通常のEBS・スナップショットの操作と同じ  EBS化したデータはEC2から読み書き可能 EC2 volume volume snapshot
  47. 47. Working Storage Working Storageとは  iSCSI経由で書きこまれたデータを一時的に保持するために必要  Snapshot作成時にAWSに転送後、クリアされる  最大2TiB(複数ボリュームで構成可能)
  48. 48. Working Storage(Snapshot直後) ある時点で、snapshotをとった直後の状態 volume Working Storage snapshot
  49. 49. Working Storage(通常状態) Snapshot取得後、ボリュームにデータが書き込まれる  Working Storageにも更新データを保持 volume Working Storage snapshotiSCSI
  50. 50. Working Storage(Snapshot取得) Snapshot時にWorking Storageのデータをアップロード  Working Storageにも更新データを削除 volume Working Storage snapshot
  51. 51. Working Storageがあふれると 異常ステータス PASS THROUGHに遷移する スナップショットが取れない状態  ローカルディスクの読み書きは可能  実質、S3へのアップロードが停止している状態 復旧するには  Working Storageの増強( ただし Max 2TiBまで)  ボリューム削除・再作成(サイズに応じた時間がかかる)
  52. 52. Working Storageの容量管理が重要 溢れないようにする  書き込み頻度・量を考慮  AWSへのN/W帯域を太く( Direct Connect等)  いつでもWorking Storageを追加できるH/W構成 監視する( CloudWatch、vSphere Client等)  WorkingStorageUsed  WorkingStorageFree  WorkingStoragePercentUsedhttp://docs.amazonwebservices.com/storagegateway/latest/userguide/MainAddLocalDiskWorkingStorage.html
  53. 53. 参考情報AWS Storage Gateway  http://aws.amazon.com/jp/storagegateway/Blog  http://aws.typepad.com/aws_japan/2012/01/aws- storage-gateway.htmlFAQ  http://aws.amazon.com/jp/storagegateway/faqs/ユーザーガイド  http://docs.amazonwebservices.com/storagegateway/late st/userguide/GettingStarted.htmlビデオ  http://www.youtube.com/watch?v=Fu4VuQ8bdJY
  54. 54. AWSプレミアムサポート アーキテクチャ設計に関するガイダンス、ベストプラクティス も日本語でご案内できます aws.amazon.com/jp/premiumsupport/ ブロンズ シルバー ゴールド プラチナ初回応答時間 12時間 4時間 1時間 15分サポート連絡先 1人 2人 3人 無制限24/365対応 なし なし あり ありTEL可能 不可 不可 可能 可能専任スタッフ なし なし なし あり特別サポート なし なし なし あり AWS利用総額の AWS利用総額の $0~$10K: 10% AWS利用総額の 10%料金 $49 5% $10K~$80K: 7% $80K~: 5% (最低$15K) (最低$400) Copyright © 2011 Amazon Web Services
  55. 55. AWS無料使用枠、Linux, Windows各1台ずつ無料
  56. 56. Q&ACopyright © 2011 Amazon Web Services
  57. 57. 詳細条件iSCSIのクライアントは、Microsoft Windows Initiator形式と、RedHat iSCSIinitiator形式をサポートVMware ESXi 4.1形式のVMイメージバックアップの容量制限について S3には無限に保存できる ストレージゲートウェイは、Maxで 1TB(EBSの制限) x 12個VMイメージのための最低必要スペック 2 Virtual Processors, 4GB RAM, 60GB diskMicrosoftのVolume Shadow Copy Service (VSS)もサポート予定現状、Gateway-Storedボリュームのみサポート。今後、Gateway-Cachedボリュームをサポート予定 Gateway-Storedは完全コピー。Geateway-Cachedは一部ローカルに 保存できる
  58. 58. CloudWatch メトリクス Storage Gateway全体 Volume単位  CloudBytesDownloaded  CloudBytesUploaded  QueuedWrites  CloudDownloadLatency  ReadBytes  QueuedWrites  ReadTime  ReadBytes  WriteBytes  ReadTime  WriteTime  WorkingStorageFree  WorkingStoragePercentUs ed  WorkingStorageUsed  WriteBytes  WriteTime

×