Amazon Glacierのご紹介
          (機能編)

     アマゾン データ サービス ジャパン株式会社
                     2012.08.28




1
Amazon Glacierのご紹介
      AWSが提供するストレージサービス
      Amazon Glacier
      Glacierの特徴
      Glacierの機能
      AmzonS3との違い
      システム構成例
      価格体系



2
AWSが提供するストレージサービス

         Amazon S3
         – 高頻度アクセスを想定したオンライン
           ストレージサービス
         – 耐久性 99.999999999%を実現
         – 月額 約10円/GBから提供



         Amazon Glacier
         – 低頻度アクセスかつ長期保存を想定した
           ストレージサービス
         – S3と同等の耐久性99.999999999%を実現
         – 月額 約1円/GBからの提供

3
Amazon Glacierとは
     お客様のご要望

      現在テープ媒体などでバックアップを取得しているような大容量
      データを、安価で確実に何年もわたって保存する仕組みがほしい


      データの取り出し回数は多くないが、必要な際に、確実にデータの
               取り出しができることが重要




4
Amazon Glacierとは
利用用途




     オフサイト
               電子保存       テープリプレイス
     アーカイブ

企業データ、画像・動   図書館、歴史博物館、   IT部門のテープバック
画のアセット、科学技   NGOや政府の電子ア   アップ、ログデータ等
術データ         ーカイブ         の外部保管


5
Amazon Glacierの特徴
     低コスト                  セキュア
     – 初期投資不要              –   データ転送はSSL通信
     – 運用費不要               –   同一リージョン内のみでの保管
     – 格納容量、取り出し容量、外部への    –   自動サーバサイド暗号化(AES256)
       データ転送量に応じた従量課金      –   IAMとの連携によるアクセス管理


     耐久性                   柔軟性
     – 99.999999999%の耐久性   –   格納容量無制限
     – 同一リージョン内で複数拠点への自    –   保存期間制限なし
       動複製保存               –   いつでも取り出し可能
     – データのインテグリティチェックお    –   保守切れ等によるデータ移行作業不要
       よび自動復旧
                           –   AWS IMPORT/EXPORTにも対応


       東京リージョン含む、US-EAST,US-WEST,
           EUにてサービス提供開始
6
Glacierの機能




7
Glacierの機能
     Vaultとは
     –   アーカイブの格納コンテナ
     –   Vault内でのアーカイブ格納数制限なし
     –   アカウント最大1,000Vaultまで作成可能
     –   IAMによるアクセス制限指定可能
     –   Vault単位でのSNS通知可能
          • メール通知, HTTPリクエスト実行, SQS実行
     Archiveとは
     – 格納データ
     – アップロード時システム側でArchive IDを自動発行
          • 別途メタデータ管理DBを準備することを推奨
     – 格納データの更新不可(削除のみ)
     – 1アーカイブ最大40TBまで
     – マルチパートアップロードに対応



8
Glacierの機能
     Inventoryとは
     –   Vaultに格納されたアーカイブ情報一覧
     –   JSONもしくはCSVベースでダウンロード
     –   情報は1日1回バッチで自動更新
     Retrieve Jobとは
     –   アーカイブおよびインベントリ取得要求
     –   非同期によるデータ取得
     –   並列処理可能
     –   Retrieve Job要求後、ダウンロード準備完了まで、3.5~
         4.5時間
     –   JobIDによる処理状況のトラッキング
     –   SNSによるJob完了通知(Job単位でも指定可能)
     Downloadとは
     –   Retrieveされたデータのダウンロード(アーカイブ
         およびインベントリ)
     –   準備完了後、24時間以内にダウンロード可能
     –   AWS内でのデータ転送は無料


9
Glacierの機能
      Vault情報の取得/内容
                                                                                               AWS Management Console
      Management ConsoleもしくはAPI
      で取得可能
      – リージョン                                                                                       XXXXXXXX



      – 最終インベントリ更新日
      – 格納合計サイズ
      – 格納アーカイブ数                                                                          Inventory (JSON Format)
                                  {
                                      "VaultARN":"arn:aws:glacier:ap-northeast-1:XXXXXXXXXX:vaults/myvault",

      インベントリ情報の取得/内容                  "InventoryDate":"2012-08-22T10:54:40Z",
                                      "ArchiveList":[
      Retrieve Job経由で情報ファイルを            {
                                          "ArchiveId":"VuXIueJVKCmi2Krd09mWsPYnBQXM_ThOrZCibCPT6W4QSlHMxgN2eqyH6_1",
      ダウンロード                              "ArchiveDescription":"my test archive1",
                                          "CreationDate":"2012-08-21T15:57:32Z",
      – アーカイブID                           "Size":1192542,
                                          "SHA256TreeHash":"213cfb8e049cee88f988a61e48ebe699ff201f45d63f786d959a6b97b"
      – アーカイブ詳細                          },
                                         {
      – 作成日                               "ArchiveId":"GzDjZm4lGcOt73icVTmROC7BqsqPAym49sOYEHxJlGyxKtYv0hQ18keenxOVM",
      – サイズ                               "ArchiveDescription":"my test archive2",
                                          "CreationDate":"2012-08-21T16:26:01Z",
      – ハッシュキー                            "Size":1192542,
                                          "SHA256TreeHash":"213cfb8e049cee88f988a61e48ebe699ff201f45d663f786d959a6b97b"
                                          }
                                      }
                                  }


10
Glacierの機能
      AWS Import / Export
      – AWSのリージョンに対してデータが格納されたHDDを送付いただくこ
        とで、直接Glacierに対しデータのアップロードすることが可能

      – 現在Tokyoリージョンは未対応




          AWS
          Import / Export




11
Glacierの機能
     提供API機能一覧
      Valult                                    Retrieve
      – Valutの作成、削除                              – Job生成
          •    createVault, deleteVault             •   initiateJob (inventory-retrieval,archive-
                                                        retrieval)
      – Vault情報の取得
          •    listVaults, descriveVault
                                                 – Job情報の取得
                                                    •   describeJob , listJobs
      – Vault単位の通知設定
          •    createVaultNotifications,
                                                 – データのダウンロード
               getVaultNotifications,               •   getJobOutput
               setVaultNotifications,
               deleteVaultNotifications

      Archive                                 現時点ではJavaと.NETのSDKを提供
      – アップロード、削除
          •    uploadArchive, deleteArchive

      – マルチパートアップロード
          •    initiateMultipartUpload,
               uploadMultipartUpload,
               abortMultipartUpload,
               completeMultipartUpload,
               listMultipartUpload



12
Amazon S3との違い                                                             VS

                                    Amazon S3                       Amazon Glacier
                        ファイル単位                            ファイルもしくはアーカイブされたファイル単位
     Object (S3)                                          (ZIP/TAR等)
       VS               上書き更新可能                           WORM (Write Once Read Many)
     Archive(Glacier)                                     アーカイブの更新不可
                        リスト可能なインデックス                      インデックスなし
                        オブジェクト名指定可能                       システムが生成するアーカイブID
                        同期ダウンロード                          非同期ダウンロード
                        オブジェクトレベルでのアクセス管理                 アーカイブ単位でのアクセス管理なし
                        スタンダード + 低冗長化ストレージ                スタンダードのみ
                        Server Side Encryption選択可         自動Server Side Encryption
                        LISTによるメタデータ情報参照                  Inventoryによるダウンロード方式のみ
                        アクセスコントロール(IAM + Bucket Policy)   アクセスコントロール (IAMのみ)
     Bucket (S3)        SNSによる通知設定可                       SNSによる通知設定可
       VS
     Vault (Glacier)    ログ設定可                             ログ設定不可
                        ライフサイクルポリシー指定可                    ライフサイクルポリシー指定不可
                        Webサイト機能                          Webサイト機能なし
                        同期型                               同期型
     データ格納
                        オブジェクト名指定可能                       システムによるアーカイブID自動生成
                        同期型                               非同期型
     データ取得                                                Jobによる処理要求
13                      オブジェクト名でのアクセス                     アーカイブIDでのアクセス
システム構成例
                                                                         お客様のDC
                                     AWS Direct       AWS
                                      Connect     Import/Export
                                                                          アーカイブ      Primary
                                     アップロード / ダウンロード                      テープ装置      Storage


           Amazon Glacier

                                                             AWS / On-Premise Application Server
                                  アップロード/ダウンロード


                                                                                  インデックス
                                      Amazon IAM              アーカイブシステム
                                                              (検索, ログ分析,
                                                                                  /メタデータ
                                   アクセスコントロール
                                                              アクセスコントロール)           管理
                                     Amazon SNS
                                    ジョブ完了通知
     インデックス            データ分析
     メタデータ管理           データ変換
     RDS   DynamoDB   EC2   EMR




 インデックス管理               データ分析
                      エンコーディング

14
価格体系
                     価格体系(東京リージョンの場合)

            ストレージ                       $0.012/GB/月

            リクエスト数
                                $0.06/1,000リクエスト
            (アップロード、データ取出)

            アップロード                               無料

                              毎月総格納容量の5%まで無料
            データ取出
                                  上記以上は、$0.012/GB

            短期間での削除
                                          $0.036/GB
            (90日以内に削除した場合)

                                 通常のダウンロード料金
            AWS外部へのダウンロード               ($0.201/GBから)
                               *AWS内部からのダウンロードは無料




15
まとめ
     低コスト、かつ非常に耐久性の高い長期保存用アーカイブ
     ストレージ

     手間のかかる運用なしに、いつでもアップロード /ダウン
     ロード可能

     容量無制限で、格納データもセキュアに保管


           Amazon Glacierで簡単に
           アーカイブやバックアップデータ
           の長期保存が可能に
16
Appendix: Amazon S3との連携

       Amazon S3とGlacier間で
     シームレスにデータの移動ができる
        機能が近日リリース予定




17
Appendix: 管理画面
     Management Console
     Vault作成画面




18
Appendix: 管理画面
     SNS通知設定画面




19
Appendix: 管理画面
     Glacier管理画面 (Valut一覧)




20
21

Amazon Glacierのご紹介(機能編)

  • 1.
    Amazon Glacierのご紹介 (機能編) アマゾン データ サービス ジャパン株式会社 2012.08.28 1
  • 2.
    Amazon Glacierのご紹介 AWSが提供するストレージサービス Amazon Glacier Glacierの特徴 Glacierの機能 AmzonS3との違い システム構成例 価格体系 2
  • 3.
    AWSが提供するストレージサービス Amazon S3 – 高頻度アクセスを想定したオンライン ストレージサービス – 耐久性 99.999999999%を実現 – 月額 約10円/GBから提供 Amazon Glacier – 低頻度アクセスかつ長期保存を想定した ストレージサービス – S3と同等の耐久性99.999999999%を実現 – 月額 約1円/GBからの提供 3
  • 4.
    Amazon Glacierとは お客様のご要望 現在テープ媒体などでバックアップを取得しているような大容量 データを、安価で確実に何年もわたって保存する仕組みがほしい データの取り出し回数は多くないが、必要な際に、確実にデータの 取り出しができることが重要 4
  • 5.
    Amazon Glacierとは 利用用途 オフサイト 電子保存 テープリプレイス アーカイブ 企業データ、画像・動 図書館、歴史博物館、 IT部門のテープバック 画のアセット、科学技 NGOや政府の電子ア アップ、ログデータ等 術データ ーカイブ の外部保管 5
  • 6.
    Amazon Glacierの特徴 低コスト セキュア – 初期投資不要 – データ転送はSSL通信 – 運用費不要 – 同一リージョン内のみでの保管 – 格納容量、取り出し容量、外部への – 自動サーバサイド暗号化(AES256) データ転送量に応じた従量課金 – IAMとの連携によるアクセス管理 耐久性 柔軟性 – 99.999999999%の耐久性 – 格納容量無制限 – 同一リージョン内で複数拠点への自 – 保存期間制限なし 動複製保存 – いつでも取り出し可能 – データのインテグリティチェックお – 保守切れ等によるデータ移行作業不要 よび自動復旧 – AWS IMPORT/EXPORTにも対応 東京リージョン含む、US-EAST,US-WEST, EUにてサービス提供開始 6
  • 7.
  • 8.
    Glacierの機能 Vaultとは – アーカイブの格納コンテナ – Vault内でのアーカイブ格納数制限なし – アカウント最大1,000Vaultまで作成可能 – IAMによるアクセス制限指定可能 – Vault単位でのSNS通知可能 • メール通知, HTTPリクエスト実行, SQS実行 Archiveとは – 格納データ – アップロード時システム側でArchive IDを自動発行 • 別途メタデータ管理DBを準備することを推奨 – 格納データの更新不可(削除のみ) – 1アーカイブ最大40TBまで – マルチパートアップロードに対応 8
  • 9.
    Glacierの機能 Inventoryとは – Vaultに格納されたアーカイブ情報一覧 – JSONもしくはCSVベースでダウンロード – 情報は1日1回バッチで自動更新 Retrieve Jobとは – アーカイブおよびインベントリ取得要求 – 非同期によるデータ取得 – 並列処理可能 – Retrieve Job要求後、ダウンロード準備完了まで、3.5~ 4.5時間 – JobIDによる処理状況のトラッキング – SNSによるJob完了通知(Job単位でも指定可能) Downloadとは – Retrieveされたデータのダウンロード(アーカイブ およびインベントリ) – 準備完了後、24時間以内にダウンロード可能 – AWS内でのデータ転送は無料 9
  • 10.
    Glacierの機能 Vault情報の取得/内容 AWS Management Console Management ConsoleもしくはAPI で取得可能 – リージョン XXXXXXXX – 最終インベントリ更新日 – 格納合計サイズ – 格納アーカイブ数 Inventory (JSON Format) { "VaultARN":"arn:aws:glacier:ap-northeast-1:XXXXXXXXXX:vaults/myvault", インベントリ情報の取得/内容 "InventoryDate":"2012-08-22T10:54:40Z", "ArchiveList":[ Retrieve Job経由で情報ファイルを { "ArchiveId":"VuXIueJVKCmi2Krd09mWsPYnBQXM_ThOrZCibCPT6W4QSlHMxgN2eqyH6_1", ダウンロード "ArchiveDescription":"my test archive1", "CreationDate":"2012-08-21T15:57:32Z", – アーカイブID "Size":1192542, "SHA256TreeHash":"213cfb8e049cee88f988a61e48ebe699ff201f45d63f786d959a6b97b" – アーカイブ詳細 }, { – 作成日 "ArchiveId":"GzDjZm4lGcOt73icVTmROC7BqsqPAym49sOYEHxJlGyxKtYv0hQ18keenxOVM", – サイズ "ArchiveDescription":"my test archive2", "CreationDate":"2012-08-21T16:26:01Z", – ハッシュキー "Size":1192542, "SHA256TreeHash":"213cfb8e049cee88f988a61e48ebe699ff201f45d663f786d959a6b97b" } } } 10
  • 11.
    Glacierの機能 AWS Import / Export – AWSのリージョンに対してデータが格納されたHDDを送付いただくこ とで、直接Glacierに対しデータのアップロードすることが可能 – 現在Tokyoリージョンは未対応 AWS Import / Export 11
  • 12.
    Glacierの機能 提供API機能一覧 Valult Retrieve – Valutの作成、削除 – Job生成 • createVault, deleteVault • initiateJob (inventory-retrieval,archive- retrieval) – Vault情報の取得 • listVaults, descriveVault – Job情報の取得 • describeJob , listJobs – Vault単位の通知設定 • createVaultNotifications, – データのダウンロード getVaultNotifications, • getJobOutput setVaultNotifications, deleteVaultNotifications Archive 現時点ではJavaと.NETのSDKを提供 – アップロード、削除 • uploadArchive, deleteArchive – マルチパートアップロード • initiateMultipartUpload, uploadMultipartUpload, abortMultipartUpload, completeMultipartUpload, listMultipartUpload 12
  • 13.
    Amazon S3との違い VS Amazon S3 Amazon Glacier ファイル単位 ファイルもしくはアーカイブされたファイル単位 Object (S3) (ZIP/TAR等) VS 上書き更新可能 WORM (Write Once Read Many) Archive(Glacier) アーカイブの更新不可 リスト可能なインデックス インデックスなし オブジェクト名指定可能 システムが生成するアーカイブID 同期ダウンロード 非同期ダウンロード オブジェクトレベルでのアクセス管理 アーカイブ単位でのアクセス管理なし スタンダード + 低冗長化ストレージ スタンダードのみ Server Side Encryption選択可 自動Server Side Encryption LISTによるメタデータ情報参照 Inventoryによるダウンロード方式のみ アクセスコントロール(IAM + Bucket Policy) アクセスコントロール (IAMのみ) Bucket (S3) SNSによる通知設定可 SNSによる通知設定可 VS Vault (Glacier) ログ設定可 ログ設定不可 ライフサイクルポリシー指定可 ライフサイクルポリシー指定不可 Webサイト機能 Webサイト機能なし 同期型 同期型 データ格納 オブジェクト名指定可能 システムによるアーカイブID自動生成 同期型 非同期型 データ取得 Jobによる処理要求 13 オブジェクト名でのアクセス アーカイブIDでのアクセス
  • 14.
    システム構成例 お客様のDC AWS Direct AWS Connect Import/Export アーカイブ Primary アップロード / ダウンロード テープ装置 Storage Amazon Glacier AWS / On-Premise Application Server アップロード/ダウンロード インデックス Amazon IAM アーカイブシステム (検索, ログ分析, /メタデータ アクセスコントロール アクセスコントロール) 管理 Amazon SNS ジョブ完了通知 インデックス データ分析 メタデータ管理 データ変換 RDS DynamoDB EC2 EMR インデックス管理 データ分析 エンコーディング 14
  • 15.
    価格体系 価格体系(東京リージョンの場合) ストレージ $0.012/GB/月 リクエスト数 $0.06/1,000リクエスト (アップロード、データ取出) アップロード 無料 毎月総格納容量の5%まで無料 データ取出 上記以上は、$0.012/GB 短期間での削除 $0.036/GB (90日以内に削除した場合) 通常のダウンロード料金 AWS外部へのダウンロード ($0.201/GBから) *AWS内部からのダウンロードは無料 15
  • 16.
    まとめ 低コスト、かつ非常に耐久性の高い長期保存用アーカイブ ストレージ 手間のかかる運用なしに、いつでもアップロード /ダウン ロード可能 容量無制限で、格納データもセキュアに保管 Amazon Glacierで簡単に アーカイブやバックアップデータ の長期保存が可能に 16
  • 17.
    Appendix: Amazon S3との連携 Amazon S3とGlacier間で シームレスにデータの移動ができる 機能が近日リリース予定 17
  • 18.
    Appendix: 管理画面 Management Console Vault作成画面 18
  • 19.
    Appendix: 管理画面 SNS通知設定画面 19
  • 20.
    Appendix: 管理画面 Glacier管理画面 (Valut一覧) 20
  • 21.