AWS上で使えるストレージ十番勝負

30,695 views

Published on

パソナテックさんのストレージセミナーで使用した資料です。

Published in: Technology
2 Comments
137 Likes
Statistics
Notes
  • はい、じつはこの資料を作った時点では、m3インスタンスにはInstance Storeがなく、Add Storageをしても利用することができませんでした。
    ただ今年の1月に機能改善があり、m3にもSSDのInstance Storeが利用できるようになりました。
    http://aws.typepad.com/aws_japan/2014/01/aws-update-new-m3-features-reduced-ebs-prices-reduced-s3-prices.html
    ですので、現在m3を使う場合は、Add StorageでInstance Storeを利用することができます。
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • 15ページの「m3利用不可」というのは、
    m3.mediumを選択した時に、Add StorageでInstanceStoreを選べるけれど使えないってことですか?
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
No Downloads
Views
Total views
30,695
On SlideShare
0
From Embeds
0
Number of Embeds
1,317
Actions
Shares
0
Downloads
406
Comments
2
Likes
137
Embeds 0
No embeds

No notes for slide

AWS上で使えるストレージ十番勝負

  1. 1. AWS上で使えるストレージ十番勝負!2013/5/7SKILL BASECAMP 2013
  2. 2. Copyright © 2012 Amazon Web Services自己紹介名前 片山暁雄所属 アマゾンデータサービスジャパン 技術統括本部 エンタープライズソリューション部 部長/ソリューションアーキテクトTwitter @c9katayama好きなAWSサービス Amazon Simple Workflow Service
  3. 3. Copyright © 2012 Amazon Web Services本日のゴールAWSのストレージ群を把握する各ストレージについて、機能や利用シーンを把握する自宅に帰り、すべてのストレージを試してみる
  4. 4. Copyright © 2012 Amazon Web ServicesAWS(Amazon Web Services)のご紹介ストレージ十番勝負!まとめ本日のアジェンダ
  5. 5. Copyright © 2012 Amazon Web ServicesAWS(Amazon Web Services)のご紹介
  6. 6. Copyright © 2012 Amazon Web Services6カリフォルニアダブリンシンガポール東京オレゴン世界中でサービスを展開中初期費用なしで全世界のインフラを利用可能バージニアサンパウロリージョンエッジローケーションGovCloudデータは指定した地域に置かれるシドニー
  7. 7. Copyright © 2012 Amazon Web ServicesAWSの様々なサービス7お客様のアプリケーション認証AWS IAMモニタリングAmazonCloudWatchWeb管理画面ManagementConsoleデプロイと自動化AWS ElasticBeanstalkAWS CloudFromationIDEプラグインEclipseVisual Studioライブラリ & SDKsJava, PHP, .NET,Python, RubyDevelopment &Administrationコンテンツ配信Amazon CloudFrontメッセージAmazon SNSAmazon SQS分散処理Elastic MapReduceメール配信Amazon SESキャッシングAmazon Elasticacheワークフロー管理Amazon SWFApplicationServiceコンピュータ処理Amazon EC2Auto ScaleストレージAmazon S3Amazon EBSAWS StorageGatewayAmazon GlacierデータベースAmazon RDSAmazon DynamoDBAmazon SimpleDBAmazon RedshiftAWS グローバルインフラGeographical Regions, Availability Zones, Points of PresenceAZRegionネットワーク & ルーティングAmazon VPC / Amazon Elastic Load Balancer / Amazon Route 53 /AWS Direct ConnectInfrastructureService
  8. 8. Copyright © 2012 Amazon Web Serviceswww.barackobama.com
  9. 9. Copyright © 2012 Amazon Web ServicesObama for America有権者の情報管理、資金管理、電話システムなど、200以上のアプリケーションをAWS上でホスト選挙後は必要なデータだけを残してインフラを破棄アーキテクチャ図:http://awsofa.info/多くのデータストアを利用 SQLServer HBase LevelDB mongoDB PostgreSQL Vertica MySQL Amazon RDS Amazon ElastiCache Amazon DynamoDB Amazon S3 Amazon SimpleDB
  10. 10. CloudHSM(Hardware Security Module)10© 2013 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the express consent ofAWS上で稼働させることのできるHSM安全な鍵の保管および、耐タンパ性エンクロージャー内の一連の暗号化操作を提供する専用アプライアンスをAWS上で提供現在US-EASTとEUで提供。2013年中にその他リージョンに拡大予定
  11. 11. Copyright © 2012 Amazon Web Servicesストレージ十番勝負!
  12. 12. 12ところで・・・AWS上でストレージはいくつある?1. Ephemeral Disk2. Elastic Block Store(EBS)3. AWS Storage Gateway4. Amazon Simple Storage Service(S3)5. Amazon Glacier6. Amazon ElastiCache7. Amazon SimpleDB8. Amazon DynamoDB9. Amazon Relational Database Service(RDS)10.Amazon Redshift
  13. 13. 13Ephemeral Disk EBS S3 GlacierStorage GatewayDynamoDBElastiCache RDS RedshiftSimpleDB揮発性NoSQLEC2へマウント バックアップYesSQL関係図複数AZでの冗長化
  14. 14. Copyright © 2012 Amazon Web Services1.Ephemeral Disk
  15. 15. Copyright © 2012 Amazon Web Services1.Ephemeral Disk(インスタンスストレージ)特徴 EC2の物理筐体のローカルディスクで、EC2にマウント可能 インスタンスにより、利用可能なサイズが決まっている• t1.micro,m3は利用不可。hs1は48TB利点 無料! 任意のファイルフォーマットが利用可能 SSDが利用可能(hi1.4xlargeが2TB,cr1.8xlargeが240G)注意点 インスタンスを停止すると、データが消去される スナップショット機能はないEC2/dev/xvdg/dev/xvdfS3揮発性EC2へマウント
  16. 16. Copyright © 2012 Amazon Web ServicesEphemeral Diskの用途EC2からマウントして使うデータの格納計算時の一時ファイルや、画像処理の一時データなどキャッシュファイル大容量のデータを1インスタンスに格納する場合SSDのIO速度が必要な場合S3
  17. 17. Copyright © 2012 Amazon Web Services2.Amazon Elastic Block Store
  18. 18. Copyright © 2012 Amazon Web Services特徴 EC2にマウント可能なネットワークストレージ利点 任意のファイルシステムが利用可能 スナップショット機能搭載 複数EBSを1つのEC2インスタンスにアタッチ可能 EBSを別のEC2にマウントしなおす事も可能注意点 1EBSあたり最大1TB 複数のEC2から1つのEBSをマウントすることは出来ないRegionAvailability Zone - aEBS EBS EBSAvailability Zone - bEBS EBSS3EBSSnapshotEC2 EC22.Amazon Elastic Block Store(EBS)EC2へマウント
  19. 19. Copyright © 2012 Amazon Web ServicesEBSスナップショットの取得処理方式S3への連携は差分で、格納は全分で行われるEBS10GEBS10GEBS10G初回Amazon SimpleStorage Service (S3)に実ファイルが格納2回目 3回目AAB BBCCA B B Cスナップショットの概念1G1G1G 1G 1G計1G計1G 計2G←変更差分←変更差分計2G初回は全分1Gが取得 2回目は差分1Gのみが取得3回目は2回目との差分1Gのみが取得スナップショットの概念として、各時点の全分が確保される。S3に格納される実ファイルベースではスナップショットに紐づくファイルを差分で管理される。(利用容量ベースで合計3G)連携は差分
  20. 20. Copyright © 2012 Amazon Web ServicesEBSスナップショットのリストア処理方式戻したいスナップショット時点に全分方式でリストアすることが可能(当然Diskの物理交換も不要で、EBSの特徴的な機能)EBS10GEBS10GEBS10G初回Amazon SimpleStorage Service (S3)に実ファイルが格納2回目 3回目AAB BBCCA B B Cスナップショットの概念1G1G1G 1G 1G計1G計1G 計2G例えばこのスナップショットを削除計2G障害 EBS10GB計1G2回目スナップショットの取得時点に戻したい場合残りのスナップショットに無いデータAは削除される2回目時点
  21. 21. Copyright © 2012 Amazon Web Services全領域に一旦アクセスしておくより大きなインスタンス/より大きなEBSボリュームストライピングによる性能向上Provisioned IOPS 1ボリューム最大4000IOPSまで指定可能なオプション 16KB以下のブロックサイズの場合、指定IOPSの10%以内に収まる性能を、年間99.9%の時間で提供EBS-Optimized Instance EC2とEBS間のネットワークを最適化するオプション 最大2Gbpsの帯域を確保 Provisioned IOPSと一緒に利用すると効果が高いEC2EBSの性能向上EC2OptimizedP-IOPS
  22. 22. Copyright © 2012 Amazon Web Services様々な暗号化製品の利用が可能 Windows Bitlocker (Microsoft) Secure Cloud(TrendMicro) SafeNet ProtectV (SafeNet) Crypt Setup(OSS)冗長化機能や分散FSも利用可能 DRBD(OSS) ClusterPro (NEC) GlusterFS (OSS) Redhat Storage Server (Redhat)EBSの暗号化/冗長化EC2 EBSEC2 EBSレプリカ
  23. 23. NASAのWebシステムアーキテクチャ・WebサーバにNginx、CMSにRailoを使用・GlusterFSをCMSのファイル共有ディスクに・使用サービス:CloudFront,Route53,ELB,EC2,RDS,S3,CloudWatch
  24. 24. Copyright © 2012 Amazon Web ServicesGlusterFSをAWSで実行すると・・サーバ、ディスクの調達が容易 時間課金で試すのが簡単異なるデータセンター間・遠隔地へのレプリカテストが容易 世界中のデータセンターが使えるGlusterFSを使用して、冗長的なアーキテクチャを実装可能 最も困難なデータ冗長化を実現 クラウドアーキテクチャの自由度が大幅にUP
  25. 25. Copyright © 2012 Amazon Web Servicesレプリケーション複数のリージョンを使ったシステム 例えば日本とシンガポールをまたいだシステム構築 バックアップシステムやDRシステムGeo-Replication 遠隔地へ、非同期でデータを同期 マスター/スレーブモデルReplicated Volumes Geo-replicationクラスター内でデータをミラーリング 地理的に離れたクラスタでデータをミラーリング高可用性を提供 バックアップやDR用途同期処理 非同期処理
  26. 26. Copyright © 2012 Amazon Web ServicesEC2 EBSEC2 EBSEC2 EBSEC2 EBSUSリージョン(マスター)シンガポール(スレーブ)レプリカレプリカGeo-Replication
  27. 27. Copyright © 2012 Amazon Web ServicesEC2からマウントして使うデータの格納OSやDBなど、永続性が必要なデータの格納スナップショット取得が必要なデータアベイラビリティゾーン/リージョンをまたいでコピーしたいデータEBSの用途EBSS3EBSSnapshotEBSRegionRegionリージョン間コピー
  28. 28. Copyright © 2012 Amazon Web Services3.AWS Storage Gateway
  29. 29. Copyright © 2012 Amazon Web Services特徴 EC2からiSCSIでマウント可能な仮想アプライアンス SGWへ書き込んだデータは、自動的にS3へバックアップされる• EBSのスナップショット形式で保存 オンプレミスにも展開が可能• AWS上ではAMI、オンプレではVMWare/HyperV形式で提供3.AWS Storage Gateway(SGW)EC2へマウントバックアップS3EBSSnapshotEC2 EC2SGWサービスiSCSI iSCSI
  30. 30. Copyright © 2012 Amazon Web ServicesGateway-Stored Volumes オンプレミス向けのモード 作成する容量と同容量のディスクをSWGの仮想アプライアンスに用意するモード S3へは、定期的にバックアップ(最短1時間) 1ディスク最大1TB、1SGWで最大12TBまでサポートGateway-Cached Volumes オンプレミス/EC2向けモード プライマリデータをS3に持ち、直近アクセスデータのみローカルに持つモード S3へは、逐次データを転送 1ディスク32TB、1SGWで最大150TBまでサポート2つの動作モード1T1T1T32T
  31. 31. Copyright © 2012 Amazon Web Servicesファイルサーバ用のストレージバックアップディスク代わりオンプレミスのDR対策SGWの用途S3EBSSnapshotEC2 EC2SGWサービスiSCSI
  32. 32. Copyright © 2012 Amazon Web Services4.Amazon Simple StorageService
  33. 33. Copyright © 2012 Amazon Web Services特徴 インターネット接続されたストレージ HTTP(S)でファイルを入出力利点 高いデータ耐久性 容量制限なし(1ファイル上限5TB) 従量課金 AES256の暗号化機能の利用が可能注意点 CIFSやNFSでは接続できない4.Amazon S3アベイラビリティゾーンアベイラビリティゾーンアベイラビリティゾーンリージョンデータを自動複製複数AZでの冗長化バックアップ
  34. 34. Copyright © 2012 Amazon Web Servicesファイルのバックアップ 多くの商用製品がバックエンドにS3を利用可能にログファイルや分析ファイルなどの大量データの格納画像や動画などの格納 S3から直接配布が可能S3の用途EC2EBSEMRDynamoDB…………
  35. 35. Copyright © 2012 Amazon Web Services5.Amazon Glacier
  36. 36. Copyright © 2012 Amazon Web Services特徴 Glacier = 氷河 インターネット接続されたアーカイブ HTTP(S)でファイルを入出力利点 高いデータ耐久性 容量制限なし(1アーカイブ上限40TB) 従量課金 1GB 月間約1円 AES256で自動的に暗号化注意点 1度ファイルを入れると、取り出すのに3-4時間必要となる ファイル名は自動採番されたものに変わる5.Amazon Glacierアベイラビリティゾーンアベイラビリティゾーンアベイラビリティゾーンリージョンデータを自動複製複数AZでの冗長化バックアップ
  37. 37. Copyright © 2012 Amazon Web ServicesS3のバケットにライフサイクル設定を行なう事で、一定時間経ったデータを自動的にGlacierに転送転送されたあとも、S3にファイル名が残せる インデックスの作成が不要GlacierからS3への復帰も可能S3との連携機能1年後S3 Glacier
  38. 38. Copyright © 2012 Amazon Web Services企業データ、画像/動画などの資産、科学技術データの保存ログファイルや分析ファイルなどの大量データの格納めったに利用しないが、法律や規約などで保存が必要な情報テープバックアップからの乗り換えGlacierの用途
  39. 39. Copyright © 2012 Amazon Web Services6.Amazon ElastiCache
  40. 40. Copyright © 2012 Amazon Web Services特徴 Memcahed互換のキャッシュストレージ キーとバリューのデータをオンメモリで保持利点 1クリックでMemcachedサーバの起動が可能 障害発生に自動復旧 クラスタを組む事も可能注意点 ElastiCacheのデータは揮発性のため、バックアップを取得することは出来ない用途 Memcachedの置き換え アプリケーションデータやDBアクセスのキャッシュEC26.Amazon ElastiCache揮発性NoSQL
  41. 41. Copyright © 2012 Amazon Web Services7.Amazon SimpleDB
  42. 42. Copyright © 2012 Amazon Web Services特徴 REST APIでアクセスする、スキーマフリーの独自データベース キーと、アトリビュート(キー名と値のペア)でデータをストア データ量と、クエリーの計算量で課金利点 DB管理は一切不要。スケールアウトやデータ分散はAWSが実施 フルオートインデクシング SQLライクなクエリーの実行が可能注意点 1ドメイン(1テーブル)あたり最大10GB、10億アイテムまで ドメインをまたいだJOINやトランザクションは未サポート7.Amazon SimpleDBNoSQL複数AZでの冗長化
  43. 43. Copyright © 2012 Amazon Web Services格納する属性が決まっていない、半構造化データの格納DBの管理負荷を減らしたい場合複雑なトランザクションが不要なデータの格納 メタデータや管理用データなどの格納SimpleDBの用途
  44. 44. Copyright © 2012 Amazon Web Services8.Amazon DynamoDB
  45. 45. Copyright © 2012 Amazon Web ServicesREST APIでアクセスする、スキーマフリーの独自データベースハッシュキーと、属性(キー名と値のペア)でデータをストア3か所のデータセンターのSSDにデータを保存8.Amazon DynamoDBNoSQL複数AZでの冗長化
  46. 46. Copyright © 2012 Amazon Web Services利点 DB管理は一切不要。スケールアウトやデータ分散はAWSが実施 データ容量無制限(レコード数の制限がない) 読み込み/書き込みのスループットの指定が可能 強い一貫性を保ちながら、数ミリ秒の低遅延でアクセス可能注意点 検索は、ハッシュキー、レンジキー、ローカルセカンダリインデックスが対象 属性を使った検索はフルスキャンが必要DynamoDBの機能
  47. 47. Copyright © 2012 Amazon Web ServicesDBの管理負荷を減らしたい場合一貫した読み込み/書き込み速度が必要な場合大容量のデータストアが必要な場合DynamoDBの用途EC2EC2EC2EC2EC2100,000write200,000read
  48. 48. Copyright © 2012 Amazon Web Services9.Amazon RelationalDatabase Service
  49. 49. Copyright © 2012 Amazon Web Services9.Amazon Relational DatabaseService(RDS) 複数AZでの冗長化YesSQLマネージされたRDBMSサービス MySQL、Oracle、SQLServerが利用可能バックアップやフェイルオーバーに対応したDBを、数クリックで利用可能ライセンスも従量課金で利用可能EC2
  50. 50. Copyright © 2012 Amazon Web ServicesRDSの機能さまざまなマネージド機能 ポイントタイムリカバリ、スナップショット、パッチ適用、自動フェイルオーバーリードレプリカの追加 MySQL/5台までポイントタイムリカバリスナップショットデータ同期自動フェイルオーバーパッチ適用AZ-a AZ-bリードレプリケーション
  51. 51. Copyright © 2012 Amazon Web ServicesRDSの性能8仮想コア、68 GBメモリのDBサーバまで利用可能3TBまでのストレージを利用可能 OracleとMySQLの場合。SQLServerは1TBProvisioned IOPSも利用可能 MySQL,Oracleは30000,SQLServerは10000上限
  52. 52. Copyright © 2012 Amazon Web ServicesRDSの用途SQLでのアクセスが必要なアプリケーション実行開発、テスト環境Oracle,MySQL,SQLServerの置き換え
  53. 53. 53AmazonRedshift
  54. 54. Copyright © 2012 Amazon Web ServicesData Warehouse as a Service 分析用に整理された大量の統合業務データの管理サービス フルマネージドサービス拡張性:数百GB~1.6PBまで拡張可能高速:カラムナ型、超並列演算(MPP)低額:インスタンスの従量課金10.Amazon Redshift
  55. 55. Copyright © 2012 Amazon Web Services行型 vs. カラムナ型DWHにはカラムナ型のデータベースが用いられるorderid name qty1 Book 1002 Pen 50…n Eraser 70orderid name qty1 Book 1002 Pen 50…n Eraser 70行型 – トランザクション処理向き カラムナ型 – 分析処理向き
  56. 56. Copyright © 2012 Amazon Web Services耐久性・可用性 S3へのバックアップ、ノード・ドライブ故障への対応連携 インプットデータはS3、DynamoDBなどのAWSサービスからの連携Postgres SQL JDBC/ODBC ドライバを使ったSQLクライアント、BIツールをサポートAmazon Redshiftの機能
  57. 57. Copyright © 2012 Amazon Web Servicesアーキテクチャーリーダーノードを経由してクエリーを実行各コンピュートノードで演算が並列実行各コンピュートノードにローカルストレージを保持コンピュートノードはhs1.xlとhs1.8xlから選択BIツールリーダーノードコンピュートノードコンピュートノードコンピュートノードJDBC/ODBC10GigE MeshSQL エンドポイント:• クエリーの並列化• 結果を生成クエリー実行ノード• “N” スケールアウトを実現• ローカルディスクS3, DynamoDB, EMRとの統合
  58. 58. Copyright © 2012 Amazon Web ServicesDWノード(コンピュートノード)High Storage Extra Large (XL) DW Node: CPU: 2 virtual cores ECU: 4.4 Memory: 15 GiB Storage: 3 HDD with 2 TB of local attached storage Network: Moderate Disk I/O: Moderate API: dw.hs1.xlargeHigh Storage Eight Extra Large (8XL) DW Node: CPU: 16 virtual cores ECU: 35 Memory: 120 GiB Storage: 24 HDD with 16 TB of local attached storage Network: 10 Gigabit Ethernet with support for cluster placement groups Disk I/O: Very High API: dw.hs1.8xlarge
  59. 59. Copyright © 2012 Amazon Web Servicesシングルノード (2TB)クラスター 2 – 32ノード(4TB – 64TB)クラスター 2 – 100ノード(32TB – 1.6PB)拡張性Extra Large Node (XL) 8 Extra Large Node (8XL)数百GBから数PBまで拡張可能
  60. 60. Copyright © 2012 Amazon Web ServicesクエリーPostgreSQL JDBC/ODBCドライバ経由で標準的なSQLを実行可能対応BIツール• ACTUATE• birst• JASPERSOFT• MicroStrategyリーダーノードに接続し、クエリー実行 リーダーノードがクエリーを分配し、C++のコードを生成、コンピュートノードで実行 使用可能な全コンピュートノードにおいてリーダーノードに結果を返す• pentaho• PERVASIVE• tableauなど
  61. 61. Copyright © 2012 Amazon Web Services可用性データはプライマリとは、別ノードにセカンダリコピーが保存されるドライブの故障は透過的に処理 リーダーノードは自動的にクエリーをセカンダリ・コピーにルート 冗長性を維持するために、データの再配置が実行される単一・複数ノードの故障 新規ノードが割当てられるまで、クラスタは使用不可となる 自動的に他ノードからデータがコピーされる 複数ノード障害時にプライマリ/セカンダリのデータを損失した場合、スナップショットからの復旧が必要となる
  62. 62. Copyright © 2012 Amazon Web ServicesSQL発行が必要な分析アプリケーション大量のデータを元に分析を行なうケース既にBIツールを利用しているケースRedshiftの用途YourBI ToolsAmazon RedshiftJDBC/ODBC
  63. 63. Copyright © 2012 Amazon Web Servicesまとめ
  64. 64. Copyright © 2012 Amazon Web Services高速、大容量、高耐久性、さまざまなストレージが利用できる既存の資産に加えて、AWSクラウドならではの選択もRAIDや分散FS、大規模ストレージなどもAWSなら安価に実験が可能まとめ
  65. 65. Copyright © 2012 Amazon Web ServicesAWS 無料使用枠Amazon EC2 750時間/月のLinux マイクロインスタンス 複数インスタンスでも、合計750時間/月であれば無料利用枠に該当Amazon EC2 750時間/月のWindows Server マイクロインスタンス 複数インスタンスでも、合計750時間/月であれば無料利用枠に該当Amazon EBS 30 GB に加え、200万 I/O、スナップショット ストレージ 1 GBElastic Load Balancing 750時間に加え 15 GB 分のデータ処理帯域幅「送信(アウト)」15 GB
  66. 66. 1. Ephemeral Disk2. Elastic Block Store(EBS)3. AWS Storage Gateway4. Amazon Simple Storage Service(S3)5. Amazon Glacier6. Amazon ElastiCache7. Amazon SimpleDB8. Amazon DynamoDB9. Amazon Relational Database Service(RDS)10.Amazon Redshiftストレージ無料枠詳細はhttp://aws.amazon.com/jp/free/
  67. 67. AWS Summit Tokyo 2013http://www.awssummittokyo.com/2013/6/5 , 6/6新高輪プリンスホテル

×