Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
1
【AWS Black Belt Online Seminar】
Amazon Elastic Block Store(EBS)
2017/12/7 Updated
アマゾンウェブサービスジャパン株式会社
ソリューションアーキテクト ⼩林正⼈
22
⾃⼰紹介
⼩林 正⼈(こばやし まさと)
インダストリソリューション部
部⻑/シニアソリューションアーキテクト
• 主に⼤企業のお客様を担当し、いわゆる社内
ITのみならずBtoCシステムも含め幅広い分野
でお客様をご⽀援
• 好きなAW...
3
本資料では2017年12⽉7⽇時点のサービス内容および価格についてご説明しています。
最新の情報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。
資料作成には⼗分注意しておりますが、資料内の価格とA...
4
アジェンダ
• Whatʼs new?
• Amazon Elastic Block Store(EBS)概要
• ボリュームタイプとパフォーマンス
• Snapshotと暗号化
• 料⾦
• まとめ
5
アジェンダ
• Whatʼs new?
• Amazon Elastic Block Store(EBS)概要
• ボリュームタイプとパフォーマンス
• Snapshotと暗号化
• 料⾦
• まとめ
6
New features(2015年10⽉~2016年8⽉)
• 起動ボリュームの暗号化をサポート
• HDDベースでビッグデータのユースケースに最適化さ
れたボリュームタイプを発表
– スループット最適化HDD (st1)
– コールドH...
7
新ボリュームタイプ(st1/sc1)の特徴
• HDDベースの新たなEBSボリュームタイプ
ü スループット最適化HDD(st1)とコールドHDD(sc1)
• シーケンシャルアクセスに最適化
ü 1MB単位で読み書きを実⾏。IOPSはSS...
8
New features(2016年8⽉~11⽉)
• プロビジョンドIOPSのGB/IOPS⽐の上限
が1:30から1:50に変更
• Snapshotストレージの値下げ
• 汎⽤SSDボリュームのバーストクレジッ
トの残⾼がCloudW...
9
• 稼働中のEBSをオンラインのまま、ダウンタイムなく変更す
る事を可能にするエラスティックボリューム機能をリリース
• 現⾏世代のインスタンス、ボリュームタイプについて以下の
変更が可能に
– 容量の拡張
※パーティションやファイルシステ...
10
• EBS Snapshotがコスト配分タグ
をサポートしたことにより、コス
ト集計ができるようになった
• 2ステップで利⽤可能に
1. EBS Snapshotにタグを付与する
ü タグのキーは共通でよいが、値は集計したいグ
ループ毎...
11
• プロビジョンドIOPS(SSD)ボリュームの性能上限を改
善、1ボリュームでさらに⾼性能を発揮可能に
– IOPS : 最⼤32,000IOPS(従来20,000IOPS)
– スループット:500MB/s(従来320MB/s)
Ne...
12
アジェンダ
• Whatʼs new?
• Amazon Elastic Block Store(EBS)概要
• ボリュームタイプとパフォーマンス
• Snapshotと暗号化
• 料⾦
• まとめ
13
Amazon Elastic Block Store(EBS)
• EC2インスタンスにアタッチして使⽤するブ
ロックレベルのストレージサービス
• OSやアプリケーション、データの置き場所など
様々な⽤途で利⽤される
• Snapsho...
14
特徴
• 容量は1GB単位で指定できる。最⼤容
量は16TB(Magneticは1TBまで)
• アベイラビリティゾーン(AZ)毎に独⽴
しているため、同⼀AZのインスタン
スからのみ利⽤可能
• Snapshotから任意のAZに復元でき...
15
基本的なアーキテクチャ
• ボリュームのデータはAZ内で複数の
HWにレプリケートされており、⼀
般的にはさらなる冗⻑化は不要
• 実体はネットワーク接続型ストレー
ジだが、ユーザはネットワークを意
識する必要はない
• セキュリティグル...
16
• ユースケースに応じて性能やコストが異なる5種
類のボリュームタイプから選択できる
– 汎⽤SSD(General Purpose(SSD))
– プロビジョンドIOPS(SSD)
– スループット最適化HDD
– コールドHDD
– ...
17
EBSのボリュームタイプの整理(SSDタイプ)
ボリュームタイプ 汎⽤SSD(gp2)
- General Purpose SSD
プロビジョンドIOPS(io1)
- Provisioned IOPS(SSD)
ユースケース • システ...
18
EBSのボリュームタイプの整理(HDDタイプ)
ボリュームタイプ スループット最適化HDD(st1)
- Throughput Optimized HDD
コールドHDD(sc1)
- ColdHDD
ユースケース • EMR
• データ...
19
EBSのボリュームタイプの整理(旧世代)
ボリュームタイプ マグネティック(Magnetic)
ユースケース • アクセス頻度の低いデータ
• コストを最重要視する場合
ボリュームサイズ 1GBから1TBまで
IOPS • 平均100IO...
20
インスタンスストアとEBS
• インスタンスタイプに応じて、追加コスト無しで揮発性のイン
スタンスストアが利⽤できる
• 実体はEC2の物理ホストのローカルディスク。Stop/Startによ
り仮想マシンが別ホストに移動するとデータが消去...
21
EBSとインスタンスストアの利⽤ケース
OSブートディスク
としての利⽤
D:C:
EBS
EC2
EBS
Windows
データ格納ディスク
としての利⽤
Instance
Store
E:
データ計算⽤など
⼀時的な利⽤
データ
ファ...
22
アジェンダ
• Whatʼs new?
• Amazon Elastic Block Store(EBS)概要
• ボリュームタイプとパフォーマンス
• Snapshotと暗号化
• 料⾦
• まとめ
23
EBSのボリュームタイプの整理(SSDタイプ)
ボリュームタイプ 汎⽤SSD(gp2)
- General Purpose SSD
プロビジョンドIOPS(io1)
- Provisioned IOPS(SSD)
ユースケース • システ...
24
汎⽤SSD – gp2
• デフォルトのボリュームタイプで費⽤対効果が⾼い。⼀時的に
I/O性能を3,000IOPSまで引き上げるバースト機能を備える
• 仕様
– 容量:
1GBから16TBまで、1GB単位で指定可能
– IOPS:
ベ...
25
汎⽤SSD – 容量とIOPS
容量(GB)
IOPS
ベースパフォーマンス
バーストパフォーマンス
1,000GB以下の容量で
は3,000IOPSへのバー
ストを利⽤可能
3,334GBで10,000IOPS
に到達し、以後16TBま...
26
汎⽤SSD – 容量とスループット
容量(GB)
スループット(MB/秒)
スループット
170GB以下の
容量では常時
128MB/秒
214GBに到達す
ると160MB/秒
となり以後固定
170GB-214GBで
は容量増に合わせ
...
27
汎用SSDボリュームのパフォーマンス仕様
(I/O負荷継続時、ボリュームサイズ毎)
• ベースパフォーマンスを超えるI/O
が要求されると、⼀定時間バース
トが発⽣し3,000IOPSを発揮する
• バースト利⽤中はI/O Creditを...
28
汎⽤SSDのバーストバケットモデル
蓄積上限:
5,400,000
I/Oクレジット
(固定)
流⼊量:
3IOPS/GB
流出量:
Max 10,000IOPS
(1000GB以下では
3,000IOPS)
• 540万I/Oクレジット...
29
IOPS I/O Credit
残高
初期状態で
I/O Credit残高は
5,400,000
I/O Creditが残っ
ている間はバース
ト。3000IOPS出る
バースト中はI/O
Creditの残高を取
り崩す形となる
残高が0...
30
バーストクレジットの残⾼を確認する
• CloudWatchを利⽤してバーストバケット
の残⾼を確認することが可能に
• ボリューム毎のメトリクスの”BurstBalance”で
利⽤できる
• 残⾼はクレジットの実数ではなく、上限
値の...
31
プロビジョンドIOPS(SSD) – io1
• 最もパフォーマンスの⾼いタイプ。1年間のうち99.9%の時間に
ついて、指定したIOPS値の±10%の範囲の性能を発揮する
• 仕様
– 容量:
4GBから16TBまで、1GB単位で指定可...
32
PIOPSと汎⽤SSDのIOPSカウント
• 256KBブロックアクセスまで1IOPSとカウントする
• 256KBを超える場合は複数回の256KBブロックアクセスを⾏っ
たものとしてカウントされる
– 例①:8KBアクセスの1回は、I/...
33
EBSのボリュームタイプの整理(HDDタイプ)
ボリュームタイプ スループット最適化HDD(st1)
- Throughput Optimized HDD
コールドHDD(sc1)
- ColdHDD
ユースケース • EMR
• データ...
34
スループット最適化HDD – st1
• シーケンシャルアクセス時に⾼い性能を発揮するタイプ。⾼い
スループットを要求するビッグデータ処理に最適
• 仕様
– 容量:
500GBから16TBまで、1GB単位で指定可能
– IOPS:
最⼤...
35
コールドHDD – sc1
• スループット最適化HDDと同様のユースケースで⾼性能が不要
な場合に。ログやバックアップのアーカイブ先としても
• 仕様
– 容量:
500GBから16TBまで、1GB単位で指定可能
– IOPS:
最⼤2...
36
st1/sc1のバーストバケットモデル
蓄積上限:
(st1/sc1)1TB/TB
流⼊量:
(st1)40MB/秒/TB
(sc1)12MB/秒/TB
流出量:
(st1)250MB/秒/TB,Max500MB/秒
(sc1)80MB/...
37
st1/sc1の容量とスループットの関係
スループット
(MB/s)
容量
(TB)
38
パラメータチューニング(1)
• ⾼スループットで読み込みが主体となるワークロードにおいては、性能を最⼤限
引き出すために先読み(Read Ahead)のサイズを1MBに設定することを推奨
1. 現状の設定を確認する
$ sudo blo...
39
パラメータチューニング(2)
• Linux Kernelのバージョン4.2以上を利⽤している場合は、先の設定に加えて
xen_blkfront.maxの値を256に設定することを推奨
• この値はカーネルモジュールパラメータとして指定を...
40
設計上のパフォーマンス特性
• st1/sc1はHDDの特性を活かし、⾼いスループットを低コストに実現することに
最適化されている
ü ⼀般にHDDはシーケンシャルアクセスは⾼速だが、⼩さいデータへのランダムアクセ
スではヘッドの移動がオ...
41
st1/sc1の使いどころ Doʼs
Doʼs
• 新ボリュームタイプ(st1/sc1)は安定したスループットを低コストで得られるよ
う設計されているので、ETL・DWH・ログ処理・EMRなどのシーケンシャルア
クセス⽤途で利⽤する。
•...
42
st1/sc1の使いどころ Donʼts
Donʼts
• トランザクション処理やランダムI/Oを多数発⾏する処理、起動ボリュームには
向いていない。
ü 汎⽤SSD(gp2)やプロビジョンドIOPS(io1)の利⽤を推奨
• 起動ボリュ...
43
EBSのボリュームタイプの整理(旧世代)
ボリュームタイプ マグネティック(Magnetic)
ユースケース • アクセス頻度の低いデータ
• コストを最重要視する場合
ボリュームサイズ 1GBから1TBまで
IOPS • 平均100IO...
44
マグネティック - Magnetic
• 最も古くから存在する磁気ディスクタイプ。汎⽤SSDの登場以
前はStandardという名称でデフォルトのボリュームタイプだっ
た。必要に応じて引き続き利⽤可能
• 仕様
– 容量:
1GBから1T...
45
• EBS最適化を有効にすることで独⽴した
帯域を確保しI/O性能の安定化に繋がる
• ⼤きいインスタンスタイプほど使える帯
域が広い(*)
• 特別な意図が無ければ基本的に有効に設
定することが望ましい
• 最近のインスタンスタイプ(m...
46
事前ウォーミング(Pre-Warming)
• Snapshotから復元したボリュームに限り、各データブロックへ
の初回アクセス時、S3からのデータ取得が発⽣するためI/O命令
のレイテンシが増加することがある
• 全領域からの読み込み処...
47
EBSのパフォーマンスを律速する要素
• EBSのパフォーマンスは3つの要素で律速されるので、システム
全体としてのボトルネックを把握することが重要
1. EC2インスタンス側のスループット
2. EBSが処理できるI/O命令の回数(IO...
48
1. EC2インスタンス側のスループットを改善する
• まずEBS最適化(EBS-Optimized)を有効にする
• インスタンスタイプによって決まるEBSスループットの上限値
に到達していないかを確認する
– CloudWatchのV...
49
2. EBS側のI/O処理性能を改善する
• EBS側の実績IOPSを確認する
– CloudWatchのVolume Read/Write Opsを参照
– OSでEBSへのI/O命令回数を確認(iostatやperfmonなど)
• ...
50
3. EBS側のスループットを改善する
• 個々のEBSボリュームのスループットを確認する
– CloudWatchのVolume Read/Write Bytesを参照
– OSでEBSボリュームへの総流量を確認(iostatやperf...
51
アジェンダ
• Whatʼs new?
• Amazon Elastic Block Store(EBS)概要
• ボリュームタイプとパフォーマンス
• Snapshotと暗号化
• 料⾦
• まとめ
52
Snapshot
• EBSのバックアップ機能。リストア時は新しいボ
リュームを作成する形となる
• SnapshotのデータはバックエンドでS3に保管され
るため、S3のインタフェースから直接参照できない
• 2世代⽬以降は増分データを...
53
Snapshotによるバックアップ
EC2
EBS
• 定期的にEBSのSnapshotを作成することにより
バックアップを取得する
• Snapshot作成時はデータ整合性を保つため静⽌
点を設ける事を推奨
– ソフトウェアの機能 (例...
54
Snapshotからのリストア
• Snapshotから新規EBSを作成し、EC2インスタ
ンスにアタッチされていたものと置き換える
• 古いEBSは不要であれば削除する。障害分析等
の⽬的で他のインスタンスにアタッチしてもOK
• EB...
55
バックアップと静⽌点
• Snapshotの作成を指⽰しレスポンスが返ってきたら、その時点
のデータのバックアップが開始されている。
• レスポンスが返ってきた時点でI/Oを再開して良いので、静⽌点
を維持するのは短時間で済む
時間
EB...
56
Snapshotの増分バックアップ
• 1世代⽬のSnapshotはEBSに書き込まれた実データをすべて
バックアップするが、2世代⽬以降は増分バックアップとなる
EBS
snapshot
1世代⽬ み か ん
メ ロ
み か ん メ ロ
57
Snapshotの増分バックアップ
• 1世代⽬のSnapshotはEBSに書き込まれた実データをすべて
バックアップするが、2世代⽬以降は増分バックアップとなる
1世代⽬
み か ん メ ロ
2世代⽬
EBS
snapshot
み り ...
58
Snapshotの増分バックアップ
• 1世代⽬のSnapshotはEBSに書き込まれた実データをすべて
バックアップするが、2世代⽬以降は増分バックアップとなる
EBS
1世代⽬
み か ん メ ロ
2世代⽬
EBS
snapshot
...
59
Snapshotの削除
• Snapshotの削除を⾏うと、当該Snapshotでしか利⽤していな
いデータのみが削除される仕組みとなっている
EBS
1世代⽬
み か ん メ ロ
2世代⽬
り ン
2世代⽬から参照さ
れていないデータの...
60
Snapshotの削除
• Snapshotの削除を⾏うと、当該Snapshotでしか利⽤していな
いデータのみが削除される仕組みとなっている
2世代⽬
み ん メ ロ り ン
61
Snapshotの削除
• 2世代⽬で必要なデータはすべて保持されているので、1世代⽬
を削除しても2世代⽬から直接リストアをすることが可能
EBS
み ん メ ロ
2世代⽬
り ン
ボリューム作成
み り ん
メ ロ ン
62
リージョン間コピー
• リージョン間でのSnapshotコピーをサポート
• コピーを指⽰しておけば⾮同期で処理が⾏われるため、バック
アップデータを他リージョンに転送しておけばDRを実現できる
EBS
Snapshot
リージョン A
...
63
データボリュームの暗号化
• EBSボリュームの作成時に暗号化を指定すると、AES-256によ
る暗号化処理が⾏われる
• ボリュームの利⽤⽅法は従来通り。暗号化が有効であったとし
ても、特に意識する必要はない。Snapshotも暗号化さ...
64
暗号化の有効・無効化
• ボリューム作成後に暗号化を施したい場合は、
Snapshot経由で暗号化を有効にできる
1. Snapshotを取得する
2. 暗号化を有効にしてSnapshotをコピー
3. コピーされたSnapshotからボ...
65
暗号化を利⽤できるインスタンスタイプ
• 2017年2⽉15⽇時点では、以下のインスタンスタイプでのみボ
リュームの暗号化を利⽤できる
– 汎⽤:全てのm3、全てのm4、全てのt2
– コンピューティング最適化:全てのc3、全てのc4
–...
66
起動ボリュームの暗号化
• 起動ボリュームの暗号化もサポート。ただし暗号化を有効にする
⼿順が異なりAMIのコピー機能を利⽤する
1. 稼働中のインスタンスからAMIを作成する
※パブリックで追加料⾦が不要なAMIも利⽤可能
2. コンソ...
67
アジェンダ
• Whatʼs new?
• Amazon Elastic Block Store(EBS)概要
• ボリュームタイプとパフォーマンス
• Snapshotと暗号化
• 料⾦
• まとめ
68
EBSのコスト
※2017年6⽉2⽇現在の東京リージョンにおける価格です。
コストの要素 汎⽤SSD(gp2) プロビジョンド
IOPS(io1)
スループット
最適化HDD(st1)
コールドHDD(sc1) マグネティック
容量 $0...
69
ボリュームのコスト例
• 1TBの汎⽤SSDを1ヶ⽉間利⽤した場合
– 容量分:0.12×1024=約122.9ドル(約13,500円)
• 1TBのPIOPSを5000IOPSで1ヶ⽉間利⽤した場合
– 容量分:0.142×1024=約...
70
ボリュームのコスト例
• 4TBのスループット最適化HDDを1ヶ⽉間利⽤した場合
– 容量分:0.054×4096=約221.2ドル(約24,300円)
• 8TBのコールドHDDを1ヶ⽉間利⽤した場合
– 容量分:0.03×8196=約...
71
アジェンダ
• Whatʼs new?
• Amazon Elastic Block Store(EBS)概要
• ボリュームタイプとパフォーマンス
• Snapshotと暗号化
• 料⾦
• まとめ
72
まとめ
• EBSはバックアップや暗号化の機能を備えたセキュアに利⽤で
きる永続化ストレージ
• 多彩なボリュームタイプからパフォーマンスやコストに応じて
最適なものを選択して利⽤可能。後から変更することもできる
• HDDのボリュームタ...
73
参考資料
• Amazon Elastic Block Store(EBS)
http://aws.amazon.com/jp/ebs/
• ドキュメント:EBSの概要
http://docs.aws.amazon.com/ja_jp/A...
74
Webinar資料の配置場所
• AWS クラウドサービス活⽤資料集
– http://aws.amazon.com/jp/aws-jp-introduction/
75
公式Twitter/Facebook
AWSの最新情報をお届けします
@awscloud_jp
検索
最新技術情報、イベント情報、お役⽴ち情報、お得なキャンペーン情報などを
⽇々更新しています!
もしくは
http://on.fb.me/...
Upcoming SlideShare
Loading in …5
×

AWS Black Belt Online Seminar Amazon Elastic Block Store (EBS)

AWS Black Belt Online Seminar Amazon Elastic Block Store (EBS)

  • Be the first to comment

AWS Black Belt Online Seminar Amazon Elastic Block Store (EBS)

  1. 1. 1 【AWS Black Belt Online Seminar】 Amazon Elastic Block Store(EBS) 2017/12/7 Updated アマゾンウェブサービスジャパン株式会社 ソリューションアーキテクト ⼩林正⼈
  2. 2. 22 ⾃⼰紹介 ⼩林 正⼈(こばやし まさと) インダストリソリューション部 部⻑/シニアソリューションアーキテクト • 主に⼤企業のお客様を担当し、いわゆる社内 ITのみならずBtoCシステムも含め幅広い分野 でお客様をご⽀援 • 好きなAWSのサービス:
  3. 3. 3 本資料では2017年12⽉7⽇時点のサービス内容および価格についてご説明しています。 最新の情報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。 資料作成には⼗分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価 格に相違があった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。 内容についての注意点 AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided. 価格は税抜表記となっています。⽇本居住者のお客様がサービスを使⽤する場合、別途消 費税をご請求させていただきます。
  4. 4. 4 アジェンダ • Whatʼs new? • Amazon Elastic Block Store(EBS)概要 • ボリュームタイプとパフォーマンス • Snapshotと暗号化 • 料⾦ • まとめ
  5. 5. 5 アジェンダ • Whatʼs new? • Amazon Elastic Block Store(EBS)概要 • ボリュームタイプとパフォーマンス • Snapshotと暗号化 • 料⾦ • まとめ
  6. 6. 6 New features(2015年10⽉~2016年8⽉) • 起動ボリュームの暗号化をサポート • HDDベースでビッグデータのユースケースに最適化さ れたボリュームタイプを発表 – スループット最適化HDD (st1) – コールドHDD (sc1) ※ブログポスト https://aws.amazon.com/jp/blogs/news/amazon-ebs-update-new-cold- storage-and-throughput-options/ st1
  7. 7. 7 新ボリュームタイプ(st1/sc1)の特徴 • HDDベースの新たなEBSボリュームタイプ ü スループット最適化HDD(st1)とコールドHDD(sc1) • シーケンシャルアクセスに最適化 ü 1MB単位で読み書きを実⾏。IOPSはSSD型と⽐較して低い ü DWHやETL, ログ分析等ビッグデータのワークロードでの利⽤に最適 • IOPSではなくスループットで性能上限を規定、バースト可能 • EBS最安のボリュームタイプ ü 確保した容量に対してのみ課⾦するシンプルな体系 ü st1:GBあたり$0.054/⽉、sc1:GBあたり$0.03/⽉ ※ボリュームタイプ名の英語表記はThroughput Optimized HDD(st1)とCold HDD(sc1)です ※コストはリリース時点での東京リージョンにおける価格です
  8. 8. 8 New features(2016年8⽉~11⽉) • プロビジョンドIOPSのGB/IOPS⽐の上限 が1:30から1:50に変更 • Snapshotストレージの値下げ • 汎⽤SSDボリュームのバーストクレジッ トの残⾼がCloudWatchで確認可能に – 残⾼はパーセンテージで表現される(0%~100%) EBS
  9. 9. 9 • 稼働中のEBSをオンラインのまま、ダウンタイムなく変更す る事を可能にするエラスティックボリューム機能をリリース • 現⾏世代のインスタンス、ボリュームタイプについて以下の 変更が可能に – 容量の拡張 ※パーティションやファイルシステムの 拡張はOS側で実施する必要がある – ボリュームタイプの変更 – IOPS値の変更(PIOPSボリュームのみ) ※ブログポスト https://aws.amazon.com/jp/blogs/news/amazon-ebs- update-new-elastic-volumes-change-everything/ New features(2017年2⽉) EBS EBS ⼤きく! PIOPS 20,000 PIOPS 1,000 速く! 安く! ※変更処理は通常数秒で完了し、新構成が利⽤可能になる。この時点で新構成での費⽤が発⽣する。 最適化処理は別途バックグラウンドで実⾏され、容量や変更内容にもよるが最⻑24時間が⼀般的。
  10. 10. 10 • EBS Snapshotがコスト配分タグ をサポートしたことにより、コス ト集計ができるようになった • 2ステップで利⽤可能に 1. EBS Snapshotにタグを付与する ü タグのキーは共通でよいが、値は集計したいグ ループ毎に異なるものを設定するとよい 2. 設定したタグによるコスト集計を有 効化する ü 「請求ダッシュボード」の「コスト配分タグ」で 設定したタグキーを有効化する New features(2017年5⽉) EBS PIOPS 20,000
  11. 11. 11 • プロビジョンドIOPS(SSD)ボリュームの性能上限を改 善、1ボリュームでさらに⾼性能を発揮可能に – IOPS : 最⼤32,000IOPS(従来20,000IOPS) – スループット:500MB/s(従来320MB/s) New features(2017年12⽉) PIOPS 20,000 PIOPS 32,000
  12. 12. 12 アジェンダ • Whatʼs new? • Amazon Elastic Block Store(EBS)概要 • ボリュームタイプとパフォーマンス • Snapshotと暗号化 • 料⾦ • まとめ
  13. 13. 13 Amazon Elastic Block Store(EBS) • EC2インスタンスにアタッチして使⽤するブ ロックレベルのストレージサービス • OSやアプリケーション、データの置き場所など 様々な⽤途で利⽤される • Snapshot機能によるS3へのバックアップや、 ディスクの暗号化機能を提供 • 99.999%の可⽤性を備えるように設計されて いる EC2 EBS ※製品紹介ページ:http://aws.amazon.com/jp/ebs/details/
  14. 14. 14 特徴 • 容量は1GB単位で指定できる。最⼤容 量は16TB(Magneticは1TBまで) • アベイラビリティゾーン(AZ)毎に独⽴ しているため、同⼀AZのインスタン スからのみ利⽤可能 • Snapshotから任意のAZに復元できる • EC2インスタンスに複数のEBSを接続 することはできるが、EBSを複数のイ ンスタンスで共有することはできない
  15. 15. 15 基本的なアーキテクチャ • ボリュームのデータはAZ内で複数の HWにレプリケートされており、⼀ 般的にはさらなる冗⻑化は不要 • 実体はネットワーク接続型ストレー ジだが、ユーザはネットワークを意 識する必要はない • セキュリティグループによる通信制 御の対象外。全ポートを閉じても EBSは利⽤できる
  16. 16. 16 • ユースケースに応じて性能やコストが異なる5種 類のボリュームタイプから選択できる – 汎⽤SSD(General Purpose(SSD)) – プロビジョンドIOPS(SSD) – スループット最適化HDD – コールドHDD – マグネティック(Magnetic) • ボリュームタイプの変更や容量の拡張はオンラ インで実⾏できる。容量拡張時、パーティショ ンやファイルシステムの拡張は別途作業が必要 EBSのボリュームタイプ
  17. 17. 17 EBSのボリュームタイプの整理(SSDタイプ) ボリュームタイプ 汎⽤SSD(gp2) - General Purpose SSD プロビジョンドIOPS(io1) - Provisioned IOPS(SSD) ユースケース • システムブートボリューム • 仮想デスクトップ • ⼩〜中規模のデータベース • 開発環境や検証環境⽤ • 汎⽤SSDでは処理しきれない⾼いIO性能 を要求するアプリケーション • 10,000IOPSや160MB/sを超える性能を 要するワークロード • ⼤規模なデータベース ボリュームサイズ • 1GBから16TBまで • 4GBから16TBまで IOPS • 1GBあたり3IOPSのベースラインパ フォーマンス • ベースラインパフォーマンスが 3,000IOPS以下の場合、3,000IOPSま でバーストが可能 • 最低100IOPS、最⼤10,000IOPS • 必要なIOPS値を指定可能 • 容量(GB)あたり50IOPSを指定できる • 最⼤32,000IOPS スループット • 最低128MB/秒(170GB以下)から 最⼤160MB/秒(214GB以上)まで • 最⼤500MB/秒(2000IOPS以上のとき) ※1IOPSあたり256KB/sを利⽤可能
  18. 18. 18 EBSのボリュームタイプの整理(HDDタイプ) ボリュームタイプ スループット最適化HDD(st1) - Throughput Optimized HDD コールドHDD(sc1) - ColdHDD ユースケース • EMR • データウェアハウス • ⼤規模なETL処理 • ⼤規模なログ分析 ※起動ボリュームには利⽤できない • ログデータ保管 • バックアップ • アーカイブ ※起動ボリュームには利⽤できない ボリュームサイズ • 500GBから16TBまで • 500GBから16TBまで IOPS • 最⼤500IOPS • 最⼤250IOPS スループット • ベース値:1TBあたり40MB/s • バースト値:1TBあたり250MB/s • バーストクレジット上限:1TB/1TB • 最⼤500MB/s • ベース値:1TBあたり12MB/s • バースト値:1TBあたり80MB/s • バーストクレジット上限:1TB/1TB • 最⼤250MB/s
  19. 19. 19 EBSのボリュームタイプの整理(旧世代) ボリュームタイプ マグネティック(Magnetic) ユースケース • アクセス頻度の低いデータ • コストを最重要視する場合 ボリュームサイズ 1GBから1TBまで IOPS • 平均100IOPS • 数百IOPSまでバースト可能 スループット • 40MB/秒から90MB/秒
  20. 20. 20 インスタンスストアとEBS • インスタンスタイプに応じて、追加コスト無しで揮発性のイン スタンスストアが利⽤できる • 実体はEC2の物理ホストのローカルディスク。Stop/Startによ り仮想マシンが別ホストに移動するとデータが消去される • アプリケーションが利⽤する⼀時的なデータの置き場所や、分 散ファイルシステムのストレージとして活⽤する • EBSは永続化ストレージなので、OSの領域やDBのデータなど永 続化が必要なデータの置き場所としてはEBSを利⽤する
  21. 21. 21 EBSとインスタンスストアの利⽤ケース OSブートディスク としての利⽤ D:C: EBS EC2 EBS Windows データ格納ディスク としての利⽤ Instance Store E: データ計算⽤など ⼀時的な利⽤ データ ファイル システム データ ⼀時 データ
  22. 22. 22 アジェンダ • Whatʼs new? • Amazon Elastic Block Store(EBS)概要 • ボリュームタイプとパフォーマンス • Snapshotと暗号化 • 料⾦ • まとめ
  23. 23. 23 EBSのボリュームタイプの整理(SSDタイプ) ボリュームタイプ 汎⽤SSD(gp2) - General Purpose SSD プロビジョンドIOPS(io1) - Provisioned IOPS(SSD) ユースケース • システムブートボリューム • 仮想デスクトップ • ⼩〜中規模のデータベース • 開発環境や検証環境⽤ • 汎⽤SSDでは処理しきれない⾼いIO性能 を要求するアプリケーション • 10,000IOPSや160MB/sを超える性能を 要するワークロード • ⼤規模なデータベース ボリュームサイズ • 1GBから16TBまで • 4GBから16TBまで IOPS • 1GBあたり3IOPSのベースラインパ フォーマンス • ベースラインパフォーマンスが 3,000IOPS以下の場合、3,000IOPSま でバーストが可能 • 最低100IOPS、最⼤10,000IOPS • 必要なIOPS値を指定可能 • 容量(GB)あたり50IOPSを指定できる • 最⼤32,000IOPS スループット • 最低128MB/秒(170GB以下)から 最⼤160MB/秒(214GB以上)まで • 最⼤500MB/秒(2000IOPS以上のとき) ※1IOPSあたり256KB/sを利⽤可能
  24. 24. 24 汎⽤SSD – gp2 • デフォルトのボリュームタイプで費⽤対効果が⾼い。⼀時的に I/O性能を3,000IOPSまで引き上げるバースト機能を備える • 仕様 – 容量: 1GBから16TBまで、1GB単位で指定可能 – IOPS: ベースパフォーマンスは最⼩100IOPS、最⼤10,000IOPS。容量に応 じて3IOPS/GBの⽐率で変化する。容量が1,000GB未満の場合は⼀定 時間3,000IOPSまで性能を引き上げるバーストを利⽤できる – スループット: 128MB/秒(170GB以下)から160MB/秒(214GB以上)
  25. 25. 25 汎⽤SSD – 容量とIOPS 容量(GB) IOPS ベースパフォーマンス バーストパフォーマンス 1,000GB以下の容量で は3,000IOPSへのバー ストを利⽤可能 3,334GBで10,000IOPS に到達し、以後16TBまで 同じ性能を維持する 33.4GB未満では 100IOPSがベースパ フォーマンス
  26. 26. 26 汎⽤SSD – 容量とスループット 容量(GB) スループット(MB/秒) スループット 170GB以下の 容量では常時 128MB/秒 214GBに到達す ると160MB/秒 となり以後固定 170GB-214GBで は容量増に合わせ て帯域がのびる
  27. 27. 27 汎用SSDボリュームのパフォーマンス仕様 (I/O負荷継続時、ボリュームサイズ毎) • ベースパフォーマンスを超えるI/O が要求されると、⼀定時間バース トが発⽣し3,000IOPSを発揮する • バースト利⽤中はI/O Creditを消 費し、残⾼がなくなるとベースパ フォーマンスに戻る • 実際に発⽣したI/Oがベースパ フォーマンスを下回ると、その差 額がI/O Creditとして貯⾦される IOPS 分 汎⽤SSD – バースト時のパフォーマンス
  28. 28. 28 汎⽤SSDのバーストバケットモデル 蓄積上限: 5,400,000 I/Oクレジット (固定) 流⼊量: 3IOPS/GB 流出量: Max 10,000IOPS (1000GB以下では 3,000IOPS) • 540万I/Oクレジットまで蓄積できるバーストバケッ トがボリュームごとに存在する ※ボリューム作成直後は満タン状態でスタート • バケットへの流⼊量(ベースパフォーマンス)は1GBあ たり3IOPSとなる。流出量すなわち実IOPSがこれを 下回ると、バケットの残⾼が増えていく • バケットにクレジットが残っていれば、流⼊量を超え て実IOPSを3,000IOPSまで引き上げるバーストが利 ⽤できる • バケットのクレジットが枯渇すると、新たに流⼊する クレジット分(=ベースパフォーマンス分)のパ フォーマンスのみが利⽤できることになる • 容量が1,000GBを超えると流⼊量と流出量の値が⼀致 するので、バーストの概念がなくなり常時⼀定の性能 となる
  29. 29. 29 IOPS I/O Credit 残高 初期状態で I/O Credit残高は 5,400,000 I/O Creditが残っ ている間はバース ト。3000IOPS出る バースト中はI/O Creditの残高を取 り崩す形となる 残高が0になると バーストは終了 残高が0になるとI/O 性能もベースパフォー マンスに戻る I/O負荷がベースパ フォーマンスを下回る とCreditが貯金される 再び高負荷が発生す ると、I/O Creditの残高 に応じてバースト 分 ベースパフォーマンス (gp2 500GB時) 汎⽤SSD – バーストの継続時間
  30. 30. 30 バーストクレジットの残⾼を確認する • CloudWatchを利⽤してバーストバケット の残⾼を確認することが可能に • ボリューム毎のメトリクスの”BurstBalance”で 利⽤できる • 残⾼はクレジットの実数ではなく、上限 値の(540万I/Oクレジット)に対するパー センテージで表現される • 多くの場合はバーストクレジットの枯渇 は発⽣しないが、⾼負荷処理時に枯渇が ⾒られる場合は対策を検討するとよい • ボリュームサイズを⼤きくする • プロビジョンドIOPSに変更する
  31. 31. 31 プロビジョンドIOPS(SSD) – io1 • 最もパフォーマンスの⾼いタイプ。1年間のうち99.9%の時間に ついて、指定したIOPS値の±10%の範囲の性能を発揮する • 仕様 – 容量: 4GBから16TBまで、1GB単位で指定可能 – IOPS: 1GBあたり50IOPSを上限として希望するIOPS値を指定する 最⼤32,000IOPSまで(32,000IOPS指定時は最低640GBが必要) – スループット: 最⼤500MB/秒(2000IOPS以上時、I/O size=256KB) – CloudWatchの詳細モニタリング機能がデフォルトでON
  32. 32. 32 PIOPSと汎⽤SSDのIOPSカウント • 256KBブロックアクセスまで1IOPSとカウントする • 256KBを超える場合は複数回の256KBブロックアクセスを⾏っ たものとしてカウントされる – 例①:8KBアクセスの1回は、I/O命令を1回発⾏したものとみなす – 例②:512KBアクセスを1回⾏うと、I/O命令を2回発⾏したとみなす – 例③:4MBアクセスを1回⾏うと、I/O命令を16回発⾏したとみなす • ラージブロックアクセスを⾏うと低IOPS値でもスループットを 稼げるが、EBSやEC2側のスループット上限に注意
  33. 33. 33 EBSのボリュームタイプの整理(HDDタイプ) ボリュームタイプ スループット最適化HDD(st1) - Throughput Optimized HDD コールドHDD(sc1) - ColdHDD ユースケース • EMR • データウェアハウス • ⼤規模なETL処理 • ⼤規模なログ分析 ※起動ボリュームには利⽤できない • ログデータ保管 • バックアップ • アーカイブ ※起動ボリュームには利⽤できない ボリュームサイズ • 500GBから16TBまで • 500GBから16TBまで IOPS • 最⼤500IOPS • 最⼤250IOPS スループット • ベース値:1TBあたり40MB/s • バースト値:1TBあたり250MB/s • バーストクレジット上限:1TB/1TB • 最⼤500MB/s • ベース値:1TBあたり12MB/s • バースト値:1TBあたり80MB/s • バーストクレジット上限:1TB/1TB • 最⼤250MB/s
  34. 34. 34 スループット最適化HDD – st1 • シーケンシャルアクセス時に⾼い性能を発揮するタイプ。⾼い スループットを要求するビッグデータ処理に最適 • 仕様 – 容量: 500GBから16TBまで、1GB単位で指定可能 – IOPS: 最⼤500IOPS – スループット: 容量1TBあたり40MB/sがベースパフォーマンス 1TBあたり250MB/sまで性能を引き上げるバーストが利⽤可能 スループットの上限値は500MB/sとなる ※snapshotの取得中はバーストが発⽣せず、ベースパフォーマンスとなる
  35. 35. 35 コールドHDD – sc1 • スループット最適化HDDと同様のユースケースで⾼性能が不要 な場合に。ログやバックアップのアーカイブ先としても • 仕様 – 容量: 500GBから16TBまで、1GB単位で指定可能 – IOPS: 最⼤250IOPS – スループット: 容量1TBあたり12MB/sがベースパフォーマンス 1TBあたり80MB/sまで性能を引き上げるバーストが利⽤可能 スループットの上限値は250MB/sとなる ※snapshotの取得中はバーストが発⽣せず、ベースパフォーマンスとなる
  36. 36. 36 st1/sc1のバーストバケットモデル 蓄積上限: (st1/sc1)1TB/TB 流⼊量: (st1)40MB/秒/TB (sc1)12MB/秒/TB 流出量: (st1)250MB/秒/TB,Max500MB/秒 (sc1)80MB/秒/TB,Max250MB/秒 • ボリューム容量1TBあたりにつき、1TBまで蓄積でき るバーストバケットが存在する • 流⼊量(ベースパフォーマンス)はボリュームタイプに よって異なる ü st1: 1TBあたり40MB/秒、最⼤500MB/秒 ü sc1: 1TBあたり12MB/秒、最⼤192MB/秒 • 流出量(バースト時性能)もボリュームタイプに依存 • st1:1TBあたり250MB/秒、最⼤500MB/秒 • sc1:1TBあたり80MB/秒、最⼤250MB/秒 • st1で12,800GB(12.5TB)以上確保すると常時 500MB/秒となりバーストの概念がなくなる • Snapshot作成中はバーストが発⽣せずベースパ フォーマンスとなる
  37. 37. 37 st1/sc1の容量とスループットの関係 スループット (MB/s) 容量 (TB)
  38. 38. 38 パラメータチューニング(1) • ⾼スループットで読み込みが主体となるワークロードにおいては、性能を最⼤限 引き出すために先読み(Read Ahead)のサイズを1MBに設定することを推奨 1. 現状の設定を確認する $ sudo blockdev --report /dev/(device) 2. Read aheadの値を変更する $ sudo blockdev --setra 2048 /dev/(device) 3. 設定変更結果を確認する $ sudo blockdev --report /dev/(device)
  39. 39. 39 パラメータチューニング(2) • Linux Kernelのバージョン4.2以上を利⽤している場合は、先の設定に加えて xen_blkfront.maxの値を256に設定することを推奨 • この値はカーネルモジュールパラメータとして指定を⾏う。Amazon Linuxの場 合は下記の⼿順で設定変更が可能 1. /boot/grub/menu.lstをviで開く $ sudo vi /boot/grub/menu.lst 2. kernel⾏を以下の通り追記してOSを再起動 変更前) kernel /boot/vmlinuz-4.4.5-15.26.amzn1.x86_64 root=LABEL=/ console=ttyS0 変更後) kernel /boot/vmlinuz-4.4.5-15.26.amzn1.x86_64 root=LABEL=/ console=ttyS0 xen_blkfront.max=256
  40. 40. 40 設計上のパフォーマンス特性 • st1/sc1はHDDの特性を活かし、⾼いスループットを低コストに実現することに 最適化されている ü ⼀般にHDDはシーケンシャルアクセスは⾼速だが、⼩さいデータへのランダムアクセ スではヘッドの移動がオーバーヘッドとなるためパフォーマンスが出ない • st1/sc1で⼩さいデータブロックへのアクセスを⾏った場合、シーケンシャルな ら可能な限りI/O命令がマージされ効率的だが、ランダムな場合は⾮効率 ü (例)連続した10個の128KBブロックへのアクセスではクレジットの消費は2MBとなる ü (例)16KBブロックにランダムで10回アクセスすると、クレジットは10MB消費される • ⼩さいデータへのランダムアクセスになりがちなトランザクショナルな処理や データベース、ファイルサーバ等への利⽤は⾮推奨
  41. 41. 41 st1/sc1の使いどころ Doʼs Doʼs • 新ボリュームタイプ(st1/sc1)は安定したスループットを低コストで得られるよ う設計されているので、ETL・DWH・ログ処理・EMRなどのシーケンシャルア クセス⽤途で利⽤する。 • Throughput Optimized(st1)はディスクを⾼速(250MB/s以上)にスキャンする ⽤途や、⽇次のバッチ処理などでボリュームをフルスキャンする⽤途に適してい る。 • Cold(sc1)はアクセス頻度が低いデータで250MB/s以下のスキャン速度でよいも のを低コストに保管することができるので、st1までのパフォーマンスは不要な 場合に選択する。
  42. 42. 42 st1/sc1の使いどころ Donʼts Donʼts • トランザクション処理やランダムI/Oを多数発⾏する処理、起動ボリュームには 向いていない。 ü 汎⽤SSD(gp2)やプロビジョンドIOPS(io1)の利⽤を推奨 • 起動ボリュームなど⼩容量で低コストを追求する場合はマグネティックの利⽤を 考えてもよい。st1/sc1は起動ボリュームには⾮対応。 • ⾮常に⾼いスループットを得るためにD2インスタンスを利⽤している場合は、 現状のままとすることが良いケースが多い。
  43. 43. 43 EBSのボリュームタイプの整理(旧世代) ボリュームタイプ マグネティック(Magnetic) ユースケース • アクセス頻度の低いデータ • コストを最重要視する場合 ボリュームサイズ 1GBから1TBまで IOPS • 平均100IOPS • 数百IOPSまでバースト可能 スループット • 40MB/秒から90MB/秒
  44. 44. 44 マグネティック - Magnetic • 最も古くから存在する磁気ディスクタイプ。汎⽤SSDの登場以 前はStandardという名称でデフォルトのボリュームタイプだっ た。必要に応じて引き続き利⽤可能 • 仕様 – 容量: 1GBから1TBまで、1GB単位で指定可能 – IOPS: 平均100IOPSとなる設計で最⼤数百IOPSへバーストできる場合がある – スループット: 40MB/秒~90MB/秒 – 唯⼀I/Oリクエスト回数による課⾦がある
  45. 45. 45 • EBS最適化を有効にすることで独⽴した 帯域を確保しI/O性能の安定化に繋がる • ⼤きいインスタンスタイプほど使える帯 域が広い(*) • 特別な意図が無ければ基本的に有効に設 定することが望ましい • 最近のインスタンスタイプ(m4,c4,d2) ではデフォルトでオンになっている EC2 w/o EBS Optimized Network EBS EC2 with EBS Optimized Network EBS EBS最適化なし EBS最適化あり (*)インスタンス毎の帯域幅はこちらを参照ください http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/EBSOptimized.html EBS最適化インスタンス(EBS-Optimized)
  46. 46. 46 事前ウォーミング(Pre-Warming) • Snapshotから復元したボリュームに限り、各データブロックへ の初回アクセス時、S3からのデータ取得が発⽣するためI/O命令 のレイテンシが増加することがある • 全領域からの読み込み処理の実⾏による事前ウォーミング(Pre- Warming)を⾏うことで、Snapshotから復元したボリュームに 対する初回アクセス時のペナルティを回避できる • 実運⽤時は事前ウォーミングが不可能なケースもあるため、運 ⽤要件から判断して実⾏可能であれば取り込む程度でOK – 例)Auto Scalingで起動したインスタンス ※詳細情報:http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ebs-prewarm.html
  47. 47. 47 EBSのパフォーマンスを律速する要素 • EBSのパフォーマンスは3つの要素で律速されるので、システム 全体としてのボトルネックを把握することが重要 1. EC2インスタンス側のスループット 2. EBSが処理できるI/O命令の回数(IOPS) 3. 各EBSボリュームのスループット EC2 EBS EBS ②EBS⾃体が処理で きるI/O命令の量 ③EBSボリューム単 体としてのスルー プット上限 ①EC2インスタン ス側のスループッ ト上限 Data Data
  48. 48. 48 1. EC2インスタンス側のスループットを改善する • まずEBS最適化(EBS-Optimized)を有効にする • インスタンスタイプによって決まるEBSスループットの上限値 に到達していないかを確認する – CloudWatchのVolume Read/Write Bytesの合計値 – OSでEBSボリュームへの総流量を確認(iostatやperfmonなど) • 上限に到達している場合はインスタンスタイプを⼤きくするこ とでスループットを改善する EC2 EBS Data EC2 EBS Data 増速!
  49. 49. 49 2. EBS側のI/O処理性能を改善する • EBS側の実績IOPSを確認する – CloudWatchのVolume Read/Write Opsを参照 – OSでEBSへのI/O命令回数を確認(iostatやperfmonなど) • 上限に到達していればボリュームの変更を検討 – タイプを変更(マグネティック→汎⽤SSD, 汎⽤SSD→PIOPS) – スペックを変更(汎⽤SSD:容量を増加, PIOPS:IOPS値を増加) EC2 EBS Magnetic EC2 EBS PIOPSDataData 増速!
  50. 50. 50 3. EBS側のスループットを改善する • 個々のEBSボリュームのスループットを確認する – CloudWatchのVolume Read/Write Bytesを参照 – OSでEBSボリュームへの総流量を確認(iostatやperfmonなど) • 上限に到達していればボリュームの変更を検討 – タイプを変更(汎⽤SSD→PIOPS, PIOPS→スループット最適化) – 汎⽤SSDやPIOPSからスループット最適化HDD,コールドHDDに変更す る場合はアクセスパターンに注意 EC2 EBS 汎⽤SSD Data EC2 EBS PIOPS Data 増速!
  51. 51. 51 アジェンダ • Whatʼs new? • Amazon Elastic Block Store(EBS)概要 • ボリュームタイプとパフォーマンス • Snapshotと暗号化 • 料⾦ • まとめ
  52. 52. 52 Snapshot • EBSのバックアップ機能。リストア時は新しいボ リュームを作成する形となる • SnapshotのデータはバックエンドでS3に保管され るため、S3のインタフェースから直接参照できない • 2世代⽬以降は増分データを保存する増分バック アップとなる(1世代⽬を削除しても復元は可能) • Snapshot作成時にブロックレベルで圧縮して保管す るため、圧縮後の容量に対して課⾦が⾏われる EBS Snapshot EBS
  53. 53. 53 Snapshotによるバックアップ EC2 EBS • 定期的にEBSのSnapshotを作成することにより バックアップを取得する • Snapshot作成時はデータ整合性を保つため静⽌ 点を設ける事を推奨 – ソフトウェアの機能 (例:RDBMSのバックアップモード) – ファイルシステムの機能(例:Linuxのxfs_freeze) – バックアップソフトウェアの機能 – (アプリケーションの停⽌) – (ファイルシステムのアンマウント) • 保存期間や世代数は無制限。世代管理が必要な 場合はAWS CLIやAPI等で⾃動化する Snapshot作成
  54. 54. 54 Snapshotからのリストア • Snapshotから新規EBSを作成し、EC2インスタ ンスにアタッチされていたものと置き換える • 古いEBSは不要であれば削除する。障害分析等 の⽬的で他のインスタンスにアタッチしてもOK • EBSを別AZに移動したい場合や、容量変更、ボ リュームタイプ変更もSnapshot経由で⾏う EC2 EBS EBS Snapshotから EBSを作成 Detach Attach
  55. 55. 55 バックアップと静⽌点 • Snapshotの作成を指⽰しレスポンスが返ってきたら、その時点 のデータのバックアップが開始されている。 • レスポンスが返ってきた時点でI/Oを再開して良いので、静⽌点 を維持するのは短時間で済む 時間 EBSへのI/O停⽌ EBSへのI/O再開 静⽌点を維持 Snapshot 作成指⽰ 作成指⽰ レスポンス Snapshot 作成完了 Snapshot作成処理 (バックグラウンド) 通常運⽤ 通常運⽤ この時点のデー タがバックアッ プされる
  56. 56. 56 Snapshotの増分バックアップ • 1世代⽬のSnapshotはEBSに書き込まれた実データをすべて バックアップするが、2世代⽬以降は増分バックアップとなる EBS snapshot 1世代⽬ み か ん メ ロ み か ん メ ロ
  57. 57. 57 Snapshotの増分バックアップ • 1世代⽬のSnapshotはEBSに書き込まれた実データをすべて バックアップするが、2世代⽬以降は増分バックアップとなる 1世代⽬ み か ん メ ロ 2世代⽬ EBS snapshot み り ん メ ロ ン り ン
  58. 58. 58 Snapshotの増分バックアップ • 1世代⽬のSnapshotはEBSに書き込まれた実データをすべて バックアップするが、2世代⽬以降は増分バックアップとなる EBS 1世代⽬ み か ん メ ロ 2世代⽬ EBS snapshot み り ん メ ロ ン り ン 変化のないデータは以 前のものを参照する
  59. 59. 59 Snapshotの削除 • Snapshotの削除を⾏うと、当該Snapshotでしか利⽤していな いデータのみが削除される仕組みとなっている EBS 1世代⽬ み か ん メ ロ 2世代⽬ り ン 2世代⽬から参照さ れていないデータの みを削除
  60. 60. 60 Snapshotの削除 • Snapshotの削除を⾏うと、当該Snapshotでしか利⽤していな いデータのみが削除される仕組みとなっている 2世代⽬ み ん メ ロ り ン
  61. 61. 61 Snapshotの削除 • 2世代⽬で必要なデータはすべて保持されているので、1世代⽬ を削除しても2世代⽬から直接リストアをすることが可能 EBS み ん メ ロ 2世代⽬ り ン ボリューム作成 み り ん メ ロ ン
  62. 62. 62 リージョン間コピー • リージョン間でのSnapshotコピーをサポート • コピーを指⽰しておけば⾮同期で処理が⾏われるため、バック アップデータを他リージョンに転送しておけばDRを実現できる EBS Snapshot リージョン A EC2 EBS EBS Snapshot リージョン B EC2 EBS Internet リージョン間コピー 転送済みSnapshot からEBSを作成し EC2にアタッチ
  63. 63. 63 データボリュームの暗号化 • EBSボリュームの作成時に暗号化を指定すると、AES-256によ る暗号化処理が⾏われる • ボリュームの利⽤⽅法は従来通り。暗号化が有効であったとし ても、特に意識する必要はない。Snapshotも暗号化される • 暗号化/復号化の処理はハードウェア機能を使って実施するため、 パフォーマンスへの影響は極めて⼩さい • 暗号化キーはAWS Key Management Serviceで管理 ※AWS Key Management Service:http://aws.amazon.com/jp/kms/
  64. 64. 64 暗号化の有効・無効化 • ボリューム作成後に暗号化を施したい場合は、 Snapshot経由で暗号化を有効にできる 1. Snapshotを取得する 2. 暗号化を有効にしてSnapshotをコピー 3. コピーされたSnapshotからボリュームを作成 4. 新ボリュームをインスタンスにアタッチ • 暗号化の解除を⾏う場合は新規ボリュームを 作成してOS側でデータコピーを⾏う – Linux: rsyncコマンドなど – Windows: robocopyコマンドなど EC2 EBS EBS EBS EBS copy
  65. 65. 65 暗号化を利⽤できるインスタンスタイプ • 2017年2⽉15⽇時点では、以下のインスタンスタイプでのみボ リュームの暗号化を利⽤できる – 汎⽤:全てのm3、全てのm4、全てのt2 – コンピューティング最適化:全てのc3、全てのc4 – メモリ最適化:全てのx1、全てのr4、全てのr3、cr1.8xlarge – ストレージ最適化:全てのi2、全てのd2 – ⾼速コンピューティング:全てのg2、全てのp2 最新情報はこちらを参照 http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/EBSEncryption.html
  66. 66. 66 起動ボリュームの暗号化 • 起動ボリュームの暗号化もサポート。ただし暗号化を有効にする ⼿順が異なりAMIのコピー機能を利⽤する 1. 稼働中のインスタンスからAMIを作成する ※パブリックで追加料⾦が不要なAMIも利⽤可能 2. コンソールややCLI等でAMIコピーを実⾏。その 際にSnapshotの暗号化を有効に設定する 3. コピーされたAMIからインスタンスを起動する
  67. 67. 67 アジェンダ • Whatʼs new? • Amazon Elastic Block Store(EBS)概要 • ボリュームタイプとパフォーマンス • Snapshotと暗号化 • 料⾦ • まとめ
  68. 68. 68 EBSのコスト ※2017年6⽉2⽇現在の東京リージョンにおける価格です。 コストの要素 汎⽤SSD(gp2) プロビジョンド IOPS(io1) スループット 最適化HDD(st1) コールドHDD(sc1) マグネティック 容量 $0.12/GB/⽉ $0.142/GB/⽉ $0.054/GB/⽉ $0.03/GB/⽉ $0.08/GB/⽉ 指定IOPS値 (対象外) $0.074/IOPS/⽉ (対象外) (対象外) (対象外) I/Oリクエスト数 (対象外) (対象外) (対象外) (対象外) $0.08/100万IO リクエスト Snapshotの容量 $0.05/GB/⽉ $0.05/GB/⽉ $0.05/GB/⽉ $0.05/GB/⽉ $0.05/GB/⽉ • Snapshotを取得すると対象ボリュームの実データのみを圧縮 して保存する • 課⾦対象は「実データの圧縮後の容量」となるため、ボリュー ムの確保容量に対して費⽤がかかるわけではない点に注意
  69. 69. 69 ボリュームのコスト例 • 1TBの汎⽤SSDを1ヶ⽉間利⽤した場合 – 容量分:0.12×1024=約122.9ドル(約13,500円) • 1TBのPIOPSを5000IOPSで1ヶ⽉間利⽤した場合 – 容量分:0.142×1024=約145.4ドル(約16,000円) – IOPS分:0.074×5000=370ドル(約40,700円) – 合計:約516ドル(約56,900円) • 1TBのマグネティックを8KB単位で⼀⽉に1TBアクセスした場合 – 容量分:0.08×1024=約81.9ドル(約9,000円) – IOリクエスト分:0.08×約134 (※)=約10.7ドル(約1,200円) – 合計:約92.6ドル(約10,200円) (1ドル=110円換算) ※読み書きブロック数=1TB/8KB=134217728(約1億3千4百万リクエスト)
  70. 70. 70 ボリュームのコスト例 • 4TBのスループット最適化HDDを1ヶ⽉間利⽤した場合 – 容量分:0.054×4096=約221.2ドル(約24,300円) • 8TBのコールドHDDを1ヶ⽉間利⽤した場合 – 容量分:0.03×8196=約245.9ドル(約27,000円) • 50%使⽤済みの汎⽤SSD1TBのボリュームからSnapshotを作成 し、1ヶ⽉間にわたり保持した場合(圧縮率は25%と仮定) – Snapshot実容量:500×0.25=125GB – 容量分:0.05×125=6.25ドル(約690円) (1ドル=110円換算)
  71. 71. 71 アジェンダ • Whatʼs new? • Amazon Elastic Block Store(EBS)概要 • ボリュームタイプとパフォーマンス • Snapshotと暗号化 • 料⾦ • まとめ
  72. 72. 72 まとめ • EBSはバックアップや暗号化の機能を備えたセキュアに利⽤で きる永続化ストレージ • 多彩なボリュームタイプからパフォーマンスやコストに応じて 最適なものを選択して利⽤可能。後から変更することもできる • HDDのボリュームタイプはシーケンシャルアクセスに最適。ア クセスパターンが読めない場合は汎⽤SSDを利⽤する • ⾼いパフォーマンスが必要な場合は、EBSボリュームだけでな くEC2側のスループットにも注意
  73. 73. 73 参考資料 • Amazon Elastic Block Store(EBS) http://aws.amazon.com/jp/ebs/ • ドキュメント:EBSの概要 http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/AmazonEBS.html • ドキュメント:EBS最適化インスタンス http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ebs-ec2- config.html • ドキュメント:EBS APIおよびコマンド概要 http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ebs-api-cli- overview.html • ドキュメント:EC2インスタンスストア http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/InstanceStorage. html
  74. 74. 74 Webinar資料の配置場所 • AWS クラウドサービス活⽤資料集 – http://aws.amazon.com/jp/aws-jp-introduction/
  75. 75. 75 公式Twitter/Facebook AWSの最新情報をお届けします @awscloud_jp 検索 最新技術情報、イベント情報、お役⽴ち情報、お得なキャンペーン情報などを ⽇々更新しています! もしくは http://on.fb.me/1vR8yWm

×