SlideShare a Scribd company logo
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
アマゾン ウェブ サービス ジャパン株式会社
ソリューションアーキテクト 焼尾 徹
2018.07.31
【AWS Black Belt Online Seminar】
S3ユースケース及びサービスアップデート
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
自己紹介
名前: 焼尾 徹(やきお とおる)
所属: アマゾンウェブサービスジャパン
ソリューションアーキテクト
ロール: Techsol SA
(個別相談会など)
好きなサービス: Amazon Wind Farm
AWSの取り組み
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
内容についての注意点
• 本資料では2018年7月時点のサービス内容および価格についてご説明しています。最新の情報はAWS
公式ウェブサイト(http://aws.amazon.com)にてご確認ください。
• 資料作成には十分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に相違が
あった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。
• 価格は税抜表記となっています。日本居住者のお客様が東京リージョンを使用する場合、別途消費
税をご請求させていただきます。
• AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change
in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/.
Any pricing information included in this document is provided only as an estimate of usage charges
for AWS services based on certain information that you have provided. Monthly charges will be
based on your actual use of AWS services, and may vary from the estimates provided.
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
本セミナーの概要
❏ 本セミナーで学習できること
❖ Amazon S3 のユースケースを通じて、その特性を理解します。
❖ ここ1年ほどの S3 関連のアップデート
❏ 対象者
❖ どうやらS3をうまく使うと「良さそう」というのは聞いているものの、自分の
システムでどのように活用したらいいかイメージがわかない方
❖ AWS 上で構築の検討や既に運用を開始しているものの、いまいちS3を活用で
きていないなど
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Agenda
• Amazon S3 おさらい
• ユースケースからみるS3活用シーン
• 課題1:バックアップストレージが一杯になって困っている
• 課題2:Webサーバのコンテンツが肥大化してきた
• 課題3:データベースが成長して、管理が難しくなってきた
• 前回BlackBelt オンラインセミナー以降の主なアップ
デート
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Agenda
• Amazon S3 おさらい
• ユースケースからみるS3活用シーン
• 課題1:バックアップストレージが一杯になって困っている
• 課題2:Webサーバのコンテンツが肥大化してきた
• 課題3:データベースが成長して、管理が難しくなってきた
• 前回BlackBelt オンラインセミナー以降の主なアップ
デート
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
S3位置付け
データベース
分析
IoT
機械学習
開発環境
ログ収集
データ保護
アーカイブ
移行
Web / モバイル
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Amazon S3とは
Amazon Simple Storage Service (S3)は、ユー
ザがデータを安全に、容量制限なく、データ保存が可
能な、クラウド時代のオブジェクトストレージです。
S3S3 API
PUT
GET
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
オブジュエクトストレージの特徴
ファイルストレージブロックストレージオブジェクトストレージ
key key key
オブジェクト
オブジェクト
オブジェクト
…
ファイルシステム
File
Block
番号
Block
番号
オブジェクト、それに付随するメタデータ、
そのオブジェクトにアあクセスするためのユ
ニークなIDで構成されるデータの倉庫
File
File
File
File
http/https
SCSI
SMB/NFS
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
S3へのアクセス方法
操作 利用イメージ
アプリケーション
開発
AWS SDK PutObjectRequest putObjectRequest =
new PutObjectRequest(bucketName, Key, file);
PutObjectResult result = this.client.putObject(putObjectRequest)
コマンドラインや
シェル
AWS CLI $ aws s3 cp xxxx.mp4 s3://bucketName/
$ aws s3api get-object --bucket-name <bucket-name> --key <prefix/file-name>
手動、人間の操
作
Management
Console
3rdパーティツー
ル
アプリケーション
やAWSサービス
でのS3利用
HTTPS
AWS SDK
そのアプリケーションやAWSサービスが透過的にS3を活用
する
AWS Management Console 3rd Party Tools
GlacierEBSAMI RDS Cloud
Watch
Athena CodeDeploy Macie
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Amazon S3 用語
key key key
オブジェクト
オブジェクト
オブジェクト
…
バケット
• オブジェクトの保存場所。各AWSアカウントにてデ
フォルト100個まで作成可能。名前はグローバルでユ
ニークな必要あり。上限緩和申請で100以上も利用可能
に。
オブジェクト
• データ本体。S3に格納されるファイルでURLが付与さ
れる。バケット内オブジェクト数は無制限。1オブジェ
クトサイズは0から5TBまで(1つのPUTでアップロード
可能なオブジェクトの最大サイズは5GB)。
キー
• オブジェクトの格納URLパス。「バケット+キー+バー
ジョン」が必ず一意になる。
メタデータ
• オブジェクトに付随する属性の情報。システム定義メタ
データ、ユーザ定義メターデータがある。
リージョン
• バケットを配置するAWSのロケーション。目的のアプ
リケーションと同じリージョンであると有利。S3 バケット
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
S3 とアベイラビリティゾーン(AZ)
S3 標準は少なくとも3つ
のAvailability Zones(AZs)
にデータを格納する
1つのAZは最大8つのデー
タセンタで構成
1つのデータセンタのダウン、
または、1つのAZのダウンは、
S3としての可用性に影響しない
データセンター間、AZ間は
低遅延のプライベートネッ
トワークで接続されている
物理的に離れている – つまり、
万一災害が起きても、1つのAZ
への影響しかない
Amazon S3の耐久性
99.999999999%
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Agenda
• Amazon S3 おさらい
• ユースケースからみるS3活用シーン
• 課題1:バックアップストレージが一杯になって困っている
• 課題2:Webサーバのコンテンツが肥大化してきた
• 課題3:データベースが成長して、管理が難しくなってきた
• 前回BlackBelt オンラインセミナー以降の主なアップ
デート
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
S3 のユースケースは大別すると
次の3つ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
データ保護・移行
業務サーバ
S3
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Webサーバのコンテンツオフロード
Webサーバ
S3
CloudFront
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
データレイク、データベース、機械学習やIoT等
活用加工取り込み
活用対象
S3
元データ
S3
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Agenda
• Amazon S3 おさらい
• ユースケースからみるS3活用シーン
• 課題1:バックアップストレージが一杯になって困っている
• 課題2:Webサーバのコンテンツが肥大化してきた
• 課題3:データベースが成長して、管理が難しくなってきた
• 前回BlackBelt オンラインセミナー以降の主なアップ
デート これらの課題を例題とし、
S3のユースケース、応用例を見ていきましょう
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Agenda
• Amazon S3 おさらい
• ユースケースからみるS3活用シーン
• 課題1:バックアップストレージが一杯になって困っている
• 課題2:Webサーバのコンテンツが肥大化してきた
• 課題3:データベースが成長して、管理が難しくなってきた
• 前回BlackBelt オンラインセミナー以降の主なアップ
デート
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
課題1:バックアップストレージが一杯になって
困っている
業務サーバ
プライマリ
ストレージ
バックアップ
ストレージ
容量が不足してき
ている
保守切れを迎えよ
うとしている
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
データ保護・移行パターン
業務サーバ
S3
堅牢なストレージ
を従量課金で利用
できる
課題1:バックアップ
ネットワークがポ
イントになる
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
S3 をバックアップストレージとして活用する
業務サーバ
プライマリ
ストレージ
オンプレミス
S3 バケット
バックアップ
サーバ
AWSアカウントを作成し、
バックアップ用のS3バ
ケットを作成する
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
バックアップソフトウエアがS3に対応していること
業務サーバ
プライマリ
ストレージ
オンプレミス
S3 バケット
バックアップ
サーバ
数多くのバックアップ
ソフトウエアがバック
アップ用デバイスの1
つとしてAmazon S3に
対応している
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
業務サーバからAWS CLIにて直接S3へPUTする
業務サーバ
プライマリ
ストレージ
オンプレミス
S3 バケット
または、AWS CLIをインストール
できるOSであれば、AWS CLIで
コピーやSyncが可能
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
EC2で業務サーバを運用している場合
EBSのスナップショットを取得す
れば、実体がS3に格納される
EC2
EBS
利用インターフェースはEC2(コ
ンソールまたはCLI)になっており、
S3を意識しなくて良い
EBS snapshotのライフサイクルマ
ネジメントが便利
https://aws.amazon.com/jp/blogs/news/new-lifecycle-management-for-amazon-ebs-snapshots/
2018.7月:バージニア北部、オレゴン、アイルランドで対応
EBS
snapshot
AMI
課題1:バックアップ
過去のスナップショット
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)SMS がS3を活用する例
オンプレミス
仮想マシン
AWS
SMS
S3 バケット
AMIEC2
インターネット経由
SMS = Server
Migration Service
サーバの移行ツール
SMS が仮想マシン
イメージの置き場所
にS3を活用する
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)SMS がS3を活用する例
専用線経由で仮想マシンの移行をしたい
オンプレミス
仮想マシン
AWS
SMS
S3 バケット
AMIEC2
?
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)SMS がS3を活用する例
Direct ConnectにてVPCと接続
オンプレミス
仮想マシン
AWS
SMS
S3 バケット
AMIEC2
AWS Direct
Connect
VGWcustomer
gateway
Direct Connect =
専用線接続
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)SMS がS3を活用する例
S3のVPC endpointをコンフィグレーション
オンプレミス
仮想マシン
AWS
SMS
S3 バケット
AWS Direct
Connect
VGWcustomer
gateway
endpoints
VPC endpointで、VPC
内リソースからS3へ直接
アクセスができる
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)SMS がS3を活用する例
VPC endpoint へProxyするサーバを配置
オンプレミス
仮想マシン
AWS
SMS
S3 バケット
AWS Direct
Connect
VGWcustomer
gateway
endpoints
Proxyサーバ
S3のVPC endpointは、
VPC外リソースから直接
は利用できない
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)SMS がS3を活用する例
DNSサーバ管理者さんに相談
オンプレミス
仮想マシン
AWS
SMS
S3 バケット
AWS Direct
Connect
VGWcustomer
gateway
endpoints
Proxyサーバ
DNSサーバ
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)SMS がS3を活用する例
SMSが利用するS3への名前解決をProxyサーバに
オンプレミス
仮想マシン
AWS
SMS
S3 バケット
AWS Direct
Connect
VGWcustomer
gateway
endpoints
Proxyサーバ
DNSサーバ
s3.amazonaws.com
の解決先をProxy
サーバに
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)SMS がS3を活用する例
SMSの仮想マシンのイメージ転送がDirect Connect経由に
オンプレミス
仮想マシン
AWS
SMS
S3 バケット
AMIEC2
AWS Direct
Connect
VGWcustomer
gateway
endpoints
Proxyサーバ
DNSサーバ
s3.amazonaws.com
の解決先をProxy
サーバに
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS Answers
Accessing VPC Endpoints From Remote Networks
オンプレミス
仮想マシン
AWS
SMS
S3 バケット
AMIEC2
AWS Direct
Connect
VGWcustomer
gateway
endpoints
Proxyサーバ
DNSサーバ
s3.amazonaws.com
の解決先をProxy
サーバに
https://aws.amazon.com/jp/answers/networking/accessing-vpc-endpoints-from-remote-networks/
S3へのリクエ
ストをするアプ
リケーション
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)SMS がS3を活用する例
専用線経由で仮想マシンの移行したい、その2
オンプレミス
仮想マシン
S3 バケット
AMIEC2
AWS
SMS
?
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)SMS がS3を活用する例
Direct Connect (パブリック接続)にてAWSのグローバル
サービスと接続
オンプレミス
仮想マシン
AWS
SMS
S3 バケット
AMIEC2
AWS Direct
Connect
AWS の Public
IPへのアクセス
customer
gateway
Public VIF
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)SMS がS3を活用する例
SMSの仮想マシンのイメージ転送がパブリック接続のDirect Connect経
由になる
オンプレミス
仮想マシン
AWS
SMS
S3 バケット
AMIEC2
AWS Direct
Connect
AWS の Public IP
へのアクセス
customer
gateway
Public VIF
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)SMS がS3を活用する例
Publicなサービスに専用線で接続したい他のニーズでも便利
オンプレミス
仮想マシン
AWS
SMS
S3 バケット
AMIEC2
AWS Direct
Connect
AWS の Public IP
へのアクセス
customer
gateway
S3へのリクエストをす
るアプリケーション
https://aws.amazon.com/jp/about-aws/whats-new/2017/11/aws-direct-connect-enables-global-access/
Public VIF
AWSへのグローバルなア
クセスが専用線経由に
課題1:バックアップ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Agenda
• Amazon S3 おさらい
• ユースケースからみるS3活用シーン
• 課題1:バックアップストレージが一杯になって困っている
• 課題2:Webサーバのコンテンツが肥大化してきた
• 課題3:データベースが成長して、管理が難しくなってきた
• 前回BlackBelt オンラインセミナー以降の主なアップ
デート
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
課題2:Webサーバのコンテンツが肥大化してきた
Webサーバ
写真やドキュメント
といったコンテンツ
が増えてきている
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
課題2:Webサーバのコンテンツが肥大化してきた
Webサーバ
写真やドキュメント
といったコンテンツ
が増えてきている
Webサーバを複数台
にするのにNFSサー
バを立てるか??
Webサーバ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
課題2:Webサーバのコンテンツが肥大化してきた
Webサーバ
写真やドキュメント
といったコンテンツ
が増えてきている
Webサーバを複数台
にするのにNFSサー
バを立てるか??
Webサーバ
Webサーバ
Webサーバ
?
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Webサーバのコンテンツオフロードパターン
Webサーバ
S3
S3の静的ウェブサイトホス
ティング機能を活用する
http://example.com/index.php
<img src=“img/photo.jpg” />
html
PHP
http://xxxx
剪定
ツゲ
サツキ
課題2:Web
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Webサーバのコンテンツオフロードパターン
Webサーバ
S3 S3に容量の大きなファイ
ル(写真やドキュメント
など)を配置する
http://example.com/index.php http://static.example.com/img/photo.jpg
<img src=“http://static.example.com/img/photo.jpg” />
html
PHP
http://xxxx
剪定
ツゲ
サツキ
<img src=“img/photo.jpg” />
課題2:Web
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Webサーバのコンテンツオフロードパターン
Webサーバ
S3
http://example.com/index.php http://static.example.com/img/photo.jpg
<img src=“http://static.example.com/img/photo.jpg” />
Webサーバへの
負荷をぐっと抑
えられる
html
PHP
http://xxxx
剪定
ツゲ
サツキ
課題2:Web
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)Webサーバの成長
users
Amazon
Route 53
Webサーバ
課題2:Web
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)Webサーバの成長
単体のWebサーバ構築
users
Amazon
Route 53
Webサーバ
Elastic IP
address
課題2:Web
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)Webサーバの成長
RDSによるデータストアの疎結合化
users
Amazon
Route 53
Webサーバ Amazon RDS
Elastic IP
address
課題2:Web
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)Webサーバの成長
システムの冗長化とスケーラビリティ確保
users
Amazon
Route 53
Elastic Load
Balancing
Webサーバ群
Amazon RDS
課題2:Web
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)Webサーバの成長
写真やドキュメントといったコンテンツをS3へオフロード
users
Amazon
Route 53
スタティックなファイル
を置いているバケット
Elastic Load
Balancing
Webサーバ群 Amazon RDS
課題2:Web
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)Webサーバの成長
CloudFrontにキャッシュしてもらう
users
Amazon
Route 53
Amazon
CloudFront
スタティックなファイル
を置いているバケット
Elastic Load
Balancing
Webサーバ群 Amazon RDS
課題2:Web
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)Webサーバの成長
CloudFrontのセキュリティ対策の恩恵を受けられる
users
Amazon
Route 53
Amazon
CloudFront
スタティックなファイル
を置いているバケット
Elastic Load
Balancing
Webサーバ群 Amazon RDS
DDoS Attack
課題2:Web
セキュリティ対策及びエッジロケー
ションを活用した経路のメリット
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)Webサーバの成長
AWS Shield Standardでの保護
users
Amazon
Route 53
Amazon
CloudFront
スタティックなファイル
を置いているバケット
Elastic Load
Balancing
Webサーバ群 Amazon RDS
DDoS Attack
AWS Shield
課題2:Web
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)Webサーバの成長
AWS WAF によるアプリケーションレイヤの保護
users
Amazon
Route 53
Amazon
CloudFront
スタティックなファイル
を置いているバケット
Elastic Load
Balancing
Webサーバ群 Amazon RDS
AWS WAF
DDoS Attack
AWS Shield
課題2:Web
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例)Webサーバの成長
アクセスログをS3にて保存し、活用する
users
Amazon
Route 53
Amazon
CloudFront
スタティックなファイル
を置いているバケット
Elastic Load
Balancing
Webサーバ群 Amazon RDS
CloudFrontのアクセス
ログを格納する
AWS
Lambda
Amazon
CloudWatchAWS WAF
DDoS Attack
AWS Shield
課題2:Web
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Agenda
• Amazon S3 おさらい
• ユースケースからみるS3活用シーン
• 課題1:バックアップストレージが一杯になって困っている
• 課題2:Webサーバのコンテンツが肥大化してきた
• 課題3:データベースが成長して、管理が難しくなってきた
• 前回BlackBelt オンラインセミナー以降の主なアップ
デート
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
課題3:データベースが成長して、管理が難しく
なってきた
S3
データストア
トランザクション
ロード元データ
集計
分析・可視化
データウェアハウス
多業務兼任
データが溜まってく
るとストレージに性
能が求められる?
データ
ますます高性能な
CPUやメモリも必要
となってくる?
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
S3を活用して、疎結合にする
S3
活用加工取り込み
活用対象元データ
データレイク:取り込みー>ETLー>分析ー>可視化
IoT:センサー収集ー>整形・絞り込みー>可視化
機械学習:学習材料ー>学習ー>推論
HPC: 計測データー>加工・計算ー>新しい知見
映像:撮影・インジェストー>編集ー>放送
課題3:データベース
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
S3を活用して、疎結合にする
S3
活用加工取り込み
活用対象元データ
直近の
元データ
中間
データ
直近の
活用データ
例えば、加工するシステムは、
必要な時だけ立ち上げれば良い
データストアを
選び直せる
課題3:データベース
扱うデータを
限定できる
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
S3 活用対象元データ
S3を活用して、疎結合にする
S3
活用加工取り込み
活用対象元データ
直近の
元データ
中間
データ
直近の
活用データ
データが増えても
ライフサイクルを
用いたアーカイブ
が可能
長期データはS3に置
きっ放しにして
Redshift Spectrumや
Athenaの活用も
Redshift Athena
課題3:データベース
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例:データレイク
オンプレミスシ
ステム
分析
- トランザクショナル
データ
- ログデータ
RDS
課題3:データベース
可視化
QuickSight
BI tool
on EC2
AWS上での分析基
盤の検討
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例:データレイク
オンプレミスシ
ステム
収集
分析
- トランザクショナル
データ
- ログデータ
RDS
課題3:データベース
可視化
QuickSight
BI tool
on EC2
オンプレミスからの
データロード
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例:データレイク
直接のデータロードをやめて一度S3に格納する
オンプレミスシ
ステム
収集
分析
Redshift
- トランザクショナル
データ
- ログデータ
RDS
課題3:データベース
可視化
QuickSight
BI tool
on EC2
データレイク
S3
元データ
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例:データレイク
元データを保存し、加工処理などを行なってデータストア
にロードする
オンプレミスシ
ステム
収集
分析
Redshift
- トランザクショナル
データ
- ログデータ
RDS
課題3:データベース
可視化
QuickSight
BI tool
on EC2
データレイク
S3
変形済データ
中間データ 結果元データ
前処理・加工など
EMRGlue
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例:データレイク
データストアの選択に自由度が増す
オンプレミスシ
ステム
収集
分析
Redshift
及び
Spectrum- トランザクショナル
データ
- ログデータ
RDS
課題3:データベース
可視化
QuickSight
BI tool
on EC2
データレイク
S3
変形済データ
中間データ 結果元データ
前処理・加工など
EMRGlue
分析
EMR
Athena
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例:データレイク
異なる目的のデータを取り込むことも検討できる
オンプレミスシ
ステム
収集
分析
- トランザクショナル
データ
- ログデータ
RDS
課題3:データベース
可視化
QuickSight
BI tool
on EC2
データレイク
S3
変形済データ
中間データ 結果元データ
前処理・加工など
EMRGlue
分析
EMR
Athena
外部データソース
- 市況情報
- ソーシャルメディ
ア
- IoTなど
収集
Kinesis
Redshift
及び
Spectrum
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
応用例:データレイク
利用頻度の低くなったデータをアーカイブする
オンプレミスシ
ステム
外部データソース
- 市況情報
- ソーシャルメディ
ア
- IoTなど
収集
収集
Direct Connect
Kinesis
データレイク
S3
元データ
変形済データ
中間データ
前処理・加工など
分析
分析
可視化
EMR
EMR
Athena
Redshift
及び
Redshift
Spectrum
QuickSight
BI tool
on EC2
- トランザクショナル
データ
- ログデータ
結果
Glacier
Glue
RDS
課題3:データベース
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
課題例のまとめと活用シーン
• 課題1:バックアップスト
レージが一杯になって困っ
ている
• 課題2:Webサーバのコン
テンツが肥大化してきた
• 課題3:データベースが成
長して、管理が難しくなっ
てきた
業務
サーバ
S3
データ保護・
移行パターン
CF
Web
S3
コンテンツ置
き場所のオフ
ロード
データレイク S3
活用加工
取り
込み
S3
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Agenda
• Amazon S3 おさらい
• ユースケースからみるS3活用シーン
• 課題1:バックアップストレージが一杯になって困っている
• 課題2:Webサーバのコンテンツが肥大化してきた
• 課題3:データベースが成長して、管理が難しくなってきた
• 前回BlackBelt オンラインセミナー(2017.4月)以降
の主なアップデート
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
S3 One Zone-IA クラス
S3 Standard
S3 Standard-IA (*)
Amazon Glacier
S3 One Zone-IA
(*) IA = Infrequent Access, 低頻度アクセス
複製の数は変わらないので同じ
99.999999999%の耐久性
2018.4月
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
各ストレージクラスの設計
アベイラビリティーゾーン
アベイラビリティーゾーン
S3 Standard
S3 Standard - IA
Glacier
アベイラビリティーゾーン
S3 One Zone-IA
AWS リージョン AWS リージョン
アベイラビリティーゾーン
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
ストレージクラスの整理
用途に応じて、オブジェクトを格納するS3の場所の使い分け。
ストレージクラス 特徴 耐久性(設計上)
スタンダード 複数AZにデータを複製。デフォルトのストレージクラス。 99.999999999%
STANDARD-IA (標準低頻
度アクセスストレージ)
スタンダードに比べ格納コストが安価。いつでもアクセス可
能だが、データの読み出し容量に対して課金。IAは
Infrequent Accessの略。
99.999999999%
OneZone – IA (1ゾーン-
低頻度アクセスストレー
ジ)
Single AZにデータを格納するが、複製の考え方はスタン
ダート、STANDARD-IAと同じ。ただし、地震や洪水などの
大災害による1 アベイラビリティーゾーンの物理的な損失には耐
性はありません。
99.999999999%
Glacier (アーカイブ) 最も低コストだが、データの取り出しにコストと時間を要す
る。ライフサイクルマネジメントにて指定する。
99.999999999%
低冗長化ストレージ(RRS) RRS はReduced Redundancy Storageの略。Glacierから取
り出したデータの置き場所として利用。
99.99%
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
ライフサイクルで活用
Amazon
Glacier
S3
Standard
S3
Standard-IA
自動ライフサイクルポリシー
S3
One Zone - IA
アクティブなデータ
ミリ秒単位でのアクセス
少なくとも 3 つの AZ
0.025 USD
アーカイブデータ
数分~数時間
少なくとも 3 つの AZ
0.005 USD
期間は最低 30 日
ミリ秒単位でのアクセス
少なくとも 3 つの AZ
0.019 USD
期間は最低 30 日
ミリ秒単位でのアクセス
少なくとも 1 つの AZ
0.0152 USD
料金は東京リージョンの GB あたりの月額です。
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
S3 Analytics をQuickSightで閲覧する 2017.7月
S3管理コンソールの 管理->分析からたどる
もしくは、QuickSightのデータセット作成時
(New Dataset)でS3 Analyticsを選択
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
S3 インベントリの活用
List APIで頑張らなくていい部分
• (CSVに加えて) ORCファイルでの出力に対応
• Athenaでの検索で有効
• インベントリに、Encryptionのステータスを追加
• インベントリファイルを暗号化して保存
S3に入っているオブジェクトのリストをファイルで取得する
2017.11月
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/storage-inventory.html
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
S3 Select
Amazon S3 に格納されているオブジェクトに対して、SQL式にて、一部
分のみを抽出できる
Amazon S3
Amazon S3
S3 Selectによりフィルタリング
オブジェクト全体を取得し
て、アプリケーションにて、
抽出する
アプリケーションが、S3
Select を利用して、オブ
ジェクトの一部のみを取得
する
価格、速度でのメリット
2018.4月
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
S3 Select
• Input:フォーマットはCSV, JSON、圧縮(GZIP,BZIP3), 暗号化(SSE)
• Output: CSV, JSON
• SDK: Java, Python(boto3), Ruby, Go, .NET, JavaScript
句 データタイプ オペレータ 関数
Select String Conditional String
From Integer, Float, Decimal Math Cast
Where Timestamp Logical Math
Boolean String (Like, ||) Aggregate
制約など: https://docs.aws.amazon.com/AmazonS3/latest/dev/selecting-content-from-objects.html
SQLリファレンス:https://docs.aws.amazon.com/AmazonS3/latest/dev/s3-glacier-select-sql-reference.html
オブジェクトに対する抽出、もしくはAthena、Redshift Spectrumな
どのS3へのクエリを行うAWSサービスでの活用
2018.5月 6月 7月 7月
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Amazon S3のセキュリティ機能を強化
• アクセス許可チェック、S3コンソールで公開アクセスが許可されたバケットが容易
に分かるようなインジケータを表示するようになった
• AWS Configにて、S3バケットがPublicにreadできたり、誰でも書き込みめるように
なっていないかをチェックするマネージドルールを提供
公開されている・
されていないがす
ぐわかる
↓
間違いがあれば
すぐ気付くことが
できる
https://aws.amazon.com/jp/blogs/news/aws-config-update-new-managed-rules-to-secure-s3-buckets/
2017.11月
2017.8月
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Amazon S3のセキュリティ機能を強化
 デフォルト暗号化
バケットポリシーを定義することなく、バケットに格納するオブ
ジェクトの暗号化を強制することが可能に
 レプリケーション設定の所有者オーバーライドオプショ
ン
異なるAWSアカウントでクロスリージョンレプリケーションにて、
レプリカをレプリケーション先のオーナに変更する
 KMSで暗号化されたオブジェクトのクロスリージョン
レプリケーション
レプリケーション実行時に送信先で利用するキーを指定可能に
2017.11月
2017.11月
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Amazon S3のリクエストレートの向上
従来通り、定常的にS3バケットへのPUT/LIST/DELETEリクエストが
3,500 RPSを超える、もしくはGETリクエストが5,500RPSを超える
場合、キー名先頭部分の文字列をランダムにすることでレート向上が
期待できるが、その必要性があるワークロードかどうかはよく見極め
る
examplebucket/2013-26-05-15-00-00/cust1234234/photo1.jpg
examplebucket/2013-26-05-15-00-00/cust3857422/photo2.jpg
・・・
examplebucket/2013-26-05-15-00-01/cust1248473/photo4.jpg
examplebucket/2013-26-05-15-00-01/cust1248473/photo5.jpg
・・・
examplebucket/232a-2013-26-05-15-00-00/cust1234234/photo1.jpg
examplebucket/7b54-2013-26-05-15-00-00/cust3857422/photo2.jpg
・・・
examplebucket/9810-2013-26-05-15-00-01/cust1248473/photo4.jpg
examplebucket/c34a-2013-26-05-15-00-01/cust1248473/photo5.jpg
・・・
大量のGETリクエストが発生するワー
クロードの場合は、Amazon
CloudFrontを併用することを推奨
Amazon CloudFront Amazon S3
Amazon S3 は、自動的にスケールするよう設計されています。最大 3,500 リクエスト/秒、
データの取得で最大 5,500 リクエスト/秒をサポートできるようにパフォーマンスを向上さ
せています。
重要
https://aws.amazon.com/jp/about-aws/whats-new/2018/07/amazon-s3-announces-increased-request-rate-performance/
2018.7月
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
参考資料
• Amazon S3
• https://aws.amazon.com/jp/documentation/s3/
• AWS Command Line Interface
• AWS Command Line Interface での高レベルの S3 コマンドの使用
• https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/using-
s3-commands.html
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
公式Twitter/Facebook
AWSの最新情報をお届けします
@awscloud_jp
検索
最新技術情報、イベント情報、お役立ち情報、
お得なキャンペーン情報などを日々更新しています!
もしくは
http://on.fb.me/1vR8yWm
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWSの導入、お問い合わせのご相談
AWSクラウド導入に関するご質問、お見積、資料請求をご希望のお客様は以下
のリンクよりお気軽にご相談下さい。
https://aws.amazon.com/jp/contact-us/aws-sales/
※「AWS 問い合わせ」で検索して下さい。
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS Well Architected 個別技術相談会お知らせ
• Well Architectedフレームワークに基づく数十個の質問項目を元に、お客様が
AWS上で構築するシステムに潜むリスクやその回避方法をお伝えする個別相
談会です。
https://pages.awscloud.com/well-architected-consulting-jp.html
• 参加無料
• 毎週火曜・木曜開催

More Related Content

More from Amazon Web Services Japan

202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
Amazon Web Services Japan
 
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
Amazon Web Services Japan
 
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
Amazon Web Services Japan
 
Amazon QuickSight の組み込み方法をちょっぴりDD
Amazon QuickSight の組み込み方法をちょっぴりDDAmazon QuickSight の組み込み方法をちょっぴりDD
Amazon QuickSight の組み込み方法をちょっぴりDD
Amazon Web Services Japan
 
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのことマルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
Amazon Web Services Japan
 
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
Amazon Web Services Japan
 
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
Amazon Web Services Japan
 
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
Amazon Web Services Japan
 
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するためにAmazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
Amazon Web Services Japan
 
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
Amazon Web Services Japan
 
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
Amazon Web Services Japan
 
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
Amazon Web Services Japan
 
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
Amazon Web Services Japan
 
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
Amazon Web Services Japan
 
20211209 Ops-JAWS Re invent2021re-cap-cloud operations
20211209 Ops-JAWS Re invent2021re-cap-cloud operations20211209 Ops-JAWS Re invent2021re-cap-cloud operations
20211209 Ops-JAWS Re invent2021re-cap-cloud operations
Amazon Web Services Japan
 
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
Amazon Web Services Japan
 
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
Amazon Web Services Japan
 
20211109 JAWS-UG SRE keynotes
20211109 JAWS-UG SRE keynotes20211109 JAWS-UG SRE keynotes
20211109 JAWS-UG SRE keynotes
Amazon Web Services Japan
 
20211109 bleaの使い方(基本編)
20211109 bleaの使い方(基本編)20211109 bleaの使い方(基本編)
20211109 bleaの使い方(基本編)
Amazon Web Services Japan
 
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
Amazon Web Services Japan
 

More from Amazon Web Services Japan (20)

202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
 
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
 
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
 
Amazon QuickSight の組み込み方法をちょっぴりDD
Amazon QuickSight の組み込み方法をちょっぴりDDAmazon QuickSight の組み込み方法をちょっぴりDD
Amazon QuickSight の組み込み方法をちょっぴりDD
 
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのことマルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
 
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
 
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
 
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
 
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するためにAmazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
 
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
 
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
 
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
 
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
 
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
 
20211209 Ops-JAWS Re invent2021re-cap-cloud operations
20211209 Ops-JAWS Re invent2021re-cap-cloud operations20211209 Ops-JAWS Re invent2021re-cap-cloud operations
20211209 Ops-JAWS Re invent2021re-cap-cloud operations
 
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
 
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
 
20211109 JAWS-UG SRE keynotes
20211109 JAWS-UG SRE keynotes20211109 JAWS-UG SRE keynotes
20211109 JAWS-UG SRE keynotes
 
20211109 bleaの使い方(基本編)
20211109 bleaの使い方(基本編)20211109 bleaの使い方(基本編)
20211109 bleaの使い方(基本編)
 
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
 

Recently uploaded

Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language ModelsGenerating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
harmonylab
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
azuma satoshi
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
osamut
 
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
chiefujita1
 
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
嶋 是一 (Yoshikazu SHIMA)
 
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
Matsushita Laboratory
 
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援しますキンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
Takayuki Nakayama
 
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
Osaka University
 
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
Toru Tamaki
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
tazaki1
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
CRI Japan, Inc.
 
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
t m
 

Recently uploaded (12)

Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language ModelsGenerating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
 
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
 
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
 
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
 
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援しますキンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
 
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
 
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
 
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
 

20180731 AWS Black Belt Online Seminar Amazon S3 ユースケースおよびサービスアップデート

  • 1. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 焼尾 徹 2018.07.31 【AWS Black Belt Online Seminar】 S3ユースケース及びサービスアップデート
  • 2. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 自己紹介 名前: 焼尾 徹(やきお とおる) 所属: アマゾンウェブサービスジャパン ソリューションアーキテクト ロール: Techsol SA (個別相談会など) 好きなサービス: Amazon Wind Farm AWSの取り組み
  • 3. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 内容についての注意点 • 本資料では2018年7月時点のサービス内容および価格についてご説明しています。最新の情報はAWS 公式ウェブサイト(http://aws.amazon.com)にてご確認ください。 • 資料作成には十分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に相違が あった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。 • 価格は税抜表記となっています。日本居住者のお客様が東京リージョンを使用する場合、別途消費 税をご請求させていただきます。 • AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided.
  • 4. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 本セミナーの概要 ❏ 本セミナーで学習できること ❖ Amazon S3 のユースケースを通じて、その特性を理解します。 ❖ ここ1年ほどの S3 関連のアップデート ❏ 対象者 ❖ どうやらS3をうまく使うと「良さそう」というのは聞いているものの、自分の システムでどのように活用したらいいかイメージがわかない方 ❖ AWS 上で構築の検討や既に運用を開始しているものの、いまいちS3を活用で きていないなど
  • 5. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Agenda • Amazon S3 おさらい • ユースケースからみるS3活用シーン • 課題1:バックアップストレージが一杯になって困っている • 課題2:Webサーバのコンテンツが肥大化してきた • 課題3:データベースが成長して、管理が難しくなってきた • 前回BlackBelt オンラインセミナー以降の主なアップ デート
  • 6. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Agenda • Amazon S3 おさらい • ユースケースからみるS3活用シーン • 課題1:バックアップストレージが一杯になって困っている • 課題2:Webサーバのコンテンツが肥大化してきた • 課題3:データベースが成長して、管理が難しくなってきた • 前回BlackBelt オンラインセミナー以降の主なアップ デート
  • 7. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. S3位置付け データベース 分析 IoT 機械学習 開発環境 ログ収集 データ保護 アーカイブ 移行 Web / モバイル
  • 8. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon S3とは Amazon Simple Storage Service (S3)は、ユー ザがデータを安全に、容量制限なく、データ保存が可 能な、クラウド時代のオブジェクトストレージです。 S3S3 API PUT GET
  • 9. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. オブジュエクトストレージの特徴 ファイルストレージブロックストレージオブジェクトストレージ key key key オブジェクト オブジェクト オブジェクト … ファイルシステム File Block 番号 Block 番号 オブジェクト、それに付随するメタデータ、 そのオブジェクトにアあクセスするためのユ ニークなIDで構成されるデータの倉庫 File File File File http/https SCSI SMB/NFS
  • 10. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. S3へのアクセス方法 操作 利用イメージ アプリケーション 開発 AWS SDK PutObjectRequest putObjectRequest = new PutObjectRequest(bucketName, Key, file); PutObjectResult result = this.client.putObject(putObjectRequest) コマンドラインや シェル AWS CLI $ aws s3 cp xxxx.mp4 s3://bucketName/ $ aws s3api get-object --bucket-name <bucket-name> --key <prefix/file-name> 手動、人間の操 作 Management Console 3rdパーティツー ル アプリケーション やAWSサービス でのS3利用 HTTPS AWS SDK そのアプリケーションやAWSサービスが透過的にS3を活用 する AWS Management Console 3rd Party Tools GlacierEBSAMI RDS Cloud Watch Athena CodeDeploy Macie
  • 11. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon S3 用語 key key key オブジェクト オブジェクト オブジェクト … バケット • オブジェクトの保存場所。各AWSアカウントにてデ フォルト100個まで作成可能。名前はグローバルでユ ニークな必要あり。上限緩和申請で100以上も利用可能 に。 オブジェクト • データ本体。S3に格納されるファイルでURLが付与さ れる。バケット内オブジェクト数は無制限。1オブジェ クトサイズは0から5TBまで(1つのPUTでアップロード 可能なオブジェクトの最大サイズは5GB)。 キー • オブジェクトの格納URLパス。「バケット+キー+バー ジョン」が必ず一意になる。 メタデータ • オブジェクトに付随する属性の情報。システム定義メタ データ、ユーザ定義メターデータがある。 リージョン • バケットを配置するAWSのロケーション。目的のアプ リケーションと同じリージョンであると有利。S3 バケット
  • 12. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. S3 とアベイラビリティゾーン(AZ) S3 標準は少なくとも3つ のAvailability Zones(AZs) にデータを格納する 1つのAZは最大8つのデー タセンタで構成 1つのデータセンタのダウン、 または、1つのAZのダウンは、 S3としての可用性に影響しない データセンター間、AZ間は 低遅延のプライベートネッ トワークで接続されている 物理的に離れている – つまり、 万一災害が起きても、1つのAZ への影響しかない Amazon S3の耐久性 99.999999999%
  • 13. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Agenda • Amazon S3 おさらい • ユースケースからみるS3活用シーン • 課題1:バックアップストレージが一杯になって困っている • 課題2:Webサーバのコンテンツが肥大化してきた • 課題3:データベースが成長して、管理が難しくなってきた • 前回BlackBelt オンラインセミナー以降の主なアップ デート
  • 14. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. S3 のユースケースは大別すると 次の3つ
  • 15. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. データ保護・移行 業務サーバ S3
  • 16. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Webサーバのコンテンツオフロード Webサーバ S3 CloudFront
  • 17. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. データレイク、データベース、機械学習やIoT等 活用加工取り込み 活用対象 S3 元データ S3
  • 18. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Agenda • Amazon S3 おさらい • ユースケースからみるS3活用シーン • 課題1:バックアップストレージが一杯になって困っている • 課題2:Webサーバのコンテンツが肥大化してきた • 課題3:データベースが成長して、管理が難しくなってきた • 前回BlackBelt オンラインセミナー以降の主なアップ デート これらの課題を例題とし、 S3のユースケース、応用例を見ていきましょう
  • 19. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Agenda • Amazon S3 おさらい • ユースケースからみるS3活用シーン • 課題1:バックアップストレージが一杯になって困っている • 課題2:Webサーバのコンテンツが肥大化してきた • 課題3:データベースが成長して、管理が難しくなってきた • 前回BlackBelt オンラインセミナー以降の主なアップ デート
  • 20. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 課題1:バックアップストレージが一杯になって 困っている 業務サーバ プライマリ ストレージ バックアップ ストレージ 容量が不足してき ている 保守切れを迎えよ うとしている
  • 21. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. データ保護・移行パターン 業務サーバ S3 堅牢なストレージ を従量課金で利用 できる 課題1:バックアップ ネットワークがポ イントになる
  • 22. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. S3 をバックアップストレージとして活用する 業務サーバ プライマリ ストレージ オンプレミス S3 バケット バックアップ サーバ AWSアカウントを作成し、 バックアップ用のS3バ ケットを作成する 課題1:バックアップ
  • 23. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. バックアップソフトウエアがS3に対応していること 業務サーバ プライマリ ストレージ オンプレミス S3 バケット バックアップ サーバ 数多くのバックアップ ソフトウエアがバック アップ用デバイスの1 つとしてAmazon S3に 対応している 課題1:バックアップ
  • 24. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 業務サーバからAWS CLIにて直接S3へPUTする 業務サーバ プライマリ ストレージ オンプレミス S3 バケット または、AWS CLIをインストール できるOSであれば、AWS CLIで コピーやSyncが可能 課題1:バックアップ
  • 25. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. EC2で業務サーバを運用している場合 EBSのスナップショットを取得す れば、実体がS3に格納される EC2 EBS 利用インターフェースはEC2(コ ンソールまたはCLI)になっており、 S3を意識しなくて良い EBS snapshotのライフサイクルマ ネジメントが便利 https://aws.amazon.com/jp/blogs/news/new-lifecycle-management-for-amazon-ebs-snapshots/ 2018.7月:バージニア北部、オレゴン、アイルランドで対応 EBS snapshot AMI 課題1:バックアップ 過去のスナップショット
  • 26. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)SMS がS3を活用する例 オンプレミス 仮想マシン AWS SMS S3 バケット AMIEC2 インターネット経由 SMS = Server Migration Service サーバの移行ツール SMS が仮想マシン イメージの置き場所 にS3を活用する 課題1:バックアップ
  • 27. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)SMS がS3を活用する例 専用線経由で仮想マシンの移行をしたい オンプレミス 仮想マシン AWS SMS S3 バケット AMIEC2 ? 課題1:バックアップ
  • 28. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)SMS がS3を活用する例 Direct ConnectにてVPCと接続 オンプレミス 仮想マシン AWS SMS S3 バケット AMIEC2 AWS Direct Connect VGWcustomer gateway Direct Connect = 専用線接続 課題1:バックアップ
  • 29. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)SMS がS3を活用する例 S3のVPC endpointをコンフィグレーション オンプレミス 仮想マシン AWS SMS S3 バケット AWS Direct Connect VGWcustomer gateway endpoints VPC endpointで、VPC 内リソースからS3へ直接 アクセスができる 課題1:バックアップ
  • 30. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)SMS がS3を活用する例 VPC endpoint へProxyするサーバを配置 オンプレミス 仮想マシン AWS SMS S3 バケット AWS Direct Connect VGWcustomer gateway endpoints Proxyサーバ S3のVPC endpointは、 VPC外リソースから直接 は利用できない 課題1:バックアップ
  • 31. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)SMS がS3を活用する例 DNSサーバ管理者さんに相談 オンプレミス 仮想マシン AWS SMS S3 バケット AWS Direct Connect VGWcustomer gateway endpoints Proxyサーバ DNSサーバ 課題1:バックアップ
  • 32. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)SMS がS3を活用する例 SMSが利用するS3への名前解決をProxyサーバに オンプレミス 仮想マシン AWS SMS S3 バケット AWS Direct Connect VGWcustomer gateway endpoints Proxyサーバ DNSサーバ s3.amazonaws.com の解決先をProxy サーバに 課題1:バックアップ
  • 33. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)SMS がS3を活用する例 SMSの仮想マシンのイメージ転送がDirect Connect経由に オンプレミス 仮想マシン AWS SMS S3 バケット AMIEC2 AWS Direct Connect VGWcustomer gateway endpoints Proxyサーバ DNSサーバ s3.amazonaws.com の解決先をProxy サーバに 課題1:バックアップ
  • 34. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Answers Accessing VPC Endpoints From Remote Networks オンプレミス 仮想マシン AWS SMS S3 バケット AMIEC2 AWS Direct Connect VGWcustomer gateway endpoints Proxyサーバ DNSサーバ s3.amazonaws.com の解決先をProxy サーバに https://aws.amazon.com/jp/answers/networking/accessing-vpc-endpoints-from-remote-networks/ S3へのリクエ ストをするアプ リケーション 課題1:バックアップ
  • 35. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)SMS がS3を活用する例 専用線経由で仮想マシンの移行したい、その2 オンプレミス 仮想マシン S3 バケット AMIEC2 AWS SMS ? 課題1:バックアップ
  • 36. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)SMS がS3を活用する例 Direct Connect (パブリック接続)にてAWSのグローバル サービスと接続 オンプレミス 仮想マシン AWS SMS S3 バケット AMIEC2 AWS Direct Connect AWS の Public IPへのアクセス customer gateway Public VIF 課題1:バックアップ
  • 37. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)SMS がS3を活用する例 SMSの仮想マシンのイメージ転送がパブリック接続のDirect Connect経 由になる オンプレミス 仮想マシン AWS SMS S3 バケット AMIEC2 AWS Direct Connect AWS の Public IP へのアクセス customer gateway Public VIF 課題1:バックアップ
  • 38. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)SMS がS3を活用する例 Publicなサービスに専用線で接続したい他のニーズでも便利 オンプレミス 仮想マシン AWS SMS S3 バケット AMIEC2 AWS Direct Connect AWS の Public IP へのアクセス customer gateway S3へのリクエストをす るアプリケーション https://aws.amazon.com/jp/about-aws/whats-new/2017/11/aws-direct-connect-enables-global-access/ Public VIF AWSへのグローバルなア クセスが専用線経由に 課題1:バックアップ
  • 39. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Agenda • Amazon S3 おさらい • ユースケースからみるS3活用シーン • 課題1:バックアップストレージが一杯になって困っている • 課題2:Webサーバのコンテンツが肥大化してきた • 課題3:データベースが成長して、管理が難しくなってきた • 前回BlackBelt オンラインセミナー以降の主なアップ デート
  • 40. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 課題2:Webサーバのコンテンツが肥大化してきた Webサーバ 写真やドキュメント といったコンテンツ が増えてきている
  • 41. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 課題2:Webサーバのコンテンツが肥大化してきた Webサーバ 写真やドキュメント といったコンテンツ が増えてきている Webサーバを複数台 にするのにNFSサー バを立てるか?? Webサーバ
  • 42. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 課題2:Webサーバのコンテンツが肥大化してきた Webサーバ 写真やドキュメント といったコンテンツ が増えてきている Webサーバを複数台 にするのにNFSサー バを立てるか?? Webサーバ Webサーバ Webサーバ ?
  • 43. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Webサーバのコンテンツオフロードパターン Webサーバ S3 S3の静的ウェブサイトホス ティング機能を活用する http://example.com/index.php <img src=“img/photo.jpg” /> html PHP http://xxxx 剪定 ツゲ サツキ 課題2:Web
  • 44. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Webサーバのコンテンツオフロードパターン Webサーバ S3 S3に容量の大きなファイ ル(写真やドキュメント など)を配置する http://example.com/index.php http://static.example.com/img/photo.jpg <img src=“http://static.example.com/img/photo.jpg” /> html PHP http://xxxx 剪定 ツゲ サツキ <img src=“img/photo.jpg” /> 課題2:Web
  • 45. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Webサーバのコンテンツオフロードパターン Webサーバ S3 http://example.com/index.php http://static.example.com/img/photo.jpg <img src=“http://static.example.com/img/photo.jpg” /> Webサーバへの 負荷をぐっと抑 えられる html PHP http://xxxx 剪定 ツゲ サツキ 課題2:Web
  • 46. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)Webサーバの成長 users Amazon Route 53 Webサーバ 課題2:Web
  • 47. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)Webサーバの成長 単体のWebサーバ構築 users Amazon Route 53 Webサーバ Elastic IP address 課題2:Web
  • 48. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)Webサーバの成長 RDSによるデータストアの疎結合化 users Amazon Route 53 Webサーバ Amazon RDS Elastic IP address 課題2:Web
  • 49. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)Webサーバの成長 システムの冗長化とスケーラビリティ確保 users Amazon Route 53 Elastic Load Balancing Webサーバ群 Amazon RDS 課題2:Web
  • 50. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)Webサーバの成長 写真やドキュメントといったコンテンツをS3へオフロード users Amazon Route 53 スタティックなファイル を置いているバケット Elastic Load Balancing Webサーバ群 Amazon RDS 課題2:Web
  • 51. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)Webサーバの成長 CloudFrontにキャッシュしてもらう users Amazon Route 53 Amazon CloudFront スタティックなファイル を置いているバケット Elastic Load Balancing Webサーバ群 Amazon RDS 課題2:Web
  • 52. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)Webサーバの成長 CloudFrontのセキュリティ対策の恩恵を受けられる users Amazon Route 53 Amazon CloudFront スタティックなファイル を置いているバケット Elastic Load Balancing Webサーバ群 Amazon RDS DDoS Attack 課題2:Web セキュリティ対策及びエッジロケー ションを活用した経路のメリット
  • 53. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)Webサーバの成長 AWS Shield Standardでの保護 users Amazon Route 53 Amazon CloudFront スタティックなファイル を置いているバケット Elastic Load Balancing Webサーバ群 Amazon RDS DDoS Attack AWS Shield 課題2:Web
  • 54. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)Webサーバの成長 AWS WAF によるアプリケーションレイヤの保護 users Amazon Route 53 Amazon CloudFront スタティックなファイル を置いているバケット Elastic Load Balancing Webサーバ群 Amazon RDS AWS WAF DDoS Attack AWS Shield 課題2:Web
  • 55. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例)Webサーバの成長 アクセスログをS3にて保存し、活用する users Amazon Route 53 Amazon CloudFront スタティックなファイル を置いているバケット Elastic Load Balancing Webサーバ群 Amazon RDS CloudFrontのアクセス ログを格納する AWS Lambda Amazon CloudWatchAWS WAF DDoS Attack AWS Shield 課題2:Web
  • 56. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Agenda • Amazon S3 おさらい • ユースケースからみるS3活用シーン • 課題1:バックアップストレージが一杯になって困っている • 課題2:Webサーバのコンテンツが肥大化してきた • 課題3:データベースが成長して、管理が難しくなってきた • 前回BlackBelt オンラインセミナー以降の主なアップ デート
  • 57. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 課題3:データベースが成長して、管理が難しく なってきた S3 データストア トランザクション ロード元データ 集計 分析・可視化 データウェアハウス 多業務兼任 データが溜まってく るとストレージに性 能が求められる? データ ますます高性能な CPUやメモリも必要 となってくる?
  • 58. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. S3を活用して、疎結合にする S3 活用加工取り込み 活用対象元データ データレイク:取り込みー>ETLー>分析ー>可視化 IoT:センサー収集ー>整形・絞り込みー>可視化 機械学習:学習材料ー>学習ー>推論 HPC: 計測データー>加工・計算ー>新しい知見 映像:撮影・インジェストー>編集ー>放送 課題3:データベース
  • 59. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. S3を活用して、疎結合にする S3 活用加工取り込み 活用対象元データ 直近の 元データ 中間 データ 直近の 活用データ 例えば、加工するシステムは、 必要な時だけ立ち上げれば良い データストアを 選び直せる 課題3:データベース 扱うデータを 限定できる
  • 60. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. S3 活用対象元データ S3を活用して、疎結合にする S3 活用加工取り込み 活用対象元データ 直近の 元データ 中間 データ 直近の 活用データ データが増えても ライフサイクルを 用いたアーカイブ が可能 長期データはS3に置 きっ放しにして Redshift Spectrumや Athenaの活用も Redshift Athena 課題3:データベース
  • 61. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例:データレイク オンプレミスシ ステム 分析 - トランザクショナル データ - ログデータ RDS 課題3:データベース 可視化 QuickSight BI tool on EC2 AWS上での分析基 盤の検討
  • 62. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例:データレイク オンプレミスシ ステム 収集 分析 - トランザクショナル データ - ログデータ RDS 課題3:データベース 可視化 QuickSight BI tool on EC2 オンプレミスからの データロード
  • 63. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例:データレイク 直接のデータロードをやめて一度S3に格納する オンプレミスシ ステム 収集 分析 Redshift - トランザクショナル データ - ログデータ RDS 課題3:データベース 可視化 QuickSight BI tool on EC2 データレイク S3 元データ
  • 64. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例:データレイク 元データを保存し、加工処理などを行なってデータストア にロードする オンプレミスシ ステム 収集 分析 Redshift - トランザクショナル データ - ログデータ RDS 課題3:データベース 可視化 QuickSight BI tool on EC2 データレイク S3 変形済データ 中間データ 結果元データ 前処理・加工など EMRGlue
  • 65. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例:データレイク データストアの選択に自由度が増す オンプレミスシ ステム 収集 分析 Redshift 及び Spectrum- トランザクショナル データ - ログデータ RDS 課題3:データベース 可視化 QuickSight BI tool on EC2 データレイク S3 変形済データ 中間データ 結果元データ 前処理・加工など EMRGlue 分析 EMR Athena
  • 66. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例:データレイク 異なる目的のデータを取り込むことも検討できる オンプレミスシ ステム 収集 分析 - トランザクショナル データ - ログデータ RDS 課題3:データベース 可視化 QuickSight BI tool on EC2 データレイク S3 変形済データ 中間データ 結果元データ 前処理・加工など EMRGlue 分析 EMR Athena 外部データソース - 市況情報 - ソーシャルメディ ア - IoTなど 収集 Kinesis Redshift 及び Spectrum
  • 67. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 応用例:データレイク 利用頻度の低くなったデータをアーカイブする オンプレミスシ ステム 外部データソース - 市況情報 - ソーシャルメディ ア - IoTなど 収集 収集 Direct Connect Kinesis データレイク S3 元データ 変形済データ 中間データ 前処理・加工など 分析 分析 可視化 EMR EMR Athena Redshift 及び Redshift Spectrum QuickSight BI tool on EC2 - トランザクショナル データ - ログデータ 結果 Glacier Glue RDS 課題3:データベース
  • 68. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 課題例のまとめと活用シーン • 課題1:バックアップスト レージが一杯になって困っ ている • 課題2:Webサーバのコン テンツが肥大化してきた • 課題3:データベースが成 長して、管理が難しくなっ てきた 業務 サーバ S3 データ保護・ 移行パターン CF Web S3 コンテンツ置 き場所のオフ ロード データレイク S3 活用加工 取り 込み S3
  • 69. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Agenda • Amazon S3 おさらい • ユースケースからみるS3活用シーン • 課題1:バックアップストレージが一杯になって困っている • 課題2:Webサーバのコンテンツが肥大化してきた • 課題3:データベースが成長して、管理が難しくなってきた • 前回BlackBelt オンラインセミナー(2017.4月)以降 の主なアップデート
  • 70. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. S3 One Zone-IA クラス S3 Standard S3 Standard-IA (*) Amazon Glacier S3 One Zone-IA (*) IA = Infrequent Access, 低頻度アクセス 複製の数は変わらないので同じ 99.999999999%の耐久性 2018.4月
  • 71. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 各ストレージクラスの設計 アベイラビリティーゾーン アベイラビリティーゾーン S3 Standard S3 Standard - IA Glacier アベイラビリティーゾーン S3 One Zone-IA AWS リージョン AWS リージョン アベイラビリティーゾーン
  • 72. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ストレージクラスの整理 用途に応じて、オブジェクトを格納するS3の場所の使い分け。 ストレージクラス 特徴 耐久性(設計上) スタンダード 複数AZにデータを複製。デフォルトのストレージクラス。 99.999999999% STANDARD-IA (標準低頻 度アクセスストレージ) スタンダードに比べ格納コストが安価。いつでもアクセス可 能だが、データの読み出し容量に対して課金。IAは Infrequent Accessの略。 99.999999999% OneZone – IA (1ゾーン- 低頻度アクセスストレー ジ) Single AZにデータを格納するが、複製の考え方はスタン ダート、STANDARD-IAと同じ。ただし、地震や洪水などの 大災害による1 アベイラビリティーゾーンの物理的な損失には耐 性はありません。 99.999999999% Glacier (アーカイブ) 最も低コストだが、データの取り出しにコストと時間を要す る。ライフサイクルマネジメントにて指定する。 99.999999999% 低冗長化ストレージ(RRS) RRS はReduced Redundancy Storageの略。Glacierから取 り出したデータの置き場所として利用。 99.99%
  • 73. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ライフサイクルで活用 Amazon Glacier S3 Standard S3 Standard-IA 自動ライフサイクルポリシー S3 One Zone - IA アクティブなデータ ミリ秒単位でのアクセス 少なくとも 3 つの AZ 0.025 USD アーカイブデータ 数分~数時間 少なくとも 3 つの AZ 0.005 USD 期間は最低 30 日 ミリ秒単位でのアクセス 少なくとも 3 つの AZ 0.019 USD 期間は最低 30 日 ミリ秒単位でのアクセス 少なくとも 1 つの AZ 0.0152 USD 料金は東京リージョンの GB あたりの月額です。
  • 74. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. S3 Analytics をQuickSightで閲覧する 2017.7月 S3管理コンソールの 管理->分析からたどる もしくは、QuickSightのデータセット作成時 (New Dataset)でS3 Analyticsを選択
  • 75. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. S3 インベントリの活用 List APIで頑張らなくていい部分 • (CSVに加えて) ORCファイルでの出力に対応 • Athenaでの検索で有効 • インベントリに、Encryptionのステータスを追加 • インベントリファイルを暗号化して保存 S3に入っているオブジェクトのリストをファイルで取得する 2017.11月 https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/storage-inventory.html
  • 76. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. S3 Select Amazon S3 に格納されているオブジェクトに対して、SQL式にて、一部 分のみを抽出できる Amazon S3 Amazon S3 S3 Selectによりフィルタリング オブジェクト全体を取得し て、アプリケーションにて、 抽出する アプリケーションが、S3 Select を利用して、オブ ジェクトの一部のみを取得 する 価格、速度でのメリット 2018.4月
  • 77. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. S3 Select • Input:フォーマットはCSV, JSON、圧縮(GZIP,BZIP3), 暗号化(SSE) • Output: CSV, JSON • SDK: Java, Python(boto3), Ruby, Go, .NET, JavaScript 句 データタイプ オペレータ 関数 Select String Conditional String From Integer, Float, Decimal Math Cast Where Timestamp Logical Math Boolean String (Like, ||) Aggregate 制約など: https://docs.aws.amazon.com/AmazonS3/latest/dev/selecting-content-from-objects.html SQLリファレンス:https://docs.aws.amazon.com/AmazonS3/latest/dev/s3-glacier-select-sql-reference.html オブジェクトに対する抽出、もしくはAthena、Redshift Spectrumな どのS3へのクエリを行うAWSサービスでの活用 2018.5月 6月 7月 7月
  • 78. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon S3のセキュリティ機能を強化 • アクセス許可チェック、S3コンソールで公開アクセスが許可されたバケットが容易 に分かるようなインジケータを表示するようになった • AWS Configにて、S3バケットがPublicにreadできたり、誰でも書き込みめるように なっていないかをチェックするマネージドルールを提供 公開されている・ されていないがす ぐわかる ↓ 間違いがあれば すぐ気付くことが できる https://aws.amazon.com/jp/blogs/news/aws-config-update-new-managed-rules-to-secure-s3-buckets/ 2017.11月 2017.8月
  • 79. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon S3のセキュリティ機能を強化  デフォルト暗号化 バケットポリシーを定義することなく、バケットに格納するオブ ジェクトの暗号化を強制することが可能に  レプリケーション設定の所有者オーバーライドオプショ ン 異なるAWSアカウントでクロスリージョンレプリケーションにて、 レプリカをレプリケーション先のオーナに変更する  KMSで暗号化されたオブジェクトのクロスリージョン レプリケーション レプリケーション実行時に送信先で利用するキーを指定可能に 2017.11月 2017.11月
  • 80. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon S3のリクエストレートの向上 従来通り、定常的にS3バケットへのPUT/LIST/DELETEリクエストが 3,500 RPSを超える、もしくはGETリクエストが5,500RPSを超える 場合、キー名先頭部分の文字列をランダムにすることでレート向上が 期待できるが、その必要性があるワークロードかどうかはよく見極め る examplebucket/2013-26-05-15-00-00/cust1234234/photo1.jpg examplebucket/2013-26-05-15-00-00/cust3857422/photo2.jpg ・・・ examplebucket/2013-26-05-15-00-01/cust1248473/photo4.jpg examplebucket/2013-26-05-15-00-01/cust1248473/photo5.jpg ・・・ examplebucket/232a-2013-26-05-15-00-00/cust1234234/photo1.jpg examplebucket/7b54-2013-26-05-15-00-00/cust3857422/photo2.jpg ・・・ examplebucket/9810-2013-26-05-15-00-01/cust1248473/photo4.jpg examplebucket/c34a-2013-26-05-15-00-01/cust1248473/photo5.jpg ・・・ 大量のGETリクエストが発生するワー クロードの場合は、Amazon CloudFrontを併用することを推奨 Amazon CloudFront Amazon S3 Amazon S3 は、自動的にスケールするよう設計されています。最大 3,500 リクエスト/秒、 データの取得で最大 5,500 リクエスト/秒をサポートできるようにパフォーマンスを向上さ せています。 重要 https://aws.amazon.com/jp/about-aws/whats-new/2018/07/amazon-s3-announces-increased-request-rate-performance/ 2018.7月
  • 81. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 参考資料 • Amazon S3 • https://aws.amazon.com/jp/documentation/s3/ • AWS Command Line Interface • AWS Command Line Interface での高レベルの S3 コマンドの使用 • https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/using- s3-commands.html
  • 82. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 公式Twitter/Facebook AWSの最新情報をお届けします @awscloud_jp 検索 最新技術情報、イベント情報、お役立ち情報、 お得なキャンペーン情報などを日々更新しています! もしくは http://on.fb.me/1vR8yWm
  • 83. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWSの導入、お問い合わせのご相談 AWSクラウド導入に関するご質問、お見積、資料請求をご希望のお客様は以下 のリンクよりお気軽にご相談下さい。 https://aws.amazon.com/jp/contact-us/aws-sales/ ※「AWS 問い合わせ」で検索して下さい。
  • 84. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Well Architected 個別技術相談会お知らせ • Well Architectedフレームワークに基づく数十個の質問項目を元に、お客様が AWS上で構築するシステムに潜むリスクやその回避方法をお伝えする個別相 談会です。 https://pages.awscloud.com/well-architected-consulting-jp.html • 参加無料 • 毎週火曜・木曜開催