1
自己紹介
名前
– 荒木 靖宏

やってること
– AWSソリューションアーキテ
クト
– Debian開発者
ID
– Twitter: ar1
– ar@debian.org

2
AWS CloudTrail
•

概要
–
–
–

•

AWSアカウントへの操作をロギングするサービス
管理コンソール、コマンドライン、3rd party等API
コールされる全てのイベントが対象
出力はS3、SNS(Simple Notification Service)で通
知可能

ユースケース
–
–
–
–

ユーザー利用状況の監視
セキュリティ管理
コンプライアンス強化
リソースライフサイクル管理
•

•

対応サービス
–
–

•

3

AWSリソースの作成から削除までの管理

EC2/EBS/VPC/RDS/IAM/STS(Security Token
Service)
今後、その他対応サービス追加予定

対応リージョン
– US East (Virginia), US West (Oregon)
(注: 東京リージョンへのAPI操作も現時点で保存でき
ないが、東京リージョンのS3バケットは使える)
S3バケット新規作成するかどうか?
S3バケット名

全リージョンのログを含めるかどうか?

SNSの通知をONにするかどうか?
SNSのトピック名

•

4

•
•
•

[Create a new S3 bucket]をYesとし、[s3 bucket name]にログを保存
するS3バケットを入力します
[include global services]をYesとし、全リージョンのログを保存します
(オプション) SNSの通知を行うこともできます
[Subscribe]ボタンをクリックします
* ルートのURL
* バケット名
* 接頭辞
* リージョン名
* 年(yyyy)
* 月(mm)
* 日(dd)
* タイムスタンプ(ISO 8601フォーマッ
トのUTC時間)
* 個別識別のためのアルファベット

•

5

ちなみにS3バケットの中のファイルは15分程度に一度ほど、上記
のような形でJSON形式で保存されます
SNSをMailで受けると大漁

6
ログ利用の実際
JSON形式そのままは非現実的

EMR, RedShift等に処理させる
7
AWS CloudTrail
Partnersが肩代わり

ログの活用例

hive or
streaming

S3DistCp

web server

EC2で生成
8

S3に集約

EMR/Redshift
で集計

RDSに出力
8
ログの収集、解析までをワンストップで行うSaaS
– まず、ログ収集デーモンをクライアントにインストール
– その後はSumologicのWebコンソールで作業
– ログの形式はテキスト形式であればあらゆるものが可能

SumoLogicの全サーバはAWS上で動作
– 各種セキュリティ基準をクリア済

一日500MBまでのログであれば無料で利用可能
利用実績
– Netflix, orange, limelightなどなど

9
10
sumologicにログインして、
“Collectors”を選択

さらに、”Add Collector” を選択

11
Hosted Collectorを選択

12
コレクタに名前をつける。

“Add Source”で参照先を追加

13
整理用にNameを定義

S3バケットを設定

IAMでつくったS3アクセス
鍵

14
コレクタがあることを確認

15
OpsWorksしか動いてない例

16
Thank you!

17
その他
your log files are encrypted using Amazon S3 server-side encryption
(SSE).
CloudTrail typically delivers log files within 15 minutes of an API call
ログは5分毎にデリバリーされる。デリバリーの際にSNSでトピックをとばせ
る
you can also define Amazon S3 lifecycle rules to archive or delete log
files automatically
You can aggregate log files from multiple AWS regions and multiple
AWS accounts into a single Amazon S3 bucket
IAMとも連携しており、CloudTrailに対する編集権限をIAMでコントロール可
能
単独アカウントの複数リージョン、複数アカウントを単独リージョン、複数
アカウントの複数リージョンサポート、いずれも可能
料金は、S3とSNS分のみ

18
複数のアカウントの管理も可能
One AWS Account With Resources in Multiple AWS Regions
Multiple AWS Accounts with Resources in One AWS Region
Multiple AWS Accounts With Resources in Multiple AWS Regions

19
複数のアカウントの管理も可能
One AWS Account With Resources in Multiple AWS Regions
Multiple AWS Accounts with Resources in One AWS Region
Multiple AWS Accounts With Resources in Multiple AWS Regions

20
ログの見方
JSON形式で眺める
例えばJSON整形サービス: http://www.ctrlshift.net/jsonprettyprinter/

HTMLでみてみる
http://json.bloople.net/

Excelでみてみる
JavaScriptバージョン http://jsfiddle.net/sturtevant/vUnF9/
コンバーター http://json-csv.com/
Classmethod http://dev.classmethod.jp/referencecat/aws-cloudtrail/

EMRで解析
Redshiftで解析
3rd party製品
Splunk等を使う

21
JSONをexcelに変換して
みてみた場合

22
複数のアカウントの管理も可能
One AWS Account With Resources in Multiple AWS Regions
Multiple AWS Accounts with Resources in One AWS Region
Multiple AWS Accounts With Resources in Multiple AWS Regions

23
•

24

画面上位のサービス名をクリックして、”Amazon CloudTrail”をクリッ
クします
•
•

25

画面左上の、”Region”をクリックし、“US West (Oregon)”をクリックし
ます(注: この資料作成時点で、CloudTrailは上記2リージョンをサポートしています)
画面下部の、[Get Started]をクリックして、RDSの起動を開始します
•

26

これで、CloudTrailによりAPIコールのログが保存されはじめまし
た!

Amazon cloud trailご紹介とsumologicによる活用入門