Amazon cloud trailご紹介とsumologicによる活用入門

2,357 views

Published on

Published in: Technology

Amazon cloud trailご紹介とsumologicによる活用入門

  1. 1. 1
  2. 2. 自己紹介 名前 – 荒木 靖宏 やってること – AWSソリューションアーキテ クト – Debian開発者 ID – Twitter: ar1 – ar@debian.org 2
  3. 3. AWS CloudTrail • 概要 – – – • AWSアカウントへの操作をロギングするサービス 管理コンソール、コマンドライン、3rd party等API コールされる全てのイベントが対象 出力はS3、SNS(Simple Notification Service)で通 知可能 ユースケース – – – – ユーザー利用状況の監視 セキュリティ管理 コンプライアンス強化 リソースライフサイクル管理 • • 対応サービス – – • 3 AWSリソースの作成から削除までの管理 EC2/EBS/VPC/RDS/IAM/STS(Security Token Service) 今後、その他対応サービス追加予定 対応リージョン – US East (Virginia), US West (Oregon) (注: 東京リージョンへのAPI操作も現時点で保存でき ないが、東京リージョンのS3バケットは使える)
  4. 4. S3バケット新規作成するかどうか? S3バケット名 全リージョンのログを含めるかどうか? SNSの通知をONにするかどうか? SNSのトピック名 • 4 • • • [Create a new S3 bucket]をYesとし、[s3 bucket name]にログを保存 するS3バケットを入力します [include global services]をYesとし、全リージョンのログを保存します (オプション) SNSの通知を行うこともできます [Subscribe]ボタンをクリックします
  5. 5. * ルートのURL * バケット名 * 接頭辞 * リージョン名 * 年(yyyy) * 月(mm) * 日(dd) * タイムスタンプ(ISO 8601フォーマッ トのUTC時間) * 個別識別のためのアルファベット • 5 ちなみにS3バケットの中のファイルは15分程度に一度ほど、上記 のような形でJSON形式で保存されます
  6. 6. SNSをMailで受けると大漁 6
  7. 7. ログ利用の実際 JSON形式そのままは非現実的 EMR, RedShift等に処理させる 7
  8. 8. AWS CloudTrail Partnersが肩代わり ログの活用例 hive or streaming S3DistCp web server EC2で生成 8 S3に集約 EMR/Redshift で集計 RDSに出力 8
  9. 9. ログの収集、解析までをワンストップで行うSaaS – まず、ログ収集デーモンをクライアントにインストール – その後はSumologicのWebコンソールで作業 – ログの形式はテキスト形式であればあらゆるものが可能 SumoLogicの全サーバはAWS上で動作 – 各種セキュリティ基準をクリア済 一日500MBまでのログであれば無料で利用可能 利用実績 – Netflix, orange, limelightなどなど 9
  10. 10. 10
  11. 11. sumologicにログインして、 “Collectors”を選択 さらに、”Add Collector” を選択 11
  12. 12. Hosted Collectorを選択 12
  13. 13. コレクタに名前をつける。 “Add Source”で参照先を追加 13
  14. 14. 整理用にNameを定義 S3バケットを設定 IAMでつくったS3アクセス 鍵 14
  15. 15. コレクタがあることを確認 15
  16. 16. OpsWorksしか動いてない例 16
  17. 17. Thank you! 17
  18. 18. その他 your log files are encrypted using Amazon S3 server-side encryption (SSE). CloudTrail typically delivers log files within 15 minutes of an API call ログは5分毎にデリバリーされる。デリバリーの際にSNSでトピックをとばせ る you can also define Amazon S3 lifecycle rules to archive or delete log files automatically You can aggregate log files from multiple AWS regions and multiple AWS accounts into a single Amazon S3 bucket IAMとも連携しており、CloudTrailに対する編集権限をIAMでコントロール可 能 単独アカウントの複数リージョン、複数アカウントを単独リージョン、複数 アカウントの複数リージョンサポート、いずれも可能 料金は、S3とSNS分のみ 18
  19. 19. 複数のアカウントの管理も可能 One AWS Account With Resources in Multiple AWS Regions Multiple AWS Accounts with Resources in One AWS Region Multiple AWS Accounts With Resources in Multiple AWS Regions 19
  20. 20. 複数のアカウントの管理も可能 One AWS Account With Resources in Multiple AWS Regions Multiple AWS Accounts with Resources in One AWS Region Multiple AWS Accounts With Resources in Multiple AWS Regions 20
  21. 21. ログの見方 JSON形式で眺める 例えばJSON整形サービス: http://www.ctrlshift.net/jsonprettyprinter/ HTMLでみてみる http://json.bloople.net/ Excelでみてみる JavaScriptバージョン http://jsfiddle.net/sturtevant/vUnF9/ コンバーター http://json-csv.com/ Classmethod http://dev.classmethod.jp/referencecat/aws-cloudtrail/ EMRで解析 Redshiftで解析 3rd party製品 Splunk等を使う 21
  22. 22. JSONをexcelに変換して みてみた場合 22
  23. 23. 複数のアカウントの管理も可能 One AWS Account With Resources in Multiple AWS Regions Multiple AWS Accounts with Resources in One AWS Region Multiple AWS Accounts With Resources in Multiple AWS Regions 23
  24. 24. • 24 画面上位のサービス名をクリックして、”Amazon CloudTrail”をクリッ クします
  25. 25. • • 25 画面左上の、”Region”をクリックし、“US West (Oregon)”をクリックし ます(注: この資料作成時点で、CloudTrailは上記2リージョンをサポートしています) 画面下部の、[Get Started]をクリックして、RDSの起動を開始します
  26. 26. • 26 これで、CloudTrailによりAPIコールのログが保存されはじめまし た!

×