Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Introduction to New CloudWatch Agent

162 views

Published on

2018.02.19 / OpsJAWS Meetup #14

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Introduction to New CloudWatch Agent

  1. 1. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Noritaka Sekiyama Senior Cloud Support Engineer, Amazon Web Services Japan 2018.02.19 / OpsJAWS Meetup #14 Introduction to New CloudWatch Agent
  2. 2. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 関山 宜孝 (Noritaka Sekiyama) Senior Cloud Support Engineer - AWS サポートの中の人 - 専門は Big Data (EMR, Glue, Athena, …) - もう一つの専門は CloudWatch - OpsJAWS, JAWS-UG ビッグデータ支部に出没 - JAWS DAYS 2018 楽しみ Who I am... @moomindani
  3. 3. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS リソースやアプリケーションをモニタリングするため のサービス そもそも CloudWatch って何? メトリクス アラーム ログ イベント
  4. 4. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS リソースや OS, アプリケーションのメトリクスを収集、 保管、表示するサービス CloudWatch メトリクスって?
  5. 5. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. デフォルトメトリクス • AWS が自動的に生成するメトリクス ⎼ 例1) EC2 の CPUUtilization ⎼ 例2) ELB の RequestCount • 名前空間: AWS/[サービス名] ⎼ 例1) AWS/EC2 ⎼ 例2) AWS/ELB カスタムメトリクス • ユーザが自由に生成するメトリクス • 名前空間: 自由 (※AWS/ は予約されているので使用不可) デフォルトメトリクスとカスタムメトリクス
  6. 6. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. EC2 のデフォルトメトリクス メトリクス名 説明 CPUUtilization CPU 使用率 DiskReadOps インスタンスストアのディスク読み取り I/O 回数 DiskWriteOps インスタンスストアのディスク書き込み I/O 回数 DiskReadBytes インスタンスストアのディスク読み取り I/O サイズ DiskWriteBytes インスタンスストアのディスク書き込み I/O サイズ NetworkIn 全ネットワークインターフェースでの受信サイズ NetworkOut 全ネットワークインターフェースでの送信サイズ NetworkPacketsIn 全ネットワークインターフェースでの受信パケット数 NetworkPacketsOut 全ネットワークインターフェースでの送信パケット数 StatusCheckFailed インスタンス・システムステータスチェックの結果 StatusCheckFailed_Instance インスタンスステータスチェックの結果 StatusCheckFailed_System システムステータスチェックの結果
  7. 7. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS リソースや OS, アプリケーションのログを収集、保管、 表示するサービス CloudWatch ログって? CloudWatch Metrics CloudWatch Logs Metric Filters Subscription Filters Kinesis Firehose Kinesis Streams Lambda Resources that writes logs To CloudWatch Logs Your custom logs
  8. 8. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. デフォルトログ • AWS が自動的に生成するログ ⎼ 例1) Lambda のコンソールログ ⎼ 例2) VPC フローログ カスタムログ • ユーザが自由に生成するログ ⎼ 例1) OS ログ (syslog, Windows イベントログ, etc.) ⎼ 例2) アプリケーションログ (Apache アクセスログ, etc.) デフォルトログとカスタムログ
  9. 9. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. インスタンス OS 内部の情報を収集したい • メモリ使用率 • コア別 CPU 使用率 • ロードアベレージ • OS システムログ アプリケーションの情報を収集したい • アクセス数 • エラー数 • アプリケーションログ カスタムメトリクス・ログの主なユースケース
  10. 10. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. カスタムメトリクス収集 • CloudWatch CLI (廃止済) • CloudWatch Monitoring Script for Linux • collectd plugin for CloudWatch • CloudWatch Monitoring Script for Windows (廃止済) • EC2Config/SSM Agent (Windows) カスタムログ収集 • CloudWatch Logs Agent (Linux) • EC2Config/SSM Agent (Windows) これまでのやりかた
  11. 11. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. カスタムメトリクス収集・カスタムログ収集 • New CloudWatch Agent (Linux/Windows) これからのやりかた
  12. 12. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 単一のエージェント • メトリクスとログの両方を単一エージェントで収集 複数プラットフォーム/複数環境 • Linux, Windows の両方で稼働 • オンプレミス、クラウドの両方で稼働 柔軟な設定 • 標準で多種多様なシステムメトリクスを取得、さらに追加可能 CloudWatch の機能との連携 • 高解像度メトリクス、ディメンジョンに基づく集約等に対応 New CloudWatch Agent って?
  13. 13. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. cpu_time_active cpu_time_guest cpu_time_guest_nice cpu_time_idle cpu_time_iowait cpu_time_irq cpu_time_nice cpu_time_softirq cpu_time_steal cpu_time_system cpu_time_user cpu_usage_guest cpu_usage_guest_nice cpu_usage_idle cpu_usage_iowait cpu_usage_irq cpu_usage_nice cpu_usage_softirq cpu_usage_steal cpu_usage_system cpu_usage_user エージェントにより収集されるメトリクス (Linux) disk_free disk_inodes_free disk_inodes_total disk_inodes_used disk_total disk_used disk_used_percent diskio_iops_in_progress diskio_io_time diskio_reads diskio_read_bytes diskio_read_time diskio_writes diskio_write_bytes diskio_write_time mem_active mem_available mem_available_percent mem_buffered mem_cached mem_free mem_inactive mem_total mem_used mem_used_percent net_bytes_recv net_bytes_sent net_drop_in net_drop_out net_err_in net_err_out net_packets_sent net_packets_recv netstat_tcp_close netstat_tcp_close_wait netstat_tcp_closing netstat_tcp_established netstat_tcp_fin_wait1 netstat_tcp_fin_wait2 netstat_tcp_last_ack netstat_tcp_listen netstat_tcp_none netstat_tcp_syn_sent netstat_tcp_syn_recv netstat_tcp_time_wait netstat_udp_socket processes_blocked processes_dead processes_idle processes_paging processes_running processes_sleeping processes_stopped processes_total processes_total_threads processes_wait processes_zombie swap_free swap_used swap_used_percent
  14. 14. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Windows パフォーマンスカウンタで参照できるメトリクス • 例) Processor オブジェクト % Interrupt Time カウンタ エージェントにより収集されるメトリクス (Windows)
  15. 15. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Basic/Standard/Advanced の 3段階で EC2/オンプレミス, Linux/Windows にメトリクスのテンプレートを提供 事前定義されたメトリクスセット
  16. 16. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Linux 2014.03.02 以降 Ubuntu Server 16.04/14.04 CentOS 7.0/6.5 Red Hat Enterprise Linux (RHEL) 7.4/7.0/6.5 Debian 8.0 Windows Server 2016, 2012, 2008 (64bit) 対応 OS
  17. 17. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 1. IAM ロール/ユーザーの作成・設定 2. エージェントパッケージのダウンロード • Systems Manager Run Command • S3 ダウンロードリンク 3. エージェントの設定 • 設定ウィザード • 設定ファイルをマニュアル作成 4. エージェントの開始 • Systems Manager Run Command • コマンドライン インストールの流れ
  18. 18. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. CloudWatch Agent がメトリクスやログを CloudWatch に 送信するためにアクセスを許可する必要がある 1. IAM ロール/ユーザーの作成・設定 { "Version": "2012-10-17", "Statement": [ { "Sid": "CloudWatchAgentServerPolicy", "Effect": "Allow", "Action": [ "logs:CreateLogStream", "cloudwatch:PutMetricData", "ec2:DescribeTags", "logs:DescribeLogStreams", "logs:CreateLogGroup", "logs:PutLogEvents", "ssm:GetParameter" ], "Resource": "*" } ] }
  19. 19. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Systems Manager Run Command または S3 ダウンロー ドリンクからエージェントパッケージをダウンロードし、イ ンストールする 2. エージェントパッケージのダウンロード $ wget https://s3.amazonaws.com/amazonclo udwatch- agent/linux/amd64/latest/AmazonClo udWatchAgent.zip $ unzip AmazonCloudWatchAgent.zip $ sudo ./install.sh
  20. 20. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. プロキシ、認証情報、およびリージョン情報 • /opt/aws/amazon-cloudwatch-agent/etc/common- config.toml エージェント、メトリクス、ログ情報 • /opt/aws/amazon-cloudwatch-agent/bin/config.json • ウィザードで対話的に設定可能 3. エージェントの設定 $ sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-config-wizard
  21. 21. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ウィザードで対話的に設定 $ sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-config-wizard ============================================================= = Welcome to the AWS CloudWatch Agent Configuration Manager = ============================================================= On which OS are you planning to use the agent? 1. linux 2. windows default choice: [1]: 1 Trying to fetch the default region based on ec2 metadata... Are you using EC2 or On-Premises hosts? 1. EC2 2. On-Premises default choice: [1]: 1 Do you want to monitor any host metrics? e.g. CPU, memory, etc. 1. yes 2. no default choice: [1]: 1 Do you want to monitor cpu metrics per core? Additional CloudWatch charges may apply. 1. yes 2. no default choice: [1]: 1 …
  22. 22. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Systems Manager Run Command またはコマンドライン からエージェントを起動する 4. エージェントの開始 $ sudo /opt/aws/amazon-cloudwatch- agent/bin/amazon-cloudwatch-agent- ctl -a fetch-config -m ec2 -c file:configuration-file-path –s $ sudo /opt/aws/amazon-cloudwatch- agent/bin/amazon-cloudwatch-agent- ctl -m ec2 -a status { "status": "running", "starttime": "2018-02- 16T04:25:17+0000", "version": "1.208.0" }
  23. 23. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. CloudWatch コンソールにおけるメトリクス表示
  24. 24. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. CloudWatch コンソールにおけるログ表示
  25. 25. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. これから新しい環境を構築するときは New CloudWatch Agent を使いましょう! 機能要望や不具合報告などはぜひサポートケース(または フォーラム)で! • 今日の分は口頭で伝えていただければ、可能な限り開発チームと連携 します;) おわりに
  26. 26. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

×