Download as PDF, PPTX
![AWS CLIを使ったCloudWatchの統計情報取得(例) 13
$ aws cloudwatch get-metric-statistics
--namespace "AWS/ApplicationELB"
--dimensions Name=LoadBalancer,Value=app/my-alb-name/1234xxxx1234xxxx
--metric-name HTTPCode_ELB_5XX_Count
--statistics "Sum"
--start-time "2017-12-21T00:00:00Z"
--end-time "2018-01-01T00:00:00Z"
--period $((60 * 60 * 24))
--query "sort_by(Datapoints,&Timestamp)[][Timestamp,Sum]"
--output text](https://image.slidesharecdn.com/upload-180829114324/85/AWS-13-320.jpg)
![DDL⽂サンプル 24
CREATE EXTERNAL TABLE IF NOT EXISTS alb_logs (
type string,
time string,
elb string,
:::(省略)
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
'input.regex' = '([^ ]*) ([^ ]*) ([^ ]*) :::(省略)
LOCATION 's3://your-alb-logs-directory/AWSLogs/<ACCOUNT-
ID>/elasticloadbalancing/region';](https://image.slidesharecdn.com/upload-180829114324/85/AWS-24-320.jpg)
![ALBログの場合 38
•スペース区切りのため、CSV/TSVのいずれにも合致せ
ず、そのままではQuickSightに取り込むことができない
•Athenaで定義したデータとして取り込みを⾏う必要が
ある
•タイムスタンプをDateタイプとして利⽤するのに
ちょっとしたノウハウが必要
[TIPS] ELB のアクセスログのタイムスタンプを QuickSight で Date タイプとして利⽤する ｜ Developers.IO
https://dev.classmethod.jp/cloud/aws/tips-quicksight-date-type-format/](https://image.slidesharecdn.com/upload-180829114324/85/AWS-38-320.jpg)
![[JAWS DAYS 2019 /Open Mic]AWSの運用最適化のためにNHN テコラスが提案していること](https://cdn.slidesharecdn.com/ss_thumbnails/jawsdays190223nhntechorus-190225070731-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS -AWS を活用したログ分析とセキュリティモニ...](https://cdn.slidesharecdn.com/ss_thumbnails/sumologiconaws-loganalysisandsecuritymonitoringusingaws-20190829-190829114856-thumbnail.jpg?width=640&height=640&fit=bounds)
インフラエンジニアのためのAWSサービスを利用したログ分析はじめの一歩
- 1.
- 2. ⾃⼰紹介 2 ⻄澤 徹訓 •クラスメソッド株式会社 • AWS事業本部 • コンサルティング部⻑ • 2015年8⽉⼊社 • デリバリーチームリーダー • “⼤盛無料"と聞くと喜びます
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9. CloudWatchの良いところ1 9 •何もしなくても勝⼿にデータを取得し て蓄積してくれる（標準メトリクス） ✦1 分ごとのデータポイントを15 ⽇間保存 ✦5 分ごとのデータポイントを 63 ⽇間保存 ✦1 時間ごとのデータポイントを 455 ⽇間保存
- 10.
- 11.
- 12.
- 13. AWS CLIを使ったCloudWatchの統計情報取得(例) 13 $aws cloudwatch get-metric-statistics --namespace "AWS/ApplicationELB" --dimensions Name=LoadBalancer,Value=app/my-alb-name/1234xxxx1234xxxx --metric-name HTTPCode_ELB_5XX_Count --statistics "Sum" --start-time "2017-12-21T00:00:00Z" --end-time "2018-01-01T00:00:00Z" --period $((60 * 60 * 24)) --query "sort_by(Datapoints,&Timestamp)[][Timestamp,Sum]" --output text
- 14. AWS CLIを使ったCloudWatchの情報取得結果(例) 14 2017-12-21T00:00:00Z1133.0 2017-12-22T00:00:00Z 117.0 2017-12-23T00:00:00Z 29.0 2017-12-24T00:00:00Z 335.0 2017-12-25T00:00:00Z 610.0 2017-12-26T00:00:00Z 160.0 2017-12-27T00:00:00Z 63.0 2017-12-28T00:00:00Z 148.0 2017-12-29T00:00:00Z 195.0 2017-12-30T00:00:00Z 40.0
- 15.
- 16.
- 17. もっとがんばりたい⽅は 17 •GetMetricData APIを使えば、より多くのメト リクスから同時に情報を取得したり •MetricMathを使った計算式を利⽤した情報取 得も可能です(私は試したことはありません) https://docs.aws.amazon.com/AmazonCloudWatch/latest/APIReference/API_GetMetricData.html
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24. DDL⽂サンプル 24 CREATE EXTERNALTABLE IF NOT EXISTS alb_logs ( type string, time string, elb string, :::(省略) ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe' WITH SERDEPROPERTIES ( 'input.regex' = '([^ ]*) ([^ ]*) ([^ ]*) :::(省略) LOCATION 's3://your-alb-logs-directory/AWSLogs/<ACCOUNT- ID>/elasticloadbalancing/region';
- 25.
- 26.
- 27.
- 28.
- 29. VPC Flow Logsに対するクエリサンプル29 SQL クエリ、関数、および演算⼦ - Amazon Athena https://docs.aws.amazon.com/ja_jp/athena/latest/ug/functions-operators-reference-section.html SELECT sourceaddress, COUNT(*) as count FROM vpc_flow_logs WHERE ts BETWEEN concat(cast(current_date AS VARCHAR),'T','06:00:00.000Z') AND concat(cast(current_date AS VARCHAR),'T','12:00:00.000Z') GROUP BY sourceaddress ORDER BY count DESC
- 30.
- 31.
- 32.
- 33. もっとがんばりたい⽅は 33 •パーティションを意識してデータを格納するように する ※あとからやるのは⼤変だけど難しくはない •列指向フォーマット(Parquet,ORC,等)に変換して おく※対応効果は⾼い(スキャン範囲が限定でコス ト節約かつクエリ⾼速化)けど難しい Amazon Athena のパフォーマンスチューニング Tips トップ 10 | Amazon Web Services ブログ https://aws.amazon.com/jp/blogs/news/top-10-performance-tuning-tips-for-amazon-athena/
- 34.
- 35.
- 36.
- 37.
- 38. ALBログの場合 38 •スペース区切りのため、CSV/TSVのいずれにも合致せ ず、そのままではQuickSightに取り込むことができない •Athenaで定義したデータとして取り込みを⾏う必要が ある •タイムスタンプをDateタイプとして利⽤するのに ちょっとしたノウハウが必要 [TIPS] ELBのアクセスログのタイムスタンプを QuickSight で Date タイプとして利⽤する ｜ Developers.IO https://dev.classmethod.jp/cloud/aws/tips-quicksight-date-type-format/
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45. 最後に 45 • AWSに移⾏することでエンジニアが元気になっ た、新しい技術に興味を持つようになった、と いう声をよく聞きます。 •私もその⼀⼈です。 • 情報発信/情報交換し、AWS好きが増え、元気 になるエンジニアが少しでも増えていったら嬉 しいです。