SlideShare a Scribd company logo
1 of 57
Download to read offline
© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWSのログ管理
ベストプラクティス
アマゾン ウェブ サービス ジャパン株式会社
ソリューション アーキテクト
桑野 章弘
自己紹介
桑野 章弘(くわの あきひろ)
ソリューションアーキテクト
主にメディア系のお客様を担当しております
渋谷のインフラエンジニア(仮)でした
好きなAWSのサービス:ElastiCache、
Route53
好きなデータストア:MongoDB
アジェンダ
ログとは
ログの収集/保存
ログの活用
まとめ
ログとは
ログとはなんだ
みんなログ、ログっていうけどログってなんなんだ?
ログとは
その名の通り痕跡を残す、ということ(そのまま
ログはサーバ、サービス、そしてユーザの状況を確認する
ための大事な要素
ログとは
要するにログといっても全部同じではなく種類によって用
途、目的が異なる
• アプリケーションログ
• アクティビティログ
• セキュリティログ
• センサーログ
• アクセスログ
• その他その他その他
ログは宝
• サービスを改善するためには現状の把握と分析が絶対的に必要
クラウド上のログ管理と活用
ログの管理手法には様々な物がある
特にクラウド上ではインスタンス改廃が多く行われたり、
マネージドサービスがあり、ログの管理はオンプレよりも
ダイナミックになる
管理する方法さえわかればログ分析基盤としてのクラウド
を非常に便利に使うことができる
収集 処理 分析
保存
データ収集と
保存
データ処理イベント処理 データ分析
データ 答え
分析前の前処理等、
いわゆるETL
(抽出、変換、挿
入 )的な処理
各サーバや、サー
ビスからのログを
収集する
ログに対して各種
分析をかける
収集したログを
サーバやデータス
トアに保存する
Amazon S3
Amazon Kinesis
(Streams, Firehose)
Amazon DynamoDB
Amazon RDS (Aurora)
AWS Lambda
KCL Apps
Amazon
EMR
Amazon
Redshift
Amazon Machine
Learning
収集 処理 分析
保存
データ収集と
保存
データ処理イベント処理 データ分析
データ 答え
Amazon
Athena
ログの収集
取得するログ
取得する必要があるログとしてはこのようなものたち
• AWSのサービスログ
• 各環境固有のログ
取得するログ:AWSのサービスログ
• 各サービスで出力されるログはCloudWatch Logs経由や
直接S3にアップロードする場合が多い
取得するログ:環境固有のログ
• OSやアプリケーション、アプリケーションログ等環境
に必要なログ
• 基本的にはセルフサービスで運用
• かと言ってマネージドサービスが使えないわけではない
AWSのサービスログ
AWSのサービスから出力されるログ
主要なログ
• CloudWatch logs
• CloudTrail
• ELB
• VPCフローログ
• S3のバケットログ
• CloudFrontのアクセスログ
CloudWatch Logs
Amazon Linux Ubuntu
Windows Red Hat Linux
CloudWatch Logs
通知:
CloudWatch Alarm
Log Agent Log Agent
Log Agent Log Agent
VPC Flow Log
可視化:
Amazon Elasticsearh Service
(Kibana)
エクスポート:
Amazon Kinesis Firehose
CloudTrail Lambda RDS
ログモニタリングイメージ
ログ内容はタイムスタンプとログメッセージ(UTF-8)で
構成
AWS CloudTrail
AWSアカウントの操作をロギングするサービス
管理コンソール、コマンドライン、3rd party等APIコール
される全てのイベントが対象
S3にロギングデータをJSONで保存
AWS CloudTrail自体の料金は無料
AWS上のAPI操作を記録するサービス
AWS CloudTrail サポートサービス一覧
http://docs.aws.amazon.com/ja_jp/awscloudtrail/latest/userguide/w
hat_is_cloud_trail_supported_services.html
S3バケットログ
バケットに対するアクセスログの出力設定が可能(バケッ
ト単位で設定)
出力先としてS3バケットを指定
ログフォーマット
• 主要な項目としては「Remote IP」「HTTP Status」「Request-
URI」等様々
• 詳しくは下記を参照
http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/LogFo
rmat.html
S3バケットログの項目
項目 説明
Bucket Owner ソースバケット所有者の正規ユーザー ID
バケット リクエストの処理対象のバケット名
時間 リクエストを受け取った時刻
Remote IP リクエストしてきたインターネットアドレス
リクエスタ IAMユーザ等のID
リクエスト ID 各リクエストを一意に識別するための文字列
オペレーション 実行したオペレーション内容
キー リクエストの URL エンコードされた「key」
部分
Request-URI HTTP リクエストメッセージの Request-URI
部分
HTTP status レスポンスの HTTP ステータス
項目 説明
エラーコード Amazon S3 エラーコード
Bytes Sent 送信されたレスポンスのバイト数
Object Size 該当するオブジェクトの合計サイズ
Total Time サーバーから見た、リクエストの転送中の時間数(ミリ秒)
Turn-Around Time Amazon S3 でリクエストの処理に要した時間数(ミリ秒)
Referrer リファラ
User-Agent ユーザーエージェント
Version Id リクエストのバージョン ID
ELBのアクセスログの項目
ELBのアクセスログを指定したS3に自動保管
簡単にログのS3保管が実現できる
アクセスの傾向を探ることが可能
参照 http://docs.aws.amazon.com/ja_jp/ElasticLoadBalancing/latest/DeveloperGuide/access-
log-collection.html
S3
ELBのアクセスログの項目
ロードバランサのアクセスログをS3へ保存
項目 説明
timestamp クライアントからリクエストを受け取った時
刻
elb ロードバランサー名
client:port リクエストを送信したクライアントの IP ア
ドレスとポート
backend:port このリクエストを処理した登録済みインスタ
ンスの IP アドレスとポート
request_processing_t
ime
ロードバランサーがリクエストを受け取った
時点から登録済みインスタンスに送信するま
での合計経過時間(秒)
backend_processing_
time
ロードバランサーが登録済みインスタンスに
リクエストを送信した時点から、そのインス
タンスが応答ヘッダーの送信を開始した時点
までの合計経過時間(秒)
項目 説明
response_processing_
time
ロードバランサーが登録済みインスタンスから応答ヘッダーを受
け取った時点から、クライアントへの応答の送信を開始した時点
までの合計経過時間(秒)
elb_status_code ロードバランサーからの応答のステータスコード
backend_status_code 登録済みインスタンスからの応答のステータスコード
received_bytes クライアントから受け取ったリクエストのサイズ(バイト)
sent_bytes クライアント(リクエスタ)に返される応答のサイズ(バイト)
user_agent ユーザーエージェント
ssl_cipher SSL 暗号。正常なネゴシエーションの後に受信 SSL/TLS 接続が
確立した場合にのみ、この値が記録されます
ssl_protocol SSL プロトコル。正常なネゴシエーションの後に受信 SSL/TLS
接続が確立した場合にのみ、この値が記録されます
CloudFrontログ & レポート
CloudFront
クライアント
S3
Management Console
アクセスログ
アクセスや利用状況傾向の
確認及び分析
Cache Statistics
Popular Objects
Top Referrers
Usage
Viewers
Cloudwatch Monitoring and
Alarming
障害/異常検知や現状の利用確認
Access Log
複雑なアクセスや利用傾向分析
データの可視化と詳細な障害分析
リアルタイム
モニター
レポーティング
Redshift
ElasticSearch
CloudFrontアクセスログの項目
任意のS3 Bucketに出力可能
項目 説明
date アクセス日(UTC)
time アクセス時間(UTC)
x-edge-location エッジロケーションID
sc-bytes 配信Byte数(ヘッダー含む)
c-ip クライアントIPアドレス
cs-method HTTPアクセスMethod
cs(Host) CloudFront Distributinドメイン名
cs-uri-stem リクエストURI
sc-status レスポンスコード
cs(Referer) リファラ
cs(User-Agent) クライアントユーザエージェント
cs-uri-query リクエストQuery Strings
cs(Cookie) リクエストCookieヘッダー
項目 説明
x-edge-result-type Hit:キャッシュヒット
RefreshHit:キャッシュがExpireされていた
Miss:キャッシュミス
LimitExceeded: CloudFrontのリミットオーバ
CapacityExceeeded: エッジのキャパシティ不足
Error:クライアントもしくはオリジンによるエラー
x-edge-request-id CloudFrontのリクエストID
x-host-header リクエストHost Header
cs-protocol リクエストプロトコル(http / https)
cs-bytes リクエストByte数(ヘッダー含む)
time-taken CloudFrontエッジがリクエストを受けて、オリジンからLastByte
を取得するまでにかかった秒数
x-forwarded-for ViewerがHTTPプロキシなどを利用した場合の元Viewr IP
ssl-protocol クライアントとHTTPS通信をした際の利用したプロトコル
ssl-cipher クライアントとHTTPS通信した際の利用した暗号化方式
x-edge-response-
result-type
Viewerにレスポンスを返す直前の処理分類
※分類はx-edge-result-typeと同様
VPC Flow Log
VPC内のネットワークのログが取得可能
• Network ACLとSecurity Groupでの許可と禁止についてのトラ
フィックログをCloudWatch Logsへ出力する
• ネットワークインタフェース(ENI)ごとに取得(ENIがログス
トリーム)
Flow Log レコードの項目
フィールド 説明
version VPC flow logsのバージョン
account-id flow logを取得したAWSアカウント
interface-id ログストリームが適用されているネットワークインタフェースのID
srcaddr 送信元アドレス(※)
dsraddr 送信先アドレス(※)
srcport 送信元ポート
dsrport 送信先ポート
protocol IANAで定義されたプロトコル番号
packets キャプチャウインドウの中で取得したパケット数
bytes キャプチャウインドウの中で取得したバイト数
start キャプチャウインドウ開始時のUNIX時間
end キャプチャウインドウ終了時のUNIX時間
action トラフィックのアクション(ACCEPT/REJECT)
log-status ログステータス(OK/NODATA/SKIPDATA)
Flow Log レコード:
http://docs.aws.amazon.com/AmazonVPC/latest/UserGuide/flow-logs.html#flow-log-records
各環境固有のログ
環境固有のログ
各サービスで必要な情報のこと
• アプリケーションログ
• アクティビティログ
• セキュリティログ
• センサーログ
• アクセスログ
• その他その他その他
ログの取得の仕方
アプリケーションの種別により必要なリードタイムがある
例えば、、、
• リアルタイムな処理をしなくてもいいならバッチ取得
• 受け取ったログを元にリアルタイム処理を行う必要があるの
であればストリーム取得
取得の仕方まとめましょう
トラディショナルなログファイル転送
トラディショナルな運用
• 各サーバからログをscp等で送信
• rsyslog, syslog-ngなどのエージェントを使用
• 保存先をS3にすることでログ収集サーバのストレージ容量を削
減可能
APP ログ収集サーバ
scp等で収集
APP ログ収集サーバ
rsyslog/syslog-ng等
でログ送信
S3に
アップロード
Amazon
S3
トラディショナルなログファイル転送
基本的には非推奨
• スケールしない
• 収集速度の限界
• SPOFがあり、運用負荷が高い
APP ログ収集サーバ
スケールアウ
トできない/
しにくい
APP ログ収集サーバ
スケールアウ
トできない/
しにくい
Amazon
S3
ミドルウェアアプリケーションの利用
Push型を推し進める方向性
ログ送信のためのミドルウェアを使用することで柔軟な運
用が可能
Fluentd
Treasure Data 社がOSS として開発
• ログ収集管理ツール
• Rubyで柔軟性の高い入出力プラグイン
• バッファリング機能をデフォルトで持つ
• File Buffer
• Memory Buffer
• ログのルーティング/フィルタリングが容易
• S3に投げつつ一部はローカル保存のみとか。
Fluentdのリファレンス構成
Fluentdの多段構成
• 途中にAggregate Serverを経由し安定性向上/運用コスト削減
• Aggregate Serverのリソース確保と冗長性に考慮が必要
APP
Aggregate
Serverから各
サービスに
転送
細かい設定変更は
Aggregate server上で
行う
aggregate
server
Amazon
S3
Amazon
DynamoDB
ここで満を持してマネージドサービスが登場
マネージドサービスの利用
ログを効率よく取得するためのサービス達
• Kinesis Streams
• Kinesis Firehose
• CloudWatch Logs
Kinesis Streams
• 生成されるデータをリアルタイムに近い状況でデータ処理部に
伝送
• AWSのサービスとの簡単インテグレーション
• 目的に応じた処理を並列処理することが可能
フルマネージド型リアルタイム大規模ストリーミング処理
KinesisStreams
エ
ン
ド
ポ
イ
ン
ト
シャード 0
シャード 1
シャード ..N
ストリーム
データ送信側
データ処理側
Amazon S
DynamoD
Amazon Red
Amazon EM
データ
レコード
Lambda
EC2
Kinesis Firehose
• 管理不要
• アプリケーション実装やインフラ管理を一切行わずに Amazon S3 /
Amazon Redshift / Amazon ES にデータを配信可能
• データストアとダイレクトに統合
• ストリーミングデータのバッチ化・圧縮・暗号化が可能
• シームレスにスケール
ストリーミングデータを Amazon S3, Amazon ES などへ簡単にロード
Fluent plugin for Amazon Kinesis
FluentdからKinesisにログを
直接送信するためのプラグイ
ン
3つのoutputサポート
• Kinesis Streams用
• kinesis_streams
• kinesis_producer(KPL対応)
• Kinesis Firehose用
• kinesis_firehose
https://github.com/awslabs/aws-fluent-plugin-kinesis
# Kinesis Streams用設定例
<match your_tag>
@type kinesis_producer
region us-east-1
stream_name your_stream
partition_key key
</match>
# Kinesis firehose用設定例
<match your_tag>
@type kinesis_firehose
region us-east-1
delivery_stream_name your_stream
</match>
Kinesis Streams を使った構成
Fluentd AggregateサーバをKinesis Streamsへ
• スケールアウトの構成を簡単に組める
• ログを取得して各サービスと連携するためにLambdaやEC2が必
要(Lambdaがかんたん)
APP
Kinesis Streamsから
LambdaやEC2アプ
リケーションでロ
グを取得してS3等
に格納
APPサーバのfluentdは
fluent-plugin-kinesisを使
用してKinesis Streamsへ
転送
Amazon
S3
Amazon
DynamoDB
Kinesis
Streams AWS
Lambda
ログ収集サーバ
(KCL動作)
OR
Kinesis firehose を使った構成
Kinesis firehoseを使用
• 他サービスへの連携にEC2やLambdaを使う必要がなくなる
• スケールアウトも自動
• AWS Summit Tokyo2017であと2ヶ月が東京リージョンでリ
リース予定(予定は未定です)と発表!!!
APP Amazon
S3
Amazon
DynamoDB
Kinesis
Firehose
各アプリケー
ションはKinesis
Streams と同様に
fluentd経由でロ
グ送信
Kinesis Firehoseを使用
することでアプリ
ケーションを介在す
ること無く他サービ
スと連携可能
CloudWatch Logs
EC2のログ転送もCloudWatch Logsで行う
ログの転送時に複雑なことをしたい場合には向かないが、
単純にログを転送したい場合は簡単にログ送信が可能
APP
Amazon
S3
Amazon
CloudWatch Logs
各インスタンスに
インストールした
CloudWatch Logs
エージェント経由
でログ送信
Batch処理的にS3に送
信する事も可能
CloudWatch Logs : ServerLess(AWS Lambda)
サーバレスアーキテクチャを実現する場合もLambdaは実
行時のログをCloudWatch Logsに出力
Amazon
S3
Amazon
CloudWatch Logs
Lambdaの実行結果
をCloudWatch Logs
に出力
AWS
Lambda
CloudWatch Logs : Container
Docker 1.9以降でawslogsログドライバが取り込まれて入
りログ転送をCloudWatch Logsで行うことが可能
Docker
App
Amazon
S3
Amazon
CloudWatch Logs
awslogsログドライ
バを使用して
CloudWatch Logsに
ログ出力
おわかりいただけただろうか、、、
全てのログをS3へ貯め続ける
S3はAWSのデータのハブ(データレイク)として非常に
重要な役割を担っている
あとから自由に分析処理(ETL)を変更可能
S3の耐久性で安全に保存可能
消したログは二度と帰ってこない
非常に安価にデータを保存できる(Glacierや、低頻度アク
セスストレージも併用可能)
データレイク on AWS
あらゆるデータが集まるス
トレージ
• 構造化データも非構造
化データも
様々なデータを跨いで分析
Amazon S3が最適
• Athena/EMR/Redshift
等を活用
• IA/GlacierでTiered
DB
各種クライアント
メディア
ファイル
多様な
データベース
サーバ
Amazon Kinesis
Amazon S3
Amazon Glacier
Amazon EMR Amazon Redshift Amazon
Machine Learning
Amazon
Athena
ログの活用
Amazon Athena を活用
• Amazon S3に置いたデータに直接SQL実行可
• AthenaはPrestoで提供するSQL Engineが利用で
き、JSON, CSV, ログファイル, 区切り文字のある
テキストファイル, Apache Parquet, Apache
ORCなど対してクエリが可能
• ペタバイトクラスのデータに対するクエリをサ
ポートJDBC、CLI、API経由で実行可能
• バージニア、オレゴンをはじめ東京でも利用可能
• スキャンしたデータ1TBあたり$5の料金
プリプロセスの簡略化
EMRなどを使う必要もないのでHadoopの知識も必要無い
Amazon RedshiftAmazon Athena
• 非構造化データの構造化・整形
• 構造化データのフィルタリング
• S3へ変形済データを出力
サマリー
テーブル
ファクト
テーブル
マート・サマ
リー表の更新を
SQLで実行
Amazon S3
全データ 変形済データ
CloudTrail + Amazon Athena
Athena はCloudTrailのログ形
式をデフォルトでサポートし
ている
「○○時にS3のAPIを叩いや
つを全部出せ」
「認証エラーしているやつを
全部出せ」
かんたんかつ自由自在
CloudTrail Amazon Athena
Amazon S3 Backet
① ②
Athena の主なユースケース
ユースケース データ ユーザ
新しく取得したデータに対して,
DWに入れる価値があるか探索的に検証
新しく取得したデータ アナリスト
利用頻度の低い過去のデータに対する,
BIツール経由のアドホックな分析
コールドデータ アナリスト
Webサーバで障害が発生したときに,
ログを漁って原因追求
アクセスログ サーバ運用
大規模でないデータに対しての,
低頻度で実施するETL処理
生データ 開発者
システム構成例
APP
AWS
Lambda
バッチサーバ
Kinesis
Firehose
Elasticsearch
Service
RedShift クラスタ
Amazon
S3
Amazon
S3
ETL
Amazon Athena
Kinesis
Analytics
CloudWatch
Logs
ログ監視
Slack
ユーザ
Aurora
アプリ側から使う
集計バッチ
DynamoDB
Kinesis
Firehose
EMR クラスタ
DL/MLなど
DWH
リアルタイムのサマ
リデータ取得
まとめ
ログの取得や集約はクラウド上でも既存環境と同等、更に
AWSのサービスを使用する事で堅牢かつ便利にそしてス
ケーラブルにできる
S3はデータレイクとして非常に優れたアーキテクチャに
なっている、Athenaを始めとしたログを解析する手段は非
常に数多く用意されており、データレイクとしてのS3を上
手く活用することでビジネスの精度を上げるための道具と
する
Q&A
56
AWSのログ管理ベストプラクティス

More Related Content

What's hot

What's hot (20)

20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver
 
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...
 
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
 
AWSではじめるMLOps
AWSではじめるMLOpsAWSではじめるMLOps
AWSではじめるMLOps
 
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
 
[社内勉強会]ELBとALBと数万スパイク負荷テスト
[社内勉強会]ELBとALBと数万スパイク負荷テスト[社内勉強会]ELBとALBと数万スパイク負荷テスト
[社内勉強会]ELBとALBと数万スパイク負荷テスト
 
202205 AWS Black Belt Online Seminar Amazon VPC IP Address Manager (IPAM)
202205 AWS Black Belt Online Seminar Amazon VPC IP Address Manager (IPAM)202205 AWS Black Belt Online Seminar Amazon VPC IP Address Manager (IPAM)
202205 AWS Black Belt Online Seminar Amazon VPC IP Address Manager (IPAM)
 
Infrastructure as Code (IaC) 談義 2022
Infrastructure as Code (IaC) 談義 2022Infrastructure as Code (IaC) 談義 2022
Infrastructure as Code (IaC) 談義 2022
 
The Twelve-Factor Appで考えるAWSのサービス開発
The Twelve-Factor Appで考えるAWSのサービス開発The Twelve-Factor Appで考えるAWSのサービス開発
The Twelve-Factor Appで考えるAWSのサービス開発
 
Serverless時代のJavaについて
Serverless時代のJavaについてServerless時代のJavaについて
Serverless時代のJavaについて
 
AWS BlackBelt AWS上でのDDoS対策
AWS BlackBelt AWS上でのDDoS対策AWS BlackBelt AWS上でのDDoS対策
AWS BlackBelt AWS上でのDDoS対策
 
20200630 AWS Black Belt Online Seminar Amazon Cognito
20200630 AWS Black Belt Online Seminar Amazon Cognito20200630 AWS Black Belt Online Seminar Amazon Cognito
20200630 AWS Black Belt Online Seminar Amazon Cognito
 
20190911 AWS Black Belt Online Seminar AWS Batch
20190911 AWS Black Belt Online Seminar AWS Batch20190911 AWS Black Belt Online Seminar AWS Batch
20190911 AWS Black Belt Online Seminar AWS Batch
 
AWS Black Belt Online Seminar 2017 Amazon DynamoDB
AWS Black Belt Online Seminar 2017 Amazon DynamoDB AWS Black Belt Online Seminar 2017 Amazon DynamoDB
AWS Black Belt Online Seminar 2017 Amazon DynamoDB
 
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
 
KeycloakでAPI認可に入門する
KeycloakでAPI認可に入門するKeycloakでAPI認可に入門する
KeycloakでAPI認可に入門する
 
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
 
Kongの概要と導入事例
Kongの概要と導入事例Kongの概要と導入事例
Kongの概要と導入事例
 
20190514 AWS Black Belt Online Seminar Amazon API Gateway
20190514 AWS Black Belt Online Seminar Amazon API Gateway 20190514 AWS Black Belt Online Seminar Amazon API Gateway
20190514 AWS Black Belt Online Seminar Amazon API Gateway
 
AWSで作る分析基盤
AWSで作る分析基盤AWSで作る分析基盤
AWSで作る分析基盤
 

Similar to AWSのログ管理ベストプラクティス

やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまでやりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
Daisuke Masubuchi
 
今明かす、Windows Azure の全貌 - Virtualization Summit
今明かす、Windows Azure の全貌 - Virtualization Summit今明かす、Windows Azure の全貌 - Virtualization Summit
今明かす、Windows Azure の全貌 - Virtualization Summit
fumios
 

Similar to AWSのログ管理ベストプラクティス (20)

[Black Belt Online Seminar] AWS上でのログ管理
[Black Belt Online Seminar] AWS上でのログ管理[Black Belt Online Seminar] AWS上でのログ管理
[Black Belt Online Seminar] AWS上でのログ管理
 
ログ管理のベストプラクティス
ログ管理のベストプラクティスログ管理のベストプラクティス
ログ管理のベストプラクティス
 
Azure Monitor Logで実現するモダンな管理手法
Azure Monitor Logで実現するモダンな管理手法Azure Monitor Logで実現するモダンな管理手法
Azure Monitor Logで実現するモダンな管理手法
 
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch LogsAWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
AWS Blackbelt 2015シリーズ Amazon CloudWatch & Amazon CloudWatch Logs
 
Rails3+devise,nginx,fluent,S3構成でのアクセスログ収集と蓄積
Rails3+devise,nginx,fluent,S3構成でのアクセスログ収集と蓄積Rails3+devise,nginx,fluent,S3構成でのアクセスログ収集と蓄積
Rails3+devise,nginx,fluent,S3構成でのアクセスログ収集と蓄積
 
WindowsAzureの長所を活かすクラウド アプリ開発(PDF版)
WindowsAzureの長所を活かすクラウド アプリ開発(PDF版)WindowsAzureの長所を活かすクラウド アプリ開発(PDF版)
WindowsAzureの長所を活かすクラウド アプリ開発(PDF版)
 
JAWS-UG アーキテクチャ専門支部 re:Invent Management Tools ダイジェスト
JAWS-UG アーキテクチャ専門支部 re:Invent  Management Tools ダイジェストJAWS-UG アーキテクチャ専門支部 re:Invent  Management Tools ダイジェスト
JAWS-UG アーキテクチャ専門支部 re:Invent Management Tools ダイジェスト
 
LambdaとMobileの美味しいかもしれない関係
LambdaとMobileの美味しいかもしれない関係LambdaとMobileの美味しいかもしれない関係
LambdaとMobileの美味しいかもしれない関係
 
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまでやりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
 
IBM Cloudant の細かすぎて伝わりにくい機能(その2) データの変更履歴が自動管理できるらしい
IBM Cloudant の細かすぎて伝わりにくい機能(その2) データの変更履歴が自動管理できるらしいIBM Cloudant の細かすぎて伝わりにくい機能(その2) データの変更履歴が自動管理できるらしい
IBM Cloudant の細かすぎて伝わりにくい機能(その2) データの変更履歴が自動管理できるらしい
 
PHP on Cloud
PHP on CloudPHP on Cloud
PHP on Cloud
 
Flume cassandra real time log processing (日本語)
Flume cassandra real time log processing (日本語)Flume cassandra real time log processing (日本語)
Flume cassandra real time log processing (日本語)
 
20180508 AWS Black Belt Online Seminar AWS Greengrassで実現するエッジコンピューティング
20180508 AWS Black Belt Online Seminar AWS Greengrassで実現するエッジコンピューティング20180508 AWS Black Belt Online Seminar AWS Greengrassで実現するエッジコンピューティング
20180508 AWS Black Belt Online Seminar AWS Greengrassで実現するエッジコンピューティング
 
スマートニュースの世界展開を支えるログ解析基盤
スマートニュースの世界展開を支えるログ解析基盤スマートニュースの世界展開を支えるログ解析基盤
スマートニュースの世界展開を支えるログ解析基盤
 
[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS -AWS を活用したログ分析とセキュリティモニ...
[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS  -AWS を活用したログ分析とセキュリティモニ...[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS  -AWS を活用したログ分析とセキュリティモニ...
[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS -AWS を活用したログ分析とセキュリティモニ...
 
今明かす、Windows Azure の全貌 - Virtualization Summit
今明かす、Windows Azure の全貌 - Virtualization Summit今明かす、Windows Azure の全貌 - Virtualization Summit
今明かす、Windows Azure の全貌 - Virtualization Summit
 
Programming AWS with Perl at YAPC::Asia 2013
Programming AWS with Perl at YAPC::Asia 2013Programming AWS with Perl at YAPC::Asia 2013
Programming AWS with Perl at YAPC::Asia 2013
 
JAWS-UG Meets Windows (JAWS Days 2017)
JAWS-UG Meets Windows (JAWS Days 2017)JAWS-UG Meets Windows (JAWS Days 2017)
JAWS-UG Meets Windows (JAWS Days 2017)
 
サーバー管理よ、サヨウナラ。サーバーレス アーキテクチャの意義と実践
サーバー管理よ、サヨウナラ。サーバーレス アーキテクチャの意義と実践サーバー管理よ、サヨウナラ。サーバーレス アーキテクチャの意義と実践
サーバー管理よ、サヨウナラ。サーバーレス アーキテクチャの意義と実践
 
ソーシャルゲームログ解析基盤のMongoDB活用事例
ソーシャルゲームログ解析基盤のMongoDB活用事例ソーシャルゲームログ解析基盤のMongoDB活用事例
ソーシャルゲームログ解析基盤のMongoDB活用事例
 

More from Akihiro Kuwano

アメーバピグにおける自作サーバ運用それからどうなった
アメーバピグにおける自作サーバ運用それからどうなったアメーバピグにおける自作サーバ運用それからどうなった
アメーバピグにおける自作サーバ運用それからどうなった
Akihiro Kuwano
 
CyberAgentにおけるMongoDB
CyberAgentにおけるMongoDBCyberAgentにおけるMongoDB
CyberAgentにおけるMongoDB
Akihiro Kuwano
 
勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。
勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。
勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。
Akihiro Kuwano
 
MongoDBのはじめての運用テキスト
MongoDBのはじめての運用テキストMongoDBのはじめての運用テキスト
MongoDBのはじめての運用テキスト
Akihiro Kuwano
 
AmebaのMongoDB活用事例
AmebaのMongoDB活用事例AmebaのMongoDB活用事例
AmebaのMongoDB活用事例
Akihiro Kuwano
 
やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)
やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)
やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)
Akihiro Kuwano
 
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)
Akihiro Kuwano
 
オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。
オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。
オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。
Akihiro Kuwano
 

More from Akihiro Kuwano (20)

今日はMongoDBの話はしない
今日はMongoDBの話はしない今日はMongoDBの話はしない
今日はMongoDBの話はしない
 
銀河レベルのLT(とは)
銀河レベルのLT(とは)銀河レベルのLT(とは)
銀河レベルのLT(とは)
 
AWSのNoSQL入門
AWSのNoSQL入門AWSのNoSQL入門
AWSのNoSQL入門
 
ビックデータ最適解とAWSにおける新しい武器
ビックデータ最適解とAWSにおける新しい武器ビックデータ最適解とAWSにおける新しい武器
ビックデータ最適解とAWSにおける新しい武器
 
MongoDBの可能性の話
MongoDBの可能性の話MongoDBの可能性の話
MongoDBの可能性の話
 
実環境にTerraform導入したら驚いた
実環境にTerraform導入したら驚いた実環境にTerraform導入したら驚いた
実環境にTerraform導入したら驚いた
 
インフラエンジニアってなんでしたっけ(仮)
インフラエンジニアってなんでしたっけ(仮)インフラエンジニアってなんでしたっけ(仮)
インフラエンジニアってなんでしたっけ(仮)
 
WiredTigerストレージエンジン楽しい
WiredTigerストレージエンジン楽しいWiredTigerストレージエンジン楽しい
WiredTigerストレージエンジン楽しい
 
NVMFS 使ってみたとか 言っちゃって マジカジュアルな奴
NVMFS 使ってみたとか 言っちゃって マジカジュアルな奴NVMFS 使ってみたとか 言っちゃって マジカジュアルな奴
NVMFS 使ってみたとか 言っちゃって マジカジュアルな奴
 
Chef環境の闇
Chef環境の闇Chef環境の闇
Chef環境の闇
 
アメーバピグにおける自作サーバ運用それからどうなった
アメーバピグにおける自作サーバ運用それからどうなったアメーバピグにおける自作サーバ運用それからどうなった
アメーバピグにおける自作サーバ運用それからどうなった
 
CyberAgentにおけるMongoDB
CyberAgentにおけるMongoDBCyberAgentにおけるMongoDB
CyberAgentにおけるMongoDB
 
後悔しないもんごもんごの使い方 〜サーバ編〜
後悔しないもんごもんごの使い方 〜サーバ編〜後悔しないもんごもんごの使い方 〜サーバ編〜
後悔しないもんごもんごの使い方 〜サーバ編〜
 
勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。
勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。
勉強会コミュニティがぼくの エンジニア人生にもたらした事。 あと、NoSQLとの付き合い方。
 
MongoDBのはじめての運用テキスト
MongoDBのはじめての運用テキストMongoDBのはじめての運用テキスト
MongoDBのはじめての運用テキスト
 
AmebaのMongoDB活用事例
AmebaのMongoDB活用事例AmebaのMongoDB活用事例
AmebaのMongoDB活用事例
 
MongoDBのアレをアレする
MongoDBのアレをアレするMongoDBのアレをアレする
MongoDBのアレをアレする
 
やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)
やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)
やさぐれギンガさんのアーキテクチャ入門(ためしてガッテン)(仮)
 
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)
大規模化するピグライフを支えるインフラ ~MongoDBとChefについて~ (前編)
 
オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。
オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。
オンプレエンジニアがクラウドエンジニアを夢見て。じっと手を見る。
 

Recently uploaded

研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
atsushi061452
 

Recently uploaded (12)

2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
 
Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )Intranet Development v1.0 (TSG LIVE! 12 LT )
Intranet Development v1.0 (TSG LIVE! 12 LT )
 
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
部内勉強会(IT用語ざっくり学習) 実施日:2024年5月17日(金) 対象者:営業部社員
 
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
研究紹介スライド: オフライン強化学習に基づくロボティックスワームの制御器の設計
 
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
 
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイルLoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
 
Keywordmap overview material/CINC.co.ltd
Keywordmap overview material/CINC.co.ltdKeywordmap overview material/CINC.co.ltd
Keywordmap overview material/CINC.co.ltd
 
情報を表現するときのポイント
情報を表現するときのポイント情報を表現するときのポイント
情報を表現するときのポイント
 
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
 
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
ロボットマニピュレーションの作業・動作計画 / rosjp_planning_for_robotic_manipulation_20240521
 
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdfネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
 
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアルLoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
 

AWSのログ管理ベストプラクティス