これからはじめるログ分析

1. 1

2. これからはじめるログ分析
ログ分析勉強会 vol.2
⼩林 賢司

3. ⾃⼰紹介
• ⼩林 賢司 (コバケン）
• 会社︓フォージビジョン株式会社
• 仕事︓AWSいじりとたまにログいじり
• 資格︓AWS認定ソリューションアーキテクト Pro
• 好き︓⼩出さん、爆盛油脂麺、AWS Lambda
• 嫌い︓regex
3

4. まず、はじめに
ハッシュタグ、
#logben
でツイートいただけると嬉しいです。
4

5. まず、はじめに
ここで話す内容は、あくまでも個⼈的⾒解ですので、
こうしたほうがいいんじゃない︖など、アドバイスがあれば教えて
下さい。
また、最近はあまりログ分析をしていないので、
僕もみなさんと⼀緒に勉強していきたいと思っています。
ログ分析について語りながら飲める友達がほしいです。
五反⽥は美味しい飲み屋さんたくさんあります。
5

6. まず、はじめに
４年ぶりに皆さんに質問させてください。
ログ活⽤されてますか︖
溜めているだけじゃないですか︖
分析結果は何かに活かされていますか︖
6

7. お話すること
• ログ分析について
• ログ分析の⽬的
• ログ分析を始める際の課題
• 今まで使ってきた主な分析サービス群
• まとめ
7

8. ログ分析について
ログ分析とは、システム、アプリケーション、機器などから出⼒
されるログ情報（記録される情報・証跡）を収集・集約して、
ログ内に含まれている情報を分類、整理、成形すること。
例えば、障害時の傾向を分類したり、アクセス情報を整理するこ
とで、不正なアクセスが原因で障害が発⽣していることを特定し
たり、判断したりすることができます。
8
世の中にある、ログは
分析できるはず︕︕

9. そもそも分析って︖
• ログ分析じゃなくてログをまとめてるだけじゃないの︖
分析（ぶんせき、希: ἀνάλυσις、羅、英: Analysis、 独、仏: Analyse）は、
１．ある物事を分解して、それらを成⽴させている成分・要素・側⾯を明らかにすること。
２．物質の鑑識・検出、また化学的組成を定性的・定量的に鑑別すること。記事 分析化学に詳しい。
３．概念の内容を構成する諸徴表を各個別に分けて明らかにすること。
４．証明するべき命題から、それを成⽴させる条件へ次々に遡っていくやり⽅。
※wikipediaより
まとめるのも分析の⼀つです。ただし、まとめた内容を⾒て
理解できて、活⽤できるかが重要です。
9

10. ログ分析の⽬的
ログ分析の⽬的は、置かれる環境、組織、求められる結果によって
変わってくる。また、現状の課題によっても変わってくる。
10
つまり、現状の課題とログで何がしたいのかを整理する必要がある︕
そもそも、ログに何が出⼒されているのかも重要︕
※出⼒されていないモノは、分析できない。
※付加情報を組み合わせることはできる︕︕

11. 守りのログ分析
攻めのログ分析
ログ分析の⽬的
• IT監査
Øシステム、セキュリティ監査対応、リスク対応
• セキュリティ対策
Ø外部からの不正アクセス、内部統制
• システム監視
Øシステムの稼働状態の把握、システムリソースの監視、障害検知
• マーケティング施策
ØWebマーケティング、アクセス解析、投資効果の判断材料
• 業務効率化
11

12. ログ分析を始める際の課題
• ログ分析をして得られる効果は︖
• どのログを分析すればいいの︖
• ログ分析って難しくない︖
• ログ分析のツールを使ったほうがいいの︖
• ログを集める仕組みがないよー。
12

13. ログ分析を始める際の課題
• ログ分析をして得られる効果は︖
Ø根本的なところを⾔えば、ログを分析することで、傾向・予測・リスクなど
を事前に把握できる効果がある。
Øあるいは、ログ分析した結果を元に、問題や課題解決に対する、エビデンス
や参考資料、判断材料になる。
13

14. ログ分析を始める際の課題
• どのログを分析すればいいの︖
1. ⼤まかな分析したい⽬的を決める。
Ø いつどのコンテンツにアクセスが多いのか︖
2. ⽬的に応じた、最⼩限のログを対象とする。
Ø アクセスログ、データベースログなど
3. 分析したい項⽬を洗い出す。
Ø アクセスログのリクエストURLパス情報やデータベースログのトランザクションログ
4. 分析をはじめてみる。
Ø時間帯毎にどのコンテンツにアクセスが多いのかを集計してみる。
⼩さなところか、まず始めてみましょう︕
14

15. ログ分析を始める際の課題
• ログ分析って難しくない︖
分析する内容によっては、難しい場合もありますが、
まずは、簡単なところから始めればよいと思います。
たとえば、Webサービスを分析するとき、
アクセスログのHTTPステータスコードやアプリケーションのエラーログな
どから、どのアプリケーションで、どの時間帯でエラーが多く発⽣している
かを分析してみましょう。
分析・可視化していくことで、急激なアクセス増加により、アプリケーショ
ンエラーが発⽣していたり、DBサーバ側のリソース不⾜や、トランザクショ
ン処理に時間がかかっているケースなどにより、エラーが発⽣しているなど
の因果関係が分かる場合もあります。
15

16. ログ分析を始める際の課題
• ログを集める仕組みがないよー。
いろいろな⽅法がありますので、本勉強会に通い続けてください。笑
本勉強会は、ログ分析をこれから始める⽅、バリバリ実施されている⽅の
情報交換の場として作られたコミュニティなので、
ぜひ、登壇者やまわりの⽅に質問をしてみてください。
僕でも構いませんよ︕
16

17. ログ分析を始める際の課題
• ログ分析のツールを使ったほうがいいの︖
1. ⽬的・課題によって使うべきかを判断する。
Ø ログ分析に現状どれくらい時間を掛けているのか。
Ø ログ分析の頻度はどれくらいなのか。
Ø ログ分析から何を求めるか。
2. 想定される導⼊メリットは︖
Ø 独⾃のクエリがあるので、検索・分析が簡単
Ø 分析した結果を共有したり、ダッシュボードで出⼒することができる。
Ø 機械学習機能などを利⽤して、予測を⽴てたり、異常値分析なども簡単にできる。
Ø 業務効率化、定型的な調査作業や障害調査などの効率化
Ø ログ分析した結果をアラート発砲など、⾃動化の仕組みを取り得られる
Ø ログデータの可視化と統合
17

18. 今まで使ってきた主な分析サービス群
主に使ってきた︖触ってきたログ分析ツール
18
70%
10%
20%

19. 今まで使ってきた主な分析サービス群
19
Splunk Elasticsearch SumoLogic
利用環境 ・オンプレミス
・IaaS
・SaaS
・オンプレミス
・IaaS
・SaaS
・SaaS
主な利用用途 ・ビックデータ分析
・ログ分析
・メトリクス分析
・全文検索エンジン
・ログ分析
・メトリクス分析
・ログ分析
・メトリクス分析
サーチクエリ ・SPL(Search Processing
Language)
※独自クエリ
・KQL (Kibana Query Language)
※独自クエリ
・Query DSL(json)
・Elasticsearch SQL
※標準的なSQLクエリ
・SumoLogic独自クエリ
ライセンス体系 Enterprise Gold、Platinum、Enterprise Professional、Enterprise
フリーライセンス あり※1日500MBまで、機能
制限あり
オープンソース or Basic
あり※機能制限あり
あり※1日500MBまで、機
能制限あり
個人的な感覚 ・クラウドに出せないデータで
利用するイメージ
※多分そんなことはない。
・オープンソースでやりたい人向け
のイメージ
※違ってたらごめんなさい。
・クラウド特化型

20. 今まで使ってきた主な分析サービス群
• Splunkのクエリイメージ
20
source="tutorialdata.zip:./www1/access.log" clientip="107.3.146.207"

21. 今まで使ってきた主な分析サービス群
• Elasticsearch(Kibana)のクエリイメージ
21
clientip:69.186.242.156

22. 今まで使ってきた主な分析サービス群
• SumoLogicのクエリイメージ
22
_sourceCategory="www1/apache"| where clientip matches "182.236.164.11"

23. 今まで使ってきた主な分析サービス群
• Splunk、Elasticsearchともに元々は、オンプレミス、IaaS向けで
サービスを展開していた。
• ログ分析は、次のフェーズに移⾏しており、SumoLogicのように
クラウド型(SaaS)へシフトしてきた。
• Splunk、Elasticsearch、SumoLogicともにSaaSサービスを提供
している。そのため、ログ分析をする際には、SaaSサービスを有
効活⽤することで、ログ分析を今まで以上にスピーディーに始めら
れる。※初期の環境構築やキャパシティプランニングが不要に
23

24. まとめ
• 現状の課題を明確にする︕
• ログ分析の⽬的を明確にする︕
• まずは、集めて集計するところから︕
• 複雑な分析⼿法は必要ない︕
• ログ分析ツールは、SaaS、クラウドを活⽤していこう︕
24

25. さいご１
さぁ、ログ分析を⼀緒に始めていこうじゃないですか︕
25

26. さいごに２
• 登壇者募集してます︕︕
• 次は、4年後にならないようにします︕︕
26