統合ログ分析技術Lognosisと運用ログ分析の取組

Copyright©2019 NTT corp. All Rights Reserved.
統合ログ分析技術Lognosisと
運用ログ分析の取組
NTT ソフトウェアイノベーションセンタ
◎外山将司，東羅翔太郎，豊田真智子
http://www.sic.ecl.ntt.co.jp/

2Copyright©2019 NTT corp. All Rights Reserved.
Q：ログってどうしてますか？
A：もちろん、ちゃんと保存はしてますよ
何かあったときに見に行けるように・・・
 貴重な情報を眠らせているかもしれません！
はじめに

• 背景
• 統合ログ分析技術Lognosis
• テキストログを用いた運用ログ分析
• まとめ
目次

コスト削減はもとより、以下のような理由が存在
• プロタクトのライフサイクルの短期化
• OSSなどの活用によるプロダクトの複雑化
• 生産年齢人口の減少を想定した事業継続への備え
AIによる運用高度化への期待
国内オープンソースソフトウェア利用実態
https://www.obci.jp/wp-content/uploads/2017/09/170909_OSS_hitachisol.pd
10年前のライフサイクルとの比較（経産省）
http://www.meti.go.jp/report/whitepaper/mono/2016/html/honnbunn/101032_1.html

参考）生産年齢人口の減少を想定した事業継続への備え
2030に向けて取り組むべき課題より
http://www.soumu.go.jp/main_content/000461465.pdf

・データ分析一般の課題であるデータの準備，整形・
前処理，分析結果の評価基準など環境が整っており，
比較的分析に取り組みやすい．
ログ分析の特徴と課題
日常的に取得・保存済
プログラムによる出力のため
比較的容易
KPIが明確
（運用改善・コスト削減）
データ
準備
前処理
評価
特徴

・データ分析一般の課題であるデータの準備，整形・
前処理，分析結果の評価基準など環境が整っており，
比較的分析に取り組みやすい．
・一方でシステム毎に個々の現実的な課題あり
ログ分析の特徴と課題
日常的に取得・保存済
プログラムによる出力のため
比較的容易
過去ログの廃棄
大量・未整理
故障ログのみ消失
取得条件が不明
絶妙に違うフォーマット
Typo
KPIが明確
（運用改善・コスト削減）
運用への導入コスト増
故障予知≠即時交換
『そんなの知ってるわ』
データ
準備
前処理
評価
特徴課題

統合ログ分析技術の背景
• 監視対象リソースの増加や、OSS活用に伴うシステムの大規模・
複雑化
• ログの種類も多種・多量、ログメッセージ一覧の未整備
• 経験や勘に基く現状の故障監視・分析・措置では回らなくなりつつある
• 効率的な運用のために、ログ・挙動の可視化と、プロアクティブ
な監視・保全が重要
• 大きな影響がない軽微な異常の段階で対応しておくことで、重大な故障
の予防保全につながる（ハインリッヒの法則）
• 蓄積されたログデータから、人間では把握困難な情報を抽出・可視化

統合ログ分析技術の背景
• 監視対象リソースの増加や、OSS活用に伴うシステムの大規模・
複雑化
• ログの種類も多種・多量、ログメッセージ一覧の未整備
• 経験や勘に基く現状の故障監視・分析・措置では回らなくなりつつある
• 効率的な運用のために、ログ・挙動の可視化と、プロアクティブ
な監視・保全が重要
• 大きな影響がない軽微な異常の段階で対応しておくことで、重大な故障
の予防保全につながる（ハインリッヒの法則）
• 蓄積されたログデータから、人間では把握困難な情報を抽出・可視化
システム知識無しに、自動的にログを分類・可視化、
蓄積データから機械的にログパターンを抽出し、
従来できなかったログの可視化、監視を実現

• 背景
• まとめ
目次

統合ログ分析技術Lognosis
システムから得られるSyslog等のテキストログと性能
データ等の数値ログの両方から、人手では抽出できな
かったシステムの振舞いや異常をデータマイニング・機
械学習技術により自動的に抽出する技術

テキストログ分析技術

• 数億行/日のログを数千種類に自動分類し、ログの可視化を実現
• ある原因に付随する一連の影響が、時系列的な流れとして記録さ
れると想定し、その流れをログパターンとして抽出
• システム内の定期イベントや、工事・障害に伴って現れる不定期
イベント等、人手では気付けなかった振舞いを発見
テキストログ分析
可
視
化
・
行
列
化
ロ
グ
パ
タ
ー
ン
抽
出
日次処理(定期バッチ)
平日業務関連
OpenstackのゲストOS管理(glance)
552 [1745] INFO glance.registry.client.v1.client [b9428d8d-1690-
4736-ba4e-5d2b42155668 xxx@yyy.co.jp
8af4d26804334131a27d14784a991901 - - -] Registry client
request GET /images/c14da225-98c8-4cae-a54c-e83590dafd47
raised NotFound
623 [1730] INFO glance.registry.api.v1.images [3ac2ff91-8028-
4a99-b145-ee13305b9e84 kazuhiro@zzz.co.jp
8af4d26804334131a27d14784a991901 - - -] Image d9d80645-
5be9-4f4e-80d7-f9d3acf56b21 not found
643 172.20.252.16 - - +-[30/Apr/2017:17:43:51 +0900] +-"POST
+-/static/dashboard/fonts/Anivers_Regular-webfont.woff?
2c3db88030ec HTTP/1.1" +-404 +-29432 +-"https://
openstack.pf.zzz.ne.jp/project/instances/6eb03b80-25d9-4ffb-
83ac-07cc1e706638/?tab=instance_details__console" "Mozilla/
5.0 (Windows NT 6.1; WOW64; +-rv:40.0) Gecko/20100101
+-Firefox/40.0"
152 container-replicator NULL Replication run OVER
150 container-replicator NULL Beginning replication
run
151 container-replicator NULL Removed 0 dbs
149 container-replicator NULL Attempted to replicate
1 dbs in 0.01326 seconds (75.39723/s)
148 container-replicator NULL 2 successes, 0 failures
レプリケーション処理 14 sudo NULL zabbix : TTY=unknown ; PWD=/ ; USER=root ;
COMMAND=/usr/local/monitoring/bin/
check_crm_resource.sh ControlChildStonith1-3
13 crm_resource NULL [48096]: info: Invoked:
crm_resource -W -r ControlChildStonith1-3
4 sshd 25489 Connection closed by 172.20.4.86
15 sudo NULL zabbix : TTY=unknown ; PWD=/ ; USER=root ;
COMMAND=/usr/local/monitoring/bin/check_fswrite.sh /
5 sudo NULL zabbix : TTY=unknown ; PWD=/ ; USER=root ;
COMMAND=/usr/local/monitoring/bin/check_libvirtd.sh
Zabbix, ssh
261 +-alert NULL NULL last message repeated +-16 times
470 err NULL NULL (FPC Slot +-3, PIC Slot 0) +-SPC3_PIC0
kmd: %USER-3: +-kmd_traceoptions_config: +-/var/log/kmd
377 err NULL NULL +-tnp.tftpd[1350]: +-%DAEMON-3-TFTPD_
RECVFROM_ERR: +-mlockall(): Resource temporarily unavailable
384 warn NULL NULL tnetd[1138]: %DAEMON-4: +-/usr/libexec/
tnp.tftpd[1350]: exit status 0x100
320 err NULL NULL +-node1.cpp0 cmcpp_cpp_recovery_socket :
%PFE-3: Rcvd Recovery Socket MSG value 1:1
265 err NULL NULL init: %AUTH-3: +-simple-mail-client-service
(PID +-7529) terminated by signal number +-15!
ネットワークエラー
不定期エラー

システムの
ログメッセージ
ログのID化
（自動分類）
テキストログ分析の流れ
ログ行列
の作成
2017/05/28T10:51:26 2
2017/05/28T10:51:36 3
2017/05/28T10:52:21 4
2017/05/28T10:52:43 3
2017/05/28T10:53:51 4
2017/05/28T10:54:15 2
2017/05/28T10:54:16 10
・・・
1 0 0 1 5 0 4 0
2 2 0 3 0 0 0 2
3 2 3 0 1 4 0 3
4 2 1 0 2 1 0 2
…
10 1 2 0 3 2 3 0
time frame
LogID
2017/05/28T10:51:26 openstack.common…
2017/05/28T10:51:36 INFO nova.virt…
2017/05/28T10:52:21 UpdateCore …
2017/05/28T10:52:43 INFO nova.virt…
2017/05/28T10:53:51 UpdateCore …
2017/05/28T10:54:16 object-auditor …
・・・
ログパターン
抽出
1
2
3
4
…
10
Pattern No.
LogID
ログパターン
プロファイリング
Ingredients
Timing
time
ID:2 [1745] INFO glance.registry.client.v1.client [b9428d8d-1690-
4736-ba4e-5d2b42155668 xxx@yyy.co.jp] Registry client
request GET /images/c14da225-98c8-4cae-a54c-e83 raised NotFound
ID:3 [1730] INFO glance.registry.api.v1.images [yyyy@zzz.co.jp 8af4d234 ]
Image d9d806455be9-4f4e-80d7-f9d3acf56b
ID:4 172.20.252.16 - - +-[30/Apr/2017:17:43:51 +0900] +-“POST
2c3db88030ec HTTP/1.1” +-404 +-29432 +-“https://
openstack.zzz.co.jp tab=instance_details__console" "Mozilla/
5.0 (Windows NT 6.1; WOW64; +-rv:40.0) Gecko/20100101 Firefox/40.0"

システムの
ログのID化
（自動分類）
ログ行列
の作成
2017/05/28T10:51:26 2
2017/05/28T10:51:36 3
2017/05/28T10:52:21 4
2017/05/28T10:52:43 3
2017/05/28T10:53:51 4
2017/05/28T10:54:15 2
2017/05/28T10:54:16 10
・・・
1 0 0 1 5 0 4 0
2 2 0 3 0 0 0 2
3 2 3 0 1 4 0 3
4 2 1 0 2 1 0 2
…
10 1 2 0 3 2 3 0
time frame
LogID
2017/05/28T10:51:36 INFO nova.virt…
2017/05/28T10:52:21 UpdateCore …
2017/05/28T10:52:43 INFO nova.virt…
2017/05/28T10:53:51 UpdateCore …
2017/05/28T10:54:16 object-auditor …
・・・
ログパターン
抽出
1
2
3
4
…
10
Pattern No.
LogID
ログパターン
Ingredients
Timing
time
ID:4 172.20.252.16 - - +-[30/Apr/2017:17:43:51 +0900] +-“POST
2c3db88030ec HTTP/1.1” +-404 +-29432 +-“https://

• ログメッセージを集約して、類似するログメッセージに
一意のIDを付与
• ログメッセージを単語単位で分割し、パラメータ(IPアドレスな
ど)以外のテンプレートの一致により類似を判断
ログID化
2017/05/18T14:56 LINK-UP Interface 1/0/17
2017/05/18T14:58 LINK-UP Interface 0/0/0
2017/05/18T14:59 LINK-UP Gigabitethernet 0/2/5
……
2017/05/18T15:01 LINK-UP Gigabitethernet 0/0/0
LINK-UP Interface
Gigabitethernet
1/0/17
0/0/0
0/0/0
0/2/5
2017/05/18T14:56 1
2017/05/18T14:58 1
2017/05/18T14:59 2
……
2017/05/18T15:01 2
LINK-UP
ID 1
ID 2
Input = raw log Output
ID Dictionary
Template(=non-parameter) word
Parameter word

• ID化後のログメッセージを指定した時間幅単位で集約
し、ID毎の頻度の値をもとにログID×時間枠の行列を
作成
• 行列を可視化することで、頻出するログメッセージや特
異な振舞いを示すログメッセージの目星をつけることが
可能
ログの行列化
1 0 0 1 1 1 1 1 1
2 2 1 0 0 0 1 0 1
3 2 0 3 1 1 0 0 2
4 2 1 0 0 2 1 0 0
5 0 2 0 2 3 2 1 0
…
10 1 0 0 1 0 2 1 3
1 2 3 4 5 … T
時間幅 (5分)
ロ
グ
ID
2017/05/28T10:51:26 2
2017/05/28T10:51:36 3
2017/05/28T10:52:21 4
2017/05/28T10:52:43 3
2017/05/28T10:53:51 4
2017/05/28T10:54:15 2
2017/05/28T10:54:16 10
2017/05/28T10:56:35 8
2017/05/28T10:57:02 2
・・・
5
分
幅
の
行
列
10:50:01～
10:55:00
10:55:01～
11:00:00
テキストログ
可
視
化

• 社内クラウドの約1か月のログをID化し，1時間幅で行
列化したものをヒートマップ(頻度の対数値)で可視化
例１：ログID化結果の可視化

システムの
ログのID化
（自動分類）
ログ行列
の作成
2017/05/28T10:51:26 2
2017/05/28T10:51:36 3
2017/05/28T10:52:21 4
2017/05/28T10:52:43 3
2017/05/28T10:53:51 4
2017/05/28T10:54:15 2
2017/05/28T10:54:16 10
・・・
1 0 0 1 5 0 4 0
2 2 0 3 0 0 0 2
3 2 3 0 1 4 0 3
4 2 1 0 2 1 0 2
…
10 1 2 0 3 2 3 0
time frame
LogID
2017/05/28T10:51:36 INFO nova.virt…
2017/05/28T10:52:21 UpdateCore …
2017/05/28T10:52:43 INFO nova.virt…
2017/05/28T10:53:51 UpdateCore …
2017/05/28T10:54:16 object-auditor …
・・・
ログパターン
抽出
1
2
3
4
…
10
Pattern No.
LogID
ログパターン
Ingredients
Timing
time
ID:4 172.20.252.16 - - +-[30/Apr/2017:17:43:51 +0900] +-“POST
2c3db88030ec HTTP/1.1” +-404 +-29432 +-“https://

ログパターンの抽出：
1 2 3 ・・・・ T
時間幅
１2 … K
基底行列
ロ
グ
メ
ッ
セ
ー
ジ
の
ID
×
• 行列化したテキストログを時刻と要素値(出現頻度)を用いて
基底行列と重み行列の2つに分解
• 同時に繰り返し現れるメッセージ群(=ログパターン)が基底行列に、
各ログパターンがいつ出現したかが重み行列に現れる
複数のログメッセージから
構成されるログパターン
テキストログ行列
パターンの出現時刻
重み行列

• 約3か月のアラートログを1時間幅で行列化
例２：行列化結果（パターン抽出対象）
2278

• パターン数20にて抽出したところ，特徴的な基底が抽出される
例２：パターン抽出結果

例２：パターン抽出結果の詳細分析(基底7)
ID Message
10 Link Up ( GigabitEthernet1/0/32 )
23 Cold start of ***.***.***.*** was detected.
27 Real server *** (***.***.***.***) is up .
69 TermService is running.
81 Ping success for ***.***.***.***. Rule name : ICMP ping ( Service )
172 Port is available (***.***.***.*** : ** )
206 altSwSlbRealServerUp : Real server (***.***.***.*** ) is Up
408 ##KM##WARNING##KM##MR_ MON ITOR##KM##***: ( AlertKey=WARNING )
494 Link Up ( Eth 106/1/11 ( *** To ****** ) )
513 CqMgStor is running.
521 CqMgHost is running.
528 MSExchangeRPC is running.
532 MSExchangeTransportLogSearch is running.
533 MSExchangeRepl is running.
535 MSExchangeIS is running.
605 MSExchangeTransport is running.
611 MSExchangeMailboxReplication is running.
612 MSExchangeServiceHost is running.
土曜夜21時台～日曜朝7時台までが多い

利用イメージ
監視サーバー
監視対象システム
log MIB
トラフィック等
エージェント
監視
マネージャ
Lognosis
分析環境
監視コンソール
分析フェーズ
 初期および設備構成や設定
変更の実施後、および
四半期毎など定期的に実施
 システムの状況を把握し、監
視対象のパターンを選定する
運用者
分析
監視フェーズ
 分析フェーズで把握した
パターンが出ているか、
日次や週次で確認
 出現していればアラートを
挙げるような運用も可
運用者
監視結果
(アラート)
確認
収集されているログを流し込めばLognosisがパターンを抽出
Lognosisが抽出したパターンの意味を分析、監視対象を選定
その後、対象パターンの出現状況を監視
ログパターン
• 構成ログメッセージ
• 出現タイミング

数値ログ分析技術

• 性能監視ツール等で収集した性能値、IoTセンサデータからシステ
ムの正常動作を学習
• 測定項目間の関係性からの変化を検知し、従来見逃されていた様
な、単純な閾値監視ではわからない事象を検知
数値ログ分析
性能異常検知
性能値1
性能値2
性能値3
異常値
相関分析
性能ペア異常検知
性能値1と
性能値2 異常値
性能値1と
性能値3
性能値2と
性能値3
異
常
ス
コ
ア
異
常
ス
コ
ア
各サーバの性能値
複数の性能値を使って検知
各性能値ペアの相関からの
ずれを使って検知
相関のあるペアの検出

https://www.slideshare.net/JubatusOfficial/jubaanomaly-63593596
異常検知の仕組み
JubatusのAnomaly(LOFの実装)を利用
Local Outlier Factor
[Breunig2000] Markus M. Breunig, Hans-Peter Kriegel, Raymond T. Ng, Jörg Sander, LOF: Identifying Density-Based Local Outliers, SIGMOD, 2000.

性能異常検知：正規化した複数性能値の異常検知
各時刻に計測される複数の
性能値から異常値を判定
性能ペア異常検知：回帰式からの残差を使った異常検知
相関の残差から異常値を判定
異常検知手法
性能値1
性能値2
性能値3
スループットvs 応答時間
0.181
0.5
1.43
スループット
CPU使用率
残差
スループット
とCPU使用率
スループット
とメモリ使用率
スループット
と応答時間
スループットvs メモリ
0.181
0.5
1.43
スループットvs CPU使用率
0.181
0.5
･･･
残差
異常検知
異常値
異常値

例３：性能異常検知と性能ペア異常検知
性能異常検知
性能ペア異常検知
データ

• 背景
• まとめ
目次

• 「見なくて良いログID」をホワイトリスト化し、フィルタリング
• 「見るべきログID」をブラックリスト化し出現傾向から閾値で管理
• 新規のログをグレーログとして判断
→ログの種類が少ない／安定しているシステムでの活用
【統合ログ分析技術Lognosis 活用例】
ブラックリスト監視
date message
2017/05/28T10:51:36 INFO nova.virt…
2017/05/28T10:52:21 UpdateCore …
2017/05/28T10:52:43 INFO nova.virt…
2017/05/28T10:53:51 UpdateCore …
・・・
date ID
2017/05/28T10:51:26 2
2017/05/28T10:51:36 3
2017/05/28T10:52:21 4
2017/05/28T10:52:43 3
2017/05/28T10:53:51 4
2017/05/28T10:54:15 2
・・・
ID化
【生ログ】約16億行
テキストログの場合
[white IDs]
1,2,4,5,8,11,13,14,15 ...
[black IDs]
3: ルータ故障
6: ループ発生
7: サーバ故障
9: ストレージ故障
10: キャパシティ超過 ...
ID化辞書
【辞書】約3000種類
[new IDs]
16: ERROR core dump...
見られる数に分類
見ない
過去事象
の監視
リストへの
追加判断

• 行列のプロファイリング
• 出現時間幅数や標準偏差などから登録候補を抽出
分析による閾値設定のサポート

管理情報区分：B 関係者限り
• ログID化機能により、既出ログを全てID化辞書に登録。
• ID化辞書：パラメータ部分が異なっても同じIDを付与するための辞書
• 未知ログが入力されると、新規にIDが付与される。
• 単位時間あたりの新規ID付与数の監視で、未知異常を早期に発見可能。
• 未知異常発生時は、短時間に数十～数百件の新規IDが発生する事が多い。
→OSSなどを多く活用し，新規の異常が日々出るシステムで活用中
【統合ログ分析技術Lognosis 活用例】
未知異常の早期発見
date ID
2017/06/05T20:34:51 123
2017/06/05T20:35:12 57
2017/06/05T20:35:51 215
2017/06/05T20:36:03 560
2017/06/05T20:36:36 561
2017/06/05T20:37:15 562
・・・
ID化辞書
date message
2017/06/05T20:35:12 INFO nova.virt…
2017/06/05T20:35:51 UpdateCore …
2017/06/05T20:36:03 ERROR rabbit …
2017/06/05T20:36:36 INFO Recovery …
2017/06/05T20:37:15 WARNING rabbit …
・・・
新規ログ
date ID
2017/06/05T20:36:03 560
2017/06/05T20:36:36 561
2017/06/05T20:37:15 562
・・・
新規IDリスト
新規ID数が閾値を
超えたときにAlert発出
ユーザ申告前の
トラブル対処
時刻毎の新規ID数と
辞書を常時可視化
何かあった時に
迅速に原因特定し、
新たな監視項目に
ID化結果
ID message
1 oslo_messaging.rpc …
2 openstack.common…
3 INFO nova.(virt|net) …
…
560 ERROR rabbit …
561 INFO Recovery …
562 WARNING rabbit …
・・・
ID化
辞書ビューア
異常
発生！
辞書ビューアやログ
ヒートマップとして
可視化する事で、
迅速に内容を確認
異常
発生！
新規ID
付与！
ID
時刻
ヒートマップ

• 約1か月のログを1時間幅で行列化(要素は頻度の対数)
• ２か所のトラブルあり
例１：ログID化結果の可視化（再掲）

ID化結果の出現傾向
（各日のログ種類数と新規ログID）
新規IDの発生を監視し，
閾値超えでアラーム化
なんか気になりませんか

• 約1か月のログを1時間幅で行列化(要素は頻度の対数)
• 共通するログを発見
(参考)
ログID化結果の可視化：共通するログ

ID化辞書と特定ログIDの監視
要監視対象として登録

• OSSのバージョンアップ検証におけるミドルウェ
アのログで検証
• 前のバージョンとの差分を見ることで
差分を検証
WIP:バージョンアップ検証ログの活用
新バージョンの検証ログ
共通ログ
旧バージョンとの差分ログ
新規ログ

• 新しいバージョンの検証ログの可視化

• 新しいバージョンの検証ログ
定常ログ
試験ログ
負荷試験ログ

• 前バージョンとの差分を可視化

前と共通のログ
新のみのログ

試験ログ
負荷試験ログ
前と共通のログ
新のみのログ

• 背景
• テキストログを用いた運用分析
• まとめ
目次

•統合ログ分析技術Lognosis
• テキストログではログのID化により
時系列のデータとして特徴抽出
• 数値ログでは関係性に着目して特徴抽出
•テキストログ分析についての実例を紹介
• ブラックリスト監視
• 未知異常検知
• バージョンアップ検証
まとめ

統合ログ分析技術Lognosisと運用ログ分析の取組

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 統合ログ分析技術Lognosisと運用ログ分析の取組

Similar to 統合ログ分析技術Lognosisと運用ログ分析の取組 (20)

More from NTT Software Innovation Center

More from NTT Software Innovation Center (20)

統合ログ分析技術Lognosisと運用ログ分析の取組