Downloaded 86 times
![公開するもの
8
[ドキュメント]
・OpenStack監視・ログ分析基盤のセットアップ手順書
[ログ収集]
・Fluentd設定ファイル
#Black/Whiteリストも今後公開していきます。
[監視]
・Zabbix監視テンプレート
・監視スクリプト(API,MessageQue)
GitHubにて公開
https://github.com/openstack-lab](https://image.slidesharecdn.com/openstack201607263-160726051313/85/OpenStack-OpenStack-OpenStack-2016-7-8-320.jpg)
![ログ分析② 出力パターンの揺れ
15
ログ名 タグ付けパターン タグ付け結果
neutron-
dnsmasq.log
^(?<time>.+[0-9]{2}(:[0-
9]{2}){2})
(?<process>[^ ]+)[(?<pid>[0-
9]+)]:s(?<message>.+)$
[time] May 7 14:13:28
[process] dnsmasq-dhcp
[pid] 19663
[message] DHCPACK(ns-09 ・・・
neutron-ha-
tool.log
^(?<time>[0-9]{2}-[0-9]{2}s[0-
9]{2}:[0-9]{2}) (?<process>[^ ]+)
(?<type>[^ ]+) (?<message>.+)$
[time] 05-17 18:55
[process] neutron-ha-tool
[type] DEBUG
[message] list_agents: {u‘a・・・
neutron-dhcp-
agent.log
^(?<time>[0-9]{4}-[^ ]* [^ ]*)
(?<pid>[^ ]*) (?<level>[^ ]*)
(?<message>.*)$
[time] 2016-05-17 17:00:39.106
[pid] 2853
[level] ERROR
[message] oslo_messaging._・・・
同じコンポーネントでもサービス毎にフォーマットの揺れがあり](https://image.slidesharecdn.com/openstack201607263-160726051313/85/OpenStack-OpenStack-OpenStack-2016-7-15-320.jpg)
![について
16
Fluentdとは・・・TREASURE DATA社が開発している
ログファイルの収集・転送・集約が行えるOSS
ログに正規表現でタグを付けし意味を付与し、収集・集約ができる
<source>
type tail
path /var/log/nova/nova-compute.log
pos_file /var/log/td-agent/nova-compute.log
format /^(?<time>[0-9]{4}-[^ ]* [^ ]*) (?<pid>[^ ]*) (?<level>[^ ]*) (?<message>.*)$/
time_format %Y-%m-%d %H:%M:%S.%L
tag nova.log.nova-compute.log
</source>
設定例](https://image.slidesharecdn.com/openstack201607263-160726051313/85/OpenStack-OpenStack-OpenStack-2016-7-16-320.jpg)
![どうチェックする？
21
ログに
[ignore]タグを付加
表示したい項目をルール定義 問題無いログに[ignore]タグ付与
して保存
↓
Kibanaのルールで[ignore]タグを
除外して表示
① 過去[1日]の[Level]が[Error]
以上のログを表示
② 過去[1日]の[message]に
[nova]と[~~~]を含むログを表示
Blackリスト
ルール
①
ルール
②
Whiteリスト](https://image.slidesharecdn.com/openstack201607263-160726051313/85/OpenStack-OpenStack-OpenStack-2016-7-21-320.jpg)
![できたこと
[共通]
• 手順/設定ファイル公開
• 基盤構築手順 確立
[ログ分析]
• 34ファイル分のfluentd設定ファイル作成
• Kibanaでログ分析開始
[監視]
• OpenStackの監視ポイント
(プロセス・ポート・API・MessageQue)洗い出し/監視項目定義28](https://image.slidesharecdn.com/openstack201607263-160726051313/85/OpenStack-OpenStack-OpenStack-2016-7-28-320.jpg)
Uploaded byVirtualTech Japan Inc.
【OpenStack共同検証ラボ】OpenStack監視・ログ分析基盤の作り方 - OpenStack最新情報セミナー(2016年7月)
【OpenStack共同検証ラボ】OpenStack監視・ログ分析基盤の作り方 講師：畠泰三(NECネッツエスアイ) アジェンダ： - はじめに - ログ管理 - OpenStack監視 - まとめ
More Related Content
Similar to 【OpenStack共同検証ラボ】OpenStack監視・ログ分析基盤の作り方 - OpenStack最新情報セミナー(2016年7月)
【OpenStack共同検証ラボ】OpenStack監視・ログ分析基盤の作り方 - OpenStack最新情報セミナー(2016年7月)
- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9. コントローラノード コントローラノード 運用している環境 9 OpenStackコントローラ × 3台, コンピュート x 2台 (OpenStack-Ansible Kilo) ログ分析 x １台 , 監視 x 1台 コントローラ glance galera keystone nova controller neutron horizon heat memcached rabbitmq コンピュート nova compute ログ分析 監視 Zabbix Hatohol Kibana Elasticserch
- 10.
- 11.
- 12.
- 13.
- 14.
- 15. ログ分析② 出力パターンの揺れ 15 ログ名 タグ付けパターンタグ付け結果 neutron- dnsmasq.log ^(?<time>.+[0-9]{2}(:[0- 9]{2}){2}) (?<process>[^ ]+)[(?<pid>[0- 9]+)]:s(?<message>.+)$ [time] May 7 14:13:28 [process] dnsmasq-dhcp [pid] 19663 [message] DHCPACK(ns-09 ・・・ neutron-ha- tool.log ^(?<time>[0-9]{2}-[0-9]{2}s[0- 9]{2}:[0-9]{2}) (?<process>[^ ]+) (?<type>[^ ]+) (?<message>.+)$ [time] 05-17 18:55 [process] neutron-ha-tool [type] DEBUG [message] list_agents: {u‘a・・・ neutron-dhcp- agent.log ^(?<time>[0-9]{4}-[^ ]* [^ ]*) (?<pid>[^ ]*) (?<level>[^ ]*) (?<message>.*)$ [time] 2016-05-17 17:00:39.106 [pid] 2853 [level] ERROR [message] oslo_messaging._・・・ 同じコンポーネントでもサービス毎にフォーマットの揺れがあり
- 16. について 16 Fluentdとは・・・TREASURE DATA社が開発している ログファイルの収集・転送・集約が行えるOSS ログに正規表現でタグを付けし意味を付与し、収集・集約ができる <source> type tail path/var/log/nova/nova-compute.log pos_file /var/log/td-agent/nova-compute.log format /^(?<time>[0-9]{4}-[^ ]* [^ ]*) (?<pid>[^ ]*) (?<level>[^ ]*) (?<message>.*)$/ time_format %Y-%m-%d %H:%M:%S.%L tag nova.log.nova-compute.log </source> 設定例
- 17. について 17 Elasticserchとは・・・elastic社が開発している ビックデータの蓄積・解析が行えるOSS Kibanaによって解析結果の可視化が可能 "nova": { "properties": { "@timestamp":{ "format": "strict_date_optional_time||epoch_millis", "type": "date" }, "level": { "type": "string" }, "pid": { "type": "string" }, "log_tag": { "type": "string" }, "message": { "type": "string“ ・ ・
- 18. どう集めた？ 18 ログ分析サーバ Log 1 Log2 Log 3 ① コンポーネントのログを収集 ② ログの内容を正規表現でタグ付け ③ ログサーバに転送・集約 ④ Elasticserchに格納 ① ② ③ ④ fluentdを使って 各コンポーネントからログ収集
- 19. なんでタグをつけるの？ 19 2016-07-15 17:27 Warningnova.scheduler… Compute_service Error ・・ 2016-07-15 18:00 Error nova.api… API_service ・・ Elasticserchでタグ単位でデータの絞り込み・解析可能 time: 2016-07-15 17:27 level: Warning message: nova.scheduler~Error time: 2016-07-15 18:00 level: Error message: nova.API~ MessageにErrorを含む ログ＝１件 タグ付け 結果
- 20.
- 21. どうチェックする？ 21 ログに [ignore]タグを付加 表示したい項目をルール定義 問題無いログに[ignore]タグ付与 して保存 ↓ Kibanaのルールで[ignore]タグを 除外して表示 ① 過去[1日]の[Level]が[Error] 以上のログを表示 ②過去[1日]の[message]に [nova]と[~~~]を含むログを表示 Blackリスト ルール ① ルール ② Whiteリスト
- 22.
- 23.
- 24. 24 OpenStack-Ansible プロセス名 実際に動いているプロセス名 nova-api nova-api-os- compute nova-api-metadata nova-api-os- compute nova-api keystonekeystone-ad keystone-se keystone-ad keystone-pu keystone-all ディストリビューション毎・インストール方法によって 監視対象プロセス確認及び監視対象の変更が必要。 監視② プロセス名が変わる
- 25.
- 26.
- 27.
- 28. できたこと [共通] • 手順/設定ファイル公開 • 基盤構築手順確立 [ログ分析] • 34ファイル分のfluentd設定ファイル作成 • Kibanaでログ分析開始 [監視] • OpenStackの監視ポイント (プロセス・ポート・API・MessageQue)洗い出し/監視項目定義28
- 29. 今後の取り組み • Chaosmonky等で、常に障害を発生させる。 →監視アイテムやタグ付けルールの精度向上 • ログ解析ツール(Kibana)のユースケース/ルールの検討 •fluentdとKibanaのBlack/White リスト の追加 FluentFormatterの調査・検証・組み込み • API監視の深掘り – API応答速度、複数API組み合わせた処理の監視 29
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36. について 36 Hatoholとは・・・MIRACLE LINUX社が開発しているOSS 複数のZabbix・NagiosのGUIを１つにまとめて表示ができる Zabbix ZabbixZabbix 表示している Zabbixの 画面多いな。。 リージョンA リージョンB リージョンC Zabbix Zabbix Zabbix リージョンA リージョンB リージョンC 複数のZabbixか ら監視データを取 得・集約 運用ダッシュ ボード （Hatohol） Hatoholに登録されて いる Zabbixが持つ監視 データを閲覧可能 フィルタ