Successfully reported this slideshow.

Hatoholのログ監視機能 2014/10版

2

Share

Loading in …3
×
1 of 31
1 of 31

More Related Content

Related Audiobooks

Free with a 14 day trial from Scribd

See all

Hatoholのログ監視機能 2014/10版

  1. 1. Hatoholのログ監視機能 2014/10版 須藤功平 株式会社クリアコード 2014/10/07 Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  2. 2. 内容 Hatoholのログ監視機能の概要 ✓ただし2014年10月時点での情報 ✓ 詳細はWikiを参照 https://github.com/project-hatohol/hatohol/wiki/ Log-monitoring ✓ ✓ Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  3. 3. 目的 ✓現状を共有すること Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  4. 4. 解決したい問題 Zabbixのログ監視機能の問題点 ✓サーバーのCPU使用率が高い ✓大量のログだとDBの負荷が高い エージェント・サーバー間の 通信が安全ではない ✓ Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  5. 5. Zabbix:高CPU使用率 Zabbix サーバー 監視対象Zabbix エージェント ログ 転送のみ 内容チェック 全監視対象の ログをチェック 高CPU使用率 Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  6. 6. Zabbix:高DB負荷 Zabbix サーバー 監視対象Zabbix エージェント ログ 転送のみ 全監視対象の ログを保存 DB サーバー 高DB負荷 Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  7. 7. Zabbix:安全でない通信 Zabbix サーバー 監視対象Zabbix エージェント ログ 平文で転送安全でない通信 Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  8. 8. 解決方針 ✓Fluentdと連携 Fluentd:データ配送システム ✓ログ収集 ✓フィルター・転送 ✓出力 ✓ Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  9. 9. 解決方法:高CPU使用率 サーバーのCPU使用率が高い ✓処理を複数ノードで分散 ✓ ✓大量のログだとDBの負荷が高い ✓エージェント・サーバー間の通信が安全ではない Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  10. 10. 処理を分散 監視対象 内容チェック ノード ログ 収集・転送 Hatohol (省略) 複数ノードで 選択内容チェック Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  11. 11. 解決方法:高DB負荷 ✓サーバーのCPU使用率が高い 大量のログだとDBの負荷が高い ✓対象ログのみ保存 ✓ ✓エージェント・サーバー間の通信が安全ではない Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  12. 12. 対象ログのみ保存 監視対象 内容チェック ノード ログ 収集・転送 Hatohol 選択 (省略) 対象ログだけ 保存DB サーバー Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  13. 13. 解決方法:安全でない通信 ✓サーバーのCPU使用率が高い ✓大量のログだとDBの負荷が高い エージェント・サーバー間の 通信が安全ではない ✓通信路を暗号化 ✓ Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  14. 14. 通信路を暗号化 監視対象 内容チェック ノード ログ Hatohol (省略) DB サーバー 平文 Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  15. 15. 通信路を暗号化(AMQP) 内容チェック AMQPプロデューサー ノード ログ Hatohol RabbitMQ AMQPS AMQPS Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  16. 16. 解決 サーバーのCPU使用率が高い ✓処理を複数ノードで分散 ✓ 大量のログだとDBの負荷が高い ✓対象ログのみ保存 ✓ エージェント・サーバー間の通信が安全ではない 通信路を暗号化 (Hatohol・DB間は安全ではない) ✓ ✓ Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  17. 17. 課題 ✓導入が面倒 ✓導入後の設定が面倒 Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  18. 18. 課題:導入が面倒 ✓ノード数が増える ✓TLSの設定が増える Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  19. 19. ノード数:Zabbix ✓サーバー:数台 ✓エージェント:ホスト数 Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  20. 20. ノード数:Hatohol 同じ ✓サーバー:1台 ✓収集用Fluentd:ホスト数 ✓ 増加 ✓RabbitMQ:1台 ✓監視用Fluentd:数台 ✓AMQPコンシューマーFluentd:数台 ✓ Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  21. 21. TLSの設定 ✓認証局を作成 ✓各ノード用の鍵を作成 ✓認証局で公開鍵証明書を発行 ✓↑を使う設定を追加 Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  22. 22. 認証局を作成 [ca]# hatohol-ca-initialize Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  23. 23. ノード用の鍵を作成 # クライアント用 [client1]% hatohol-client-certificate-create --host-name client1.example.com # サーバー用 [server1]% hatohol-server-certificate-create --host-name server1.example.com Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  24. 24. 証明書を発行 # クライアント用 [client1]% scp req.pem ca: [ca]# hatohol-ca-sign-client-certificate /../req.pem # サーバー用 [server1]% scp req.pem ca: [ca]# hatohol-ca-sign-server-certificate /../req.pem Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  25. 25. 設定:RabbitMQ [ {rabbit, [ {ssl_listeners, [5671]}, {ssl_options, [ {cacertfile, "/etc/rabbitmq/ca-cert.pem"}, {certfile, "/etc/rabbitmq/server-cert.pem"}, {keyfile, "/etc/rabbitmq/key.pem"}, {verify, verify_peer}, {fail_if_no_peer_cert, false} ]} ]} ]. Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  26. 26. 設定:Fluentd <match hatohol.**> type hatohol url "amqps://user:password@rabbitmq.example.com/hatohol" tls_cert "/../client-cert.pem" tls_key "/../key.pem" tls_ca_certificates ["/../ca-cert.pem"] </match> Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  27. 27. 設定:Hatohol Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  28. 28. 課題:導入後の設定が面倒 設定は各ノードで行う ✓Zabbixはサーバーで一括管理 ✓fluentd-server:設定を配布 ✓ Fluentdの設定GUIがない ✓fluentd-ui:いくつか設定可能 ✓↑ローカルのFluentdを設定 ✓ Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  29. 29. 設定はどこから実施する? 前提 Hatohol利用者はZabbixに 直接アクセスできないかもしれない ✓ ✓監視環境内のノードにアクセス不可 ✓ 全部Hatohol経由で設定? ✓Zabbixも?Fluentdも?Redmineも? ✓ Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  30. 30. 今後の方向 課題 ホスト管理機能と連携することで 解決可能? ✓ ✓ 改善 ✓実際に使ってフィードバック ✓使ってもらってフィードバック ✓ Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3
  31. 31. フィードバック対応案 移行方法集の作成? Zabbixでのログ監視設定と Hatohol(Fluentd)での設定の対応 ✓ ✓ ワークフローの提案? ZabbixとHatoholで 監視システム管理のワークフローは 同じでいいの?もっと改善できる? ✓ ✓ Hatoholのログ監視機能 2014/10版Powered by Rabbit 2.1.3

×