ログブラウズ、解析サービスSumologicの紹介

9,149 views

Published on

ログ解析SaaSにはsumologic, splunk storm, logglyなどあります。今回はsumologicの紹介

Published in: Technology, Education

ログブラウズ、解析サービスSumologicの紹介

  1. 1. ログ解析にgrepするなんて今 だけですよねー 荒木靖宏(twitter:ar1@) Debian 開発者(ar@debian.org)
  2. 2. ログ処理 grep sort uniq
  3. 3. apt-cache search log analyzeanalog - web server log analyzeraspell-ar-large - Large Arabic dictionary for aspellawstats - powerful and featureful web server log analyzercalamaris - log analyzer for Squid or Oops proxy log filesepylog - New logs analyzer and parserlibrevm0-dev - The Reverse Engineering Vector Machinelibrevm0 - The Reverse Engineering Vector Machinefossology-agents-single - architecture for analyzing software, agents (single machine case)fossology-agents - architecture for analyzing software, analysis agentsfossology-common - architecture for analyzing software, common filesfossology-db - architecture for analyzing software, databasefossology-dev - architecture for analyzing software, development filesfossology-scheduler-single - architecture for analyzing software, scheduler (single machine case)fossology-scheduler - architecture for analyzing software, schedulerfossology-web-single - architecture for analyzing software, web interface (single machine case)fossology-web - architecture for analyzing software, web interfacefossology - open and modular architecture for analyzing softwarefwlogwatch - Firewall log analyzergoaccess - log analyzer and interactive viewer for the Apache Webserverharden-nids - Harden a system by using a network intrusion detection systemhspell - Hebrew spell checker and morphological analyzerhunspell-tools - tools for hunspellhunspell - spell checker and morphological analyzer (program)libhunspell-1.2-0 - spell checker and morphological analyzer (shared library)libhunspell-dev - spell checker and morphological analyzer (development)imsniff - Simple program to log Instant Messaging activity on the network
  4. 4. apt-cache search log analyze |wc 43 340 2503
  5. 5. とても正気の沙汰とは思えない
  6. 6. そこで役に立つ3つのサービスsplunkにはサービスではなくインストールして使うソフトもあり
  7. 7. • ログの収集、解析までをワンストップで行う SaaS – まず、ログ収集デーモンをクライアントにインス トール – その後はSumologicのWebコンソールで作業 – ログはテキスト形式であればあらゆるOK• 一日500MBまでのログ収集&処理無料• 利用実績 – Netflix, orange, limelightなどなど
  8. 8. rpmやdebでインストール 収集するログを指定 S3の位置を指定
  9. 9. _collector=“コレクタ名”といった具合で検索分を書く “LogReduce”ボタンを押すと集計ロ グ
  10. 10. 絞り込みラクラク
  11. 11. 検索エンジン的構文| parse "t*t*t*t*t*t*t*.*t*t*t*/*%*t*"asts, edge_loc, bytes, ip, method, host, uri_stem, filetype, status, referer, user_agent, ver,throwaway, uri_query| sum(bytes) as size_mb by filetype| size_mb/1024/1024 as size_mb| sort by size_mb| limit 10
  12. 12. ファイルタイプ割合| parse "t*t*t*t*t*t*t*.*t*t*t*/*%*t*" asts, edge_loc, bytes, ip, method, host, uri_stem, filetype, status, referer, user_agent, ver,throwaway, uri_query| sum(bytes) as size_mb by filetype| size_mb/1024/1024 as size_mb| sort by size_mb
  13. 13. ファイルタイプ別毎分転送サイズ| parse "t*t*t*t*t*t*t*.*t*t*t*/*%*t*" asts, edge_loc, bytes, ip, method, host, uri_stem, filetype, status, referer, user_agent, ver,throwaway, uri_query| timeslice 1m| sum(bytes) as size by filetype, _timeslice| transpose row _timeslice column filetype as js, css, png, gif, ico, html, jpg, xml
  14. 14. ダッシュボード
  15. 15. ログ解析にgrepするなんて 綺麗なログばかりじゃない当たりの後で手組みしても遅くない 可視化時間はもったいない

×