Download as PDF, PPTX
![grokの利用例
URIPATH (?:/[A-Za-z0-9$.+!*’(){},~:;=@#%_-]*)+
WORD bw+b
NUMBER (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:.[0-9]+)?)|(?:.[0-9]+)))
ACCESS_LOG %{URIPATH:request} %{WORD:method} %{NUMBER:duration}
/index.html GET 1234
{
request: /index.html,
method: GET,
duration: 1234
}
パターンファイル
パース対象 パース結果](https://image.slidesharecdn.com/embulk-151215141412/85/Embulk-16-320.jpg)
Uploaded byAkihiro Ikezoe
Embulkを活用したログ管理システム
Embulk Meetup Tokyo #2 LT 自社プロダクトのログを分析するためにEmbulkを活用したログ管理システムを開発しているので、その事例と開発したプラグインの紹介をしたいと思います。
![[Postgre sql9.4新機能]レプリケーション・スロットの活用](https://cdn.slidesharecdn.com/ss_thumbnails/postgresql9-140909012453-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
Embulkを活用したログ管理システム
- 1.
- 2. 自己紹介 • 池添 明宏/ @zoetro • グループウェアの開発 • フロントエンドチーム 兼 パフォーマンス障害対策チーム • 最近の興味: Embulk, Elasticsearch, Kibana, Vert.x, Rx
- 3.
- 4.
- 5.
- 7.
- 8. Embulkを使って作り直し • Embulkを利用するメリットが大きいと判断。 • プラグインにより対応ログを簡単に増やせるようになる。 •並列処理やリトライ処理を自前で作らなくていい。 • UIやログ管理機能はそのままに、ログの登録箇所をEmbulk に置き換え。Javaのライブラリとして呼び出すようにした。 • 既存のログ登録処理はプラグイン化。
- 9.
- 10. ログ管理システムの機能 • ログファイルをアップロードするためのUI • ログタイプを推測してElasticsearchに登録 •登録したログファイルの管理機能 • Kibanaのインデックスパターンを自動登録 し、グラフのリンクを自動生成
- 11. 利用プラグイン • output: elasticsearch •input: sar (自作), filesplit • parser: grok (自作), csv, ltsv • filter: column
- 12.
- 13.
- 14. embulk-parser-grok • 複数行のログにも対応。 • パースエラー発生時に無視して処理を続けるかどうかを選択可能。 •Java製guessプラグイン。 • タイムスタンプのパーサとしてSimpleDateFormatか標準のJRubyの パーサを切り替えられる。 • 標準のタイムスタンプパーサが遅い。 • https://github.com/embulk/embulk/issues/145
- 15. grokとは • 正規表現を拡張して使いやすくしたライブラリ。 • パターンに名前をつけて再利用することができる •C言語実装、Java実装、Ruby実装などがある。 • Grok Constructor • http://grokconstructor.appspot.com/
- 16. grokの利用例 URIPATH (?:/[A-Za-z0-9$.+!*’(){},~:;=@#%_-]*)+ WORD bw+b NUMBER(?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:.[0-9]+)?)|(?:.[0-9]+))) ACCESS_LOG %{URIPATH:request} %{WORD:method} %{NUMBER:duration} /index.html GET 1234 { request: /index.html, method: GET, duration: 1234 } パターンファイル パース対象 パース結果
- 17.
- 18. embulk-input-sar • sar(sysstat)というLinuxのシステム情報(CPU, メモリ, IO,ネットワーク)を収集するツールの 出力を取り込むためのプラグイン。 • sysstat ver.7 ~ 11に対応。
- 19. Kibanaプラグイン • JavaのスレッドダンプをEmbulkでElasticsearchに投 入。 • Kibanaのプラグインで スレッドダンプを可視化。 •長時間ブロックしている 処理や呼び出し回数の多い 処理がわかる。
- 20. 開発で困っていること • Java APIでEmbulkを実行したときに、戻り値としてい ろいろな情報を返したい。パースに成功or 失敗した数 とか、エラーの理由とか。進 状況も取れるとなお嬉し い。 • Java APIとして実行したときに、Rubyのプラグインを利 用したい。 • Javaでguessプラグインが作りにくい。
- 21.