Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Similar to Norikra + Fluentd + Elasticsearch + Kibana リアルタイムストリーミング処理 ログ集計による異常検知
Similar to Norikra + Fluentd + Elasticsearch + Kibana リアルタイムストリーミング処理 ログ集計による異常検知 (20)
Norikra + Fluentd + Elasticsearch + Kibana リアルタイムストリーミング処理 ログ集計による異常検知
- 1. Norikra + Fluentd + Elasticsearch + Kibana リアルタイムストリーミング処理 ログ集計による異常検知 2015.3 次世代システム研究室 松井 大介
- 3. アジェンダ • 不正検知システム • リアルタイムストリーミング Norikra • Fluentd + Elasticsearch + kibana + Norikra の連携方法
- 4. 不正アクセス検知
- 15. [本気度 低] 単純なログ検知 [本気度 中] 詳細なログ検知 [本気度 高] リスクベース認証
- 16. [本気度 低] 単純なログ検知
- 17. おなじみ 監視ツール（ Zabbix, Nagios など）で、 単純にERRORなどの文字列を監視する。 一定回数以上エラーが出ていた場合に アラートなどの処理を走らせる。
- 19. [本気度 中] 詳細なログ検知
- 22. [本気度 高] リスクベース認証
- 31. 実現手法いろいろ
- 32. ちょっとどれも本気すぎる。。
- 35. 開発の期間が短い
- 36. 選定のポイント • 導入コスト サーバ少なくても動く なるべく実装しない • 運用コスト 仕様変更しやすい • 引継ぎコスト 誰でもわかる
- 37. ターゲット 本気度 長所 短所 狙い 単純なログ監視 ・導入楽 ・カスタマイズ性弱 ・検知網羅性弱 詳細なログ監視 ・細かい設定可能 ・自動禁止可能 ・可視化可能 ・アプリ開発コスト高 ・通常のアクセスを 見抜けない リスクベース認証 ・複雑なケースに 対応可能 ・データマイニング 導入開発コスト高 このあたりを 低コストで
- 38. いいたいこと • 本気度別にざっくり低中高がある。 • 本気を出せば、きりがない。 • 規模感に応じてベターな方法を探す。
- 40. アジェンダ • 不正検知システム • リアルタイムストリーミング Norikra • Flunentd + Elasticsearch + kibana + Norikra
- 41. 乗鞍岳
- 43. Norikraとは • 田籠氏が開発（元LINE 、現TD） • 2014年5月に v1.0.0 • リアルタイムストリーミングエンジン • jRuby（JVM） • バックエンド Esper（Javaライブラリ） • Google、CyberAngent、ドワンゴ各社が採用 • Hadoop規模以下のケースでログ集計、 Hadoopの前段でのログ集計事例など事例多数
- 44. 特徴 • Fluentdからログを受け取って ストリーミング集計して再転送 • SQLライクな集計処理記述 • スキーマレスなデータ読み込み • JOIN、Subquery、ユーザ定義関数 • 再起動不要で集計処理追加可能 • ストレージなし
- 45. 利用用途 • リアルタイムエラーログ集計 • バッチ集計前リアルタイム加工 • 過去データ集計
- 46. ターゲット 本気度 長所 短所 狙い 単純なログ監視 ・導入楽 ・カスタマイズ性弱 ・検知網羅性弱 詳細なログ監視 ・細かい設定可能 ・自動禁止可能 ・可視化可能 ・アプリ開発コスト高 ・通常のアクセスを 見抜けない Norikraが つかえそう リスクベース認証 ・複雑なケースに 対応可能 ・データマイニング 導入開発コスト高
- 47. システム構成とデータフロー
- 50. {"remote_addr":"10.132.3.16","count":101} {"remote_addr":"10.132.3.21","count“:220} select remote_addr , COUNT(*) as count from access.win:time_batch(1 min) group by remote_addr having count(*) > 1000 { "time":"2015-03-29T22:17:37+09:00" , "remote_addr":"10.132.3.21" , "request_method":"GET" , "request_length":"176" , "request_uri":"/" , "https":"" , "uri":"/index.html" , "query_string":"-" , "status":"200" , "bytes_sent":"255" , "body_bytes_sent":"7" , "referer":"-" , "useragent":"curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.16.2.3 Basic ECC zlib/1.2.3 libidn/1.18 libssh2/1.4.2" , "forwardedfor":"-" , "request_time":"0.000" , "upstream_response_time":"-" , "request_body":"-" } Nginx Norikra Fluentd Fluentd 動的なイベント登録＋スキーマ解釈 Fluentd経由でイベント発火
- 51. Nginx ： アクセスの受付、ログ出力 Fluentd ： ログ転送、IPBAN処理発火 Norikra ： 集計 Elasticsearch+kibana ： 可視化
- 53. 検知のために設定すること
- 54. GUIでクエリ登録だけ
- 56. http://aaa.bbb.ccc.15/index.html に攻撃 ⇒ Norikraで検知してIPをBAN設定を自動反映 攻撃サーバ5台 Nginx サーバ LOG サーバ （Norikra）
- 57. デモ • 通常アクセスをKibanaで可視化（IP別） • NorikraクエリをGUIで設定 • 攻撃アクセスのIPとHTTPステータスを Kibanaで可視化
- 58. これから詳細を紐解いていきます
- 59. 目指す世界 • サービス規模に適したプロダクト • 極力開発せずに実現する集計（SQL） • 簡単なインストール • シンプルなインターフェース
- 60. サービス規模に適した プロダクト
- 62. バッチとストリームの共存 （ラムダアーキテクチャ） バッチ ストリーム 単位 1時間～数日 秒～数時間 処理量 G単位 K ～ M 単位 処理時間 数十秒～時間 ミリ秒 長所 大量処理 高速処理 短所 重い メモリに乗る範囲 プロダクト RDB Hadoop BigQuery Redshift Elasticsearch Kafka Storm Spark Streaming Kinesis Elasticsearch Norikra
- 63. サービス規模に応じた リアルタイムストリーミング 負荷レベル サーバVM数 プロダクト 1Gbps 以上 100万req/s 以上 10台以上 Kafka Storm Spark Streaming 上記のレベルに 達しない場合 1台～ Norikra小規模なら Norikra Elasticsearchで ラムダができる
- 64. 高トラフィック時の パフォーマンス検証 このぐらいまで無問題 秒間 1万アクセス 1分 60万アクセス 1日5 億～10億アクセス
- 65. [競合製品] Fluent-plugin-datacounter 同じく田籠氏のストリーミング処理 プラグイン Fluentd は Ruby （CRuby）のため、 複数プロセスの動作不可能 複数プロセス間でデータ集計のタイミングがず れる。（回避策はあるものの対応コストがかか る） Norikraのほうが優勢
- 67. Elasticsearchの生クエリは かなりわかりずらい。。 { "size": 500, "sort": { "@timestamp": "desc" }, "query": { "filtered": { "query": { "query_string": { "analyze_wildcard": true, "query": "*" } }, "filter": { "bool": { "must": [ { "range": { "@timestamp": { "gte": 1427696454189, "lte": 1427697354189 } } } ], "must_not": [] } } } }, "highlight": { "pre_tags": [ "@kibana-highlighted-field@" ], "post_tags": [ "@/kibana-highlighted-field@" ], "fields": { "*": {} } }, "aggs": { "2": { "date_histogram": { "field": "@timestamp", "interval": "30s", "pre_zone": "+09:00", "pre_zone_adjust_large_interval": true, "min_doc_count": 0, "extended_bounds": { "min": 1427696454189, "max": 1427697354189 } } } }, "fields": [ "*", "_source" ], "script_fields": {}, "fielddata_fields": [ "@timestamp" ]
- 68. Norikraは 普通のSQLを使ってます！ select remote_addr , COUNT(*) as count from access_admin.win:time_batch(1 min) group by remote_addr having count(*) > 1000
- 70. Nginx ： アクセスの受付、ログ出力 Fluentd ： ログ転送、IPBAN処理発火 Norikra ： 集計 Elasticsearch+kibana ： 可視化 SQLで 実現できる
- 71. SQLライクな集計を支える Esper a highly scalable, memory-efficient, in- memory computing, SQL-standard, minimal latency, real-time streaming- capable Big Data processing engine for historical data, or medium to high- velocity data and high-variety data.
- 74. SQLプロダクトの流行 Stream Batch SQL Norikra Spark SQL Hive Implara Non SQL Kafka Strom Spark Streaming MapReduce SQLは影響力大きい
- 75. ターゲット 本気度 長所 短所 狙い 単純なログ監視 ・導入楽 ・カスタマイズ性弱 ・検知網羅性弱 詳細なログ監視 ・細かい設定可能 ・自動禁止可能 ・可視化可能 ・アプリ開発コスト高 ・通常のアクセスを 見抜けない ほぼほぼ 実現 リスクベース認証 ・複雑なケースに 対応可能 ・データマイニング 導入開発コスト高
- 76. インストール簡単
- 77. $ sudo yum install -y git gcc-c++ $ git clone https://github.com/sstephenson/rbenv.git ~/.rbenv $ echo 'export PATH="$HOME/.rbenv/bin:$PATH"' >> ~/.bash_profile $ echo 'eval "$(rbenv init -)"' >> ~/.bash_profile $ exec $SHELL -l $ rbenv --version rbenv 0.4.0-95-gf71e227 rbenv
- 78. $ git clone https://github.com/sstephenson/ruby-build.git ~/.rbenv/plugins/ruby-build $ rbenv install -l|grep jruby jruby-1.5.6 (snip) jruby-1.7.9 jruby-9000-dev jruby-9000+graal-dev $ rbenv install jruby-1.7.9 $ rbenv shell jruby-1.7.9 $ ruby -v jruby 1.7.9 (1.9.3p392) 2013-12-06 87b108a on OpenJDK 64-Bit Server VM 1.7.0_51- mockbuild_2014_03_13_04_35-b00 [linux-amd64] jruby
- 79. $ gem install norikra --no-ri --no-rdoc $ rbenv rehash $ which norikra ~/.rbenv/shims/norikra $ gem list --local | grep norikra norikra (0.1.5 java) norikra-client-jruby (0.1.5 java) $ norikra start norikra
- 81. シンプルな インターフェース
- 82. norikra-client（コマンドライン） $ norikra-client target open test_target $ echo '{"name":"atom", "age":55}' | norikra-client event send test_target $ norikra-client target fetch test_query
- 83. Client Library
- 86. JVMチューニング • 実は内部がデフォルトでGCオプションを 自動で色々と指定してくれる。 • ヒープのオプションはデフォルトでは指 定していない、自分で指定すること。 norikra start -Xmx2g
- 89. いいたいこと • リアルタイム集計が小規模でも導入可能。 • ほぼ設定だけでよいお手軽さ。 （アプリの実装不要） • 再起動不要で動的反映。 • SQLライクな記述はわかりやすく 保守性が高い。 （書いてみるとわかる。Elasticsearchの クエリを素で書くのは結構大変。）
- 90. Norikra ユースケース
- 91. Web系企業で大人気 • LINE • サイバーエージェント • メルカリ • Pixiv • カヤック • Gunosy • Google
- 92. LINE [用途] エラーログの集計で利用 LINE Bisiness Connect
- 93. SELECT // 集計日時 current_timestamp() AS collected_timestamp, channelId AS channel_id, reason, detail, // エラー発生件数 count(*) AS error_count, // 単位時間内で検出された最初のエラー発生日時 min(timestamp) AS first_timestamp, // 単位時間内で検出された最後のエラー発生日時 max(timestamp) AS last_timestamp FROM // ウィンドウを1分ごとに定義 event_endpoint_error_log.win:time_batch(60 sec) GROUP BY channelId, reason, detail HAVING // エラー件数が1件以上あった場合に限定 count(*) > 0
- 94. [用途] Elarasticsearch 投入時の事前集計 200 req/s * 10台 = 2000 req/s サイバーエージェント
- 99. BigQuery + fluentd + Norikra で ラムダアーキテクチャ http://blog.yoslab.com/entry/2014/07/09/202304 https://speakerdeck.com/kazunori279/building-a-lambda-architecture-in-10-minutes-with-bigquery-cep-and-docker [用途] バッチ処理時の事前集計
- 101. Norikra まとめ • リアルタイム集計を設定ファイル＋SQL • 小規模から大規模まで導入可能 • 実績多数
- 102. アジェンダ • 不正検知システム • リアルタイムストリーミング Norikra • Fluentd + Elasticsearch + kibana + Norikra の連携方法
- 104. Elasitcsearch • Luceneベースの検索エンジン（高速） • スキーマレスで柔軟なデータ取り込み （型定義ファイル不要） • Kuromojiと合わせて日本語検索可能 • DBテーブルを連携するプラグイン • Fluentd プラグインでデータを取り込める • Facet、 Aggregation による集計処理 • クラスタを組める
- 105. kibana • 時間軸ベースのログの検索&視覚化ツール • Elasticsearchと連携してフロントエンド として動作する。 • Elasticsearchのクエリを書かなくても グラフ描画できる。 • UIがかっこいい。 • ログの準リアルタイム可視化ツールとし て事例が増えている。
- 107. 綺麗ですね（小並感）
- 108. Kibana 4 から白くなりました
- 110. Fluentd と Norikra の接続
- 112. Fluentプラグイン $ gem install norikra-client コードを書かなくても お互いログのやり取りができるようになる！
- 114. <source> type tail format json tag nginx.access.admin path /var/log/nginx/web.its-lab.net/access.log pos_file /var/log/td-agent/web.its- lab.net_access.log.pos </source> Webサーバ側のFluentd
- 115. <match nginx.access.*> type copy <store> type elasticsearch host 10.132.3.31 port 9200 type_name access_log logstash_format true logstash_prefix gmo_access logstash_dateformat %Y%m </store> <store> type norikra norikra 10.132.3.31:26571 buffer_queue_limit 1 retry_limit 0 remove_tag_prefix nginx target_map_tag true </store> </match> Webサーバ側のFluentd 赤枠以外 は コピペで OK！
- 117. Fluentプラグイン $ gem install elasticsearch コードを書かなくても お互いログのやり取りができるようになる！
- 119. <source> type norikra norikra localhost:26571 <fetch> method sweep target access tag query_name tag_prefix norikra.query interval 30s </fetch> </source> Logサーバ側のFluentd 自動で 集計を 読み込む
- 120. <match norikra.query**> type copy <store> type exec_filter command /bin/bash /etc/td-agent/blocker.sh time_key time in_format json out_format json </store> <store> type elasticsearch host localhost port 9200 type_name access_log logstash_format true logstash_prefix norikra-count logstash_dateformat %Y%m </store> Logサーバ側のFluentd Fluentdから 構成 管理ツール を叩く 実はただの シェルスクリプト！
- 123. 残タスク • 限界を超える処理が発生した場合、 どうやって分散・リプレースするか。 • SQLでどこまで複雑なことができるのか。 （まだ攻撃を受けてないのでリクエストがわからない） • Elasticsearch+Kibana の もっと凝った使い方
- 124. 全体まとめ • 不正アクセスに対して対応する手法は 簡易的に導入できるものある。 • Norikraはラムダアーキテクチャの 利用事例が豊富。 • Elasticsearch＋kibanaは導入が簡単で 可視化に有効。
- 125. ご静聴ありがとうございました。