OLD_Lt traffic analyse_OLD

1. トラフィック解析のススメ
～L3-SW と DNS サーバの解析結果～
2015/03/16
@otsuka0752

2. トラフィックの可視化(昔)
• SNMP/RRD-database/per 5[min]
• SNMP agent + server
• MRTG/cacti/munin/etc…
• 指定した/取得可能なカウンタだけ
• 1-5[min]間隔で読んで平均化

3. トラフィックの可視化(昔)
(サンプル)

4. トラフィックの可視化(最近)
• NetFlow/sFlow
• (Jflow/Cflowd/NetStream/AppFlow/...)
• flow ベースでカウント
• n パケットごとにサンプリング
• Cisco Systems の *Flow 対応機器
• Catalyst 4500/6500/7600
• IOS 7200/7500/10000
• IOS-XR CRS/ASR9000

5. トラフィックの可視化(最近)
(サンプル)

6. トラフィックの可視化(最近)
(サンプル)

7. 「可視化」だけでなく
「解析」できる仕組み

8. トラフィックの解析
• 全パケットの情報をデータベースに
• ほぼリアルタイム(1-2分遅れ)
• bulk-load でなく stream も面白い !?
• イマドキの綺麗な U/I で
• Webブラウザで click!

9. L3-SW
(某サービス開発環境)

10. トラフィック合計[Byte] 平均フレームサイズ[Byte]
L3-SW(1)

11. 時刻ごとのトラフィックと
プロトコル分布
時刻ごとのフレーム数と
プロトコル分布
1秒未満の間隔で計算
L3-SW(2)

12. プロトコルの分布
1:ICMP / 6:TCP / 17:UDP
トラフィック分布
(Src/Dst IP + Protocol)
L3-SW(3)

13. フレームサイズの分布と
トラフィックとプロトコル
フレームサイズの分布と
フレーム数とプロトコル
L3-SW(4)

14. DNS cache servers
(某サービス本番環境)

15. 1台目と 2台目の偏り
Request/Response
DNS パケットの大きさ
名前解決要求の分布
DNS(1)

16. dns.flags.response
• Request/Response は概ね同数になる
• 攻撃されると(NW 上に) Response が増える傾向
• 単位時間あたりの割合をみるのが正しい

17. 2台のクライアントからの
2つの名前解決要求が
大多数を占めている
ラベル数が 34 のドメイン !?
DNS(2)
上グラフの
ゴミを除去

18. dns.count.labels
• ラベル数( ‘.’ で区切られた文字列の数)
• . (ROOT) 0
• jp. 1
• example.jp. 2
• www.example.jp. 3
• AAAA の PTR 34
• ゴミ Request も多数
• mobirouter.xxx と tenporouter.xxx
• 2台のクライアントからだけ届いている

19. XX からの *.example の問い合わせ状況
DNS(3)

20. dns.qry.name:*.example
• *.example のリクエストだけ抽出
• XXXXXX の PC が繫がった (?)
• 開発用の XX も含む…が一般 XX っぽい

21. 日本語(マルチバイト)ドメインの問い合わせ状況
DNS(3)

22. dns.qry.name:*xn--*
xn--eckwa2aa3a9c8j8bve9d.gamewith.jp モンスターストライク.gamewith.jp
xn--n8jvdsa6soa5jz01vtb9bg6lk11hdbi.jp 魔法使いと黒猫のウィズ.jp
xn—sss29j37w.example.example.TLD 太田店.example.example.TLD
xn--u9jvfi5fv563byzsc.gamewith.jp 黒猫のウィズ.gamewith.jp
xn--zckqu2gra1duc2140ehfh3i0c.com モンストマルチ掲示板.com
www.xn--o9j0bk8t7cqhlg.com www.まとめニュース.com
xn--hhrv7mnywxjd.biz XXXX.biz

23. xvideo の名前解決要求元
DNS(4)

24. xviceo の名前解決要求が多いクライアントの
名前解決要求の状態(xvideo とそれ以外)
DNS(5)

25. システム概要

26. システム概要
pcap ファイル

27. 1. Switch でポートミラー(または)
2. サーバでパケットキャプチャして pcap に
3. pcap ファイルを Embulk に input
4. Embulk で parse
5. Elasticsearch に output
6. kibana で Elasticsearch にアクセス
7. nginx に Web ブラウザからアクセス
システム概要

28. 参考> Elasticsearch
$ curl "localhost:9200/_cat/indices?v"
health status index pri rep docs.count docs.deleted store.size pri.store.size
yellow open .kibana 1 1 110 3 99.3kb 99.3kb
yellow open dns011x-new 5 1 12961210 0 2gb 2gb
yellow open d-l3-core01-new 5 1 14175437 0 1.3gb 1.3gb
$ curl “localhost:9200/d-el3-core01-new/_mapping?pretty"
{
“d-l3-core01-new" : {
"mappings" : {
"embulk" : {
"properties" : {
(snip)
"eth.type" : {
"type" : "string",
"index" : "not_analyzed"
},
"frame.len" : {
"type" : "long"
},
"frame.protocols" : {
"type" : "string",
"index" : "not_analyzed"
},
(snip)
1200万行/2.0GB
DNS の payload まで DB に
1400万行/1.3GB
DNS 関連を含めず

29. 参考
http://www.wireshark.org/
http://www.embulk.org/
http://www.elastic.co/
http://www.elastic.co/products/elasticsearch
http://www.elastic.co/products/kibana
http://nginx.org/

30. まとめと感想
• トラフィック解析は楽しい
• 業務に役立つかも (楽しいだけかも)
• 通信量が気になる LTE コンテンツの
トラフィック状況を 解析してみるかも 解析中

31. END