1. Jun 13, 2013
Behavior Analysis Solution
for Bigdata
GLEAN Corporation
Hisashi Ohtsuji
2. CPU処理
Behavior Analysis Solution for Bigdata
Page 2
Standard NIC
・CPU負荷(アリ)
・ソフトウエア処理(低速)
Intelligent NIC
・CPU負荷(ナシ)
・ハードウエア処理(高速)
(FPGA, ASIC, DSP)
バッファリング
フィルタリングタイムスタンプ
プロトコル解析 フロー解析
スライシング
統計情報
バッファリング
フィルタリングタイムスタンプ
プロトコル解析 フロー解析
スライシング統計情報
アプリケーション
アプリケーション
※アプリケーションに十分なリソース割当
※パケット取り込み処理だけで手一杯
CPU処理
H/W処理
インテリジェント型ネットワークアダプタとは
3. Behavior Analysis Solution for Bigdata
Page 3
応用例1:Capture Analyzer
Capture
Key/Flow
DB
Network
Capture
Analyzer Info DB
基本データ
Flow List
Key List
分析データ
(Key x Flow) List
基本データ
Raw Data
分析データ
Pointer for User Data
Coloring
Flowの例
発着IP,Portの組
Keyの例
IMSI, IMEI
Key, Flow情報DB
Keyの定義(Call-ID的なもの)
Keyの取り出し方法、保存方法
Flowの定義
Flow情報の取り出し方法、保存方法
INPUT パケットトラフィック
» ネットワークトラフィックだけでなく、ログやイベントも対象とする
OUTPUT パケットキャプチャデータ、Key, Flow DB
» Key, Flowの識別等は外部データで定義できるようにする。
» 外部定義の特殊処理機能を持った汎用処理エンジン
» 対応するパケットキャプチャデータへのリンク情報も保持する。
Intelligent NIC
Key、Flow情報の取得等をハ
ードウエアで処理
正確なタイムスタンプ
4. Behavior Analysis Solution for Bigdata
Page 4
分散データの評価:Data Relation DB
Capture
of A
Key/Flow
DB of A
Network A Network B Network C
Capture
Analyzer
Info DB
for A
Capture
of B
Key/Flow
DB of B
Capture
Analyzer
Info DB
for B
Capture
of C
Key/Flow
DB of C
Capture
Analyzer
Info DB
for C
Data Relation
DB
A B C D E F
B D FA B C
C D E
A, B, Cのデータを関連付けるための情報
関連付けは各データのFlow単位(呼で言えば1CALL)
各データの主Key情報(呼識別のIDなど)と、それに関連
する副Key情報(端末番号など)の定義
たとえば、移動体通信の場合、
IMSIが一致するものは関連データ
IMSIに関連付いたIMEIを持つもの
も関連データ
5. Behavior Analysis Solution for Bigdata
Page 5
Data Cloud
分散データの評価:クラウドネットワークへの適用
Network A Network B Network C
Capture
Analyzer
Info DB
for A
Capture
Analyzer
Info DB
for B
Capture
of C
Key/Flow
DB of C
Capture
Analyzer
Info DB
for C
Data Relation
DB
Capture
of A
Key/Flow
DB of A
Capture
of B
Key/Flow
DB of B
6. Behavior Analysis Solution for Bigdata
Page 6
応用例2:Programmable Inline Switch
Network
Intelligent NIC
適用例
Address Exchange
個人情報の匿名化
Inline 処理機能
–フィルタ機能で透過パケット、処理パケットを振り分け
–ハードウェア処理(低遅延・CPU負荷ナシ)のため、
通常サーバでアプリケーション実装可能
–例) ・アドレス情報を変換するProxy的処理
・個人情報をスクランブルした情報に変換する匿名化処理
Network
Exchange
Info DB
7. Behavior Analysis Solution for Bigdata
Page 7
さらなる応用:新しい分析の概念 ”BEHAVIOR”
通話、メール、チャット、SNS、グループウエア…
様々なものを共通分類するために次の概念を定義。
EVENT(SIPの例:Method, Response CODE )
パケット、メッセージなど、あるものからあるものへ
何かを伝えるための最小単位
Time いつ
From 誰が(人だけではない!)
To 誰に
Data 何を(更なる分類も可能)
SEQUENCE(SIPの例 : Call Flow)
関連のあるEVENTを発生順に並べたリスト
COMMANDに対するRESPONSE
呼制御、DBアクセス、Webアクセス…
BEHAVIOR(ふるまい)
関連するSEQUENCEを統合し、統計情報を付与したもの
ユーザ、ノード、端末などのふるまい
※特定の”ノード間”の動作をまとめたものは”FLOW”
A B
A B
SEQUENCE
EVENT 1
EVENT 2
EVENT 3
C
EVENT
EVENT
EVENT
SEQUENCE
EVENT
BEHAVIOR
6種類の
SEQUENCE
が発生
8. 6/18/2013 Behavior Analysis Solution for Bigdata 8
グリーン株式会社
〒150-0013 東京都渋谷区恵比寿4-9-10 プロプラーザ21
Tel : 03-3447-7722 Mail : Sales@glean-japan.com