VIOPS08: Behavior Analysis Solution for Bigdata GLEAN Corporation Hisashi Ohtsuji 2013年7月19日(金曜日)10：00-18：00 VIOPS08 WORKSHOP Virtualized Infrastructures Workshop [08]

1. Jun 13, 2013
Behavior Analysis Solution
for Bigdata
GLEAN Corporation
Hisashi Ohtsuji

2. CPU処理
Behavior Analysis Solution for Bigdata
Page 2
Standard NIC
・CPU負荷（アリ）
・ソフトウエア処理（低速）
Intelligent NIC
・CPU負荷（ナシ）
・ハードウエア処理（高速）
（FPGA, ASIC, DSP）
バッファリング
フィルタリングタイムスタンプ
プロトコル解析 フロー解析
スライシング
統計情報
バッファリング
フィルタリングタイムスタンプ
プロトコル解析 フロー解析
スライシング統計情報
アプリケーション
アプリケーション
※アプリケーションに十分なリソース割当
※パケット取り込み処理だけで手一杯
CPU処理
H/W処理
インテリジェント型ネットワークアダプタとは

3. Behavior Analysis Solution for Bigdata
Page 3
応用例１：Capture Analyzer
Capture
Key/Flow
DB
Network
Capture
Analyzer Info DB
 基本データ
 Flow List
 Key List
 分析データ
 (Key x Flow) List
 基本データ
 Raw Data
 分析データ
 Pointer for User Data
 Coloring
 Flowの例
発着IP,Portの組
 Keyの例
IMSI, IMEI
 Key, Flow情報DB
 Keyの定義（Call-ID的なもの）
 Keyの取り出し方法、保存方法
 Flowの定義
 Flow情報の取り出し方法、保存方法
INPUT パケットトラフィック
» ネットワークトラフィックだけでなく、ログやイベントも対象とする
OUTPUT パケットキャプチャデータ、Key, Flow DB
» Key, Flowの識別等は外部データで定義できるようにする。
» 外部定義の特殊処理機能を持った汎用処理エンジン
» 対応するパケットキャプチャデータへのリンク情報も保持する。
 Intelligent NIC
 Key、Flow情報の取得等をハ
ードウエアで処理
 正確なタイムスタンプ

4. Behavior Analysis Solution for Bigdata
Page 4
分散データの評価：Data Relation DB
Capture
of A
Key/Flow
DB of A
Network A Network B Network C
Capture
Analyzer
Info DB
for A
Capture
of B
Key/Flow
DB of B
Capture
Analyzer
Info DB
for B
Capture
of C
Key/Flow
DB of C
Capture
Analyzer
Info DB
for C
Data Relation
DB
A B C D E F
B D FA B C
C D E
A, B, Cのデータを関連付けるための情報
関連付けは各データのFlow単位（呼で言えば1CALL）
各データの主Key情報（呼識別のIDなど）と、それに関連
する副Key情報（端末番号など）の定義
たとえば、移動体通信の場合、
 IMSIが一致するものは関連データ
 IMSIに関連付いたIMEIを持つもの
も関連データ

5. Behavior Analysis Solution for Bigdata
Page 5
Data Cloud
分散データの評価：クラウドネットワークへの適用
Network A Network B Network C
Capture
Analyzer
Info DB
for A
Capture
Analyzer
Info DB
for B
Capture
of C
Key/Flow
DB of C
Capture
Analyzer
Info DB
for C
Data Relation
DB
Capture
of A
Key/Flow
DB of A
Capture
of B
Key/Flow
DB of B

6. Behavior Analysis Solution for Bigdata
Page 6
応用例２：Programmable Inline Switch
Network
Intelligent NIC
 適用例
 Address Exchange
 個人情報の匿名化
Inline 処理機能
–フィルタ機能で透過パケット、処理パケットを振り分け
–ハードウェア処理（低遅延・CPU負荷ナシ）のため、
通常サーバでアプリケーション実装可能
–例） ・アドレス情報を変換するProxy的処理
・個人情報をスクランブルした情報に変換する匿名化処理
Network
Exchange
Info DB

7. Behavior Analysis Solution for Bigdata
Page 7
さらなる応用：新しい分析の概念 ”BEHAVIOR”
通話、メール、チャット、SNS、グループウエア…
様々なものを共通分類するために次の概念を定義。
 EVENT（SIPの例：Method, Response CODE ）
 パケット、メッセージなど、あるものからあるものへ
何かを伝えるための最小単位
 Time いつ
 From 誰が（人だけではない！）
 To 誰に
 Data 何を（更なる分類も可能）
 SEQUENCE（SIPの例 : Call Flow）
 関連のあるEVENTを発生順に並べたリスト
 COMMANDに対するRESPONSE
 呼制御、DBアクセス、Webアクセス…
 BEHAVIOR（ふるまい）
 関連するSEQUENCEを統合し、統計情報を付与したもの
 ユーザ、ノード、端末などのふるまい
※特定の”ノード間”の動作をまとめたものは”FLOW”
A B
A B
SEQUENCE
EVENT 1
EVENT 2
EVENT 3
C
EVENT
EVENT
EVENT
SEQUENCE
EVENT
BEHAVIOR
6種類の
SEQUENCE
が発生

8. 6/18/2013 Behavior Analysis Solution for Bigdata 8
グリーン株式会社
〒150-0013 東京都渋谷区恵比寿4-9-10 プロプラーザ21
Tel : 03-3447-7722 Mail : Sales@glean-japan.com