Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Jun 13, 2013
Behavior Analysis Solution
for Bigdata
GLEAN Corporation
Hisashi Ohtsuji
CPU処理
Behavior Analysis Solution for Bigdata
Page 2
Standard NIC
・CPU負荷(アリ)
・ソフトウエア処理(低速)
Intelligent NIC
・CPU負荷(ナシ)
・ハードウ...
Behavior Analysis Solution for Bigdata
Page 3
応用例1:Capture Analyzer
Capture
Key/Flow
DB
Network
Capture
Analyzer Info DB
...
Behavior Analysis Solution for Bigdata
Page 4
分散データの評価:Data Relation DB
Capture
of A
Key/Flow
DB of A
Network A Network B ...
Behavior Analysis Solution for Bigdata
Page 5
Data Cloud
分散データの評価:クラウドネットワークへの適用
Network A Network B Network C
Capture
Ana...
Behavior Analysis Solution for Bigdata
Page 6
応用例2:Programmable Inline Switch
Network
Intelligent NIC
 適用例
 Address Exch...
Behavior Analysis Solution for Bigdata
Page 7
さらなる応用:新しい分析の概念 ”BEHAVIOR”
通話、メール、チャット、SNS、グループウエア…
様々なものを共通分類するために次の概念を定義。
...
6/18/2013 Behavior Analysis Solution for Bigdata 8
グリーン株式会社
〒150-0013 東京都渋谷区恵比寿4-9-10 プロプラーザ21
Tel : 03-3447-7722 Mail : S...
Upcoming SlideShare
Loading in …5
×

VIOPS08: Behavior Analysis Solution for Bigdata

487 views

Published on

VIOPS08: Behavior Analysis Solution for Bigdata

GLEAN Corporation
Hisashi Ohtsuji

2013年7月19日(金曜日)10:00-18:00
VIOPS08 WORKSHOP
Virtualized Infrastructures Workshop [08]

Published in: Technology
  • Be the first to comment

  • Be the first to like this

VIOPS08: Behavior Analysis Solution for Bigdata

  1. 1. Jun 13, 2013 Behavior Analysis Solution for Bigdata GLEAN Corporation Hisashi Ohtsuji
  2. 2. CPU処理 Behavior Analysis Solution for Bigdata Page 2 Standard NIC ・CPU負荷(アリ) ・ソフトウエア処理(低速) Intelligent NIC ・CPU負荷(ナシ) ・ハードウエア処理(高速) (FPGA, ASIC, DSP) バッファリング フィルタリングタイムスタンプ プロトコル解析 フロー解析 スライシング 統計情報 バッファリング フィルタリングタイムスタンプ プロトコル解析 フロー解析 スライシング統計情報 アプリケーション アプリケーション ※アプリケーションに十分なリソース割当 ※パケット取り込み処理だけで手一杯 CPU処理 H/W処理 インテリジェント型ネットワークアダプタとは
  3. 3. Behavior Analysis Solution for Bigdata Page 3 応用例1:Capture Analyzer Capture Key/Flow DB Network Capture Analyzer Info DB  基本データ  Flow List  Key List  分析データ  (Key x Flow) List  基本データ  Raw Data  分析データ  Pointer for User Data  Coloring  Flowの例 発着IP,Portの組  Keyの例 IMSI, IMEI  Key, Flow情報DB  Keyの定義(Call-ID的なもの)  Keyの取り出し方法、保存方法  Flowの定義  Flow情報の取り出し方法、保存方法 INPUT パケットトラフィック » ネットワークトラフィックだけでなく、ログやイベントも対象とする OUTPUT パケットキャプチャデータ、Key, Flow DB » Key, Flowの識別等は外部データで定義できるようにする。 » 外部定義の特殊処理機能を持った汎用処理エンジン » 対応するパケットキャプチャデータへのリンク情報も保持する。  Intelligent NIC  Key、Flow情報の取得等をハ ードウエアで処理  正確なタイムスタンプ
  4. 4. Behavior Analysis Solution for Bigdata Page 4 分散データの評価:Data Relation DB Capture of A Key/Flow DB of A Network A Network B Network C Capture Analyzer Info DB for A Capture of B Key/Flow DB of B Capture Analyzer Info DB for B Capture of C Key/Flow DB of C Capture Analyzer Info DB for C Data Relation DB A B C D E F B D FA B C C D E A, B, Cのデータを関連付けるための情報 関連付けは各データのFlow単位(呼で言えば1CALL) 各データの主Key情報(呼識別のIDなど)と、それに関連 する副Key情報(端末番号など)の定義 たとえば、移動体通信の場合、  IMSIが一致するものは関連データ  IMSIに関連付いたIMEIを持つもの も関連データ
  5. 5. Behavior Analysis Solution for Bigdata Page 5 Data Cloud 分散データの評価:クラウドネットワークへの適用 Network A Network B Network C Capture Analyzer Info DB for A Capture Analyzer Info DB for B Capture of C Key/Flow DB of C Capture Analyzer Info DB for C Data Relation DB Capture of A Key/Flow DB of A Capture of B Key/Flow DB of B
  6. 6. Behavior Analysis Solution for Bigdata Page 6 応用例2:Programmable Inline Switch Network Intelligent NIC  適用例  Address Exchange  個人情報の匿名化 Inline 処理機能 –フィルタ機能で透過パケット、処理パケットを振り分け –ハードウェア処理(低遅延・CPU負荷ナシ)のため、 通常サーバでアプリケーション実装可能 –例) ・アドレス情報を変換するProxy的処理 ・個人情報をスクランブルした情報に変換する匿名化処理 Network Exchange Info DB
  7. 7. Behavior Analysis Solution for Bigdata Page 7 さらなる応用:新しい分析の概念 ”BEHAVIOR” 通話、メール、チャット、SNS、グループウエア… 様々なものを共通分類するために次の概念を定義。  EVENT(SIPの例:Method, Response CODE )  パケット、メッセージなど、あるものからあるものへ 何かを伝えるための最小単位  Time いつ  From 誰が(人だけではない!)  To 誰に  Data 何を(更なる分類も可能)  SEQUENCE(SIPの例 : Call Flow)  関連のあるEVENTを発生順に並べたリスト  COMMANDに対するRESPONSE  呼制御、DBアクセス、Webアクセス…  BEHAVIOR(ふるまい)  関連するSEQUENCEを統合し、統計情報を付与したもの  ユーザ、ノード、端末などのふるまい ※特定の”ノード間”の動作をまとめたものは”FLOW” A B A B SEQUENCE EVENT 1 EVENT 2 EVENT 3 C EVENT EVENT EVENT SEQUENCE EVENT BEHAVIOR 6種類の SEQUENCE が発生
  8. 8. 6/18/2013 Behavior Analysis Solution for Bigdata 8 グリーン株式会社 〒150-0013 東京都渋谷区恵比寿4-9-10 プロプラーザ21 Tel : 03-3447-7722 Mail : Sales@glean-japan.com

×