Your SlideShare is downloading. ×
VIOPS08: Behavior Analysis Solution for Bigdata
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

VIOPS08: Behavior Analysis Solution for Bigdata

179

Published on

VIOPS08: Behavior Analysis Solution for Bigdata …

VIOPS08: Behavior Analysis Solution for Bigdata

GLEAN Corporation
Hisashi Ohtsuji

2013年7月19日(金曜日)10:00-18:00
VIOPS08 WORKSHOP
Virtualized Infrastructures Workshop [08]

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
179
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Jun 13, 2013 Behavior Analysis Solution for Bigdata GLEAN Corporation Hisashi Ohtsuji
  • 2. CPU処理 Behavior Analysis Solution for Bigdata Page 2 Standard NIC ・CPU負荷(アリ) ・ソフトウエア処理(低速) Intelligent NIC ・CPU負荷(ナシ) ・ハードウエア処理(高速) (FPGA, ASIC, DSP) バッファリング フィルタリングタイムスタンプ プロトコル解析 フロー解析 スライシング 統計情報 バッファリング フィルタリングタイムスタンプ プロトコル解析 フロー解析 スライシング統計情報 アプリケーション アプリケーション ※アプリケーションに十分なリソース割当 ※パケット取り込み処理だけで手一杯 CPU処理 H/W処理 インテリジェント型ネットワークアダプタとは
  • 3. Behavior Analysis Solution for Bigdata Page 3 応用例1:Capture Analyzer Capture Key/Flow DB Network Capture Analyzer Info DB  基本データ  Flow List  Key List  分析データ  (Key x Flow) List  基本データ  Raw Data  分析データ  Pointer for User Data  Coloring  Flowの例 発着IP,Portの組  Keyの例 IMSI, IMEI  Key, Flow情報DB  Keyの定義(Call-ID的なもの)  Keyの取り出し方法、保存方法  Flowの定義  Flow情報の取り出し方法、保存方法 INPUT パケットトラフィック » ネットワークトラフィックだけでなく、ログやイベントも対象とする OUTPUT パケットキャプチャデータ、Key, Flow DB » Key, Flowの識別等は外部データで定義できるようにする。 » 外部定義の特殊処理機能を持った汎用処理エンジン » 対応するパケットキャプチャデータへのリンク情報も保持する。  Intelligent NIC  Key、Flow情報の取得等をハ ードウエアで処理  正確なタイムスタンプ
  • 4. Behavior Analysis Solution for Bigdata Page 4 分散データの評価:Data Relation DB Capture of A Key/Flow DB of A Network A Network B Network C Capture Analyzer Info DB for A Capture of B Key/Flow DB of B Capture Analyzer Info DB for B Capture of C Key/Flow DB of C Capture Analyzer Info DB for C Data Relation DB A B C D E F B D FA B C C D E A, B, Cのデータを関連付けるための情報 関連付けは各データのFlow単位(呼で言えば1CALL) 各データの主Key情報(呼識別のIDなど)と、それに関連 する副Key情報(端末番号など)の定義 たとえば、移動体通信の場合、  IMSIが一致するものは関連データ  IMSIに関連付いたIMEIを持つもの も関連データ
  • 5. Behavior Analysis Solution for Bigdata Page 5 Data Cloud 分散データの評価:クラウドネットワークへの適用 Network A Network B Network C Capture Analyzer Info DB for A Capture Analyzer Info DB for B Capture of C Key/Flow DB of C Capture Analyzer Info DB for C Data Relation DB Capture of A Key/Flow DB of A Capture of B Key/Flow DB of B
  • 6. Behavior Analysis Solution for Bigdata Page 6 応用例2:Programmable Inline Switch Network Intelligent NIC  適用例  Address Exchange  個人情報の匿名化 Inline 処理機能 –フィルタ機能で透過パケット、処理パケットを振り分け –ハードウェア処理(低遅延・CPU負荷ナシ)のため、 通常サーバでアプリケーション実装可能 –例) ・アドレス情報を変換するProxy的処理 ・個人情報をスクランブルした情報に変換する匿名化処理 Network Exchange Info DB
  • 7. Behavior Analysis Solution for Bigdata Page 7 さらなる応用:新しい分析の概念 ”BEHAVIOR” 通話、メール、チャット、SNS、グループウエア… 様々なものを共通分類するために次の概念を定義。  EVENT(SIPの例:Method, Response CODE )  パケット、メッセージなど、あるものからあるものへ 何かを伝えるための最小単位  Time いつ  From 誰が(人だけではない!)  To 誰に  Data 何を(更なる分類も可能)  SEQUENCE(SIPの例 : Call Flow)  関連のあるEVENTを発生順に並べたリスト  COMMANDに対するRESPONSE  呼制御、DBアクセス、Webアクセス…  BEHAVIOR(ふるまい)  関連するSEQUENCEを統合し、統計情報を付与したもの  ユーザ、ノード、端末などのふるまい ※特定の”ノード間”の動作をまとめたものは”FLOW” A B A B SEQUENCE EVENT 1 EVENT 2 EVENT 3 C EVENT EVENT EVENT SEQUENCE EVENT BEHAVIOR 6種類の SEQUENCE が発生
  • 8. 6/18/2013 Behavior Analysis Solution for Bigdata 8 グリーン株式会社 〒150-0013 東京都渋谷区恵比寿4-9-10 プロプラーザ21 Tel : 03-3447-7722 Mail : Sales@glean-japan.com

×