SlideShare a Scribd company logo
1 of 27
Inferring Visibility:
Who’s (Not) Talking to Whom?
Department of Computer Science
Boston University
Gonca Gürsun
Natali
Ruchansky
Evimaria Terzi
Mark Crovella 浅見・川原研究室 川本 貴史
目次
1. 要旨、背景
 Visibilityの推定による正確性の向上
 想定する状況
 競合研究
2. 手法
3. 評価
4. 結論
1
1 要旨
 目的
– BGPが用いられる大規模ネットワークで、
自ネットワークを経由する通信の把握
 提案手法
– 「Visibility」の推定
 結果
– 正確性の大幅な向上
2
大規模ネットワーク
 AS : (Autonomous System)自立システム
– ex) NTT東日本 AS17933 東大AS2500
 BGP : (Border Gateway Protocol)
– AS間の経路情報交換の際に用いられる
– BGP table
• 隣接するルータ間で共有することを繰り返すこ
とで共有される。
• 経路情報をすべて含み、この中から最適なもの
がルーティングテーブルとして保有
3
大規模ネットワーク
 東大からMITへTracerouteを投げた。
4
AS2501 [東大]
AS2500 [WIDE PROJECT
AS22388
AS101 [Washington Unv.
AS19401
[National Lambdarail]
AS3 [MIT]
こういったネットワーク単位での通信を考える
AS2501 [東大]
AS101 [Washington Unv.]
AS3 [MIT]
AS2500 AS19401
何がうれしいのか
 トラフィック量の急激な変動の原因がわかる。
 セキュリティ的には攻撃元のアドレスが分か
る。
 通信業者のビジネスインテリジェンスの向上。
– 直接契約関係にないノードの通信料を推定するの
に役立つ
5
i(From 東大)
j(To MIT)
今の通信業者A
東大と契約したい
通信業者B
競合研究
 BGPが学習したルートから計算する方
法
– 大規模ネットワークに使えない。(計算量
大)
 得られたトラフィックから推定する方
法
– 大規模なネットワークに使える。正確性△
6
正確性の向上
目次
1. 要旨、背景
2. 手法
 Visibilityの定義とゼロの分類
 ノードの分類
 Edge -トラフィックのみからの予測-
 Core –近接性からの予測-
3. 評価
7
Visibilityの定義
(src i, dst j)がAS x に対してVisibleである
||
iからjへのトラフィックがxにおいて観察さ
れる
8
i(From UT)
j(To MIT)x(Washington)
(i,j)がxに対してVisible
そもそもなぜ難しいのか
 「通信が経由しない」かどうかはわからない
9
i
jx
i
jx
トラフィックが観察された
i
jx
トラフィックが観察されない
To j!!
???
To j!!
???
No packet sending…
通信を行ったとしても、
パスは観察点を経由しな
い。
今回はたまたま通信がない。
通信を行うと観察点を経由す
る。 false zero true zero
今回の提案手法によってこれを分類することができる
ゼロの分類問題 導入
 各成分が1,0からなる行列
 T(src i, dst j)
– 実際にパスが通るか
– (知りたい情報 = Visibility)
 M(src i, dst j)
– トラフィックが観察されたかどうか
10
ルーティング経路の類似性を用いて
M(i,j) = 0 をtrue zero / false zero に分類
ノードの分類
Edge
 隣接するノードが尐ない。
 ルーティングの類似性
高
 T行列の1,0の分布が特定
の行、列に集中。
Core
 隣接するノードが多い
 ルーティングの類似性 低
 T行列の1,0の分布が分散的
トラフィックのみで予測可能
ノード同士の近接性を
評価に加える必要
11
EDGE
Edge -トラフィックのみからの予測-
 M(i,j)=0となる(i,j)毎に部分行列M(S_i,D_j)を作成
– S_i はj列を見て1を与える行とi行の集合
– D_jはi行を見て1を与える列とj列の集合
12
(0)
部分行列の合計で分類!
3
2
1
0
falsezerotruezero
CORE -ノードの近接性-
 ノードの近接性を示す指標
– hop distanceを拡張
• rsd(x1,x2)
= #{xi | nexthop(xi, x1) != nexthop(xi, x2)}
13
 部分行列M(S_i,D_j)を作成。
– S_i はrsd((i, j), (i’, j))が閾値γより小さい行
の集合
– D_jはrsd((i, j), (i, j’))が閾値γより小さい列
の集合
目次
1. 要旨、背景
2. 手法
3. 評価
 手法の妥当性
 閾値の妥当性
4. 結論
14
手法の妥当性の評価
 目的
– false zero / true zero を分類する可能性を示す。
 データ
– 2011/12/06のトラフィックデータから行列T
を作成
– 行列Tの1である成分をランダムに0に変更し、
擬似的にfalse zero を持った行列Mを作成する。
 環境
– false zeroの割合を10,30,50,95%と変更する
15
16TRUEZEROFALSEZERO
EDGE-1000 CORE-100
True zero ~1
False zero ~0
累積度数分布
合計(Log)
True zero ~1
False zero ~0
累積度数分布
合計(Log)
累積度数分布
合計(Log)
累積度数分布
合計(Log)
false
zero
true
zero
false
zero
true
zero
結果
これを繰り返すことで
M(i,j)=1の成分に対して求めた
部分行列の合計の下位3%のライン
が、閾値として求められる。
 手順
– 先ほどの評価手順を1000回行う。
 結果
閾値の妥当性の評価
Edge Core
Flip(%) TPR FPR TPR FPR
10 0.99 (0.062) 0.032 (0.15) 0.95 (0.067) 0.027 (0.022)
30 0.99 (0.061) 0.045 (0.15) 0.95 (0.071) 0.028 (0.021)
50 0.99 (0.067) 0.061 (0.17) 0.95 (0.064) 0.034 (0.025)
95 0.85 (0.18) 0.08 (0.18) 0.96 (0.054) 0.069 (0.046)
正しく true zero と把握し
た確率(標準偏差)
誤ってfalse zero と把握し
た確率(標準偏差)
Visibilityの推定ができている
17
VisibilityからTrafficへ
 概論
– Traffic量を表す行列(Traffic Matrix)の予測(*)に、
推測したVisibilityを導入することで性能を向上さ
せる。
 評価
Coreのデータから
Traffic Matrixのデータを作り
予測の方法を変えることで
誤差がどう変化するかを評価する。
18
正規化平均絶対予測誤差
*行列の成分予測を行うLMAFITというアルゴリズムを用いる
目次
1. 要旨、背景
2. 手法
3. 評価
4. 結論
19
結論
 ルーティングの類似性を用いてトラ
フィックの観察からflip rate 50%までは9
割以上の精度でVisibilityを推定すること
ができた。
 この推定したVisibilityを既存のアルゴリ
ズムに追加して用いることでTM
completionの精度を最大で3.5倍程度向上
させることができた。
20
ご清聴ありがとうございました!!
21
結果-トラフィックからの予
測
22
結果-近接性からの予測
23
TPR と FPR
 TPR : 左上/左
 FPR : 右上/右
24
本当の情報
(今回は p : true zero
n : false zero
仮説の情報
(今回は Y : true zeroと予想、
N : false zeroと予想
全体
: トラフィックがなかった
NMAME
 Normalized Mean Absolut Error (NMAE)
25
ALL SMALL LARGE
26

More Related Content

Viewers also liked

IBM SoftLayer @ Osc tokyo-2014-fall
IBM SoftLayer @ Osc tokyo-2014-fallIBM SoftLayer @ Osc tokyo-2014-fall
IBM SoftLayer @ Osc tokyo-2014-fallYasushi Osonoi
 
アジャイルサムライ読書会@札幌道場 のこと
アジャイルサムライ読書会@札幌道場 のことアジャイルサムライ読書会@札幌道場 のこと
アジャイルサムライ読書会@札幌道場 のことirasally omuko
 
AWS 専用線アクセス体験ラボ紹介と 開催地立候補のお願い
AWS 専用線アクセス体験ラボ紹介と開催地立候補のお願いAWS 専用線アクセス体験ラボ紹介と開催地立候補のお願い
AWS 専用線アクセス体験ラボ紹介と 開催地立候補のお願いYasuhiro Araki, Ph.D
 
多職種連携に欠かせない共感_患医ねっと25Feb2016
多職種連携に欠かせない共感_患医ねっと25Feb2016多職種連携に欠かせない共感_患医ねっと25Feb2016
多職種連携に欠かせない共感_患医ねっと25Feb2016Shin Yamamoto
 
Global azure boot camp 2015 in japan 妖怪はみた!実録 Azure事件簿
Global azure boot camp 2015 in japan 妖怪はみた!実録 Azure事件簿Global azure boot camp 2015 in japan 妖怪はみた!実録 Azure事件簿
Global azure boot camp 2015 in japan 妖怪はみた!実録 Azure事件簿Yui Ashikaga
 
Jaws days 2015 LT 「サーバー消してみた。」
Jaws days 2015 LT 「サーバー消してみた。」Jaws days 2015 LT 「サーバー消してみた。」
Jaws days 2015 LT 「サーバー消してみた。」Tomoharu Ito
 
HealthcareBusinessModelInnovation_Aug2014
HealthcareBusinessModelInnovation_Aug2014HealthcareBusinessModelInnovation_Aug2014
HealthcareBusinessModelInnovation_Aug2014Shin Yamamoto
 
DDoS-taisaku-etc
DDoS-taisaku-etcDDoS-taisaku-etc
DDoS-taisaku-etcmatsu17673
 
IBGPのコンバージェンスの改善qunog3
IBGPのコンバージェンスの改善qunog3IBGPのコンバージェンスの改善qunog3
IBGPのコンバージェンスの改善qunog3Noriyuki Yamaguchi
 
Virtual Machine Scale Sets 概要
Virtual Machine Scale Sets 概要Virtual Machine Scale Sets 概要
Virtual Machine Scale Sets 概要Yui Ashikaga
 
NFV関連の話題 ~Service Function Chainingを中心に~
NFV関連の話題 ~Service Function Chainingを中心に~NFV関連の話題 ~Service Function Chainingを中心に~
NFV関連の話題 ~Service Function Chainingを中心に~Takanari Konishi
 
企業価値を見抜いて投資せよ!【有価証券報告書戦略的読解セミナー編】
企業価値を見抜いて投資せよ!【有価証券報告書戦略的読解セミナー編】企業価値を見抜いて投資せよ!【有価証券報告書戦略的読解セミナー編】
企業価値を見抜いて投資せよ!【有価証券報告書戦略的読解セミナー編】ValuationMatrix
 
CFJ summit graphic recording workshop
CFJ summit graphic recording workshopCFJ summit graphic recording workshop
CFJ summit graphic recording workshopSatomi Wanami
 
「ソフトウェア品質データ分析を通じた組織的改善の促進」ソフトウエアジャパン2014「ITフォーラムセッション」IPA/SEC データの分析に基づくシステム...
「ソフトウェア品質データ分析を通じた組織的改善の促進」ソフトウエアジャパン2014「ITフォーラムセッション」IPA/SEC データの分析に基づくシステム...「ソフトウェア品質データ分析を通じた組織的改善の促進」ソフトウエアジャパン2014「ITフォーラムセッション」IPA/SEC データの分析に基づくシステム...
「ソフトウェア品質データ分析を通じた組織的改善の促進」ソフトウエアジャパン2014「ITフォーラムセッション」IPA/SEC データの分析に基づくシステム...Makoto Nonaka
 
OSC2011 Hokkaido テーマセッション「はじめてのWebデザイン」
OSC2011 Hokkaido テーマセッション「はじめてのWebデザイン」OSC2011 Hokkaido テーマセッション「はじめてのWebデザイン」
OSC2011 Hokkaido テーマセッション「はじめてのWebデザイン」Seiko Kuchida
 
大規模なスイッチレス・サーバクラスタリング構築運用の考察
大規模なスイッチレス・サーバクラスタリング構築運用の考察大規模なスイッチレス・サーバクラスタリング構築運用の考察
大規模なスイッチレス・サーバクラスタリング構築運用の考察Naoto MATSUMOTO
 
明日から使えるグラフィックレコーディング入門 How Graphic Recording
明日から使えるグラフィックレコーディング入門 How Graphic Recording明日から使えるグラフィックレコーディング入門 How Graphic Recording
明日から使えるグラフィックレコーディング入門 How Graphic RecordingSatomi Wanami
 
検証環境をGoBGPで極力仮想化してみた
検証環境をGoBGPで極力仮想化してみた検証環境をGoBGPで極力仮想化してみた
検証環境をGoBGPで極力仮想化してみたToshiya Mabuchi
 
認証技術、デジタルアイデンティティ技術の最新動向
認証技術、デジタルアイデンティティ技術の最新動向認証技術、デジタルアイデンティティ技術の最新動向
認証技術、デジタルアイデンティティ技術の最新動向Tatsuo Kudo
 

Viewers also liked (20)

IBM SoftLayer @ Osc tokyo-2014-fall
IBM SoftLayer @ Osc tokyo-2014-fallIBM SoftLayer @ Osc tokyo-2014-fall
IBM SoftLayer @ Osc tokyo-2014-fall
 
アジャイルサムライ読書会@札幌道場 のこと
アジャイルサムライ読書会@札幌道場 のことアジャイルサムライ読書会@札幌道場 のこと
アジャイルサムライ読書会@札幌道場 のこと
 
AWS 専用線アクセス体験ラボ紹介と 開催地立候補のお願い
AWS 専用線アクセス体験ラボ紹介と開催地立候補のお願いAWS 専用線アクセス体験ラボ紹介と開催地立候補のお願い
AWS 専用線アクセス体験ラボ紹介と 開催地立候補のお願い
 
多職種連携に欠かせない共感_患医ねっと25Feb2016
多職種連携に欠かせない共感_患医ねっと25Feb2016多職種連携に欠かせない共感_患医ねっと25Feb2016
多職種連携に欠かせない共感_患医ねっと25Feb2016
 
Global azure boot camp 2015 in japan 妖怪はみた!実録 Azure事件簿
Global azure boot camp 2015 in japan 妖怪はみた!実録 Azure事件簿Global azure boot camp 2015 in japan 妖怪はみた!実録 Azure事件簿
Global azure boot camp 2015 in japan 妖怪はみた!実録 Azure事件簿
 
Jaws days 2015 LT 「サーバー消してみた。」
Jaws days 2015 LT 「サーバー消してみた。」Jaws days 2015 LT 「サーバー消してみた。」
Jaws days 2015 LT 「サーバー消してみた。」
 
HealthcareBusinessModelInnovation_Aug2014
HealthcareBusinessModelInnovation_Aug2014HealthcareBusinessModelInnovation_Aug2014
HealthcareBusinessModelInnovation_Aug2014
 
DDoS-taisaku-etc
DDoS-taisaku-etcDDoS-taisaku-etc
DDoS-taisaku-etc
 
IBGPのコンバージェンスの改善qunog3
IBGPのコンバージェンスの改善qunog3IBGPのコンバージェンスの改善qunog3
IBGPのコンバージェンスの改善qunog3
 
Virtual Machine Scale Sets 概要
Virtual Machine Scale Sets 概要Virtual Machine Scale Sets 概要
Virtual Machine Scale Sets 概要
 
NFV関連の話題 ~Service Function Chainingを中心に~
NFV関連の話題 ~Service Function Chainingを中心に~NFV関連の話題 ~Service Function Chainingを中心に~
NFV関連の話題 ~Service Function Chainingを中心に~
 
企業価値を見抜いて投資せよ!【有価証券報告書戦略的読解セミナー編】
企業価値を見抜いて投資せよ!【有価証券報告書戦略的読解セミナー編】企業価値を見抜いて投資せよ!【有価証券報告書戦略的読解セミナー編】
企業価値を見抜いて投資せよ!【有価証券報告書戦略的読解セミナー編】
 
CFJ summit graphic recording workshop
CFJ summit graphic recording workshopCFJ summit graphic recording workshop
CFJ summit graphic recording workshop
 
「ソフトウェア品質データ分析を通じた組織的改善の促進」ソフトウエアジャパン2014「ITフォーラムセッション」IPA/SEC データの分析に基づくシステム...
「ソフトウェア品質データ分析を通じた組織的改善の促進」ソフトウエアジャパン2014「ITフォーラムセッション」IPA/SEC データの分析に基づくシステム...「ソフトウェア品質データ分析を通じた組織的改善の促進」ソフトウエアジャパン2014「ITフォーラムセッション」IPA/SEC データの分析に基づくシステム...
「ソフトウェア品質データ分析を通じた組織的改善の促進」ソフトウエアジャパン2014「ITフォーラムセッション」IPA/SEC データの分析に基づくシステム...
 
ISACAってなんですか?
ISACAってなんですか?ISACAってなんですか?
ISACAってなんですか?
 
OSC2011 Hokkaido テーマセッション「はじめてのWebデザイン」
OSC2011 Hokkaido テーマセッション「はじめてのWebデザイン」OSC2011 Hokkaido テーマセッション「はじめてのWebデザイン」
OSC2011 Hokkaido テーマセッション「はじめてのWebデザイン」
 
大規模なスイッチレス・サーバクラスタリング構築運用の考察
大規模なスイッチレス・サーバクラスタリング構築運用の考察大規模なスイッチレス・サーバクラスタリング構築運用の考察
大規模なスイッチレス・サーバクラスタリング構築運用の考察
 
明日から使えるグラフィックレコーディング入門 How Graphic Recording
明日から使えるグラフィックレコーディング入門 How Graphic Recording明日から使えるグラフィックレコーディング入門 How Graphic Recording
明日から使えるグラフィックレコーディング入門 How Graphic Recording
 
検証環境をGoBGPで極力仮想化してみた
検証環境をGoBGPで極力仮想化してみた検証環境をGoBGPで極力仮想化してみた
検証環境をGoBGPで極力仮想化してみた
 
認証技術、デジタルアイデンティティ技術の最新動向
認証技術、デジタルアイデンティティ技術の最新動向認証技術、デジタルアイデンティティ技術の最新動向
認証技術、デジタルアイデンティティ技術の最新動向
 

Similar to M1gp -Who’s (Not) Talking to Whom?-

大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズム大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズムTakuya Akiba
 
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習Preferred Networks
 
Visualizing Data Using t-SNE
Visualizing Data Using t-SNEVisualizing Data Using t-SNE
Visualizing Data Using t-SNETomoki Hayashi
 
Protein-Protein Interaction Prediction
Protein-Protein Interaction PredictionProtein-Protein Interaction Prediction
Protein-Protein Interaction PredictionMasahito Ohue
 
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17Yuya Unno
 
Data assim r
Data assim rData assim r
Data assim rXiangze
 
確率的深層学習における中間層の改良と高性能学習法の提案
確率的深層学習における中間層の改良と高性能学習法の提案確率的深層学習における中間層の改良と高性能学習法の提案
確率的深層学習における中間層の改良と高性能学習法の提案__106__
 
東大計数特別講義20130528
東大計数特別講義20130528東大計数特別講義20130528
東大計数特別講義20130528Yoichi Motomura
 
深層学習フレームワーク Chainer の開発と今後の展開
深層学習フレームワーク Chainer の開発と今後の展開深層学習フレームワーク Chainer の開発と今後の展開
深層学習フレームワーク Chainer の開発と今後の展開Seiya Tokui
 
Structural data analysis based on multilayer networks
Structural data analysis based on multilayer networksStructural data analysis based on multilayer networks
Structural data analysis based on multilayer networkstm1966
 
NSDI2015読み会 Correctness セッション
NSDI2015読み会 Correctness セッションNSDI2015読み会 Correctness セッション
NSDI2015読み会 Correctness セッションDaisuke Kotani
 
データを読み取る感性
データを読み取る感性データを読み取る感性
データを読み取る感性Hideo Hirose
 
データとは何か
データとは何かデータとは何か
データとは何かKenta Suzuki
 
2022/02 情報基盤システム学(NAIST)の研究室紹介
2022/02 情報基盤システム学(NAIST)の研究室紹介2022/02 情報基盤システム学(NAIST)の研究室紹介
2022/02 情報基盤システム学(NAIST)の研究室紹介inet-lab
 

Similar to M1gp -Who’s (Not) Talking to Whom?- (20)

大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズム大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズム
 
Jokyokai
JokyokaiJokyokai
Jokyokai
 
GANの基本
GANの基本GANの基本
GANの基本
 
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習
 
Visualizing Data Using t-SNE
Visualizing Data Using t-SNEVisualizing Data Using t-SNE
Visualizing Data Using t-SNE
 
PRML Chapter 14
PRML Chapter 14PRML Chapter 14
PRML Chapter 14
 
Overview and Roadmap
Overview and RoadmapOverview and Roadmap
Overview and Roadmap
 
2005-02-18GVGrid-Japanese
2005-02-18GVGrid-Japanese2005-02-18GVGrid-Japanese
2005-02-18GVGrid-Japanese
 
Protein-Protein Interaction Prediction
Protein-Protein Interaction PredictionProtein-Protein Interaction Prediction
Protein-Protein Interaction Prediction
 
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
 
Data assim r
Data assim rData assim r
Data assim r
 
確率的深層学習における中間層の改良と高性能学習法の提案
確率的深層学習における中間層の改良と高性能学習法の提案確率的深層学習における中間層の改良と高性能学習法の提案
確率的深層学習における中間層の改良と高性能学習法の提案
 
ma99992006id365
ma99992006id365ma99992006id365
ma99992006id365
 
東大計数特別講義20130528
東大計数特別講義20130528東大計数特別講義20130528
東大計数特別講義20130528
 
深層学習フレームワーク Chainer の開発と今後の展開
深層学習フレームワーク Chainer の開発と今後の展開深層学習フレームワーク Chainer の開発と今後の展開
深層学習フレームワーク Chainer の開発と今後の展開
 
Structural data analysis based on multilayer networks
Structural data analysis based on multilayer networksStructural data analysis based on multilayer networks
Structural data analysis based on multilayer networks
 
NSDI2015読み会 Correctness セッション
NSDI2015読み会 Correctness セッションNSDI2015読み会 Correctness セッション
NSDI2015読み会 Correctness セッション
 
データを読み取る感性
データを読み取る感性データを読み取る感性
データを読み取る感性
 
データとは何か
データとは何かデータとは何か
データとは何か
 
2022/02 情報基盤システム学(NAIST)の研究室紹介
2022/02 情報基盤システム学(NAIST)の研究室紹介2022/02 情報基盤システム学(NAIST)の研究室紹介
2022/02 情報基盤システム学(NAIST)の研究室紹介
 

M1gp -Who’s (Not) Talking to Whom?-