Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Machine Learning on Graph Data
@ ICML 2019
亀澤諒亮 / DeNA
ICLR’19 / ICML’19 読み会 @DeNA
Words in Title @ ICML’19
3
Words in Title @ ICML’17-‘19
4
2018 20192017
Words in Title @ ICML’17-‘19
5
2018 20192017
Graph ML @ ICML 2019
6
Graph ML @ ICML 2019
グラフデータを扱った論文はおよそ30本 (ICML’18ではおよそ15本)

様々なタスクや手法をグラフに対しても適用できるように拡張したものが多い

● Adversarial attacks
● D...
Outline
- Graph ML @ ICML 2019
- グラフについて
- 論文紹介
- A Persistent Weisfeiler–Lehman Procedure for Graph Classification
- Bast...
Graph
- 頂点(node, vertex)と辺(link, edge)からなるデータ構造

- 今回紹介するものは

- 基本的に無向グラフ(辺の向きは考えない)

- 各頂点が特徴ベクトルをもつ場合が多い



- 具体的には隣接行列と...
A Persistent Weisfeiler-Lehman Procedure
for Graph Classification
Bastian Rieck, Christian Bock, Karsten Borgwardt / ETH Z...
Abstract
グラフ全体に対する特徴ベクトルを計算する手法を提案

- WL Subtree [Shervashidze+, ‘11] は局所的な情報しか捉えない

→ 閉路の情報を明示的に扱えるように拡張

- 既存のGraph Feat...
Weisfeiler-Lehman Subtree (WL Subtree) [Shervashidze+, ‘11]
12
http://www.jmlr.org/papers/volume12/shervashidze11a/shervas...
Weisfeiler-Lehman Subtree (WL Subtree) [Shervashidze+, ‘11]
13
http://www.jmlr.org/papers/volume12/shervashidze11a/shervas...
Weisfeiler-Lehman Subtree (WL Subtree) [Shervashidze+, ‘11]
14
http://www.jmlr.org/papers/volume12/shervashidze11a/shervas...
Weisfeiler-Lehman Subtree (WL Subtree) [Shervashidze+, ‘11]
15
http://www.jmlr.org/papers/volume12/shervashidze11a/shervas...
Weisfeiler-Lehman Subtree (WL Subtree) [Shervashidze+, ‘11]
16
http://www.jmlr.org/papers/volume12/shervashidze11a/shervas...
Weisfeiler-Lehman Subtree (WL Subtree) [Shervashidze+, ‘11]
17
http://www.jmlr.org/papers/volume12/shervashidze11a/shervas...
Weisfeiler-Lehman Subtree (WL Subtree) [Shervashidze+, ‘11]
18
http://www.jmlr.org/papers/volume12/shervashidze11a/shervas...
グラフの変化で構造(連結成分, 閉路, etc.) がどう変わるか?

- 辺の重みによってグラフを整列









バーコード



Persistent Homology
19
※Persistent homology における一般的...
グラフの変化で構造(連結成分, 閉路, etc.) がどう変わるか?

- 辺の重みによってグラフを整列









バーコード



Persistent Homology
20
※Persistent homology における一般的...
グラフの変化で構造(連結成分, 閉路, etc.) がどう変わるか?

- 辺の重みによってグラフを整列









バーコード



Persistent Homology
21
※Persistent homology における一般的...
グラフの変化で構造(連結成分, 閉路, etc.) がどう変わるか?

- 辺の重みによってグラフを整列









バーコード



Persistent Homology
22
※Persistent homology における一般的...
グラフの変化で構造(連結成分, 閉路, etc.) がどう変わるか?

- 辺の重みによってグラフを整列









バーコード



Persistent Homology
23
※Persistent homology における一般的...
グラフの変化で構造(連結成分, 閉路, etc.) がどう変わるか?

- 辺の重みによってグラフを整列









バーコード



Persistent Homology
24
※Persistent homology における一般的...
Persistent Homology
グラフの変化で構造(連結成分, 閉路, etc.) がどう変わるか?

- 辺の重みによってグラフを整列









バーコード



25
※Persistent homology における一般的...
Algorithm: Persistent subtree feature
グラフ G=(V, E), 反復数 H
Loop h = 1, …, H-1
隣接するラベルを集約

辺の重み、PHを計算

ラベル圧縮

連結成分特徴



閉路特徴...
Algorithm: Persistent subtree feature
27
http://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf
グラフ G=(V,...
Algorithm: Persistent subtree feature
28
http://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf
グラフ G=(V,...
グラフ G=(V, E), 反復数 H
Loop h = 1, …, H-1
隣接するラベルを集約

辺の重み、PHを計算

ラベル圧縮

連結成分特徴



閉路特徴





Algorithm: Persistent subtree fe...
Algorithm: Persistent subtree feature
30
グラフ G=(V, E), 反復数 H
Loop h = 1, …, H-1
隣接するラベルを集約

辺の重み、PHを計算

ラベル圧縮

連結成分特徴



閉...
Experiments
Benchmark datasets (classification)
- Graph feature / kernel の既存手法に比べて性能向上
31
http://proceedings.mlr.press/v97...
Summary
Weisfeiler-Lehman subtree は明示的にトポロジカルな特徴を扱わない



Persistent Weisfeiler-Lehman Procedure を提案

- 明示的に閉路の情報を考慮

- Per...
Adversarial Attacks on Node Embeddings
via Graph Poisoning
Aleksandar Bojchevski, Stephan Günnemann / Technical University...
Abstract
- DeepWalk(教師なしノード埋め込み)への攻撃を提案

- 攻撃:グラフの辺の反転

- 従来法[Zügner+, ICLR’19][Zügner+, KDD’18]は半教師あり学習に対する攻撃



- 反転すべき辺...
DeepWalk [Perozzi+, KDD’14]
ノード埋め込みを計算する手法

- サンプルされたrandom walk 上での skip-gram
- Random walkを文、ノードを単語とみなす

- Skip-gramによって...
Attack model
ノード埋め込みの目的関数に関する2段階の最適化











36
Attack model
ノード埋め込みの目的関数に関する2段階の最適化











37
隣接行列に対する制約
Attack model
ノード埋め込みの目的関数に関する2段階の最適化











38
攻撃に対する制約
Attack model
ノード埋め込みの目的関数に関する2段階の最適化











39
最適な埋め込みの計算
Attack model
ノード埋め込みの目的関数に関する2段階の最適化











40
損失を最大化する
隣接行列の計算
Attack model
ノード埋め込みの目的関数に関する2段階の最適化









DeepWalkの特異値分解としての解を使うことで

内側の最適化(Zに関する損失の最小化)は閉じた形で求められる







41
Attack model
ノード埋め込みの目的関数に関する2段階の最適化









DeepWalkの特異値分解としての解を使うことで

内側の最適化(Zに関する損失の最小化)は閉じた形で求められる





このままでは外側の最適化は...
Approximation
- 勾配法

- 特異値分解のためにナイーブには勾配を計算できない

- Eigenvalue perturbationによって近似

- 隣接行列の変化量は ±1のため誤差も大きくなる

- 計算量 






...
Approximation
- 勾配法

- 特異値分解のためにナイーブには勾配を計算できない

- Eigenvalue perturbationによって近似

- 隣接行列の変化量は ±1のため誤差も大きくなる

- 計算量 



- 貪...
Experiments
45
http://proceedings.mlr.press/v97/bojchevski19a/bojchevski19a.pdf
勾配法 貪欲法
横軸+ 辺の追加
横軸 - 辺の削除
Experiments
46
http://proceedings.mlr.press/v97/bojchevski19a/bojchevski19a.pdf
転用可能性: DeepWalk以外のアルゴリズムでも性能劣化

Summary
47
ノード埋め込みに対する攻撃を定式化、効率的なアルゴリズムを提案



ノード埋め込みとそれに依存したタスク(ノード分類、リンク予測)でも性能劣化



辺を反転する攻撃は他のアルゴリズム(node2vec, GCN, et...
Simplifying Graph Convolutional Networks
Felix Wu, Tianyi Zhang, Amauri Holanda de Souza Jr., Christopher Fifty, Tao Yu / ...
Abstract
- Graph Convolutional Network (GCN) [Kipf+, ICLR’17] を単純化したモデルでも

ノード分類において大きな性能低下が見られないことを確認

● Simple Graph Con...
Graph Convolutional Network [Kipf+, ICLR’17]












正規化隣接行列

50
http://proceedings.mlr.press/v97/wu19e/wu19e.pdf
(次数行...
Simple Graph Convolution (SGC)














GCNの活性化関数(ReLU)を除くことで単純化

特徴量の伝播は単純な行列積に帰着

51
http://proceedings.mlr.press/v...
Experiments
SGCと他のモデルで大きな変化は見られない

52
http://proceedings.mlr.press/v97/wu19e/wu19e.pdf
👍 特徴伝播
🤔 非線形性
Graph Signal Processing
正規化グラフラプラシアン 

ノード上の値(信号)

グラフフーリエ変換

逆グラフフーリエ変換













53
http://web.media.mit.edu/~xdong/p...
Low-pass Filter Effect
グラフフィルター(畳み込み)

SGCの場合

54
http://proceedings.mlr.press/v97/wu19e/wu19e.pdf
各周波数成分にかかる係数
Summary
GCNの非線形層を取り除くことで単純化したモデルSGCを提案

- 実験的に大きな性能劣化が見られないことを確認

- GCNにおいて特徴伝播は有効だが、非線形性はあまり有効ではないことを示唆



SGCにおける畳み込みはグラ...
Position-aware Graph Neural Networks
Jiaxuan You, Rex Ying, Jure Leskovec / Stanford
56
http://proceedings.mlr.press/v97/y...
Abstract
従来のGNNだとノード埋め込みをした際に

同じ局所構造をもつノードを区別できないことを指摘



同じ局所構造であっても区別できるアーキテクチャを提案

- P-GNN


実験的に既存法を上回る性能

- Link pre...
Motivation
既存のGNN(e.g. GCN)では同じ局所構造を持ったノードを区別できない

















→ 基準となるノードの集合 Anchor-setを設定し、そこから距離を考慮した特徴伝播を行う

58
htt...
Algorithm: P-GNN
1. Anchor-set S1
, ... ,Sk
のサンプリング

2. 頂点v とAnchor-set Si
に対してメッセージMv
[i] を計算



3. Mv
から出力ベクトルと次の層の入力ベクト...
Algorithm: P-GNN
60
http://proceedings.mlr.press/v97/you19b/you19b.pdf
1. Anchor-set S1
, ... ,Sk
のサンプリング

2. 頂点v とAnchor-...
Algorithm: P-GNN
61
http://proceedings.mlr.press/v97/you19b/you19b.pdf
1. Anchor-set S1
, ... ,Sk
のサンプリング

2. 頂点v とAnchor-...
Anchor-Set
距離空間





Bourgain Theorem [Bourgain, 1985]
距離空間





具体的構成

Anchor-set Si,j
は各頂点を確率1/2i
で独立にサンプリング



62
のdist...
Anchor-Set
距離空間





Bourgain Theorem [Bourgain, 1985]
距離空間





具体的構成

Anchor-set Si,j
は各頂点を確率1/2i
で独立にサンプリング



63
のdist...
Anchor-Set
距離空間





Bourgain Theorem [Bourgain, 1985]
距離空間





具体的構成

Anchor-set Si,j
は各頂点を確率1/2i
で独立にサンプリング



64
のdist...
Anchor-Set
距離空間





Bourgain Theorem [Bourgain, 1985]
距離空間





具体的構成

Anchor-set Si,j
は各頂点を確率1/2i
で独立にサンプリング

→ Si,j
を使う...
Experiements
Link prediction
66
http://proceedings.mlr.press/v97/you19b/you19b.pdf
Experiments
Pairwise node classification
- 頂点対のラベルが同一かどうかを予測
67
http://proceedings.mlr.press/v97/you19b/you19b.pdf
Summary
既存のGNNでは局所構造が同じ頂点を区別できないことを指摘



Anchor-set を導入することで局所構造が同じであっても区別できるようにGNNを拡張



特定のタスクでは既存手法を大きく上回る性能

- Link pr...
Whole Summary
- グラフを扱う論文は増えてきている (昨年からおよそ倍増)

- タスクも手法も応用も多様化



- 論文紹介

- A Persistent Weisfeiler–Lehman Procedure for Gr...
References (ICML’19)
B. Rieck, C. Bock, and K. Borgwardt, “A Persistent Weisfeiler-Lehman Procedure for Graph Classificati...
References (ICML’18)
H. Dai et al., “Adversarial Attack on Graph Structured Data,” in International Conference on Machine ...
References
N. Shervashidze, P. Schweitzer, E. J. van Leeuwen, K. Mehlhorn, and K. M. Borgwardt, “Weisfeiler-Lehman Graph K...
Upcoming SlideShare
Loading in …5
×

Machine Learning on Graph Data @ ICML 2019

3,515 views

Published on

ICML'19/ICLR'19 読み会の資料です。

Published in: Technology
  • If you want to download or read this book, Copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • ACCESS that WEBSITE Over for All Ebooks (Unlimited) ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... DOWNLOAD FULL EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M }
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Machine Learning on Graph Data @ ICML 2019

  1. 1. Machine Learning on Graph Data @ ICML 2019 亀澤諒亮 / DeNA ICLR’19 / ICML’19 読み会 @DeNA
  2. 2. Words in Title @ ICML’19 3
  3. 3. Words in Title @ ICML’17-‘19 4 2018 20192017
  4. 4. Words in Title @ ICML’17-‘19 5 2018 20192017
  5. 5. Graph ML @ ICML 2019 6
  6. 6. Graph ML @ ICML 2019 グラフデータを扱った論文はおよそ30本 (ICML’18ではおよそ15本)
 様々なタスクや手法をグラフに対しても適用できるように拡張したものが多い
 ● Adversarial attacks ● Disentanglement ● Similarity measure ● Self attention, etc. ニューラルネットワーク以外のアルゴリズムでグラフを扱うものも
 ● Graph feature (kernel) / Gaussian process 応用
 ● 回路設計の最適化
 ● 楽譜からの演奏生成
 
 7
  7. 7. Outline - Graph ML @ ICML 2019 - グラフについて - 論文紹介 - A Persistent Weisfeiler–Lehman Procedure for Graph Classification - Bastian Rieck, Christian Bock, Karsten Borgwardt / ETH Zurich - Adversarial Attacks on Node Embeddings via Graph Poisoning - Aleksandar Bojchevski, Stephan Günnemann / Technical University of Munich - Simplifying Graph Convolutional Networks - Felix Wu, Tianyi Zhang, Amauri Holanda de Souza Jr., Christopher Fifty, Tao Yu / Cornell - Position-aware Graph Neural Networks - Jiaxuan You, Rex Ying, Jure Leskovec / Stanford 8
  8. 8. Graph - 頂点(node, vertex)と辺(link, edge)からなるデータ構造
 - 今回紹介するものは
 - 基本的に無向グラフ(辺の向きは考えない)
 - 各頂点が特徴ベクトルをもつ場合が多い
 
 - 具体的には隣接行列として表現
 - 隣接行列
 
 - 例
 - Web
 - SNSネットワーク
 - 引用ネットワーク
 9 - タンパク質ネットワーク
 - 分子構造
 - etc.

  9. 9. A Persistent Weisfeiler-Lehman Procedure for Graph Classification Bastian Rieck, Christian Bock, Karsten Borgwardt / ETH Zurich 10 http://proceedings.mlr.press/v97/rieck19a/rieck19a.pdf
  10. 10. Abstract グラフ全体に対する特徴ベクトルを計算する手法を提案
 - WL Subtree [Shervashidze+, ‘11] は局所的な情報しか捉えない
 → 閉路の情報を明示的に扱えるように拡張
 - 既存のGraph Feature/Kernel に比べて性能向上
 11 http://proceedings.mlr.press/v97/rieck19a/rieck19a.pdf
  11. 11. Weisfeiler-Lehman Subtree (WL Subtree) [Shervashidze+, ‘11] 12 http://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf
  12. 12. Weisfeiler-Lehman Subtree (WL Subtree) [Shervashidze+, ‘11] 13 http://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf 隣接するラベルを集める
  13. 13. Weisfeiler-Lehman Subtree (WL Subtree) [Shervashidze+, ‘11] 14 http://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf ラベル圧縮
  14. 14. Weisfeiler-Lehman Subtree (WL Subtree) [Shervashidze+, ‘11] 15 http://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf ラベルを更新
  15. 15. Weisfeiler-Lehman Subtree (WL Subtree) [Shervashidze+, ‘11] 16 http://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf 戻って繰り返す
  16. 16. Weisfeiler-Lehman Subtree (WL Subtree) [Shervashidze+, ‘11] 17 http://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf ラベルの出現頻度をベクトル化
  17. 17. Weisfeiler-Lehman Subtree (WL Subtree) [Shervashidze+, ‘11] 18 http://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf WL subtree では全体的な構造に関する情報は含まれない
  18. 18. グラフの変化で構造(連結成分, 閉路, etc.) がどう変わるか?
 - 辺の重みによってグラフを整列
 
 
 
 
 バーコード
 
 Persistent Homology 19 ※Persistent homology における一般的な定義とは異なる https://www.math.upenn.edu/~ghrist/preprints/barcodes.pdf 連結成分の寿命
 CC persistence 閉路の寿命
 cycle persistence
  19. 19. グラフの変化で構造(連結成分, 閉路, etc.) がどう変わるか?
 - 辺の重みによってグラフを整列
 
 
 
 
 バーコード
 
 Persistent Homology 20 ※Persistent homology における一般的な定義とは異なる https://www.math.upenn.edu/~ghrist/preprints/barcodes.pdf 連結成分の寿命
 CC persistence 閉路の寿命
 cycle persistence
  20. 20. グラフの変化で構造(連結成分, 閉路, etc.) がどう変わるか?
 - 辺の重みによってグラフを整列
 
 
 
 
 バーコード
 
 Persistent Homology 21 ※Persistent homology における一般的な定義とは異なる https://www.math.upenn.edu/~ghrist/preprints/barcodes.pdf 連結成分の寿命
 CC persistence 閉路の寿命
 cycle persistence
  21. 21. グラフの変化で構造(連結成分, 閉路, etc.) がどう変わるか?
 - 辺の重みによってグラフを整列
 
 
 
 
 バーコード
 
 Persistent Homology 22 ※Persistent homology における一般的な定義とは異なる https://www.math.upenn.edu/~ghrist/preprints/barcodes.pdf 連結成分の寿命
 CC persistence 閉路の寿命
 cycle persistence
  22. 22. グラフの変化で構造(連結成分, 閉路, etc.) がどう変わるか?
 - 辺の重みによってグラフを整列
 
 
 
 
 バーコード
 
 Persistent Homology 23 ※Persistent homology における一般的な定義とは異なる https://www.math.upenn.edu/~ghrist/preprints/barcodes.pdf 連結成分の寿命
 CC persistence 閉路の寿命
 cycle persistence
  23. 23. グラフの変化で構造(連結成分, 閉路, etc.) がどう変わるか?
 - 辺の重みによってグラフを整列
 
 
 
 
 バーコード
 
 Persistent Homology 24 ※Persistent homology における一般的な定義とは異なる https://www.math.upenn.edu/~ghrist/preprints/barcodes.pdf 連結成分の寿命
 CC persistence 閉路の寿命
 cycle persistence
  24. 24. Persistent Homology グラフの変化で構造(連結成分, 閉路, etc.) がどう変わるか?
 - 辺の重みによってグラフを整列
 
 
 
 
 バーコード
 
 25 ※Persistent homology における一般的な定義とは異なる https://www.math.upenn.edu/~ghrist/preprints/barcodes.pdf 連結成分の寿命
 CC persistence 閉路の寿命
 cycle persistence
  25. 25. Algorithm: Persistent subtree feature グラフ G=(V, E), 反復数 H Loop h = 1, …, H-1 隣接するラベルを集約
 辺の重み、PHを計算
 ラベル圧縮
 連結成分特徴
 
 閉路特徴
 
 
 26 http://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf
  26. 26. Algorithm: Persistent subtree feature 27 http://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf グラフ G=(V, E), 反復数 H Loop h = 1, …, H-1 隣接するラベルを集約
 辺の重み、PHを計算
 ラベル圧縮
 連結成分特徴
 
 閉路特徴
 
 

  27. 27. Algorithm: Persistent subtree feature 28 http://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf グラフ G=(V, E), 反復数 H Loop h = 1, …, H-1 隣接するラベルを集約
 辺の重み、PHを計算
 ラベル圧縮
 連結成分特徴
 
 閉路特徴
 
 

  28. 28. グラフ G=(V, E), 反復数 H Loop h = 1, …, H-1 隣接するラベルを集約
 辺の重み、PHを計算
 ラベル圧縮
 連結成分特徴
 
 閉路特徴
 
 
 Algorithm: Persistent subtree feature 29 http://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf ラベル li に対応するCC persistence の和
  29. 29. Algorithm: Persistent subtree feature 30 グラフ G=(V, E), 反復数 H Loop h = 1, …, H-1 隣接するラベルを集約
 辺の重み、PHを計算
 ラベル圧縮
 連結成分特徴
 
 閉路特徴
 
 
 http://www.jmlr.org/papers/volume12/shervashidze11a/shervashidze11a.pdf 両辺どちらかの頂点のラベルが li である cycle persistence の和
  30. 30. Experiments Benchmark datasets (classification) - Graph feature / kernel の既存手法に比べて性能向上 31 http://proceedings.mlr.press/v97/rieck19a/rieck19a.pdf
  31. 31. Summary Weisfeiler-Lehman subtree は明示的にトポロジカルな特徴を扱わない
 
 Persistent Weisfeiler-Lehman Procedure を提案
 - 明示的に閉路の情報を考慮
 - Persistent homology による表現を利用
 
 Graph feature / kernel の既存手法に比べて性能向上
 32
  32. 32. Adversarial Attacks on Node Embeddings via Graph Poisoning Aleksandar Bojchevski, Stephan Günnemann / Technical University of Munich 33 http://proceedings.mlr.press/v97/bojchevski19a/bojchevski19a.pdf
  33. 33. Abstract - DeepWalk(教師なしノード埋め込み)への攻撃を提案
 - 攻撃:グラフの辺の反転
 - 従来法[Zügner+, ICLR’19][Zügner+, KDD’18]は半教師あり学習に対する攻撃
 
 - 反転すべき辺を効率的に見つけるアルゴリズムを提案
 
 - 半教師あり学習でも攻撃によって性能劣化
 
 - 攻撃に用いたグラフはDeepWalk以外にも転用可能
 34
  34. 34. DeepWalk [Perozzi+, KDD’14] ノード埋め込みを計算する手法
 - サンプルされたrandom walk 上での skip-gram - Random walkを文、ノードを単語とみなす
 - Skip-gramによってノード(単語)の埋め込みを計算
 実は特異値分解として解ける
 35 http://proceedings.mlr.press/v97/bojchevski19a/bojchevski19a.pdf
  35. 35. Attack model ノード埋め込みの目的関数に関する2段階の最適化
 
 
 
 
 
 36
  36. 36. Attack model ノード埋め込みの目的関数に関する2段階の最適化
 
 
 
 
 
 37 隣接行列に対する制約
  37. 37. Attack model ノード埋め込みの目的関数に関する2段階の最適化
 
 
 
 
 
 38 攻撃に対する制約
  38. 38. Attack model ノード埋め込みの目的関数に関する2段階の最適化
 
 
 
 
 
 39 最適な埋め込みの計算
  39. 39. Attack model ノード埋め込みの目的関数に関する2段階の最適化
 
 
 
 
 
 40 損失を最大化する 隣接行列の計算
  40. 40. Attack model ノード埋め込みの目的関数に関する2段階の最適化
 
 
 
 
 DeepWalkの特異値分解としての解を使うことで
 内側の最適化(Zに関する損失の最小化)は閉じた形で求められる
 
 
 
 41
  41. 41. Attack model ノード埋め込みの目的関数に関する2段階の最適化
 
 
 
 
 DeepWalkの特異値分解としての解を使うことで
 内側の最適化(Zに関する損失の最小化)は閉じた形で求められる
 
 
 このままでは外側の最適化は非効率
 → 目的関数を近似
 42
  42. 42. Approximation - 勾配法
 - 特異値分解のためにナイーブには勾配を計算できない
 - Eigenvalue perturbationによって近似
 - 隣接行列の変化量は ±1のため誤差も大きくなる
 - 計算量 
 
 
 
 43
  43. 43. Approximation - 勾配法
 - 特異値分解のためにナイーブには勾配を計算できない
 - Eigenvalue perturbationによって近似
 - 隣接行列の変化量は ±1のため誤差も大きくなる
 - 計算量 
 
 - 貪欲法
 - 辺を反転した場合の損失の変化量を効率的に計算できるように近似
 - 辺の追加
 - 候補となる頂点対をサンプリングし、最適な辺を選択
 - 辺の削除
 - 存在する辺の中から最適な辺を選択
 
 
 44
  44. 44. Experiments 45 http://proceedings.mlr.press/v97/bojchevski19a/bojchevski19a.pdf 勾配法 貪欲法 横軸+ 辺の追加 横軸 - 辺の削除
  45. 45. Experiments 46 http://proceedings.mlr.press/v97/bojchevski19a/bojchevski19a.pdf 転用可能性: DeepWalk以外のアルゴリズムでも性能劣化

  46. 46. Summary 47 ノード埋め込みに対する攻撃を定式化、効率的なアルゴリズムを提案
 
 ノード埋め込みとそれに依存したタスク(ノード分類、リンク予測)でも性能劣化
 
 辺を反転する攻撃は他のアルゴリズム(node2vec, GCN, etc.)に対しても有効
 
 このような攻撃に対して頑健なアルゴリズムが必要

  47. 47. Simplifying Graph Convolutional Networks Felix Wu, Tianyi Zhang, Amauri Holanda de Souza Jr., Christopher Fifty, Tao Yu / Cornell 48 http://proceedings.mlr.press/v97/wu19e/wu19e.pdf
  48. 48. Abstract - Graph Convolutional Network (GCN) [Kipf+, ICLR’17] を単純化したモデルでも
 ノード分類において大きな性能低下が見られないことを確認
 ● Simple Graph Convolution (SGC) 
 - SGCがグラフスペクトル上のローパスフィルタであることを指摘
 
 
 49 http://proceedings.mlr.press/v97/wu19e/wu19e.pdf
  49. 49. Graph Convolutional Network [Kipf+, ICLR’17] 
 
 
 
 
 
 正規化隣接行列
 50 http://proceedings.mlr.press/v97/wu19e/wu19e.pdf (次数行列)
  50. 50. Simple Graph Convolution (SGC) 
 
 
 
 
 
 
 GCNの活性化関数(ReLU)を除くことで単純化
 特徴量の伝播は単純な行列積に帰着
 51 http://proceedings.mlr.press/v97/wu19e/wu19e.pdf
  51. 51. Experiments SGCと他のモデルで大きな変化は見られない
 52 http://proceedings.mlr.press/v97/wu19e/wu19e.pdf 👍 特徴伝播 🤔 非線形性
  52. 52. Graph Signal Processing 正規化グラフラプラシアン 
 ノード上の値(信号)
 グラフフーリエ変換
 逆グラフフーリエ変換
 
 
 
 
 
 
 53 http://web.media.mit.edu/~xdong/presentation/CDT_GuestLecture_GSP.pdf (固有値(周波数)小) (固有値(周波数)大) 固有値分解 グラフ上の固有ベクトル [Shuman+, ’13] http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.367.6064&rep=rep1&type=pdf
  53. 53. Low-pass Filter Effect グラフフィルター(畳み込み)
 SGCの場合
 54 http://proceedings.mlr.press/v97/wu19e/wu19e.pdf 各周波数成分にかかる係数
  54. 54. Summary GCNの非線形層を取り除くことで単純化したモデルSGCを提案
 - 実験的に大きな性能劣化が見られないことを確認
 - GCNにおいて特徴伝播は有効だが、非線形性はあまり有効ではないことを示唆
 
 SGCにおける畳み込みはグラフスペクトル上のローパスフィルタであることを指摘
 - 多くのGNNはローパスフィルタと同等の性能
 
 
 55
  55. 55. Position-aware Graph Neural Networks Jiaxuan You, Rex Ying, Jure Leskovec / Stanford 56 http://proceedings.mlr.press/v97/you19b/you19b.pdf
  56. 56. Abstract 従来のGNNだとノード埋め込みをした際に
 同じ局所構造をもつノードを区別できないことを指摘
 
 同じ局所構造であっても区別できるアーキテクチャを提案
 - P-GNN 
 実験的に既存法を上回る性能
 - Link prediction - Pairwise node classification 57 http://proceedings.mlr.press/v97/you19b/you19b.pdf
  57. 57. Motivation 既存のGNN(e.g. GCN)では同じ局所構造を持ったノードを区別できない
 
 
 
 
 
 
 
 
 → 基準となるノードの集合 Anchor-setを設定し、そこから距離を考慮した特徴伝播を行う
 58 http://proceedings.mlr.press/v97/you19b/you19b.pdf
  58. 58. Algorithm: P-GNN 1. Anchor-set S1 , ... ,Sk のサンプリング
 2. 頂点v とAnchor-set Si に対してメッセージMv [i] を計算
 
 3. Mv から出力ベクトルと次の層の入力ベクトルを計算
 
 
 
 
 
 
 59 http://proceedings.mlr.press/v97/you19b/you19b.pdf
  59. 59. Algorithm: P-GNN 60 http://proceedings.mlr.press/v97/you19b/you19b.pdf 1. Anchor-set S1 , ... ,Sk のサンプリング
 2. 頂点v とAnchor-set Si に対してメッセージMv [i] を計算
 
 3. Mv から出力ベクトルと次の層の入力ベクトルを計算
 
 
 
 
 
 

  60. 60. Algorithm: P-GNN 61 http://proceedings.mlr.press/v97/you19b/you19b.pdf 1. Anchor-set S1 , ... ,Sk のサンプリング
 2. 頂点v とAnchor-set Si に対してメッセージMv [i] を計算
 
 3. Mv から出力ベクトルと次の層の入力ベクトルを計算
 
 
 
 
 
 

  61. 61. Anchor-Set 距離空間
 
 
 Bourgain Theorem [Bourgain, 1985] 距離空間
 
 
 具体的構成
 Anchor-set Si,j は各頂点を確率1/2i で独立にサンプリング
 
 62 のdistortionが である
 ⇔ 
 に対してdistortionが
 となるような
 が存在する。

  62. 62. Anchor-Set 距離空間
 
 
 Bourgain Theorem [Bourgain, 1985] 距離空間
 
 
 具体的構成
 Anchor-set Si,j は各頂点を確率1/2i で独立にサンプリング
 
 63 のdistortionが である
 が小さいほど距離を保つ ⇔ 
 に対してdistortionが
 となるような
 が存在する。

  63. 63. Anchor-Set 距離空間
 
 
 Bourgain Theorem [Bourgain, 1985] 距離空間
 
 
 具体的構成
 Anchor-set Si,j は各頂点を確率1/2i で独立にサンプリング
 
 64 のdistortionが である
 ⇔ 
 に対してdistortionが
 となるような
 が存在する。

  64. 64. Anchor-Set 距離空間
 
 
 Bourgain Theorem [Bourgain, 1985] 距離空間
 
 
 具体的構成
 Anchor-set Si,j は各頂点を確率1/2i で独立にサンプリング
 → Si,j を使うことでグラフ上の距離を保ったまま特徴空間にマッピングできる
 
 65 のdistortionが である
 ⇔ 
 に対してdistortionが
 となるような
 が存在する。

  65. 65. Experiements Link prediction 66 http://proceedings.mlr.press/v97/you19b/you19b.pdf
  66. 66. Experiments Pairwise node classification - 頂点対のラベルが同一かどうかを予測 67 http://proceedings.mlr.press/v97/you19b/you19b.pdf
  67. 67. Summary 既存のGNNでは局所構造が同じ頂点を区別できないことを指摘
 
 Anchor-set を導入することで局所構造が同じであっても区別できるようにGNNを拡張
 
 特定のタスクでは既存手法を大きく上回る性能
 - Link prediction - Pairwise node classification 68
  68. 68. Whole Summary - グラフを扱う論文は増えてきている (昨年からおよそ倍増)
 - タスクも手法も応用も多様化
 
 - 論文紹介
 - A Persistent Weisfeiler–Lehman Procedure for Graph Classification - Adversarial Attacks on Node Embeddings via Graph Poisoning - Simplifying Graph Convolutional Networks - Position-aware Graph Neural Networks 
 69
  69. 69. References (ICML’19) B. Rieck, C. Bock, and K. Borgwardt, “A Persistent Weisfeiler-Lehman Procedure for Graph Classification,” in International Conference on Machine Learning, 2019, pp. 5448–5458. A. Bojchevski and S. Günnemann, “Adversarial Attacks on Node Embeddings via Graph Poisoning,” in International Conference on Machine Learning, 2019, pp. 695–704. G. Zhang, H. He, and D. Katabi, “Circuit-GNN: Graph Neural Networks for Distributed Circuit Design,” in International Conference on Machine Learning, 2019, pp. 7364–7373. Y. Yu, J. Chen, T. Gao, and M. Yu, “DAG-GNN: DAG Structure Learning with Graph Neural Networks,” in International Conference on Machine Learning, 2019, pp. 7154–7163. J. Ma, P. Cui, K. Kuang, X. Wang, and W. Zhu, “Disentangled Graph Convolutional Networks,” in International Conference on Machine Learning, 2019,pp.4212–4221. F. Gao, G. Wolf, and M. Hirn, “Geometric Scattering for Graph Data Analysis,” in International Conference on Machine Learning, 2019, pp. 2122–2131. E. Smith, S. Fujimoto, A. Romero, and D. Meger, “GEOMetrics: Exploiting Geometric Structure for Graph-Encoded Objects,” in International Conference on Machine Learning, 2019, pp. 5866–5876. M. Qu, Y. Bengio, and J. Tang, “GMNN: Graph Markov Neural Networks,” in International Conference on Machine Learning, 2019, pp. 5241–5250. I. Walker and B. Glocker, “Graph Convolutional Gaussian Processes,” in International Conference on Machine Learning, 2019, pp. 6495–6504. F. Alet, A. K. Jeewajee, M. B. Villalonga, A. Rodriguez, T. Lozano-Perez, and L. Kaelbling, “Graph Element Networks: adaptive, structured computation and memory,” in International Conference on Machine Learning, 2019, pp. 212–222. Y. Li, C. Gu, T. Dullien, O. Vinyals, and P. Kohli, “Graph Matching Networks for Learning the Similarity of Graph Structured Objects,” in International Conference on Machine Learning, 2019, pp. 3835–3845. D. Jeong, T. Kwon, Y. Kim, and J. Nam, “Graph Neural Network for Music Score Data and Modeling Expressive Piano Performance,” in International Conference on Machine Learning, 2019, pp. 3060–3070. J. Hendrickx, A. Olshevsky, and V. Saligrama, “Graph Resistance and Learning from Pairwise Comparisons,” in International Conference on Machine Learning, 2019, pp. 2702–2711. H. Gao and S. Ji, “Graph U-Nets,” in International Conference on Machine Learning, 2019, pp. 2083–2092. A. Grover, A. Zweig, and S. Ermon, “Graphite: Iterative Generative Modeling of Graphs,” in International Conference on Machine Learning, 2019, pp. 2434–2444. R. Suzuki, R. Takahama, and S. Onoda, “Hyperbolic Disk Embeddings for Directed Acyclic Graphs,” in International Conference on Machine Learning, 2019, pp. 6066–6075. C. Zhu, S. Storandt, K.-Y. Lam, S. Han, and J. Bi, “Improved Dynamic Graph Learning through Fault-Tolerant Sparsification,” in International Conference on Machine Learning, 2019, pp. 7624–7633. S. Zhang, X. He, and S. Yan, “LatentGNN: Learning Efficient Non-local Relations for Visual Recognition,” in International Conference on Machine Learning, 2019, pp. 7374–7383. L. Franceschi, M. Niepert, M. Pontil, and X. He, “Learning Discrete Structures for Graph Neural Networks,” in International Conference on Machine Learning, 2019, pp. 1972–1982. L. Guo, Z. Sun, and W. Hu, “Learning to Exploit Long-term Relational Dependencies in Knowledge Graphs,” in International Conference on Machine Learning, 2019, pp. 2505–2514. D. Baranchuk, D. Persiyanov, A. Sinitsin, and A. Babenko, “Learning to Route in Similarity Graphs,” in International Conference on Machine Learning, 2019, pp. 475–484. S. Abu-El-Haija et al., “MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing,” in International Conference on Machine Learning, 2019, pp. 21–29. H. Kajino, “Molecular Hypergraph Grammar with Its Application to Molecular Optimization,” in International Conference on Machine Learning, 2019, pp. 3183–3191. V. Titouan, N. Courty, R. Tavenard, C. Laetitia, and R. Flamary, “Optimal Transport for structured data with application on graphs,” in International Conference on Machine Learning, 2019, pp. 6275–6284. J. You, R. Ying, and J. Leskovec, “Position-aware Graph Neural Networks,” in International Conference on Machine Learning, 2019, pp. 7134–7143. R. Murphy, B. Srinivasan, V. Rao, and B. Ribeiro, “Relational Pooling for Graph Representations,” in International Conference on Machine Learning, 2019, pp. 4663–4673. J. Lee, I. Lee, and J. Kang, “Self-Attention Graph Pooling,” in International Conference on Machine Learning, 2019, pp. 3734–3743. F. Wu, A. Souza, T. Zhang, C. Fifty, T. Yu, and K. Weinberger, “Simplifying Graph Convolutional Networks,” in International Conference on Machine Learning, 2019, pp. 6861–6871. P. Mercado, F. Tudisco, and M. Hein, “Spectral Clustering of Signed Graphs via Matrix Power Means,” in International Conference on Machine Learning, 2019, pp. 4526–4536. N. Mehta, L. C. Duke, and P. Rai, “Stochastic Blockmodels meet Graph Neural Networks,” in International Conference on Machine Learning, 2019, pp. 4466–4474. 70
  70. 70. References (ICML’18) H. Dai et al., “Adversarial Attack on Graph Structured Data,” in International Conference on Machine Learning, 2018, pp. 1115–1124. D. Bacciu, F. Errica, and A. Micheli, “Contextual Graph Markov Model: A Deep and Generative Approach to Graph Processing,” in International Conference on Machine Learning, 2018, pp. 294–303. A. Sanchez-Gonzalez et al., “Graph Networks as Learnable Physics Engines for Inference and Control,” in International Conference on Machine Learning, 2018, pp. 4470–4479. J. You, R. Ying, X. Ren, W. Hamilton, and J. Leskovec, “GraphRNN: Generating Realistic Graphs with Deep Auto-regressive Models,” in International Conference on Machine Learning, 2018, pp. 5708–5717. D. Calandriello, A. Lazaric, I. Koutis, and M. Valko, “Improved large-scale graph learning through ridge spectral sparsification,” in International Conference on Machine Learning, 2018, pp. 688–697. W. Jin, R. Barzilay, and T. Jaakkola, “Junction Tree Variational Autoencoder for Molecular Graph Generation,” in International Conference on Machine Learning, 2018, pp. 2323–2332. H. Dai, Z. Kozareva, B. Dai, A. Smola, and L. Song, “Learning Steady-States of Iterative Algorithms over Graphs,” in International Conference on Machine Learning, 2018, pp. 1106–1114. A. Douik and B. Hassibi, “Low-Rank Riemannian Optimization on Positive Semidefinite Stochastic Matrices with Applications to Graph Clustering,” in International Conference on Machine Learning, 2018, pp. 1299–1308. A. Bojchevski, O. Shchur, D. Zügner, and S. Günnemann, “NetGAN: Generating Graphs via Random Walks,” in International Conference on Machine Learning, 2018, pp. 610–619. K. Levin, F. Roosta, M. Mahoney, and C. Priebe, “Out-of-sample extension of graph adjacency spectral embedding,” in International Conference on Machine Learning, 2018, pp. 2975–2984. J. Xu, “Rates of Convergence of Spectral Methods for Graphon Estimation,” in International Conference on Machine Learning, 2018, pp. 5433–5442. K. Xu, C. Li, Y. Tian, T. Sonobe, K. Kawarabayashi, and S. Jegelka, “Representation Learning on Graphs with Jumping Knowledge Networks,” in International Conference on Machine Learning, 2018, pp. 5453–5462. A. Loukas and P. Vandergheynst, “Spectrally Approximating Large Graphs with Smaller Graphs,” in International Conference on Machine Learning, 2018, pp. 3237–3246. J. Chen, J. Zhu, and L. Song, “Stochastic Training of Graph Convolutional Networks with Variance Reduction,” in International Conference on Machine Learning, 2018, pp. 942–950. 71
  71. 71. References N. Shervashidze, P. Schweitzer, E. J. van Leeuwen, K. Mehlhorn, and K. M. Borgwardt, “Weisfeiler-Lehman Graph Kernels,” Journal of Machine Learning Research, vol. 12, no. Sep, pp. 2539–2561, 2011. B. Perozzi, R. Al-Rfou, and S. Skiena, “DeepWalk: Online Learning of Social Representations,” Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining - KDD ’14, pp. 701–710, 2014. H. Edelsbrunner and J. Harer. Persistent homology — a survey. Surveys on Discrete and Computational Geometry. Twenty Years Later, eds. J. E. Goodman, J. Pach and R. Pollack, Contemporary Mathematics 453, 257–282, Amer. Math. Soc., Providence, Rhode Island, 2008. J. Qiu, Y. Dong, H. Ma, J. Li, K. Wang, and J. Tang, “Network Embedding as Matrix Factorization: Unifying DeepWalk, LINE, PTE, and node2vec,” Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining - WSDM ’18, pp. 459–467, 2018. T. N. Kipf and M. Welling, “Semi-Supervised Classification with Graph Convolutional Networks,” arXiv:1609.02907 [cs, stat], Sep. 2016. J. Bourgain, “On lipschitz embedding of finite metric spaces in Hilbert space,” Israel Journal of Mathematics, vol. 52, no. 1, pp. 46–52, Mar. 1985. D. I. Shuman, S. K. Narang, P. Frossard, A. Ortega, and P. Vandergheynst, “The emerging field of signal processing on graphs: Extending high-dimensional data analysis to networks and other irregular domains,” IEEE Signal Processing Magazine, vol. 30, no. 3, pp. 83–98, May 2013. 72

×