Graph Attention Network

Copyright © 2018 TIS Inc. All rights reserved.
Graph Attention Network
戦略技術センター
久保隆宏
NodeもEdegeもSpeedも

Copyright © 2018 TIS Inc. All rights reserved. 2
 Summary
 関連研究における位置づけ
 Architecture
 実験結果
 まとめ・所感
 参考文献
目次

Graph Attention Networkは、Graph Convolutionにおける「情報量と計
算速度のトレードオフ」のバランスをうまくとった研究。
 Graphにおいては、NodeだけでなくEdgeの情報も重要。ただ、Edge
の潜在表現を作っていると計算速度が遅くなる(Modeling Relational
Data with Graph Convolutional Networks)。
 そこでEdgeの情報をAttentionの重みとして表現した。これにより、そ
こそこEdgeの情報をとることができ、計算速度もそこそこを維持でき
た。
Summary
論文の引用ネットワークに適
用した図。Node(論文)の情報
だけでなく、Nodeを結ぶエッ
ジ情報(=太さ)を取れている
(Figure 2より)

関連研究における位置づけ (1/7)
(著者はセルビアの方)

The graph neural network model
下記特徴をNN(f)に入力しノードの状態
を計算する。状態・特徴から出力を得る。
 𝑙 𝑛: ノードの特徴
 𝑙 𝑐𝑜[𝑛]: エッジの特徴
 𝑥 𝑛𝑒[𝑛]: 周辺ノードの状態
 𝑙 𝑛𝑒[𝑛]: 周辺ノードの特徴
入力=>状態の更新を繰り返すが、これ
はちょうどRNNと似た形であり(左図) 、
BPTTで更新できる。
ノード検索において、ノード特徴だけ使
うより精度が高いことを確認。
※特徴とは、化学物質ならノード=炭素/
酸素、エッジ=結合/二重結合など

Spectral Networks and Locally Connected Networks
on Graphs
GraphにCNNを適用する研究。具体的には、CNNの「マルチス
ケール」な情報抽出をグラフ上でどう行うか議論している。
 ノード=>クラスタリング=>クラスタ特徴=>クラスタ特
徴のクラスタリング=>・・・と繰り返していけばマルチス
ケールっぽくなる(左下図参照)
 クラスタリングとしてSpectral clusteringを用いる。これ
はグラフの隣接行列を固有値分解する手法。
 フーリエ級数と固有値ベクトル分解は等価であるため(参考
文献参照)、Graphを信号に見立てたときのFourie展開で計
算が可能。
 固有値で役立つのは上位数個(d)のため、常に上位dを取る
とすると定型サイズのフィルタを段々と適用するCNNのよ
うな形になる。
固有ベクトルの計算が必要で、きっつい

Convolutional Neural Networks on Graphs with
Fast Localized Spectral Filtering
SpectralなGraph Convolutionをチェビシェフ展開
(Chebyshev expansion)で近似することで、固有値計算
の必要をなくした。

Semi-Supervised Classification with Graph
Convolutional Networks
さらに、フィルタの対象を最近傍(1-step)の周辺ノードに
限定。
ここまで来たら普通に周辺ノードに重みをかけるで良くないか

最近よく見る形(すごく普通)

Graph Attention Network
周辺ノードからの伝搬時にAttentionを加味(シンプ
ル！)。

 Attention(𝛼)は、自身(hi)と周辺(hj)にそれぞれ重みを掛け結合したベ
クトルを基に算出される。
 フィルタがk枚ある場合は、k個の重みそれぞれについてAttentionと
Forwardの計算を行い平均をとる。
Architecture
Structured deep models: Deep learning on graphs and beyondより

はじめに: TransductiveとInductiveについて
Transductiveは「既知だが、ラベルが未知のノード」についてラベルを予
測するタスク。「既知」というのは、学習データ中にノードがあるという
こと。
Inductiveは、未知のノードに対してラベルを予測するタスク。ただ、
ノードは既にグラフ内に追加されたとして、周辺ノードを得ることができ
る。
TransductiveよりもInductiveの方が、汎化性能が求められる
(Transductiveは、ある意味与えられたグラフに対するOverfitが可能であ
るため)。
実験結果 (1/2)

実験結果 (2/2)
特にInductiveで大きな効果！

とてもストレートな手法で良好な結果を出している。
Edgeの情報もある程度取れているので、Edgeに関するタスク
(LinkPredictionなど)も試してみてほしかった感は少しある(Weightだけ
では厳しいかもしれないが)。
Nodeの情報をより高速に取る手法、Edgeの情報をよりリッチに取る手法
はそれぞれ別途あるので、最初に試して必要となればどちらかにスイッチ
するという形にも使えそう。
まとめ・所感

 Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero and Pietro
Liò, Yoshua Bengio. Graph Attention Networks. In ICLR, 2018.
 Franco Scarselli, Marco Gori, Ah Chung Tsoi, Markus Hagenbuchner and Gabriele
Monfardini. The graph neural network model. Neural Networks, IEEE
Transactions on, 20(1):61–80, 2009.
 Joan Bruna, Wojciech Zaremba, Arthur Szlam and Yann LeCun. Spectral
Networks and Locally Connected Networks on Graphs. In ICLR, 2014.
 Spectral由来の手法の起源となる論文。
 Mikael Henaff, Joan Bruna and Yann LeCun. Deep Convolutional Networks on
Graph-Structured Data. arXiv preprint arXiv:1506.05163, 2015.
 Michaël Defferrard, Xavier Bresson and Pierre Vandergheynst. Convolutional
Neural Networks on Graphs with Fast Localized Spectral Filtering. In NIPS, 2016.
 Thomas N. Kipf and Max Welling. Semi-Supervised Classification with Graph
Convolutional Networks. In ICLR, 2017.
参考文献: Papers

 Thomas Kipf. Structured deep models: Deep learning on graphs and beyond.
2018.
 Graph Convolutionを行う時にまず参照すべき解説スライド
 horiem. フーリエ級数展開をベクトルで直観的に理解する. Phys and Tips, 2016.
 固有値分解とフーリエ展開がどう関係するの？というところがなんとなくわかる。
 7931. フーリエ級数の3つの解釈／『数学セミナー 2018年3月号』読書メモその3.
7931のあたまんなか, 2018.
 フーリエ級数と固有ベクトル分解の関係がより直接的に書かれている。
参考文献: Articles

Graph Attention Network

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Graph Attention Network

Similar to Graph Attention Network (20)

More from Takahiro Kubo

More from Takahiro Kubo (20)

Graph Attention Network