Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Graph Attention Network

4,811 views

Published on

arXivTimes輪講: 2018/9/20

Published in: Data & Analytics
  • Be the first to comment

Graph Attention Network

  1. 1. Copyright © 2018 TIS Inc. All rights reserved. Graph Attention Network 戦略技術センター 久保隆宏 NodeもEdegeもSpeedも
  2. 2. Copyright © 2018 TIS Inc. All rights reserved. 2  Summary  関連研究における位置づけ  Architecture  実験結果  まとめ・所感  参考文献 目次
  3. 3. Copyright © 2018 TIS Inc. All rights reserved. 3 Graph Attention Networkは、Graph Convolutionにおける「情報量と計 算速度のトレードオフ」のバランスをうまくとった研究。  Graphにおいては、NodeだけでなくEdgeの情報も重要。ただ、Edge の潜在表現を作っていると計算速度が遅くなる(Modeling Relational Data with Graph Convolutional Networks)。  そこでEdgeの情報をAttentionの重みとして表現した。これにより、そ こそこEdgeの情報をとることができ、計算速度もそこそこを維持でき た。 Summary 論文の引用ネットワークに適 用した図。Node(論文)の情報 だけでなく、Nodeを結ぶエッ ジ情報(=太さ)を取れている (Figure 2より)
  4. 4. Copyright © 2018 TIS Inc. All rights reserved. 4 関連研究における位置づけ (1/7) (著者はセルビアの方)
  5. 5. Copyright © 2018 TIS Inc. All rights reserved. 5 関連研究における位置づけ (2/7) The graph neural network model 下記特徴をNN(f)に入力しノードの状態 を計算する。状態・特徴から出力を得る。  𝑙 𝑛: ノードの特徴  𝑙 𝑐𝑜[𝑛]: エッジの特徴  𝑥 𝑛𝑒[𝑛]: 周辺ノードの状態  𝑙 𝑛𝑒[𝑛]: 周辺ノードの特徴 入力=>状態の更新を繰り返すが、これ はちょうどRNNと似た形であり(左図) 、 BPTTで更新できる。 ノード検索において、ノード特徴だけ使 うより精度が高いことを確認。 ※特徴とは、化学物質ならノード=炭素/ 酸素、エッジ=結合/二重結合など
  6. 6. Copyright © 2018 TIS Inc. All rights reserved. 6 関連研究における位置づけ (3/7) Spectral Networks and Locally Connected Networks on Graphs GraphにCNNを適用する研究。具体的には、CNNの「マルチス ケール」な情報抽出をグラフ上でどう行うか議論している。  ノード=>クラスタリング=>クラスタ特徴=>クラスタ特 徴のクラスタリング=>・・・と繰り返していけばマルチス ケールっぽくなる(左下図参照)  クラスタリングとしてSpectral clusteringを用いる。これ はグラフの隣接行列を固有値分解する手法。  フーリエ級数と固有値ベクトル分解は等価であるため(参考 文献参照)、Graphを信号に見立てたときのFourie展開で計 算が可能。  固有値で役立つのは上位数個(d)のため、常に上位dを取る とすると定型サイズのフィルタを段々と適用するCNNのよ うな形になる。 固有ベクトルの計算が必要で、きっつい
  7. 7. Copyright © 2018 TIS Inc. All rights reserved. 7 関連研究における位置づけ (4/7) Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering SpectralなGraph Convolutionをチェビシェフ展開 (Chebyshev expansion)で近似することで、固有値計算 の必要をなくした。
  8. 8. Copyright © 2018 TIS Inc. All rights reserved. 8 関連研究における位置づけ (5/7) Semi-Supervised Classification with Graph Convolutional Networks さらに、フィルタの対象を最近傍(1-step)の周辺ノードに 限定。 ここまで来たら普通に周辺ノードに重みをかけるで良くないか
  9. 9. Copyright © 2018 TIS Inc. All rights reserved. 9 関連研究における位置づけ (6/7) 最近よく見る形(すごく普通)
  10. 10. Copyright © 2018 TIS Inc. All rights reserved. 10 関連研究における位置づけ (7/7) Graph Attention Network 周辺ノードからの伝搬時にAttentionを加味(シンプ ル!)。
  11. 11. Copyright © 2018 TIS Inc. All rights reserved. 11  Attention(𝛼)は、自身(hi)と周辺(hj)にそれぞれ重みを掛け結合したベ クトルを基に算出される。  フィルタがk枚ある場合は、k個の重みそれぞれについてAttentionと Forwardの計算を行い平均をとる。 Architecture Structured deep models: Deep learning on graphs and beyondより
  12. 12. Copyright © 2018 TIS Inc. All rights reserved. 12 はじめに: TransductiveとInductiveについて Transductiveは「既知だが、ラベルが未知のノード」についてラベルを予 測するタスク。「既知」というのは、学習データ中にノードがあるという こと。 Inductiveは、未知のノードに対してラベルを予測するタスク。ただ、 ノードは既にグラフ内に追加されたとして、周辺ノードを得ることができ る。 TransductiveよりもInductiveの方が、汎化性能が求められる (Transductiveは、ある意味与えられたグラフに対するOverfitが可能であ るため)。 実験結果 (1/2)
  13. 13. Copyright © 2018 TIS Inc. All rights reserved. 13 実験結果 (2/2) 特にInductiveで大きな効果!
  14. 14. Copyright © 2018 TIS Inc. All rights reserved. 14 とてもストレートな手法で良好な結果を出している。 Edgeの情報もある程度取れているので、Edgeに関するタスク (LinkPredictionなど)も試してみてほしかった感は少しある(Weightだけ では厳しいかもしれないが)。 Nodeの情報をより高速に取る手法、Edgeの情報をよりリッチに取る手法 はそれぞれ別途あるので、最初に試して必要となればどちらかにスイッチ するという形にも使えそう。 まとめ・所感
  15. 15. Copyright © 2018 TIS Inc. All rights reserved. 15  Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero and Pietro Liò, Yoshua Bengio. Graph Attention Networks. In ICLR, 2018.  Franco Scarselli, Marco Gori, Ah Chung Tsoi, Markus Hagenbuchner and Gabriele Monfardini. The graph neural network model. Neural Networks, IEEE Transactions on, 20(1):61–80, 2009.  Joan Bruna, Wojciech Zaremba, Arthur Szlam and Yann LeCun. Spectral Networks and Locally Connected Networks on Graphs. In ICLR, 2014.  Spectral由来の手法の起源となる論文。  Mikael Henaff, Joan Bruna and Yann LeCun. Deep Convolutional Networks on Graph-Structured Data. arXiv preprint arXiv:1506.05163, 2015.  Michaël Defferrard, Xavier Bresson and Pierre Vandergheynst. Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering. In NIPS, 2016.  Thomas N. Kipf and Max Welling. Semi-Supervised Classification with Graph Convolutional Networks. In ICLR, 2017. 参考文献: Papers
  16. 16. Copyright © 2018 TIS Inc. All rights reserved. 16  Thomas Kipf. Structured deep models: Deep learning on graphs and beyond. 2018.  Graph Convolutionを行う時にまず参照すべき解説スライド  horiem. フーリエ級数展開をベクトルで直観的に理解する. Phys and Tips, 2016.  固有値分解とフーリエ展開がどう関係するの?というところがなんとなくわかる。  7931. フーリエ級数の3つの解釈/『数学セミナー 2018年3月号』読書メモ その3. 7931のあたまんなか, 2018.  フーリエ級数と固有ベクトル分解の関係がより直接的に書かれている。 参考文献: Articles
  17. 17. THANK YOU

×