Successfully reported this slideshow.
Your SlideShare is downloading. ×

Graph Neural Networks

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Loading in …3
×

Check these out next

1 of 76 Ad

More Related Content

Slideshows for you (20)

Similar to Graph Neural Networks (20)

Advertisement

Recently uploaded (20)

Advertisement

Graph Neural Networks

  1. 1. グラフニューラルネットワーク 東京工業大学 村田剛志 murata@c.titech.ac.jp http://www.net.c.titech.ac.jp/index-j.html 本スライドはslideshareにて公開 上記サイトにリンクあり
  2. 2. 講演の概要 • 深層学習は、画像認識や自然言語処理などの 分野において華々しい成果を収めてきており、そ れをグラフに対して適用するための研究が近年 非常に盛んになってきている。グラフやグラフ中 の頂点を高精度に分類することができれば、高 度な画像認識、推薦システム、交通量予測、化 合物分類などへの応用が期待できる。その一方 で、グラフを扱う上での固有の問題やチャレンジ があることも指摘されてきている。本講演では、 グラフニューラルネットワークの基本的な知識や 主要な研究事例について紹介する。 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  3. 3. 目次 1. イントロダクション 1. 畳み込みニューラルネットワーク 2. グラフの深層学習 3. グラフを対象としたタスク 2. グラフニューラルネットワークの 応用 3. グラフエンベディング 1. エンベディング 2. DeepWalk 4. Spectral Graph Convolution 1. グラフ畳み込みのアプローチ 2. グラフラプラシアン 3. グラフフーリエ変換 5. Spatial Graph Convolution 1. GraphSAGE 7. 今後の課題 1. 浅い構造 2. 動的グラフ 3. 非構造データ 4. スケーラビリティ 8. PyTorch Geometricによる実装 9. 今後の学習のための情報源 1. サーベイ論文, 書籍 2. Web上の情報源 3. チュートリアル 10. 研究紹介 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  4. 4. 目次 1. イントロダクション 1. 畳み込みニューラルネットワーク 2. グラフの深層学習 3. グラフを対象としたタスク 2. グラフニューラルネットワークの応 用 1. 画像認識, 推薦システム, 交通量予 測,化合物分類 2. COVID-19とグラフニューラルネット ワーク 3. グラフエンベディング 1. エンベディング 2. DeepWalk 3. LINE 4. Spectral Graph Convolution 1. グラフ畳み込みのアプローチ 2. グラフラプラシアン 3. グラフフーリエ変換 4. ChebNet 5. GCN 5. Spatial Graph Convolution 1. PATCHY-SAN 2. DCNN 3. GraphSAGE 6. 関連トピック 1. Graph autoencoder 2. Attention, GAT 3. GraphRNN 4. 動的変化とGNN 5. 敵対的攻撃とGNN 6. GNNの単純化・可能性・限界 7. GNNの説明可能性 7. 今後の課題 1. 浅い構造 2. 動的グラフ 3. 非構造データ 4. スケーラビリティ 8. PyTorchによる実装 1. 深層学習ライブラリ 2. Google Colaboratory 3. PyTorch 4. PyTorch Geometric 5. Open Graph Benchmark 9. 今後の学習のための情報源 1. サーベイ論文, 書籍 2. Web上の情報源 3. チュートリアル 10. 研究紹介 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  5. 5. 1.イントロダクション 1. 畳み込みニューラルネットワーク 2. グラフの深層学習 3. グラフを対象としたタスク 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  6. 6. 深層学習 画像認識 音声認識 自然言語処理 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  7. 7. 畳み込み • 関数gを平行移動しながら関数fに重ね足し合 わせる2項演算 https://www.imagazine.co.jp/畳み込みネットワークの「基礎の基礎」を理解す/ 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  8. 8. 畳み込みニューラルネットワーク • (画像の場合)入力の局所的な特徴→大局的 な特徴を認識 https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way-3bd2b1164a53 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  9. 9. グラフの深層学習 • 従来の深層学習は単純なグリッドや列を対象 – CNNは固定サイズの画素・グリッド – RNNはテキスト・列 • しかしグラフの結合は異なっている – 隣接頂点数が可変 – 複雑なトポロジー – 頂点が順序づけられていない 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  10. 10. グラフニューラルネットワーク • 頂点の表現を学習→分類等のタスクに利用 GNN 機械学習タスク ・ノード分類 ・グラフ分類等 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  11. 11. ノード分類 • 頂点の特徴(属性)を周囲から学習 GNN 分類 性別、年齢、 職業、収入… https://edition.cnn.com/style/article/why-democrats- are-donkeys-republicans-are-elephants-artsy/index.html ? ? or 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  12. 12. グラフ分類 • グラフ全体の特徴(属性)を学習 GNN 分類 水溶性の有無 毒性の有無など https://www.tnojima.net/entry/2014-cert-23 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  13. 13. 機械学習のタスク • 分類 – 出力:クラス • 回帰 – 出力:数値 • クラスタリング – 出力:クラス • 次元縮約 – 出力:単純化した 入力データ regression f(x)=ax3+… clustering group 1 group 2 dimensionality reduction classification 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  14. 14. グラフを対象としたタスク • ノード分類 – 出力:ノードのラベル • グラフ分類 – 出力:グラフのラベル • リンク予測 – 出力:ノードのペア • グラフ生成 – 出力:グラフ グラフ生成 モデル 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  15. 15. 2.グラフニューラルネットワークの応用 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  16. 16. グラフニューラルネットワークの応用 • Graph Neural Networks: A Review of Methods and Applications • https://arxiv.org/ab s/1812.08434 テキスト 画像 サイエンス ナレッジグラフ 組み合わせ最適化 グラフ生成 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  17. 17. グラフニューラルネットワーク の応用 • 画像認識 – シーングラフ生成 (入力: 画像, 出力: オブジェクトと意味的関 係) – リアルな画像生成 (入力: シーングラフ, 出力: 画像) • 推薦システム – リンク予測としての推薦 (入力: アイテムとユーザ, 出力: 欠損リ ンク) • 交通量予測 – 交通スピードの予測 (入力: 道路設置のセンサと距離, 出力: 交 通量とスピード) • 化合物分類 – 分子グラフ(原子=ノード, 結合=辺)の分類 (入力: 分子グラフ, 出 力: 毒性, 水溶性など) Graph Neural Networks: A Review of Methods and Applications https://arxiv.org/abs/1812.08434 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  18. 18. DeepMindの記事 • Traffic prediction with advanced Graph Neural Networks – https://deepmind.com/blog/article/traffic- prediction-with-advanced-graph-neural-networks 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  19. 19. GNNをどう使うか • 道路をセグメントに分割してグラフで表現 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  20. 20. Graph Representation Learning and Beyond (GRL+) • 機械学習に関する国際会議ICML 2020 (オンライン開催)の併設ワークショップ • グラフの表現学習についての研究発表 – https://grlplus.github.io/covid19/ • “Graph Methods for COVID-19 Response” William L. Hamilton (McGill University/Mila) – https://grlplus.github.io/files/graphs- against-covid.pdf 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  21. 21. 3.グラフエンベディング 1. エンベディング 2. DeepWalk 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  22. 22. Word embedding • 各単語をベクトルで表現→ベクトルの演算で 単語の意味を類推 • Word2Vec, GloVe などのアルゴリズム Embeddings: Translating to a Lower-Dimensional Space https://developers.google.com/machine-learning/crash-course/embeddings/translating-to-a- lower-dimensional-space 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  23. 23. グラフエンベディング(表現学習) • グラフをベクトル表現に変換 "awesome-network-embedding", https://github.com/chihming/awesome-network-embedding 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  24. 24. 望ましいエンベディング • “類似した”ノードが近くに来るようにしたい "Representation Learning on Networks" WWW-18 Tutorial http://snap.stanford.edu/proj/embeddings-www/ どう定義するか 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  25. 25. 何が問題か • 複雑なトポロジー – 格子状の画素とは違う – 画像での手法が使えない • “類似性”の定義の困難さ – グラフ構造だけでなく、ノードに属性が付与されていること が多い – さまざまなグラフがある • 符号つきネットワーク (SIDE [Kim 2018], StEM [Rahaman 2018], SiNE [Wang 2018]) • 有向ネットワーク ([Perrault-joncas 2011], ATP [Sun 2018]) • 多層ネットワーク (MTNE [Xu 2017], MELL [Matsuno 2018]) • 動的ネットワーク ([Singer 2019]) A Comprehensive Survey on Graph Neural Networks https://arxiv.org/abs/1901.00596 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  26. 26. DeepWalk [Perozzi, KDD’14] • 自然言語処理におけるエンベディング手法 (Skip-gram)をグラフに応用 – 自然言語:単語の列→単語のベクトル表現を学 習 – グラフ:ランダムウォーク→ノードの列→ノードのベ クトル表現を学習 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火) http://www.perozzi.net/projects/deepwalk/
  27. 27. DeepWalk [Perozzi, KDD’14] • ランダムウォークを文とみなす • アルゴリズム – 各頂点からランダムウォーク – 各ウォークの各頂点について、SkipGramを用いて頂点の 分散表現Φを更新 • 実験結果 – データセット:BlogCatalog、Flickr、YouTubeなど – タスク:多ラベル分類 – ベースライン手法:Spectral Clustering、Edge Cluster、 Moduralrity等 – 結果:ベースライン手法と比べて高精度(ラベルつきの頂 点の割合が少ない場合においても) 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  28. 28. 4.Spectral Graph Convolution 1. グラフ畳み込みのアプローチ 2. グラフラプラシアン 3. グラフフーリエ変換 4. ChebNet 5. GCN 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  29. 29. 畳み込みの二つのアプローチ • Spectral-based – グラフ信号処理の立場からフィルタを導入してグ ラフ畳み込みを定義 – 長所・短所:理論的な裏付け・行列の固有値分解 が計算量大 • Spatial-based – 近傍のノードから特徴情報を集める処理としてグ ラフ畳み込みを定義 – 長所・短所:直感的に理解しやすい・非常に多くの バリエーション 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  30. 30. 畳み込みの二つのアプローチ • Spectral-based – グラフ信号処理の立場からフィルタを導入してグ ラフ畳み込みを定義 – 長所・短所:理論的な裏付け・行列の固有値分解 が計算量大 • Spatial-based – 近傍のノードから特徴情報を集める処理としてグ ラフ畳み込みを定義 – 長所・短所:直感的に理解しやすい・非常に多くの バリエーション 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  31. 31. Spectral convolution • 信号処理: – フーリエ変換で関数を周波数表現に分解 – その上でノイズ除去などをしてから逆変換 • グラフ処理: – graph Laplacianの固有ベクトル成分に変換 – その上でフィルタリングをしてから逆変換 • 𝑢1 ∗𝐺 𝑢2 = 𝑄((𝑄𝑇 𝑢1) ⊙ (𝑄𝑇 𝑢2)) 変換 内積 逆変換 頂点に対 して定義さ れた信号 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  32. 32. フーリエ変換 • 時系列データを周波数空間に変換して、ノイ ズ除去などの処理をして逆変換 小野弓絵「いまさら聞けない信号処理」生体医工学 Vol.57,No.2-3, pp.75-80 (2019) https://www.jstage.jst.go.jp/article/jsmbe/57/2-3/57_75/_pdf/-char/ja 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  33. 33. グラフラプラシアン • 𝐴:隣接行列 • 𝐿: グラフラプラシアン • 𝐷:次数行列 A D L          0 1 i ij k L if i = j, if i ≠ j and there is an edge (i,j), otherwise                         3 2 1 0 1 0 0 1 0 k k k L 次数 辺 ij i ij ij A k L    グラフ 1 3 4 2 隣接行列 𝐴 = 0 1 1 0 0 0 1 1 0 1 0 1 0 1 1 0 𝐷 = 1 0 0 3 0 0 0 0 0 0 0 0 2 0 0 2 𝐿 = 1 −1 −1 3 0 0 −1 −1 0 −1 0 −1 2 −1 −1 2 次数行列 グラフラプラシアン 正規化グラフラプラシアン𝐿 = 𝐼 − 𝐷− 1 2𝐴𝐷− 1 2 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  34. 34. グラフラプラシアンの性質 • 𝐿 = 𝐼 − 𝐷− 1 2𝐴𝐷− 1 2は実対称半正定値行列 • 𝐿 = 𝑈Λ𝑈𝑇 と分解できる – 𝑈 = 𝑢0, 𝑢1, … , 𝑢𝑛−1 は𝐿の固有ベクトルからなる行列 – Λは対応する固有値の対角行列(Λ𝑖𝑖 = 𝜆𝑖) • 正規化ラプラシアン行列の固有ベクトルは直交 (𝑈𝑇 𝑈 = 𝐼) • グラフ信号処理: 𝑥 ∈ 𝑅𝑁 はノードの特徴ベクトル • グラフフーリエ変換:𝐹 𝑥 = 𝑈𝑇 𝑥 • 逆グラフフーリエ変換:𝐹−1 𝑥 = 𝑈𝑥 𝐿𝑢𝑖 = 𝜆𝑖𝑢𝑖 UT:転置行列 D-1/2:次数の平方根の対角行列 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  35. 35. グラフフーリエ変換 • 信号処理 – 入力信号をフーリエ変換で周波数空間に変換 – 周波数空間でフィルタリング→復号でノイズ除去 • グラフフーリエ変換 – 入力グラフ信号を直交空間に射影 – 基底は正規化グラフラプラシアンの固有ベクトル グラフ信号 𝐹 𝑥 = 𝑈𝑇𝑥 𝐹−1 𝑥 = 𝑈𝑥 グラフラプラシアンの 固有ベクトルが張る 空間 𝑥 = Σ𝑖𝑥𝑖𝑢𝑖 𝑥 𝑥 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  36. 36. グラフ畳み込み • 入力グラフ信号𝑥 ∈ 𝑅𝑁 のフィルタ𝑔𝜃 = 𝑑𝑖𝑎𝑔 𝜃 による畳み込み 𝑔𝜃 ∗ 𝑥 = 𝑈𝑔𝜃(Λ)𝑈𝑇 𝑥 – 𝑈は正規化グラフラプラシアン𝐿 = 𝐼 − 𝐷− 1 2𝐴𝐷− 1 2 = 𝑈Λ𝑈𝑇 の固有ベクトルからなる行列 – Λは固有値の対角行列 – 𝐷は次数行列 – Aはグラフの隣接行列 →フィルタ𝑔𝜃の違いによってさまざまな手法 𝐿 = 𝑈Λ𝑈𝑇のΛが フィルタ𝑔𝜃(Λ)に ノードに対して定義された信号 対角行列 一部を切り出す パラメータ θ ∈ 𝑅𝑁 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  37. 37. ChebNet [Defferrard, NIPS 2016] • フィルタ𝑔𝜃(Λ)としてk次までのチェビシェフ多項式 𝑇𝑘(𝑥)を用いる • 𝑔𝜃 ∗ 𝑥 ≈ 𝑘=0 𝐾 𝜃𝑘𝑇𝑘 𝐿 𝑥 – 𝐿 = 2 𝜆𝑚𝑎𝑥 𝐿 − 𝐼 – 𝜆𝑚𝑎𝑥は 𝐿の最大固有値 – θ ∈ 𝑅𝐾はチェビシェフ多項式の係数のベクトル – 𝑇𝑘 𝑥 = 2𝑥𝑇𝑘−1 𝑥 − 𝑇𝑘−2(𝑥), – 𝑇0 𝑥 = 1, 𝑇1 𝑥 = 𝑥 • (k次の多項式なので) k-localizedな畳み込み→Lの固 有ベクトル計算が不要 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火) https://papers.nips.cc/paper/6081-convolutional-neural-networks-on-graphs-with- fast-localized-spectral-filtering.pdf
  38. 38. チェビシェフ多項式 • cos 𝑛𝜃はcos 𝜃の多項式で表せる。そのような 𝑛 次多項式をチェビシェフ多項式𝑇𝑛(𝑥)と呼ぶ。 • cos 2𝜃 = 2 cos2 𝜃 − 1より𝑇2 𝑥 = 2𝑥2 − 1 • cos 3𝜃 = 4 cos3 𝜃 − 3 cos 𝜃より𝑇3 𝑥 = 4𝑥3 − 3𝑥 • 𝑇𝑛+2 𝑥 = 2𝑥𝑇𝑛+1 𝑥 − 𝑇𝑛(𝑥) 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  39. 39. GCN [Kipf, ICLR 2017] • ChebNetにおいてK = 1として、次数分布が大き いグラフでの過適合を回避 • さらに𝜆𝑚𝑎𝑥 ≈ 2として単純化 • 𝑔𝜃′ ∗ 𝑥 ≈ 𝜃0 ′ 𝑥 + 𝜃1 ′ 𝐿 − 𝐼 𝑥 = 𝜃0 ′ 𝑥 − 𝜃1 ′ 𝐷− 1 2𝐴𝐷− 1 2𝑥 – 𝐿 = 𝐼 − 𝐷− 1 2𝐴𝐷− 1 2 • 𝜃 = 𝜃0 ′ = −𝜃1 ′ とすると • 𝑔𝜃′ ∗ 𝑥 ≈ 𝜃(𝐼 + 𝐷− 1 2𝐴𝐷− 1 2)𝑥 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火) https://tkipf.github.io/graph-convolutional-networks/
  40. 40. GCN [Kipf, ICLR 2017] • 𝑔𝜃′ ∗ 𝑥 ≈ 𝜃(𝐼 + 𝐷− 1 2𝐴𝐷− 1 2)𝑥 • この演算を繰り返すと勾配消失により不安定 →renormalization trick • 𝐼 + 𝐷− 1 2𝐴𝐷− 1 2 → 𝐷− 1 2𝐴𝐷− 1 2 – 𝐴 = 𝐴 + 𝐼 – 𝐷𝑖𝑖 = 𝑗 𝐴𝑖𝑗 • さらに信号𝑋を𝑋 ∈ 𝑅𝑁×𝐶 に一般化 • 𝑍 = 𝐷− 1 2𝐴𝐷− 1 2𝑋Θ – Θ ∈ 𝑅𝐶×𝐹 チャネル(属性数) フィルタサイズ フィルタ行列 畳み込み 信号行列 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  41. 41. Semi-Supervised Classification with Graph Convolutional Networks • Thomas N. Kipf, Max Welling, ICLR 2017 • 半教師あり学習 スケールする(辺数に比例) • CNNをグラフに拡張 • 頂点の分類 https://tkipf.github.io/graph-convolutional-networks/ 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  42. 42. 5.Spatial Graph Convolution 1. GraphSAGE 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  43. 43. 畳み込みの二つのアプローチ • Spectral-based – グラフ信号処理の立場からフィルタを導入してグ ラフ畳み込みを定義 – 長所・短所:理論的な裏付け・行列の固有値分解 が計算量大 • Spatial-based – 近傍のノードから特徴情報を集める処理としてグ ラフ畳み込みを定義 – 長所・短所:直感的に理解しやすい・非常に多くの バリエーション 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  44. 44. Spatial Graph Convolution • 近接ノードへの作用として畳み込みをグラフ 上で直接定義 – グラフラプラシアンは別のグラフには利用不可 • チャレンジ – 近接ノード数が大きく変化するグラフでの畳み込 みの定義 – 畳み込みの局所性の維持 0 1 2 3 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  45. 45. GraphSAGE [Hamilton, NIPS 2017] • 近傍のノードをサンプリングして特徴情報を 集める→ノードのラベルを予測 http://snap.stanford.edu/graphsage/ 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  46. 46. GraphSAGE [Hamilton, NIPS 2017] • 各ノード𝑣の近傍𝑁(𝑣)について • ℎ𝑁(𝑣) 𝑘 = 𝐴𝐺𝐺𝑅𝐸𝐺𝐴𝑇𝐸({ℎ𝑢 𝑘−1 , ∀𝑢 ∈ 𝑁(𝑣)}) • ℎ𝑣 𝑘 = 𝜎(𝑊𝑘 ∙ [ℎ𝑣 𝑘−1 ||ℎ𝑁(𝑣) 𝑘 ]) • 3つのaggregator関数 – Mean aggregator – LSTM aggregator – Pooling aggregator 𝑣の近傍の𝑢の 表現を集める 𝑣自身の表現と 近傍の表現の結合 活性化関数 重み サンプリングでサイズ固定 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  47. 47. 6.関連トピック 1. Graph autoencoder 2. Attention, GAT 3. GraphRNN 4. 動的変化とGNN 1. Temporal convolutional networks 2. Spatio-temporal convolutional networks 3. Embedding of dynamic graphs 5. 敵対的攻撃とGNN 6. GNNの単純化・可能性・限界の考察 7. GNNの説明可能性 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  48. 48. 7.今後の課題 1. 浅い構造 2. 動的グラフ 3. 非構造データ 4. スケーラビリティ 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  49. 49. 問題1. 浅い構造 • 従来の(画像や自然言語を対象とした)深層学 習では性能向上のため何百層にすることも – 深層の方がパラメータ数が多く表現力も向上 • グラフニューラルネットワークの多くは浅く、3 層以上のものはほとんどない • グラフ畳み込みで層の数を増やすとover- smoothingになる – 全ての頂点の表現が同じ値に収束 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  50. 50. 深層GCNの学習は困難 • Laplacian smoothingを何度も適用すると、各 ノードの特徴が同じ値に収束してしまう • Li et al. “Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning” (AAAI-2018) 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  51. 51. 問題2. 動的グラフ • 静的グラフは比較的モデル化しやすい • 辺や頂点が動的に変化しても、グラフニュー ラルネットワークは対応できない • 動的グラフの表現(エンベディング)をどうする か 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  52. 52. 問題3. 非構造データ • 元データからのグラフの生成手法が自明でな い場合も • 優れたグラフ生成手法によって、グラフニュー ラルネットワークの応用が広がる可能性 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  53. 53. 問題4. スケーラビリティ • ほとんどのグラフエンベディングアルゴリズム において、大規模データの処理は困難であり、 グラフニューラルネットワークも例外ではない • グラフニューラルネットワークの大規模化は 計算量的に困難 – 何百万もの頂点・辺がある場合、グラフラプラシ アンを計算することは容易でない 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  54. 54. 8.PyTorch Geometricによる実装 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  55. 55. PyTorch Geometric • PyTorch上のグラフニューラルネットワークのライブ ラリ (ChebNet, 1stChebNet, GraphSage, MPNNs, GAT, SplineCNN) • https://github.com/rusty1s/pytorch_geometric • https://pytorch- geometric.readthedocs.io/en/latest/ 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  56. 56. 9.今後の学習のための情報源 1. サーベイ論文, 書籍 2. Web上の情報源 3. チュートリアル 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  57. 57. グラフエンベディング • A Survey on Network Embedding [Cui et al., 2017] – https://arxiv.org/abs/1711.08752 • WWW-18 Tutorial : Representation Learning on Networks – http://snap.stanford.edu/proj/embeddings-www/ • Awesome network embedding (links to papers and codes) – https://github.com/chihming/awesome-network- embedding 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  58. 58. ネットワークの表現学習 (グラフエンベディング) • 浅谷先生(東大) 人工知能学会 私のブック マーク – https://www.ai-gakkai.or.jp/my-bookmark_vol31- no4/ 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  59. 59. グラフニューラルネットワーク (サーベイ論文) • “A Comprehensive Survey on Graph Neural Networks” – Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, Philip S. Yu – https://arxiv.org/abs/1901.00596 • “Graph Neural Networks: A Review of Methods and Applications” – Jie Zhou, Ganqu Cui, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun – https://arxiv.org/abs/1812.08434 • “Deep Learning on Graphs: A Survey” – Ziwei Zhang, Peng Cui, Wenwu Zhu – https://arxiv.org/abs/1812.04202 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  60. 60. 書籍 • “Introduction to Graph Neural Networks” • Zhiyuan Liu, Jie Zhou • Morgan & Claypool Publishers (2020) 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  61. 61. 書籍 • “Graph Representation Learning” • William L. Hamilton • Morgan & Claypool publishers (2020) • preprintが無料でダウンロード可 – https://www.cs.mcgill.ca/~wlh/grl_book/ 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  62. 62. グラフニューラルネットワーク (Webサイト) • Must-read papers on GNN – https://github.com/thunlp/GNNPap ers – 13 survey papers, 91 basic models, 18 graph types, 11 pooling methods, 21 analysis, 8 efficiency, – Applications (Physics, Chemistry and Biology, Knowledge Graph, Recommender Systems, Computer Vision, Natural Language Processing, Generation, Combinatorial Optimization, Adversarial Attack, Graph Clustering, Graph Classification, Reinforcement Learning, Traffic Network, Few-shot and Zero-shot Learning, Program Representation, Social Network, Graph Matching, Computer Network) 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  63. 63. グラフニューラルネットワーク (Webサイト) • Awesome resources on Graph Neural Networks – https://github.com/nnzhan/ Awesome-Graph-Neural- Networks 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  64. 64. グラフニューラルネットワーク (Webサイト) • Papers with codes – Graphs – https://paperswithcode.com/area/graphs – Representation Learning, Anomaly Detection, Link Prediction, Graph Embedding, Node Classification, Graph Classification, Community Detection, Learning-To-Rank, Graph Generation, Graph Clustering, Graph Construction, Graph Matching, Topological Data Analysis, Material Classification, Graph Similarity, Graph Regression, Graph Partitioning, Sketch, Spectral Graph Clustering, Vector Graphics, Collaborative Ranking, Molecular Dynamics, Connectivity Estimation, MD17 dataset, Physics-Informed Machine Learning, Hypergraph Embedding, Graph-To-Graph Translation, Hypergraph Partitioning, Gene Interaction Prediction, Link Sign Prediction, Triad Prediction, Graph Ranking, Graphon Estimation, Hypergraph Matching 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  65. 65. CS224W: Machine Learning with Graphs (Prof. Jure Leskovec) • YouTubeで視聴可能 – CS224W: Machine Learning with Graphs | 2021 | Lecture 1.1 - Why Graphs – https://www.youtube.com/watch?v=JAB_plj2rbA • 全ての回のスライドを公開 – http://web.stanford.edu/class/cs224w/ 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  66. 66. 国際会議チュートリアル(AAAI 2020) • “Graph Neural Networks: Models and Applications”, Yao Ma, Wei Jin, Jiliang Tang, Lingfei Wu, Tengfei Ma • https://cse.msu.edu/~mayao4/tutorials/aaai2 020/ スライド閲覧可 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  67. 67. スライド • “An Introduction to Graph Neural Networks: basics and application” • Katsuhiko Ishiguro (Preferred Networks) – https://www.slideshare.net/pfi/20201023naistpfn ishigurognnintroduction 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  68. 68. Structured deep models: Deep learning on graphs and beyond • Kipfによる講演スライド • http://tkipf.github.io/misc/SlidesCambridge.p df 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  69. 69. 10.研究紹介 • 言語横断テキスト分類 (EMNLP 2021) • 2部グラフGCNによる救急医療サービスの予測 (IEEE Access 2021) • GNNによる高精度な認知機能診断 (Sensors 2020) • 欠損値を含むグラフを扱うGNN (Future Generation Computer Systems 2021) • 中心性を高速に近似するGNN (ACM Trans. on Knowledge Discovery from Data 2021, CIKM 2019) • 変分グラフオートエンコーダによるコミュニティ検出 (ICDM 2018) 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火)
  70. 70. 言語横断テキスト分類(CLTC) • 資源が豊富な言語の訓練データを使って、資源が乏しい言 語の分類問題を解くための転移学習 – 資源が豊富な言語のタスク固有の訓練データは入手困難 • 代替案として、資源が豊富な言語のタスクに依存しない単 語埋め込みと、2言語間の辞書を用いたCLTCを提案 – 2言語間の辞書から異種頂点グラフを作り、単語レベルと言語 レベルの2段階集約を行うグラフニューラルネットワークを構築 – 大規模コーパスを利用しないのに事前学習モデルよりも高性能 「グラフニューラルネットワーク」 (FAN 2021 基調講演) 東京工業大学 村田剛志 2021.9.21(火) Nuttapong Chairatanakul, Noppayut Sriwatanasakdi, Nontawat Charoenphakdee, Xin Liu, Tsuyoshi Murata, “Cross-lingual Transfer for Text Classification with Dictionary-based Heterogeneous Graph”, Findings of EMNLP 2021 (accepted, to appear)
  71. 71. 2部グラフGCNによる救急医療 サービスの予測 • 東京都の救急車データを病院-地域の2部グラフで 表現し、救急需要(高/低)を予測する2部グラフ畳 み込みニューラルネットワークモデルを提案 • 需要予測において77.3%~87.7%の精度を達成 – 従来の機械学習アルゴリズム、統計モデル、および最 新のグラフベースの手法を大幅に上回る 71 Ruidong Jin, Liu Xin, Tsuyoshi Murata, “Predicting Emergency Medical Service Demand With Bipartite Graph Convolutional Networks”, IEEE Access, Vol. 9, pp.9903-9915, 2021. https://doi.org/10.1109/ACCESS.2021.3050607
  72. 72. GNNによる高精度な認知機能診断 • 脳画像技術や機械学習の進歩により、脳疾患の診断に大き な進歩 – 健常者と患者を区別する機械学習モデルの開発は非常に重要 • population graphに基づくマルチモデルアンサンブルを提案 – 画像と表現型の異なる組み合わせで(類似した患者の脳の) population graphを構築 – 提案モデルはABIDEデータにおいて、最先端の手法よりも高性能 72 Zarina Rakhimberdina, Xin Liu, Tsuyoshi Murata, "Population Graph-Based Multi-Model Ensemble Method for Diagnosing Autism Spectrum Disorder“, Sensors, Vol.20, No.21, 18 pages, 2020. https://doi.org/10.3390/s20216001
  73. 73. 欠損値を含むグラフを扱うGNN • 欠損した特徴の入力とグラフ学習を同じニューラ ルネットワークアーキテクチャ内に統合 – 欠損データをガウス混合モデル(GMM)で表現し、GCN の第一隠れ層のニューロンの期待活性化を計算 • 従来の入力ベースの手法よりも高性能・頑強 73 Hibiki Taguchi, Xin Liu, Tsuyoshi Murata, "Graph Convolutional Networks for Graphs Containing Missing Features", Future Generation Computer Systems, Vol.117, pp.155-168, Elsevier, 2021. https://doi.org/10.1016/j.future.2020.11.016
  74. 74. 中心性を高速に近似するGNN • GNNによる媒介中心性の計算 • ノード特徴の制約付きメッセージパッシングを用いて、 媒介中心性を近似 • 実データを用いた大規模な実験で、既存手法よりも 高性能・高速 74 Sunil Kumar Maurya, Xin Liu, Tsuyoshi Murata, "Graph Neural Networks for Fast Node Ranking Approximation", ACM Transactions on Knowledge Discovery from Data, Vol.15, No.5, Article No.78, 2021. https://doi.org/10.1145/3446217 Sunil Kumar Maurya, Xin Liu, Tsuyoshi Murata, "Fast Approximations of Betweenness Centrality with Graph Neural Networks", Proc. of the 28th ACM Int'l Conf. on Information and Knowledge Management (CIKM'19) pp.2149–2152, 2019. https://doi.org/10.1145/3357384.3358080
  75. 75. 変分グラフオートエンコーダによる コミュニティ検出 • 変分オートエンコーダ (VAE) :オートエンコーダの潜 在空間における表現を(点でなく)確率分布で表現 • 変分グラフオートエンコーダ (VGAE) : VAEのエン コーダ部分にGCNを用いてグラフの潜在空間の表 現を学習 • 提案手法:グラフ内の各コミュニティに対応した複 数のガウス分布によってグラフ構造をエンコード 75 Jun Jin Choong, Xin Liu, Tsuyoshi Murata, "Learning Community Structure with Variational Autoencoder", Proceedings of IEEE ICDM 2018 (IEEE International Conference on Data Mining), pp.69-78, November, 2018. https://doi.org/10.1109/ICDM.2018.00022
  76. 76. グラフニューラルネットワーク 東京工業大学 村田剛志 murata@c.titech.ac.jp http://www.net.c.titech.ac.jp/index-j.html 本スライドはslideshareにて公開 上記サイトにリンクあり

×