SlideShare a Scribd company logo
1 of 19
Graph U-Nets
本田 志温
ICLR/ICML2019読み会 @DeNA
Hongyang Gao, Shuiwang Ji
ICML 2019
@shion_honda
自己紹介
2
• 東京大学大学院情報理工学系研究科 M2
• 医学系の研究室でAI創薬の研究に従事
• NLPやCVも勉強中
• 最近の関心はグラフ
• 趣味: 音楽鑑賞, 料理, 旅行, サッカー, 水泳など
• SFと神経科学も好き
概要
• CNNのpooling/unpoolingをグラフ上で定義
• GCNと組み合わせてGraph U-Netを提案
• ノード分類とグラフ分類の両方でSOTA
3
背景
4
問題設定
• CNNsはCVやNLPで活躍しているが, これらの
データはグリッド状という特徴がある
• 非グリッドなグラフ構造でも, 畳み込み演算を
適用できるようにしたGNNsが考案されている
5
• 画像を「ノードが格子状に並んだ
グラフ」だと捉えると, ノード分類
は画像のセグメンテーションと同
一視できる
• 画像のセグメンテーションで定番のU-Netをグ
ラフでも適用できるようにしたい
U-Netとは
• U-Net: Convolutional Networks for
Biomedical Image Segmentation [2]
• Ronneberger+, MICCAI, 2015
• 前半のdownsamplingと後半のupsamplingからなる
U字型のネットワーク
• downsamplingの途中の各階層で特徴マップを
upsampling側に渡す
→異なるスケールの特徴を考慮
• 細胞画像のセグメンテ
ーションで実験
6
グラフに関する様々なタスク
7
タスク スケール 例
ノード分類 ノード 引用関係のグラフにおける論文のカテゴリ予測
リンク予測 ノード SNSのつながり推薦
グラフ分類 グラフ タンパク質の活性予測
グラフ生成 グラフ 分子グラフの生成
*ノードレベルとグラフレベルではタスクの性質が異なる
引用関係 分子
[3]
GNNsの関連研究
• 元祖GCN
• 𝑋𝑙: 第𝑙層での特徴行列
• 𝐷: 次数行列
• 𝐴: 隣接行列
• 𝑊𝑙:第𝑙層での重み
• 行列積の形でグラフ畳み込みが書ける
8
𝐴 = 𝐴 + 𝐼
𝐷 = 𝐷 + 𝐼
• DiffPool [4]
• ノードのクラスタリングを行うGNNをプーリング
層として挿入
• グラフ分類に
有効
本論
9
gPool
1. 学習可能なベクトル𝑝に特徴行列𝑋を射影(𝑦)
2. 特徴行列𝑋と隣接行列𝐴について, 値の大きな𝑘個の
ノードを取り出す(idは保存しておく)
3. 特徴行列𝑋に𝑦でゲートをかける
* 3は𝑝を計算グラフに入れるために必要
* k-max poolingと対応
10
gUnpool
11
1. 特徴行列𝑋と隣接行列𝐴について, 対応するgPoolで捨てられたノードの
対応箇所を0で埋める
Graph U-Net
• gPoolとgUnpoolを対称に並べてU-Netを作る
• gPoolとgUnpoolの前後にはGCNを入れる
• 最後に各ノードのembeddingが得られる
12
その他の工夫
• Graph Connectivity Augmentation
• gPoolの途中でグラフの連結性が失われるのを防ぎ
たい
• gPoolの5番目の式で, 隣接行列を2乗する
13
• Improved GCN Layer
• GCNでノード自身の特徴に重みをつけるため, 隣接
行列の計算を次のように変える
実験1: ノード分類 (transductive)
• ノード分類
• transductive: 訓練時に与えられなかったノードラ
ベルを当てる
• 論文の引用関係を表すグラフ
• 条件
• 𝑘 = 2000, 1000, 500, 200として4回のgPool
• Contractive pathでは和をとる
• upsampling側の最後のGCNで予測
• ベースラインはDeepWalk, GCN, GATなどノー
ド埋め込みを得る手法
14
実験2: グラフ分類 (inductive)
15
• グラフ分類
• inductive: 訓練時に与えられなかったグラフのラベ
ルを当てる
• タンパク質と共著関係を表すグラフ
• 条件
• 基本的に実験1を踏襲. 同じく4回のgPool
• 𝑘 の値はノード数の90%, 70%, 60%, 50%とする
• ベースラインはDGCNN, DiffPoolなど
結果
1. ノード分類: 3/3でSOTA
16
2. グラフ分類: 2/3でSOTA
• COLLABではDiffPool-DETがダントツ
Ablation studies
17
1. GCN + contracting pathとの比較
2. Graph Connectivity Augmentationは効果あり
3. 最適な深さは4層
4. gPool/Unpoolでパラメータ数はほぼ増えない
まとめ
• まとめ
• 学習可能なベクトル𝑝に特徴行列𝑋を射影し, 値の大
きいidのノードを取ることでgPoolを定義
• 捨てたノードを0で埋めてgUnpoolを定義
• これらをGCNと組み合わせてGraph U-Netを提案
• ノード分類とグラフ分類でSOTA
• コメント
• グラフ分類でもうまくいくのは意外
• グラフ分類のとき, 出力の次元がノード数になるは
ずなので, 実装が自明でない (コード非公開)
• 発展としてpix2pixのようなこともできそう
18
参考文献
[1] Hongyang Gao, Shuiwang Ji. “Graph U-Nets.” ICML. 2019.
[2] Olaf Ronneberger, Philipp Fischer, Thomas Brox. “U-Net:
Convolutional Networks for Biomedical Image Segmentation.” MICCAI.
2015.
[3] Thomas N. Kipf, Max Welling. “Semi-Supervised Classification with
Graph Convolutional Networks.” ICLR. 2017.
[4] Rex Ying, Jiaxuan You, Christopher Morris, Xiang Ren, William L.
Hamilton, Jure Leskovec. “Hierarchical Graph Representation Learning
with Differentiable Pooling. ” NeurIPS. 2018.
GNNsの導入記事を書きました.
[5] GNNまとめ(1): GCNの導入 - Qiita
19

More Related Content

What's hot

What's hot (20)

CVPR2018のPointCloudのCNN論文とSPLATNet
CVPR2018のPointCloudのCNN論文とSPLATNetCVPR2018のPointCloudのCNN論文とSPLATNet
CVPR2018のPointCloudのCNN論文とSPLATNet
 
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
 
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
 
[part 2]ナレッジグラフ推論チャレンジ・Tech Live!
[part 2]ナレッジグラフ推論チャレンジ・Tech Live![part 2]ナレッジグラフ推論チャレンジ・Tech Live!
[part 2]ナレッジグラフ推論チャレンジ・Tech Live!
 
モデル高速化百選
モデル高速化百選モデル高速化百選
モデル高速化百選
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
 
CVPR 2019 速報
CVPR 2019 速報CVPR 2019 速報
CVPR 2019 速報
 
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs	(gMLP)[DL輪読会]Pay Attention to MLPs	(gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
 
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
 
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
 
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
 
3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向
 
[DL輪読会]DropBlock: A regularization method for convolutional networks
[DL輪読会]DropBlock: A regularization method for convolutional networks[DL輪読会]DropBlock: A regularization method for convolutional networks
[DL輪読会]DropBlock: A regularization method for convolutional networks
 
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
 
SuperGlue; Learning Feature Matching with Graph Neural Networks (CVPR'20)
SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20)SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20)
SuperGlue; Learning Feature Matching with Graph Neural Networks (CVPR'20)
 
動画認識における代表的なモデル・データセット(メタサーベイ)
動画認識における代表的なモデル・データセット(メタサーベイ)動画認識における代表的なモデル・データセット(メタサーベイ)
動画認識における代表的なモデル・データセット(メタサーベイ)
 
【論文読み会】Alias-Free Generative Adversarial Networks(StyleGAN3)
【論文読み会】Alias-Free Generative Adversarial Networks(StyleGAN3)【論文読み会】Alias-Free Generative Adversarial Networks(StyleGAN3)
【論文読み会】Alias-Free Generative Adversarial Networks(StyleGAN3)
 
GANの概要とDCGANのアーキテクチャ/アルゴリズム
GANの概要とDCGANのアーキテクチャ/アルゴリズムGANの概要とDCGANのアーキテクチャ/アルゴリズム
GANの概要とDCGANのアーキテクチャ/アルゴリズム
 
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
 

More from Shion Honda

More from Shion Honda (11)

BERTをブラウザで動かしたい! ―MobileBERTとTensorFlow.js―
BERTをブラウザで動かしたい!―MobileBERTとTensorFlow.js―BERTをブラウザで動かしたい!―MobileBERTとTensorFlow.js―
BERTをブラウザで動かしたい! ―MobileBERTとTensorFlow.js―
 
Bridging between Vision and Language
Bridging between Vision and LanguageBridging between Vision and Language
Bridging between Vision and Language
 
Deep Learning Chap. 12: Applications
Deep Learning Chap. 12: ApplicationsDeep Learning Chap. 12: Applications
Deep Learning Chap. 12: Applications
 
Deep Learning Chap. 6: Deep Feedforward Networks
Deep Learning Chap. 6: Deep Feedforward NetworksDeep Learning Chap. 6: Deep Feedforward Networks
Deep Learning Chap. 6: Deep Feedforward Networks
 
画像認識 第9章 さらなる話題
画像認識 第9章 さらなる話題画像認識 第9章 さらなる話題
画像認識 第9章 さらなる話題
 
Towards Predicting Molecular Property by Graph Neural Networks
Towards Predicting Molecular Property by Graph Neural NetworksTowards Predicting Molecular Property by Graph Neural Networks
Towards Predicting Molecular Property by Graph Neural Networks
 
画像認識 6.3-6.6 畳込みニューラル ネットワーク
画像認識 6.3-6.6 畳込みニューラルネットワーク画像認識 6.3-6.6 畳込みニューラルネットワーク
画像認識 6.3-6.6 畳込みニューラル ネットワーク
 
深層学習による自然言語処理 第2章 ニューラルネットの基礎
深層学習による自然言語処理 第2章 ニューラルネットの基礎深層学習による自然言語処理 第2章 ニューラルネットの基礎
深層学習による自然言語処理 第2章 ニューラルネットの基礎
 
BERT: Pre-training of Deep Bidirectional Transformers for Language Understand...
BERT: Pre-training of Deep Bidirectional Transformers for Language Understand...BERT: Pre-training of Deep Bidirectional Transformers for Language Understand...
BERT: Pre-training of Deep Bidirectional Transformers for Language Understand...
 
IaGo: an Othello AI inspired by AlphaGo
IaGo: an Othello AI inspired by AlphaGoIaGo: an Othello AI inspired by AlphaGo
IaGo: an Othello AI inspired by AlphaGo
 
Planning chemical syntheses with deep neural networks and symbolic AI
Planning chemical syntheses with deep neural networks and symbolic AIPlanning chemical syntheses with deep neural networks and symbolic AI
Planning chemical syntheses with deep neural networks and symbolic AI
 

Graph U-Nets

Editor's Notes

  1. we employ a gate operation to control information flow information flowにpをいれる
  2. there is a GCN layer before each gPool layer, thereby enabling gPool layers to capture the topological information in graphs implicitly.
  3. inductive 非自明