SlideShare a Scribd company logo
1 of 17
Download to read offline
Copyright © 2018 TIS Inc. All rights reserved.
Graph Attention Network
戦略技術センター
久保隆宏
NodeもEdegeもSpeedも
Copyright © 2018 TIS Inc. All rights reserved. 2
 Summary
 関連研究における位置づけ
 Architecture
 実験結果
 まとめ・所感
 参考文献
目次
Copyright © 2018 TIS Inc. All rights reserved. 3
Graph Attention Networkは、Graph Convolutionにおける「情報量と計
算速度のトレードオフ」のバランスをうまくとった研究。
 Graphにおいては、NodeだけでなくEdgeの情報も重要。ただ、Edge
の潜在表現を作っていると計算速度が遅くなる(Modeling Relational
Data with Graph Convolutional Networks)。
 そこでEdgeの情報をAttentionの重みとして表現した。これにより、そ
こそこEdgeの情報をとることができ、計算速度もそこそこを維持でき
た。
Summary
論文の引用ネットワークに適
用した図。Node(論文)の情報
だけでなく、Nodeを結ぶエッ
ジ情報(=太さ)を取れている
(Figure 2より)
Copyright © 2018 TIS Inc. All rights reserved. 4
関連研究における位置づけ (1/7)
(著者はセルビアの方)
Copyright © 2018 TIS Inc. All rights reserved. 5
関連研究における位置づけ (2/7)
The graph neural network model
下記特徴をNN(f)に入力しノードの状態
を計算する。状態・特徴から出力を得る。
 𝑙 𝑛: ノードの特徴
 𝑙 𝑐𝑜[𝑛]: エッジの特徴
 𝑥 𝑛𝑒[𝑛]: 周辺ノードの状態
 𝑙 𝑛𝑒[𝑛]: 周辺ノードの特徴
入力=>状態の更新を繰り返すが、これ
はちょうどRNNと似た形であり(左図) 、
BPTTで更新できる。
ノード検索において、ノード特徴だけ使
うより精度が高いことを確認。
※特徴とは、化学物質ならノード=炭素/
酸素、エッジ=結合/二重結合など
Copyright © 2018 TIS Inc. All rights reserved. 6
関連研究における位置づけ (3/7)
Spectral Networks and Locally Connected Networks
on Graphs
GraphにCNNを適用する研究。具体的には、CNNの「マルチス
ケール」な情報抽出をグラフ上でどう行うか議論している。
 ノード=>クラスタリング=>クラスタ特徴=>クラスタ特
徴のクラスタリング=>・・・と繰り返していけばマルチス
ケールっぽくなる(左下図参照)
 クラスタリングとしてSpectral clusteringを用いる。これ
はグラフの隣接行列を固有値分解する手法。
 フーリエ級数と固有値ベクトル分解は等価であるため(参考
文献参照)、Graphを信号に見立てたときのFourie展開で計
算が可能。
 固有値で役立つのは上位数個(d)のため、常に上位dを取る
とすると定型サイズのフィルタを段々と適用するCNNのよ
うな形になる。
固有ベクトルの計算が必要で、きっつい
Copyright © 2018 TIS Inc. All rights reserved. 7
関連研究における位置づけ (4/7)
Convolutional Neural Networks on Graphs with
Fast Localized Spectral Filtering
SpectralなGraph Convolutionをチェビシェフ展開
(Chebyshev expansion)で近似することで、固有値計算
の必要をなくした。
Copyright © 2018 TIS Inc. All rights reserved. 8
関連研究における位置づけ (5/7)
Semi-Supervised Classification with Graph
Convolutional Networks
さらに、フィルタの対象を最近傍(1-step)の周辺ノードに
限定。
ここまで来たら普通に周辺ノードに重みをかけるで良くないか
Copyright © 2018 TIS Inc. All rights reserved. 9
関連研究における位置づけ (6/7)
最近よく見る形(すごく普通)
Copyright © 2018 TIS Inc. All rights reserved. 10
関連研究における位置づけ (7/7)
Graph Attention Network
周辺ノードからの伝搬時にAttentionを加味(シンプ
ル!)。
Copyright © 2018 TIS Inc. All rights reserved. 11
 Attention(𝛼)は、自身(hi)と周辺(hj)にそれぞれ重みを掛け結合したベ
クトルを基に算出される。
 フィルタがk枚ある場合は、k個の重みそれぞれについてAttentionと
Forwardの計算を行い平均をとる。
Architecture
Structured deep models: Deep learning on graphs and beyondより
Copyright © 2018 TIS Inc. All rights reserved. 12
はじめに: TransductiveとInductiveについて
Transductiveは「既知だが、ラベルが未知のノード」についてラベルを予
測するタスク。「既知」というのは、学習データ中にノードがあるという
こと。
Inductiveは、未知のノードに対してラベルを予測するタスク。ただ、
ノードは既にグラフ内に追加されたとして、周辺ノードを得ることができ
る。
TransductiveよりもInductiveの方が、汎化性能が求められる
(Transductiveは、ある意味与えられたグラフに対するOverfitが可能であ
るため)。
実験結果 (1/2)
Copyright © 2018 TIS Inc. All rights reserved. 13
実験結果 (2/2)
特にInductiveで大きな効果!
Copyright © 2018 TIS Inc. All rights reserved. 14
とてもストレートな手法で良好な結果を出している。
Edgeの情報もある程度取れているので、Edgeに関するタスク
(LinkPredictionなど)も試してみてほしかった感は少しある(Weightだけ
では厳しいかもしれないが)。
Nodeの情報をより高速に取る手法、Edgeの情報をよりリッチに取る手法
はそれぞれ別途あるので、最初に試して必要となればどちらかにスイッチ
するという形にも使えそう。
まとめ・所感
Copyright © 2018 TIS Inc. All rights reserved. 15
 Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero and Pietro
Liò, Yoshua Bengio. Graph Attention Networks. In ICLR, 2018.
 Franco Scarselli, Marco Gori, Ah Chung Tsoi, Markus Hagenbuchner and Gabriele
Monfardini. The graph neural network model. Neural Networks, IEEE
Transactions on, 20(1):61–80, 2009.
 Joan Bruna, Wojciech Zaremba, Arthur Szlam and Yann LeCun. Spectral
Networks and Locally Connected Networks on Graphs. In ICLR, 2014.
 Spectral由来の手法の起源となる論文。
 Mikael Henaff, Joan Bruna and Yann LeCun. Deep Convolutional Networks on
Graph-Structured Data. arXiv preprint arXiv:1506.05163, 2015.
 Michaël Defferrard, Xavier Bresson and Pierre Vandergheynst. Convolutional
Neural Networks on Graphs with Fast Localized Spectral Filtering. In NIPS, 2016.
 Thomas N. Kipf and Max Welling. Semi-Supervised Classification with Graph
Convolutional Networks. In ICLR, 2017.
参考文献: Papers
Copyright © 2018 TIS Inc. All rights reserved. 16
 Thomas Kipf. Structured deep models: Deep learning on graphs and beyond.
2018.
 Graph Convolutionを行う時にまず参照すべき解説スライド
 horiem. フーリエ級数展開をベクトルで直観的に理解する. Phys and Tips, 2016.
 固有値分解とフーリエ展開がどう関係するの?というところがなんとなくわかる。
 7931. フーリエ級数の3つの解釈/『数学セミナー 2018年3月号』読書メモ その3.
7931のあたまんなか, 2018.
 フーリエ級数と固有ベクトル分解の関係がより直接的に書かれている。
参考文献: Articles
THANK YOU

More Related Content

What's hot

Graph Neural Networks
Graph Neural NetworksGraph Neural Networks
Graph Neural Networkstm1966
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習Deep Learning JP
 
CVPR2019読み会@関東CV
CVPR2019読み会@関東CVCVPR2019読み会@関東CV
CVPR2019読み会@関東CVTakanori Ogata
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat ModelsDeep Learning JP
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida
 
Active Learning 入門
Active Learning 入門Active Learning 入門
Active Learning 入門Shuyo Nakatani
 
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic DatasetsDeep Learning JP
 
ニューラルチューリングマシン入門
ニューラルチューリングマシン入門ニューラルチューリングマシン入門
ニューラルチューリングマシン入門naoto moriyama
 
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?Masanao Ochi
 
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)cvpaper. challenge
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜SSII
 
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック 大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック 西岡 賢一郎
 
3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向Kensho Hara
 
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings  (EMNLP 2021)【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings  (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)Deep Learning JP
 
動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセットToru Tamaki
 
ICLR2020の異常検知論文の紹介 (2019/11/23)
ICLR2020の異常検知論文の紹介 (2019/11/23)ICLR2020の異常検知論文の紹介 (2019/11/23)
ICLR2020の異常検知論文の紹介 (2019/11/23)ぱんいち すみもと
 
[DeepLearning論文読み会] Dataset Distillation
[DeepLearning論文読み会] Dataset Distillation[DeepLearning論文読み会] Dataset Distillation
[DeepLearning論文読み会] Dataset DistillationRyutaro Yamauchi
 
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化Yusuke Uchida
 

What's hot (20)

Graph Neural Networks
Graph Neural NetworksGraph Neural Networks
Graph Neural Networks
 
ResNetの仕組み
ResNetの仕組みResNetの仕組み
ResNetの仕組み
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
 
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
 
CVPR2019読み会@関東CV
CVPR2019読み会@関東CVCVPR2019読み会@関東CV
CVPR2019読み会@関東CV
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
 
Active Learning 入門
Active Learning 入門Active Learning 入門
Active Learning 入門
 
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
 
ニューラルチューリングマシン入門
ニューラルチューリングマシン入門ニューラルチューリングマシン入門
ニューラルチューリングマシン入門
 
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
 
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
 
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック 大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック
 
3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向3D CNNによる人物行動認識の動向
3D CNNによる人物行動認識の動向
 
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings  (EMNLP 2021)【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings  (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
 
動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット
 
ICLR2020の異常検知論文の紹介 (2019/11/23)
ICLR2020の異常検知論文の紹介 (2019/11/23)ICLR2020の異常検知論文の紹介 (2019/11/23)
ICLR2020の異常検知論文の紹介 (2019/11/23)
 
[DeepLearning論文読み会] Dataset Distillation
[DeepLearning論文読み会] Dataset Distillation[DeepLearning論文読み会] Dataset Distillation
[DeepLearning論文読み会] Dataset Distillation
 
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
 

Similar to Graph Attention Network

グラフデータ分析 入門編
グラフデータ分析 入門編グラフデータ分析 入門編
グラフデータ分析 入門編順也 山口
 
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)NTT DATA OSS Professional Services
 
都市工学調査資料
都市工学調査資料都市工学調査資料
都市工学調査資料Satoru Yamamoto
 
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro YokoyamaInsight Technology, Inc.
 
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムRecruit Technologies
 
An Introduction of DNN Compression Technology and Hardware Acceleration on FPGA
An Introduction of DNN Compression Technology and Hardware Acceleration on FPGAAn Introduction of DNN Compression Technology and Hardware Acceleration on FPGA
An Introduction of DNN Compression Technology and Hardware Acceleration on FPGALeapMind Inc
 
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料Recruit Technologies
 
教師なしGNNによるIoTデバイスの異常通信検知の検討
教師なしGNNによるIoTデバイスの異常通信検知の検討教師なしGNNによるIoTデバイスの異常通信検知の検討
教師なしGNNによるIoTデバイスの異常通信検知の検討ARISE analytics
 
pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)
pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)
pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)NTT DATA Technology & Innovation
 
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...NTT DATA OSS Professional Services
 
第9回ACRiウェビナー_日立/島田様ご講演資料
第9回ACRiウェビナー_日立/島田様ご講演資料第9回ACRiウェビナー_日立/島田様ご講演資料
第9回ACRiウェビナー_日立/島田様ご講演資料直久 住川
 
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例Tetsutaro Watanabe
 
データビジュアライゼーションの作り方
データビジュアライゼーションの作り方データビジュアライゼーションの作り方
データビジュアライゼーションの作り方清水 正行
 
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...KenzoOkuda
 
VLDB 2023 国際会議報告@ACM SIGMOD 日本支部第84回支部大会
VLDB 2023 国際会議報告@ACM SIGMOD 日本支部第84回支部大会VLDB 2023 国際会議報告@ACM SIGMOD 日本支部第84回支部大会
VLDB 2023 国際会議報告@ACM SIGMOD 日本支部第84回支部大会YutaroBessho
 
Res netと派生研究の紹介
Res netと派生研究の紹介Res netと派生研究の紹介
Res netと派生研究の紹介masataka nishimori
 
オープンソースのビッグデータ・IoT向け スケールアウト型データベースGridDBとPython連携 〜GridDBとPythonと私〜
オープンソースのビッグデータ・IoT向け スケールアウト型データベースGridDBとPython連携 〜GridDBとPythonと私〜オープンソースのビッグデータ・IoT向け スケールアウト型データベースGridDBとPython連携 〜GridDBとPythonと私〜
オープンソースのビッグデータ・IoT向け スケールアウト型データベースGridDBとPython連携 〜GridDBとPythonと私〜griddb
 

Similar to Graph Attention Network (20)

グラフデータ分析 入門編
グラフデータ分析 入門編グラフデータ分析 入門編
グラフデータ分析 入門編
 
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
 
Deep walk について
Deep walk についてDeep walk について
Deep walk について
 
都市工学調査資料
都市工学調査資料都市工学調査資料
都市工学調査資料
 
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama
 
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
 
An Introduction of DNN Compression Technology and Hardware Acceleration on FPGA
An Introduction of DNN Compression Technology and Hardware Acceleration on FPGAAn Introduction of DNN Compression Technology and Hardware Acceleration on FPGA
An Introduction of DNN Compression Technology and Hardware Acceleration on FPGA
 
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
 
教師なしGNNによるIoTデバイスの異常通信検知の検討
教師なしGNNによるIoTデバイスの異常通信検知の検討教師なしGNNによるIoTデバイスの異常通信検知の検討
教師なしGNNによるIoTデバイスの異常通信検知の検討
 
pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)
pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)
pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)
 
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
 
Hadoop ecosystem NTTDATA osc15tk
Hadoop ecosystem NTTDATA osc15tkHadoop ecosystem NTTDATA osc15tk
Hadoop ecosystem NTTDATA osc15tk
 
CCGrid2012 参加報告
CCGrid2012 参加報告CCGrid2012 参加報告
CCGrid2012 参加報告
 
第9回ACRiウェビナー_日立/島田様ご講演資料
第9回ACRiウェビナー_日立/島田様ご講演資料第9回ACRiウェビナー_日立/島田様ご講演資料
第9回ACRiウェビナー_日立/島田様ご講演資料
 
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
 
データビジュアライゼーションの作り方
データビジュアライゼーションの作り方データビジュアライゼーションの作り方
データビジュアライゼーションの作り方
 
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...
 
VLDB 2023 国際会議報告@ACM SIGMOD 日本支部第84回支部大会
VLDB 2023 国際会議報告@ACM SIGMOD 日本支部第84回支部大会VLDB 2023 国際会議報告@ACM SIGMOD 日本支部第84回支部大会
VLDB 2023 国際会議報告@ACM SIGMOD 日本支部第84回支部大会
 
Res netと派生研究の紹介
Res netと派生研究の紹介Res netと派生研究の紹介
Res netと派生研究の紹介
 
オープンソースのビッグデータ・IoT向け スケールアウト型データベースGridDBとPython連携 〜GridDBとPythonと私〜
オープンソースのビッグデータ・IoT向け スケールアウト型データベースGridDBとPython連携 〜GridDBとPythonと私〜オープンソースのビッグデータ・IoT向け スケールアウト型データベースGridDBとPython連携 〜GridDBとPythonと私〜
オープンソースのビッグデータ・IoT向け スケールアウト型データベースGridDBとPython連携 〜GridDBとPythonと私〜
 

More from Takahiro Kubo

自然言語処理による企業の気候変動対策分析
自然言語処理による企業の気候変動対策分析自然言語処理による企業の気候変動対策分析
自然言語処理による企業の気候変動対策分析Takahiro Kubo
 
国際会計基準(IFRS)適用企業の財務評価方法
国際会計基準(IFRS)適用企業の財務評価方法国際会計基準(IFRS)適用企業の財務評価方法
国際会計基準(IFRS)適用企業の財務評価方法Takahiro Kubo
 
自然言語処理で新型コロナウィルスに立ち向かう
自然言語処理で新型コロナウィルスに立ち向かう自然言語処理で新型コロナウィルスに立ち向かう
自然言語処理で新型コロナウィルスに立ち向かうTakahiro Kubo
 
財務・非財務一体型の企業分析に向けて
財務・非財務一体型の企業分析に向けて財務・非財務一体型の企業分析に向けて
財務・非財務一体型の企業分析に向けてTakahiro Kubo
 
自然言語処理で読み解く金融文書
自然言語処理で読み解く金融文書自然言語処理で読み解く金融文書
自然言語処理で読み解く金融文書Takahiro Kubo
 
arXivTimes Review: 2019年前半で印象に残った論文を振り返る
arXivTimes Review: 2019年前半で印象に残った論文を振り返るarXivTimes Review: 2019年前半で印象に残った論文を振り返る
arXivTimes Review: 2019年前半で印象に残った論文を振り返るTakahiro Kubo
 
ESG評価を支える自然言語処理基盤の構築
ESG評価を支える自然言語処理基盤の構築ESG評価を支える自然言語処理基盤の構築
ESG評価を支える自然言語処理基盤の構築Takahiro Kubo
 
Expressing Visual Relationships via Language: 自然言語による画像編集を目指して
Expressing Visual Relationships via Language: 自然言語による画像編集を目指してExpressing Visual Relationships via Language: 自然言語による画像編集を目指して
Expressing Visual Relationships via Language: 自然言語による画像編集を目指してTakahiro Kubo
 
Reinforcement Learning Inside Business
Reinforcement Learning Inside BusinessReinforcement Learning Inside Business
Reinforcement Learning Inside BusinessTakahiro Kubo
 
あるべきESG投資の評価に向けた、自然言語処理の活用
あるべきESG投資の評価に向けた、自然言語処理の活用あるべきESG投資の評価に向けた、自然言語処理の活用
あるべきESG投資の評価に向けた、自然言語処理の活用Takahiro Kubo
 
nlpaper.challenge NLP/CV交流勉強会 画像認識 7章
nlpaper.challenge NLP/CV交流勉強会 画像認識 7章nlpaper.challenge NLP/CV交流勉強会 画像認識 7章
nlpaper.challenge NLP/CV交流勉強会 画像認識 7章Takahiro Kubo
 
Curiosity may drives your output routine.
Curiosity may drives  your output routine.Curiosity may drives  your output routine.
Curiosity may drives your output routine.Takahiro Kubo
 
モデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留するモデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留するTakahiro Kubo
 
2018年12月4日までに『呪術廻戦』を読む理由
2018年12月4日までに『呪術廻戦』を読む理由2018年12月4日までに『呪術廻戦』を読む理由
2018年12月4日までに『呪術廻戦』を読む理由Takahiro Kubo
 
ACL2018の歩き方
 ACL2018の歩き方 ACL2018の歩き方
ACL2018の歩き方Takahiro Kubo
 
機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018Takahiro Kubo
 
TISにおける、研究開発の方針とメソッド 2018
TISにおける、研究開発の方針とメソッド 2018TISにおける、研究開発の方針とメソッド 2018
TISにおける、研究開発の方針とメソッド 2018Takahiro Kubo
 
感情の出どころを探る、一歩進んだ感情解析
感情の出どころを探る、一歩進んだ感情解析感情の出どころを探る、一歩進んだ感情解析
感情の出どころを探る、一歩進んだ感情解析Takahiro Kubo
 
機械学習の力を引き出すための依存性管理
機械学習の力を引き出すための依存性管理機械学習の力を引き出すための依存性管理
機械学習の力を引き出すための依存性管理Takahiro Kubo
 

More from Takahiro Kubo (20)

自然言語処理による企業の気候変動対策分析
自然言語処理による企業の気候変動対策分析自然言語処理による企業の気候変動対策分析
自然言語処理による企業の気候変動対策分析
 
国際会計基準(IFRS)適用企業の財務評価方法
国際会計基準(IFRS)適用企業の財務評価方法国際会計基準(IFRS)適用企業の財務評価方法
国際会計基準(IFRS)適用企業の財務評価方法
 
自然言語処理で新型コロナウィルスに立ち向かう
自然言語処理で新型コロナウィルスに立ち向かう自然言語処理で新型コロナウィルスに立ち向かう
自然言語処理で新型コロナウィルスに立ち向かう
 
財務・非財務一体型の企業分析に向けて
財務・非財務一体型の企業分析に向けて財務・非財務一体型の企業分析に向けて
財務・非財務一体型の企業分析に向けて
 
自然言語処理で読み解く金融文書
自然言語処理で読み解く金融文書自然言語処理で読み解く金融文書
自然言語処理で読み解く金融文書
 
arXivTimes Review: 2019年前半で印象に残った論文を振り返る
arXivTimes Review: 2019年前半で印象に残った論文を振り返るarXivTimes Review: 2019年前半で印象に残った論文を振り返る
arXivTimes Review: 2019年前半で印象に残った論文を振り返る
 
ESG評価を支える自然言語処理基盤の構築
ESG評価を支える自然言語処理基盤の構築ESG評価を支える自然言語処理基盤の構築
ESG評価を支える自然言語処理基盤の構築
 
Expressing Visual Relationships via Language: 自然言語による画像編集を目指して
Expressing Visual Relationships via Language: 自然言語による画像編集を目指してExpressing Visual Relationships via Language: 自然言語による画像編集を目指して
Expressing Visual Relationships via Language: 自然言語による画像編集を目指して
 
Reinforcement Learning Inside Business
Reinforcement Learning Inside BusinessReinforcement Learning Inside Business
Reinforcement Learning Inside Business
 
あるべきESG投資の評価に向けた、自然言語処理の活用
あるべきESG投資の評価に向けた、自然言語処理の活用あるべきESG投資の評価に向けた、自然言語処理の活用
あるべきESG投資の評価に向けた、自然言語処理の活用
 
nlpaper.challenge NLP/CV交流勉強会 画像認識 7章
nlpaper.challenge NLP/CV交流勉強会 画像認識 7章nlpaper.challenge NLP/CV交流勉強会 画像認識 7章
nlpaper.challenge NLP/CV交流勉強会 画像認識 7章
 
Curiosity may drives your output routine.
Curiosity may drives  your output routine.Curiosity may drives  your output routine.
Curiosity may drives your output routine.
 
モデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留するモデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留する
 
EMNLP2018 Overview
EMNLP2018 OverviewEMNLP2018 Overview
EMNLP2018 Overview
 
2018年12月4日までに『呪術廻戦』を読む理由
2018年12月4日までに『呪術廻戦』を読む理由2018年12月4日までに『呪術廻戦』を読む理由
2018年12月4日までに『呪術廻戦』を読む理由
 
ACL2018の歩き方
 ACL2018の歩き方 ACL2018の歩き方
ACL2018の歩き方
 
機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018
 
TISにおける、研究開発の方針とメソッド 2018
TISにおける、研究開発の方針とメソッド 2018TISにおける、研究開発の方針とメソッド 2018
TISにおける、研究開発の方針とメソッド 2018
 
感情の出どころを探る、一歩進んだ感情解析
感情の出どころを探る、一歩進んだ感情解析感情の出どころを探る、一歩進んだ感情解析
感情の出どころを探る、一歩進んだ感情解析
 
機械学習の力を引き出すための依存性管理
機械学習の力を引き出すための依存性管理機械学習の力を引き出すための依存性管理
機械学習の力を引き出すための依存性管理
 

Graph Attention Network

  • 1. Copyright © 2018 TIS Inc. All rights reserved. Graph Attention Network 戦略技術センター 久保隆宏 NodeもEdegeもSpeedも
  • 2. Copyright © 2018 TIS Inc. All rights reserved. 2  Summary  関連研究における位置づけ  Architecture  実験結果  まとめ・所感  参考文献 目次
  • 3. Copyright © 2018 TIS Inc. All rights reserved. 3 Graph Attention Networkは、Graph Convolutionにおける「情報量と計 算速度のトレードオフ」のバランスをうまくとった研究。  Graphにおいては、NodeだけでなくEdgeの情報も重要。ただ、Edge の潜在表現を作っていると計算速度が遅くなる(Modeling Relational Data with Graph Convolutional Networks)。  そこでEdgeの情報をAttentionの重みとして表現した。これにより、そ こそこEdgeの情報をとることができ、計算速度もそこそこを維持でき た。 Summary 論文の引用ネットワークに適 用した図。Node(論文)の情報 だけでなく、Nodeを結ぶエッ ジ情報(=太さ)を取れている (Figure 2より)
  • 4. Copyright © 2018 TIS Inc. All rights reserved. 4 関連研究における位置づけ (1/7) (著者はセルビアの方)
  • 5. Copyright © 2018 TIS Inc. All rights reserved. 5 関連研究における位置づけ (2/7) The graph neural network model 下記特徴をNN(f)に入力しノードの状態 を計算する。状態・特徴から出力を得る。  𝑙 𝑛: ノードの特徴  𝑙 𝑐𝑜[𝑛]: エッジの特徴  𝑥 𝑛𝑒[𝑛]: 周辺ノードの状態  𝑙 𝑛𝑒[𝑛]: 周辺ノードの特徴 入力=>状態の更新を繰り返すが、これ はちょうどRNNと似た形であり(左図) 、 BPTTで更新できる。 ノード検索において、ノード特徴だけ使 うより精度が高いことを確認。 ※特徴とは、化学物質ならノード=炭素/ 酸素、エッジ=結合/二重結合など
  • 6. Copyright © 2018 TIS Inc. All rights reserved. 6 関連研究における位置づけ (3/7) Spectral Networks and Locally Connected Networks on Graphs GraphにCNNを適用する研究。具体的には、CNNの「マルチス ケール」な情報抽出をグラフ上でどう行うか議論している。  ノード=>クラスタリング=>クラスタ特徴=>クラスタ特 徴のクラスタリング=>・・・と繰り返していけばマルチス ケールっぽくなる(左下図参照)  クラスタリングとしてSpectral clusteringを用いる。これ はグラフの隣接行列を固有値分解する手法。  フーリエ級数と固有値ベクトル分解は等価であるため(参考 文献参照)、Graphを信号に見立てたときのFourie展開で計 算が可能。  固有値で役立つのは上位数個(d)のため、常に上位dを取る とすると定型サイズのフィルタを段々と適用するCNNのよ うな形になる。 固有ベクトルの計算が必要で、きっつい
  • 7. Copyright © 2018 TIS Inc. All rights reserved. 7 関連研究における位置づけ (4/7) Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering SpectralなGraph Convolutionをチェビシェフ展開 (Chebyshev expansion)で近似することで、固有値計算 の必要をなくした。
  • 8. Copyright © 2018 TIS Inc. All rights reserved. 8 関連研究における位置づけ (5/7) Semi-Supervised Classification with Graph Convolutional Networks さらに、フィルタの対象を最近傍(1-step)の周辺ノードに 限定。 ここまで来たら普通に周辺ノードに重みをかけるで良くないか
  • 9. Copyright © 2018 TIS Inc. All rights reserved. 9 関連研究における位置づけ (6/7) 最近よく見る形(すごく普通)
  • 10. Copyright © 2018 TIS Inc. All rights reserved. 10 関連研究における位置づけ (7/7) Graph Attention Network 周辺ノードからの伝搬時にAttentionを加味(シンプ ル!)。
  • 11. Copyright © 2018 TIS Inc. All rights reserved. 11  Attention(𝛼)は、自身(hi)と周辺(hj)にそれぞれ重みを掛け結合したベ クトルを基に算出される。  フィルタがk枚ある場合は、k個の重みそれぞれについてAttentionと Forwardの計算を行い平均をとる。 Architecture Structured deep models: Deep learning on graphs and beyondより
  • 12. Copyright © 2018 TIS Inc. All rights reserved. 12 はじめに: TransductiveとInductiveについて Transductiveは「既知だが、ラベルが未知のノード」についてラベルを予 測するタスク。「既知」というのは、学習データ中にノードがあるという こと。 Inductiveは、未知のノードに対してラベルを予測するタスク。ただ、 ノードは既にグラフ内に追加されたとして、周辺ノードを得ることができ る。 TransductiveよりもInductiveの方が、汎化性能が求められる (Transductiveは、ある意味与えられたグラフに対するOverfitが可能であ るため)。 実験結果 (1/2)
  • 13. Copyright © 2018 TIS Inc. All rights reserved. 13 実験結果 (2/2) 特にInductiveで大きな効果!
  • 14. Copyright © 2018 TIS Inc. All rights reserved. 14 とてもストレートな手法で良好な結果を出している。 Edgeの情報もある程度取れているので、Edgeに関するタスク (LinkPredictionなど)も試してみてほしかった感は少しある(Weightだけ では厳しいかもしれないが)。 Nodeの情報をより高速に取る手法、Edgeの情報をよりリッチに取る手法 はそれぞれ別途あるので、最初に試して必要となればどちらかにスイッチ するという形にも使えそう。 まとめ・所感
  • 15. Copyright © 2018 TIS Inc. All rights reserved. 15  Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero and Pietro Liò, Yoshua Bengio. Graph Attention Networks. In ICLR, 2018.  Franco Scarselli, Marco Gori, Ah Chung Tsoi, Markus Hagenbuchner and Gabriele Monfardini. The graph neural network model. Neural Networks, IEEE Transactions on, 20(1):61–80, 2009.  Joan Bruna, Wojciech Zaremba, Arthur Szlam and Yann LeCun. Spectral Networks and Locally Connected Networks on Graphs. In ICLR, 2014.  Spectral由来の手法の起源となる論文。  Mikael Henaff, Joan Bruna and Yann LeCun. Deep Convolutional Networks on Graph-Structured Data. arXiv preprint arXiv:1506.05163, 2015.  Michaël Defferrard, Xavier Bresson and Pierre Vandergheynst. Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering. In NIPS, 2016.  Thomas N. Kipf and Max Welling. Semi-Supervised Classification with Graph Convolutional Networks. In ICLR, 2017. 参考文献: Papers
  • 16. Copyright © 2018 TIS Inc. All rights reserved. 16  Thomas Kipf. Structured deep models: Deep learning on graphs and beyond. 2018.  Graph Convolutionを行う時にまず参照すべき解説スライド  horiem. フーリエ級数展開をベクトルで直観的に理解する. Phys and Tips, 2016.  固有値分解とフーリエ展開がどう関係するの?というところがなんとなくわかる。  7931. フーリエ級数の3つの解釈/『数学セミナー 2018年3月号』読書メモ その3. 7931のあたまんなか, 2018.  フーリエ級数と固有ベクトル分解の関係がより直接的に書かれている。 参考文献: Articles