Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20190509 gnn public

1,839 views

Published on

2019年5月9日のレトリバセミナー「GNNの紹介」で用いた資料です。

Published in: Technology
  • DOWNLOAD FULL BOOKS, INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

20190509 gnn public

  1. 1. Graph Neural Network 取締役副社長 Chief Research Officer 西鳥羽 二郎
  2. 2. 西鳥羽 二郎 • 株式会社レトリバ取締役副社長 CRO • 興味ある分野 • 機械学習 • 自然言語処理 • 音声認識 • 趣味 • 全都道府県を巡る -> Complete! • 日本の全世界遺産を巡る
  3. 3. Graph Neural Network • グラフ上の問題をニューラルネットワークで解くためにグラフ をニューラルネットワークで扱えるように表現する手法
  4. 4. グラフ
  5. 5. グラフとは • 何かしらのオブジェクトと関係性を表すデータ構造 • 頂点(Node): 何かしらの対象(object)を表す • 枝(edge): 頂点同士を結び、関係性を表す A C B 頂点A,B,Cが存在する AとB、BとCは関係が存在する がAとCには存在しない
  6. 6. Social Network 人を頂点で表す 友達関係を枝で表す 隠れた友達関係の提示 コミュニティの検出 中心人物の検出
  7. 7. 化合物 原子を頂点で表す 結合を枝で表す 化合物の活性予測 タンパク質間の活性予測
  8. 8. 自然言語処理におけるグラフ 単語を頂点で表す 係り受け関係を枝で表す (係り受けの種類を枝のラベル で表す) テキスト上から取れる特徴を 増やす
  9. 9. グラフの解析 • 組合せ最適化: 探索、最短路、閉路判定、頂点被覆… • 統計的解析: コミュニティ検出、凝集度、… • 数理的解析: グラフの代数的解析、ランダムグラフの解析、…
  10. 10. グラフ解析の難しさ • 組合せ的に解こうとするとNP完全の問題のものが多い • Vertex Cover • 巡回セールスマン問題 • 分割統治がやりにくい • 大体の問題設定において連結している部分が大きい • サンプリングすると「ランダムグラフ」という別のグラフになる • 離散構造で特徴を数値化しにくい • 「似ている度合い」とは? • 2つのグラフが同じ形をしているかの判定すら難しい
  11. 11. Graph Kernel • Graph Kernel: 2つのグラフから構造の特徴を捉えて数値化する 関数
  12. 12. Graph Kernel • Graph Kernel: 2つのグラフから構造の特徴を捉えて数値化する 関数 初期はfingerprint (ルールベース)
  13. 13. Graph Kernel • Graph Kernel: 2つのグラフから構造の特徴を捉えて数値化する 関数 2003年から一般的な手法が 登場
  14. 14. Graph Kernel • Graph Kernel:部分構造の類似性を捉えて数値化するヒルベルト 空間上の関数 茶色のものがニューラル ネットワークベースの手法
  15. 15. グラフニューラルネットワーク
  16. 16. ニューラルネットワーク向け表現方法
  17. 17. ニューラルネットワーク向け表現方法詳細
  18. 18. ニューラルネットワーク向け表現方法詳細
  19. 19. ニューラルネットワーク向け表現方法 Graph Neural Network Non-local Neural Network
  20. 20. Graph Neural Networkの一般化 • Graph Neural Network • 頂点の情報は隣接している頂点から集約する • Non-local Neural Network • 隣接している頂点だけでなくGraph全体からも情報を集約する
  21. 21. Graph Neural Networkの定式化 • このAGGREGATEとCOMBINEにどういう関数を選ぶかで既存 のGNNの記述ができる • GCN(Graph Convolution Network) • AGGREGATE: 隣接ノードのMEAN • COMBINE: 重みをかけてReLU • GraphSAGE • AGGREGATE: 重みをかけた上でReLU+MaxPooling • COMBINE: 重みをかけて結合 vに隣接する頂点から情報を集約 AGGRIGATEで集約した情報から 頂点の情報を更新
  22. 22. Graph Neural Networkの表現力 • Graph Neural Networkの性能解析が今年になって進む • ICLR 2019 Xu et al.,「How Powerful Are Graph Neural Networks?」 • AAAI 2019 Morris et al.,「Weisfeiler and Leman Go Neural: Higher- order Graph Neural Networks」 • AGGREGATEとCOMBINEで記述できる形のGraph Neural Networkの「グラフの部分構造の識別能力」は1- WL(Weisfeiler-Leman) subtree kernelと同等
  23. 23. Weisfeiler-Reman(WL) Algorithm • 頂点にラベルの付いたグラフにおける同型性判定アルゴリズム 接続している頂点に応じて 新規ラベルを作成する 頂点にラベルを振り直す ラベルが振られた頂点数が一致 しない場合は同型ではない
  24. 24. WL subtree kernel • WLアルゴリズムから得られるラベルの個数のベクトルを構築 (A0, B0, A1, B1, C1, D1, E1, A2, B2, C2, D2, E2, F2, G2, H2, I2) -> (3, 2, 0, 0, 3, 1, 1, 0, 0, 0, 0, 0, 1, 2, 1, 1)
  25. 25. Graph Neural Networkの表現力 • AGGREGATEとCOMBINEで記述できる形のGraph Neural Networkの「グラフの部分構造の識別能力」は1-WL subtree kernelと同等 • ICLR 2019 Xu et al.,: 上記性質を活かし、シンプルで高性能な Graph Neural Networkを構築 • AAAI 2019 Morris et al., 高次のWL subtree kernelに対応する GNNを構築 WL subtree kernelと同等でNeuralにしても劇的に 性能向上するわけではない?
  26. 26. 今回わからなかったこと • WL subtree kernelとGNN構築の計算量の比較 • Non local Neural Networkの性能 • Graph Attention Network • Transformer内のself-attention • グラフの構造+αを組み合わせるマルチモーダルなことで性能 が上がるか

×