Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Semi supervised learning with graph learning-convolutional networks

287 views

Published on

【京都開催】CVPR2019 論文読み会 において登壇した内容

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

Semi supervised learning with graph learning-convolutional networks

  1. 1. Semi-supervised Learning with Graph Learning-Convolutional Networks July 25, 2019 発表者: ⿑藤 親 @ ExaWizards
  2. 2. STRICTLY CONFIDENTIAL | 2 自己紹介 ⿑藤 親 (さいとう しん) 経歴 2013年4⽉ 6年制薬学部⼊学 2016年後期 機械学習系の研究室に配属 2019年3⽉ 6年制薬学部卒業 2019年3⽉ 薬剤師免許取得 2019年4⽉ ExaWizards⼊社 趣味 DTM、ギター、サウナ
  3. 3. STRICTLY CONFIDENTIAL | 3 目次 1. 紹介する論⽂の概要 2. 背景 3. 提案⼿法 4. 他⼿法との⽐較 5. 感想
  4. 4. STRICTLY CONFIDENTIAL | 4 紹介する論文の概要 Semi-supervised Learning with Graph Learning-Convolutional Networks ラベル付けされたデータとされていないデータ両⽅から弱い教師あり情報を利⽤できる グラフ畳み込み処理に最適なグラフ構造を獲得できる • グラフ畳み込み処理を応⽤した半教師あり学習 • グラフ構造の獲得とグラフ畳み込み処理を統合し1つのモデルで学習 [1]より転載
  5. 5. 背景
  6. 6. STRICTLY CONFIDENTIAL | 6 背景: Graph • 頂点と(node, vertex) 辺(link, edge)からなるデータ構造 Ø 辺は頂点と頂点を結ぶ Ø 辺の向きがあるものを有向グラフ, 辺の向きのないものを無向グラフという 隣接⾏列: 2つの頂点が隣接しているかどうかを2値で表す⾏列 次数⾏列: 頂点に接合する辺の数を対⾓成分に並べた⾏列 A ∈ ℝN×N D ∈ ℝN×N Eは辺の集合 Xは頂点とする [2]より転載
  7. 7. STRICTLY CONFIDENTIAL | 7 背景: Graph Neural Network 提案⼿法は、Spectral-based の Graph Convolution Networkに分類 [2]より転載[2]より転載
  8. 8. STRICTLY CONFIDENTIAL | 8 GCNと半教師あり学習 Thomas N. Kipfら 半教師あり学習をタスクとした GCNを提案 Lはラベル付けされた集合を⽰す 正規化した隣接⾏列 学習パラメータ頂点 ラベル付けされた頂点とラベル付けされていない頂点を含んだグラフ構造を⼊⼒し、 Lossを計算する部分は、ラベル付けされた頂点のみで計算し最適化を⾏う
  9. 9. STRICTLY CONFIDENTIAL | 9 背景: グラフデータの現状 Social Networkや化学構造などのいくつかの課題では、 グラフ構造(特に辺に関して)を利⽤することができるが、 多くの課題で利⽤できない。 解決策の例: k-近傍法から、もしくは⼈の推定からグラフ構造を構築する GCNのプロセスと独⽴して構築されたグラフ構造は、 GCNのプロセスに最適なグラフ構造であるとはいえない
  10. 10. 提案手法
  11. 11. STRICTLY CONFIDENTIAL | 11 提案手法: Graph Learning-Convolutional Network (GLCN)の構造 GLCN = Graph Learning 1層 + Graph Convolution 多層 + Perceptron 1層 グラフ表現の獲得 グラフ畳み込み処理 最終層 [1]より転載
  12. 12. STRICTLY CONFIDENTIAL | 12 提案手法 Graph Learning部分 Graph learning 損失関数 Xi と Xjの距離が⼤きいほど、Sijの値が⼩さくなるよう評価関数を設定 2つ⽬の項は、得られるグラフ表現Sのsparsityをコントロール (γはハイパーパラメータ) 全ての頂点間で、頂点間の関係の程度を表現するSijを計算 Aij (隣接⾏列の要素):存在する→そのまま代⼊ 存在しない→全て1を代⼊ aは学習パラメータ a ∈ ℝp×1 [1]より転載
  13. 13. STRICTLY CONFIDENTIAL | 13 提案手法 Graph Convolution部分 GCN[Kipf et.al]の⼿法を採⽤ 損失関数 Lはラベル付けされた集合を⽰す Graph Learning層で獲得した頂点間の関係(Sijを⾏列にしたもの) 頂点 学習パラメータ頂点間の関係 Sは既に正規化されているので…
  14. 14. STRICTLY CONFIDENTIAL | 14 提案手法: Graph Learning-Convolutional Networkのまとめ GLCN全体の損失関数 λが0のときクロスエントロピーロスのみ [1]より転載
  15. 15. 他手法との比較
  16. 16. STRICTLY CONFIDENTIAL | 16 他手法との比較 [1]より転載
  17. 17. STRICTLY CONFIDENTIAL | 17 他手法との比較: GCN, GLCNそれぞれt-SNEを適用したもの [1]より転載 [1]より転載
  18. 18. STRICTLY CONFIDENTIAL | 18 他手法との比較 [1]より転載
  19. 19. STRICTLY CONFIDENTIAL | 19 他手法との比較 [1]より転載
  20. 20. 感想
  21. 21. STRICTLY CONFIDENTIAL | 21 感想 • 確かに良い結果が並んでいたけど、これって公平な⽐較といえるか • そもそも何をもって公平なのか [1]より編集したものを転載
  22. 22. STRICTLY CONFIDENTIAL | 22 まとめ Semi-supervised Learning with Graph Learning-Convolutional Networks ラベル付けされたデータとされていないデータ両⽅から弱い教師あり情報を利⽤できる グラフ畳み込み処理に最適なグラフ表現を獲得できる • グラフ表現を⽤いた半教師あり学習 • グラフ表現の獲得とグラフ畳み込み処理を統合した1つのモデルで実施 [1]より転載
  23. 23. STRICTLY CONFIDENTIAL | 23 参考文献 [1] Jiang, Bo, et al. "Semi-Supervised Learning With Graph Learning-Convolutional Networks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019. [2] Wu, Zonghan, et al. "A comprehensive survey on graph neural networks." arXiv preprint arXiv:1901.00596 (2019).

×