KT
Uploaded byKazusa Taketoshi
2,409 views

Graph Convolutional Networks for Classification with a Structured LebalSpace

Graph Convolutional Networks for Classification with a Structured LebalSpace 論文読み会資料

Embed presentation

Graph Convolutional Networks for Classification with a Structured Lebal Space 2017/10/27 AI開発部論文読み会 上総 虎智
0.Infomation Author:Meihao Chen, Zhuoru Lin, and Kyunghyun Cho Abstruct -多値分類問題においてクラス間の関係性を無視することが多い -ラベル間の明確なグラフ構造を活用したGraph Convolutional Networkを提案 -Document classification と Object recognitionで実験して、モ デル構造無視のモデルよりも結果良かったよ
1.Introduction • ラベル同士は相互に独立であることが仮定として用いられることが多い →文書分類などは複数のラベルが付与される可能性がある • Top-K 位までの予測は評価されることがあまりない →”hasky”, は“dog”とか”mammal”と分類されるかもしれない、どっち も正解ではないが、”dog”だと分類された方が精度が良いと言えるのでは • グラフ構造上の情報は分類器がラベル同士の関係性を考慮するのに活用 できるのでは？ • しかし、これまでの研究は、下記2点が欠点 -限られた構造のグラフしか取り扱えていない -条件付き確率場とかマルコフ確率場を仮定しているが、学習や予測 に複雑な計算が必要 • GCNsでクラス間の関係性情報を活用して分類精度あげますよ • 提案されたモデル構造はcontext-dependent graph representation learningからくる分類問題へ対処
http://www.inference.vc/how-powerful-are-graph-convolutions-review-of-kipf-welling-2016-2/ 2.Related Work Graph Convolutional Networks
2.Related Work グラフ ラプラシアンを活用しGraph Fourier 変換する。 変換後の信号と何かの要素積を得る (“何か”とはConv層のFilterみたいな何か？) 逆 Graph Fourier 変換 畳み込み後グラフを得る Graph Fourier 変換を活用したGraph Conv Graph Conv https://arxiv.org/pdf/1609.02907.pdf SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS など
2.Related Work https://arxiv.org/pdf/1609.02907.pdf SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS IntuitiveなGraph Conv １ ２ ３ 1, 1, 1 1, 1, 0 1, 0, 1 隣接行列 各ノードの特徴ベクトル + 重み付け＆線形和
3.Model • ラベル毎にpairwiseな関係性が見て取れる場合、スコア関数は下記のよ うに定義される • 提案手法は式(5)に示されるスコア関数をNNで近似して置き換える
3.Model (6) (10) • 単純なNNではラベル間の関係性を考慮できないので、下記のような graph convolutional 構造をもったGCNsを提案する
• Data collection and preprocessing：WordNetから”Canina(犬)”の subtreeにある項目をクローリング。各ノードで最低140枚の画像を Flickerから取得。140枚以下しか集まらなかったものは切り捨て • Label graph construction：隣接行列はWordNetのCanine subgraph • Input Representation：ResNet-34、fine-tuningなし Object Recognition on Canina Image Dataset • Data collection and preprocessing：Webページ、ホワイトペーパー、 新聞記事、ブログなどから収集。人間がコンテンツに対するラベルを付与。 • Label graph construction：ラベルに対してのTF-IDFによるベクトルを pairwiseでコサイン類似度を計算し、隣接行列を作成 • Input Representation：CBoWで埋め込み。 Document classification 4.Experiments Overview
GCN with Tied weighted Decoder(GCNTD)と比較検証するために下記の モデルが使われた • MLP:GCN層の代わりに多層パーセプトロン • MLP-CRF:MLP層の最上層にIsingモデルを使ったもの • GCNTD-fc/id:隣接行列の代わりに、グラフ構造がFullConnectedなも のや、単位行列なものを活用したモデル Baseline Evaluation 分類における精度だけでなく、グラフ構造に一貫性、妥当性があるかも評 価された 4.Experiments Overview
Object Recognition on Canina Image Dataset • ラベルの構造を考慮したGCNTFと MLP-CRFがgraph-theoric指標にて outperform • 一方で、Acc/Prec/RecではMLPが良 い精度 • 今後、グラフ構造がもっと複雑であっ たり、相関性が高いデータセットで実 験することをFuture workとしたい 5.Results and Discussion
Document classification • GCNTDがMLPn(nはn-gramの次数)よりも全体的によい成果をだしている • GCN-fcはaccuracyで最高値であり、ラベルが全結合されているというの は文書構造を学習するのに良かったのでは • Top-k予測において、Prec/RecがMLPよりGCNTDの方が良く、次数が増 えていくに従って効果が漸増していることが見て取れる(Figure 2) 5.Results and Discussion
• ラベル間の構造情報を伝播するためにgraph convolution layerを追加した • 提案手法は精度向上やグラフ理論にまつわる指標において、グラフ構造を 無視した既往の手法に対して良い結果を残した • 提案手法は他の分類問題に応用できるんじゃないか • ラベルに関する外部知識を考慮した分類器への応用も考えられる 6.Conclusion
• Semi-Supervised Classification with Graph Convolutional Networks https://arxiv.org/abs/1609.02907 • Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering https://arxiv.org/abs/1606.09375 • How powerful are Graph Convolutions? (review of Kipf & Welling, 2016) http://www.inference.vc/how-powerful-are-graph-convolutions- review-of-kipf-welling-2016-2/ • GRAPH CONVOLUTIONAL NETWORKS https://tkipf.github.io/graph-convolutional-networks/ 7.参考文献

More Related Content

PDF
Graph Convolution Networks For Text Classification
byTokyo Institute of Technology
 
PDF
Query driven context aware recommendation
byTakanori Nakai
 
PPTX
Deep learning survey
byshunkimurakami
 
PPTX
Deep learning survey(途中)
byshunkimurakami
 
PDF
Deep Collective Classification in Heterogeneous Information Networks
byKota Kakiuchi
 
PDF
Learning Convolutional Neural Networks for Graphs
byTakuya Akiba
 
PPTX
Graph conv
byTakuyaKobayashi12
 
PDF
500’s Demo Day Batch 17 >> TraceAir
by500 Startups
 
Graph Convolution Networks For Text Classification
byTokyo Institute of Technology
 
Query driven context aware recommendation
byTakanori Nakai
 
Deep learning survey
byshunkimurakami
 
Deep learning survey(途中)
byshunkimurakami
 
Deep Collective Classification in Heterogeneous Information Networks
byKota Kakiuchi
 
Learning Convolutional Neural Networks for Graphs
byTakuya Akiba
 
Graph conv
byTakuyaKobayashi12
 
500’s Demo Day Batch 17 >> TraceAir
by500 Startups
 

Similar to Graph Convolutional Networks for Classification with a Structured LebalSpace

PPTX
Modeling Relational Data with Graph Convolutional Networks
byYuko Ishizaki
 
PPTX
[DL輪読会]Learning convolutional neural networks for graphs
byDeep Learning JP
 
PPTX
【論文紹介】How Powerful are Graph Neural Networks?
byMasanao Ochi
 
PDF
Learning Convolutional Neural Networks for Graphs
byTakuya Akiba
 
PPTX
Image net classification　with Deep Convolutional Neural Networks
byShingo Horiuchi
 
PPTX
[DL輪読会]Graph R-CNN for Scene Graph Generation
byDeep Learning JP
 
PDF
グラフニューラルネットワークとグラフ組合せ問題
byjoisino
 
PPTX
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
bySSII
 
PPTX
Graph Convolutional Network 概説
byKCS Keio Computer Society
 
PDF
PFP：材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナー
byMatlantis
 
PDF
Deep learningの発展と化学反応への応用 - 日本化学会第101春季大会(2021)
byPreferred Networks
 
PDF
グラフデータ分析 入門編
by順也 山口
 
PDF
Graph Attention Network
byTakahiro Kubo
 
PPTX
SakataMoriLab GNN勉強会第一回資料
byttt_miura
 
PDF
Neural networks for Graph Data NeurIPS2018読み会@PFN
byemakryo
 
PDF
Graph nuralnetwork@2021
byembedded samurai
 
PDF
グラフニューラルネットワーク入門
byryosuke-kojima
 
PPTX
Combinatorial optimization with graph convolutional networks and guided ver20...
byShuntaro Ohno
 
PPTX
Combinatorial optimization with graph convolutional networks and guided
byShuntaro Ohno
 
PDF
Relation Classification via Convolutional Deep Neural Network (Zeng et al.)
bymarujirou
 
Modeling Relational Data with Graph Convolutional Networks
byYuko Ishizaki
 
[DL輪読会]Learning convolutional neural networks for graphs
byDeep Learning JP
 
【論文紹介】How Powerful are Graph Neural Networks?
byMasanao Ochi
 
Learning Convolutional Neural Networks for Graphs
byTakuya Akiba
 
Image net classification　with Deep Convolutional Neural Networks
byShingo Horiuchi
 
[DL輪読会]Graph R-CNN for Scene Graph Generation
byDeep Learning JP
 
グラフニューラルネットワークとグラフ組合せ問題
byjoisino
 
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
bySSII
 
Graph Convolutional Network 概説
byKCS Keio Computer Society
 
PFP：材料探索のための汎用Neural Network Potential_中郷_20220422POLセミナー
byMatlantis
 
Deep learningの発展と化学反応への応用 - 日本化学会第101春季大会(2021)
byPreferred Networks
 
グラフデータ分析 入門編
by順也 山口
 
Graph Attention Network
byTakahiro Kubo
 
SakataMoriLab GNN勉強会第一回資料
byttt_miura
 
Neural networks for Graph Data NeurIPS2018読み会@PFN
byemakryo
 
Graph nuralnetwork@2021
byembedded samurai
 
グラフニューラルネットワーク入門
byryosuke-kojima
 
Combinatorial optimization with graph convolutional networks and guided ver20...
byShuntaro Ohno
 
Combinatorial optimization with graph convolutional networks and guided
byShuntaro Ohno
 
Relation Classification via Convolutional Deep Neural Network (Zeng et al.)
bymarujirou
 

Graph Convolutional Networks for Classification with a Structured LebalSpace

  • 1.
    Graph Convolutional Networksfor Classification with a Structured Lebal Space 2017/10/27 AI開発部論文読み会 上総 虎智
  • 2.
    0.Infomation Author:Meihao Chen, ZhuoruLin, and Kyunghyun Cho Abstruct -多値分類問題においてクラス間の関係性を無視することが多い -ラベル間の明確なグラフ構造を活用したGraph Convolutional Networkを提案 -Document classification と Object recognitionで実験して、モ デル構造無視のモデルよりも結果良かったよ
  • 3.
    1.Introduction • ラベル同士は相互に独立であることが仮定として用いられることが多い →文書分類などは複数のラベルが付与される可能性がある • Top-K位までの予測は評価されることがあまりない →”hasky”, は“dog”とか”mammal”と分類されるかもしれない、どっち も正解ではないが、”dog”だと分類された方が精度が良いと言えるのでは • グラフ構造上の情報は分類器がラベル同士の関係性を考慮するのに活用 できるのでは？ • しかし、これまでの研究は、下記2点が欠点 -限られた構造のグラフしか取り扱えていない -条件付き確率場とかマルコフ確率場を仮定しているが、学習や予測 に複雑な計算が必要 • GCNsでクラス間の関係性情報を活用して分類精度あげますよ • 提案されたモデル構造はcontext-dependent graph representation learningからくる分類問題へ対処
  • 4.
  • 5.
    2.Related Work グラフ ラプラシアンを活用しGraphFourier 変換する。 変換後の信号と何かの要素積を得る (“何か”とはConv層のFilterみたいな何か？) 逆 Graph Fourier 変換 畳み込み後グラフを得る Graph Fourier 変換を活用したGraph Conv Graph Conv https://arxiv.org/pdf/1609.02907.pdf SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS など
  • 6.
    2.Related Work https://arxiv.org/pdf/1609.02907.pdf SEMI-SUPERVISED CLASSIFICATIONWITH GRAPH CONVOLUTIONAL NETWORKS IntuitiveなGraph Conv １ ２ ３ 1, 1, 1 1, 1, 0 1, 0, 1 隣接行列 各ノードの特徴ベクトル + 重み付け＆線形和
  • 7.
  • 8.
  • 9.
    • Data collectionand preprocessing：WordNetから”Canina(犬)”の subtreeにある項目をクローリング。各ノードで最低140枚の画像を Flickerから取得。140枚以下しか集まらなかったものは切り捨て • Label graph construction：隣接行列はWordNetのCanine subgraph • Input Representation：ResNet-34、fine-tuningなし Object Recognition on Canina Image Dataset • Data collection and preprocessing：Webページ、ホワイトペーパー、 新聞記事、ブログなどから収集。人間がコンテンツに対するラベルを付与。 • Label graph construction：ラベルに対してのTF-IDFによるベクトルを pairwiseでコサイン類似度を計算し、隣接行列を作成 • Input Representation：CBoWで埋め込み。 Document classification 4.Experiments Overview
  • 10.
    GCN with Tiedweighted Decoder(GCNTD)と比較検証するために下記の モデルが使われた • MLP:GCN層の代わりに多層パーセプトロン • MLP-CRF:MLP層の最上層にIsingモデルを使ったもの • GCNTD-fc/id:隣接行列の代わりに、グラフ構造がFullConnectedなも のや、単位行列なものを活用したモデル Baseline Evaluation 分類における精度だけでなく、グラフ構造に一貫性、妥当性があるかも評 価された 4.Experiments Overview
  • 11.
    Object Recognition onCanina Image Dataset • ラベルの構造を考慮したGCNTFと MLP-CRFがgraph-theoric指標にて outperform • 一方で、Acc/Prec/RecではMLPが良 い精度 • 今後、グラフ構造がもっと複雑であっ たり、相関性が高いデータセットで実 験することをFuture workとしたい 5.Results and Discussion
  • 12.
    Document classification • GCNTDがMLPn(nはn-gramの次数)よりも全体的によい成果をだしている •GCN-fcはaccuracyで最高値であり、ラベルが全結合されているというの は文書構造を学習するのに良かったのでは • Top-k予測において、Prec/RecがMLPよりGCNTDの方が良く、次数が増 えていくに従って効果が漸増していることが見て取れる(Figure 2) 5.Results and Discussion
  • 13.
    • ラベル間の構造情報を伝播するためにgraph convolutionlayerを追加した • 提案手法は精度向上やグラフ理論にまつわる指標において、グラフ構造を 無視した既往の手法に対して良い結果を残した • 提案手法は他の分類問題に応用できるんじゃないか • ラベルに関する外部知識を考慮した分類器への応用も考えられる 6.Conclusion
  • 14.
    • Semi-Supervised Classificationwith Graph Convolutional Networks https://arxiv.org/abs/1609.02907 • Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering https://arxiv.org/abs/1606.09375 • How powerful are Graph Convolutions? (review of Kipf & Welling, 2016) http://www.inference.vc/how-powerful-are-graph-convolutions- review-of-kipf-welling-2016-2/ • GRAPH CONVOLUTIONAL NETWORKS https://tkipf.github.io/graph-convolutional-networks/ 7.参考文献