Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Graph-to-Sequence Learning using Gated Graph Neural Networks. [ACL'18] 論文紹介

585 views

Published on

ACL'18-long採択論文.グラフから系列を生成するニューラルアプローチの提案.提案手法は、Gated Graph Neural Networks (GGNNs)と入力グラフの変換操作を組み合わせた手法.入力グラフの変換操作は、Levi Graph変換と呼び、グラフノードとエッジラベルを(エッジラベルノードとして)同一のベクトル空間上に埋め込む.AMR-Generation taskとNMT taskの2つの生成系タスクで性能を検証。ベースラインに対して提案法が良いことを示した。

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

Graph-to-Sequence Learning using Gated Graph Neural Networks. [ACL'18] 論文紹介

  1. 1. 2019.05.07 NAIST  ⾃自然⾔言語処理理学研究室 D3  Masayoshi  Kondo   論論⽂文紹介-‐‑‒  About  Graph  Neural  Networks@2019   Graph-‐‑‒to-‐‑‒Sequence  Learning using  Gated  Graph  Neural  Networks ACLʼ’18 Daniel1    Beck  Gholamreza2    Haffari  Trevor  Cohn1 1School  of  Computing  and  Information  Systems University  of  Melbourne,  Australia 2Faculty  of  Information  Technology Monash  University,  Australia
  2. 2. 00:  論論⽂文の概要 •  グラフから系列列を⽣生成するニューラルアプローチ(Graph-‐‑‒to-‐‑‒Sequenceモデル;          IN:  graph  data  -‐‑‒>  MODEL:  neural  graph2seq  -‐‑‒>  OUT:  sequential  data)の提案. •  提案⼿手法は、Gated  Graph  Neural  Networks  +  ⼊入⼒力力グラフの変換操作の組み合わせ. •  先⾏行行研究において「エッジラベルの種類が多いグラフを扱う場合はモデルのパラメータが 膨⼤大になり扱えない」問題に対し、Levi  Graph変換操作を⾏行行うことで対処. •  また、従来の「グラフデータをlinearizationしてRNN系モデルに⼊入⼒力力することによる構 造情報の⽋欠損が⽣生じる」問題に対しても、GraphNN  encoder  を⽤用いることで対処. •  2つの⽣生成系タスクで性能を検証:AMR-‐‑‒Generation  task,  NMT  task. •  評価指標  :  BLEU,  CHRF++.  ベースラインモデルに対して提案法が良良いことを⽰示した. 【まとめ】 【abstract】 多くのNLPの応⽤用は、graph-‐‑‒to-‐‑‒sequenceの問題の枠組みとして扱うことが出来る.このよう な設定の下でニューラルネットを⽤用いている先⾏行行研究は、⽂文法ベースの⽅方法と⽐比較して、良良い 結果を得ているものの、未だ最⾼高のパフォーマンスを得るために、リニアライゼーション (linearisation)のコツや標準的なRNNに依存している.本研究では、グラフに含まれる構造 的な情報全てをエンコードする新しいモデルを提案する.我々のアーキテクチャは、近年年提案 されたGated  Graph  Neural  Networksと⼊入⼒力力変換操作を組み合わせたものである.⼊入⼒力力変 換操作とは、先⾏行行研究で⽰示されたパラメータの爆発問題に対処しながら、(グラフ上の)ノー ドとエッジにその隠れ表現を保有させる⽅方法である.実験結果では、我々のモデルはAMRグラ フからの⽣生成タスクとsyntax-‐‑‒based  NMTタスクにおいて強⼒力力なベースラインモデルを上回っ たことを⽰示す.
  3. 3. 1.   Introduction 2.   Neural  Graph-‐‑‒to-‐‑‒Sequence  Model 3.   Levi  Graph  Transformation   4.   Generation  from  AMR  Graphs   5.   Syntax-‐‑‒based  Neural  Machine  Translation 6.   Related  work 7.   Discussion  and  Conclusion
  4. 4. 1.   Introduction 2.   Neural  Graph-‐‑‒to-‐‑‒Sequence  Model 3.   Levi  Graph  Transformation   4.   Generation  from  AMR  Graphs   5.   Syntax-‐‑‒based  Neural  Machine  Translation 6.   Related  work 7.   Discussion  and  Conclusion
  5. 5. 【背景】 多くのNLPの応⽤用は、グラフ構造から系列列への変換⼿手続きとして枠組み化 できる. •  ⾔言語⽣生成(language  generation)  :   a  semantic  graph  -‐‑‒>  a  surface  form   •  ⽂文法構造を⽤用いる機械翻訳  (syntactic  machine  translation)  :   a  tree-‐‑‒annotated  source  sentence  -‐‑‒>  its  translation. <  具体例例  > 00  :  Introduction 【課題/問題点】 <  先⾏行行研究例例  > •  Grammar  based  approaches  :  [Flanigan  et  al.,  2016],  [Jones  et  al.,  2012] •  To  transform  a  graph  into  a  linearised  form  :          [Pourgamghani  et  al.,  2016],  [Konstas  et  al.,  2017] •  グラフと表層項(surface  tokens)の間のアラインメントにおいて、 grammar構築時のエラーがそのまま(アラインメントの⽅方へ)伝搬. •  linearisationでは、完全なグラフ構造や重要情報を考慮出来ない.
  6. 6. 【提案法】グラフニューラルネット  +  ⼊入⼒力力(グラフ)変換操作 00  :  Introduction <  実験検証  >:2つ •  Gated  Graph  Neural  Networks  (GGNNs)  [Li  et  al.,  2016] -‐‑‒  情報のロス無くグラフ構造を扱うことができる. -‐‑‒  エッジ情報のラベル種類が多い場合、モデルのパラメータ爆発に繋がる. •  Graph  transformation 対処 -‐‑‒  エッジをノードに置換える変換操作. -‐‑‒  各エッジはグラフ上の隠れベクトルを持ち、  attentionとdecoding時 に情報を与える. •  Generation  from  Abstract  Meaning  Representations  (AMRs)   •  Neural  Machine  Translation  (NMT)  with  source  dependency   information. NMTタスクでは、Dependency  Tree+単語系列列(隣隣接)エッジでグラフを構成 すると、モデルにRNNを使わなくてもよいことを⽰示す.
  7. 7. 1.   Introduction 2.   Neural  Graph-‐‑‒to-‐‑‒Sequence  Model 3.   Levi  Graph  Transformation   4.   Generation  from  AMR  Graphs   5.   Syntax-‐‑‒based  Neural  Machine  Translation 6.   Related  work 7.   Discussion  and  Conclusion
  8. 8. 00  :  Neural  Graph-‐‑‒to-‐‑‒Sequence  Model Input  :   AMR  Graph
  9. 9. 00  :  Neural  Graph-‐‑‒to-‐‑‒Sequence  Model 2.1  Gated  Graph  Neural  Networks  (GGNNs)[Li  et  al.,  2016] •  添字tは、恐らく層数(t  th-‐‑‒layer)を指す. •  GRUと似た構造だが、⾮非再帰型モデル. •  エッジラベル毎に重み⾏行行列列を備えているので、 エッジラベル数が多いグラフの場合はパラ メータ爆発を引き起こす(エッジラベル数に 対して線形増加.) G = V, E, LV , LE{ } (υ,lυ ) (υi,υj,lυ ) グラフ  : ノード集合  : エッジ集合  : ・Lとlは、ラベル集合  と  各ラベル. ・右図の添字uは、上記のviを⽰示す. gating   mechanism cv = cv z = cv r = Nv −1 パラメータ  c  は、正則化の定数. output 誤字、正しくはt [  Li  et  al.,2016]のモデルとの変更更点 1.  バイアス項、リセットゲート、   アップデートゲートの追加. 2.  ラベル重み⾏行行列列の層間での⾮非共有化. 3.  全ての隠れ状態ベクトルへの       リセットゲートの適⽤用. 4.  正則化の定数の導⼊入.
  10. 10. 00  :  Neural  Graph-‐‑‒to-‐‑‒Sequence  Model 2.2  Using  GGNNs  in  attentional  encoder-‐‑‒decoder  models ⼊入⼒力力  から  出⼒力力  までの流流れ •  Node  Embeddings •  Graphデータ        (ノード集合、エッジ集合) Inputs Encoder Decoder 2-‐‑‒layered LSTM-‐‑‒RNN GGNN Encoded  node vectors Bilinear  Attention 逐次⽣生成 単語 トークン 2.3  Bidirectionality  and  positional  embeddings •  本研究のグラフはDAGs(rooted  directed  acyclic  graphs)であり、これに           逆⽅方向エッジ(reverse  edge)と⾃自⼰己ループエッジ(self-‐‑‒loops  edge)を追加. •  逆⽅方向エッジと⾃自⼰己ループエッジを追加したグラフでは、各ノードに対して         ルートからの位置が分からなくなるため、別途position-‐‑‒embeddingsを付加. •  このposition-‐‑‒embeddingsはルートノードからの最短距離離(パス距離離)に対する       表現ベクトルである.
  11. 11. 1.   Introduction 2.   Neural  Graph-‐‑‒to-‐‑‒Sequence  Model 3.   Levi  Graph  Transformation   4.   Generation  from  AMR  Graphs   5.   Syntax-‐‑‒based  Neural  Machine  Translation 6.   Related  work 7.   Discussion  and  Conclusion
  12. 12. 00  :  Levi  Graph  Transformation 処理理後 <  従来のGraph2Seqモデルの⽋欠点  > 1.  エッジラベル数が多いとモデルパラ メータ数が膨⼤大になる. 2.  エッジラベルの情報をモデルパラメー タとして保持すると、異異なるグラフに 対して⼀一様なエッジラベルの情報をエ ンコードすることになる.(グラフ毎 に同じエッジラベルでも含む意味・情 報はことなるはず=エッジラベルの情 報が⼊入⼒力力グラフの構造依存.) 【改善・対処】:Levi  Graph •  エッジラベルをノードに変換し、(ノード,   エッジラベルノード)をラベル無しエッジ とみなして、グラフ形成. •  エッジラベルノードが隠れ状態ベクトルを 持つ.
  13. 13. 1.   Introduction 2.   Neural  Graph-‐‑‒to-‐‑‒Sequence  Model 3.   Levi  Graph  Transformation   4.   Generation  from  AMR  Graphs   5.   Syntax-‐‑‒based  Neural  Machine  Translation 6.   Related  work 7.   Discussion  and  Conclusion
  14. 14. 00  :  Generation  from  AMR  Graphs 4.1  Experimental  setup 【  Data  and  Preprocessing  】 データセット:AMR  curpus  (LDC2017T10) 前処理理⼿手続き:[Konstas  et  al.,  2017]に従う.   -‐‑‒  entity  simplification   -‐‑‒  anonymisation   -‐‑‒  ベースラインのSeq2Seqモデルには、       scope  marker  の追加利利⽤用.   -‐‑‒  これらの前処理理はLevi  Graph化前に⾏行行った.   -‐‑‒  詳細は、Supplementary  Materialへ. データセットのデータ数 Train 36,521 Validation 1,368 Test 1,371 【  Models  】(詳細は、Supplemental  Materials) 【  Evaluation  】 ベースライン(s2s)  :  BiLSTM  encoder  -‐‑‒  hidden  dim  :  512  -‐‑‒  INPUTs  :  linearized  graphs 提案法(g2s)  :  GGNNs  encoder  -‐‑‒  layer  num  :  8  -‐‑‒  hidden  dim  :  576  /  その他の      モジュールは512. •  BLEU •  sentence-‐‑‒level  CHRF++ •  5つのシード値で独⽴立立に学習させた モデルに対して、中央値(median) の精度度を⽰示すモデルの結果を報告. •  エンコーダのパラメータ数はでき るだけ揃えた.
  15. 15. 00  :  Generation  from  AMR  Graphs 4.2  Results  and  analysis •  ベースラインのs2sモデルに圧倒的 に精度度で上回っている. •  ベースラインのs2sモデルは、 scope  markerが必要だが、提案法 のg2sモデルは、scope  markerを ⽤用いること無くベースラインに勝っ ている. •  提案法のg2sモデルは、⼤大規模なラ ベル無しデータと⼩小規模訓練セット を併⽤用する既存モデルの多くに対し て良良い結果を⽰示している. •  最⾼高精度度は、Konstas  et  al.2017の KIYCZモデルである.
  16. 16. 00  :  Generation  from  AMR  Graphs 4.2  Results  and  analysis 提案法g2sモデルは、 overgenerationを避けられている.
  17. 17. 1.   Introduction 2.   Neural  Graph-‐‑‒to-‐‑‒Sequence  Model 3.   Levi  Graph  Transformation   4.   Generation  from  AMR  Graphs   5.   Syntax-‐‑‒based  Neural  Machine  Translation 6.   Related  work 7.   Discussion  and  Conclusion
  18. 18. 00  :  Syntax-‐‑‒based  Neural  Machine  Translation 5.1  Experimental  setup 【  Data  and  Preprocessing  】 データセット:News  Commentary  V11  corpora                                        from  the  WMT16  translation  task 前処理理⼿手続き:same  data  and  settings  from  Bastings  et  al.  (2017) 【  Models  】:  AMR-‐‑‒generationとほとんど同じ 【  Evaluation  】 •  BLEU •  sentence-‐‑‒level  CHRF++ -‐‑‒  Eng  :  tokenised  and  parsed  using  SyntaxNet7. -‐‑‒  German  and  Czech  :  texts  are  tokenised  and  split  into  subwords      using  byte-‐‑‒pair  encodings  [Sennrich  et  al.,  2016,  BPE]]      (8000  merge  operations). -‐‑‒  Dependent  trees  +  sequential  connections •  GGNN  encoderの次元は、dependent   treeのみの場合が512、その他は448. •  S2sモデルはdependent  tree(の情 報)は⽤用いず、単語系列列のみ. •  ⽐比較⼿手法に、Phrase-‐‑‒Based   Statistical  MT(PB-‐‑‒SMT)も⽤用いる. AMR-‐‑‒generation  taskと設定 は同じ.
  19. 19. 00  :  Syntax-‐‑‒based  Neural  Machine  Translation •  右表のg2s+モデルは、 graph+sequenctial   informationを⽰示す. •  BoW+GCNモデルと提案 法g2sモデルは、モデル が良良く似ているが、提案 法が勝っており、その⼤大 きな違いは、Levi  graph 変換とエッジを隠れ状態 ベクトルとして扱う点で ある. •  NMTタスクでは、AMR ⽣生成タスクと同じ構造の モデルを利利⽤用したため、 NMTタスク⽤用にチューニ ングすることでさらに提 案法は性能が伸びる(こ とが期待される.) Dependent  tree  +  Seq  Info   5.2  Result  and  analysis
  20. 20. 1.   Introduction 2.   Neural  Graph-‐‑‒to-‐‑‒Sequence  Model 3.   Levi  Graph  Transformation   4.   Generation  from  AMR  Graphs   5.   Syntax-‐‑‒based  Neural  Machine  Translation 6.   Related  work 7.   Discussion  and  Conclusion
  21. 21. 00  :  Related  work 【Graph-‐‑‒to-‐‑‒sequence  modelling】 •  Hyperedge  Replacement  Graph  Grammars        [Drewes  et  al.,  1997,  HRGs] •  Parsing    Graphs    with    Hyperedge  Replacement  Grammars   [Chiang  et  al.,  2013] •  Semantics-‐‑‒Based  Machine  Translation  with  Hyperedge   Replacement  Grammars  [Jones  et  al.,  COLING'12] •  A  Synchronous  Hyperedge  Replacement  Grammar  based   approach  for  AMR  parsing  [Peng  et  al.,  CoNLL'15]
  22. 22. 00  :  Related  work 【Neural  networks  for  graphs】 •  A  New  Model  for  Learning  in  Graph  Domains        [Gori  et  al.,  IJCNN'05] •  The  Graph  Neural  Network  Model      [Scarselli  et  al.,  IEEE  Trans,  2009] •  Gated  Graph  Sequence  Neural  Networks  [Li  et  al.,  ICLR'16] •  Spectral  Networks  and  Locally  Connected  Networks  on  Graphs   [Bruna  et  al.,  ICLR'14] •  Convolutional  Networks  on  Graphs  for  Learning  Molecular   Fingerprints  [Duvenaud  et  al.,  NIPS'15] •  Semi-‐‑‒Supervised  Classification  with  Graph  Convolutional   Networks  [Kipf  and  Welling,  ICLR'17] •  Encoding  Sentences  with  Graph  Convolutional  Networks  for   Semantic  Role  Labeling  [Marcheggiani  and  Titov,  EMNLP'17]   •  Modeling  Relational  Data  with  Graph  Convolutional  Networks   [Schlichtkrull  et  al.,  2017]  
  23. 23. 00  :  Related  work 【Applications】 •  Generation  from  Abstract  Meaning  Representation  using  Tree  Transducers          [Flanigan  et  al.,  NAACL'16] •  AMR-‐‑‒to-‐‑‒text  Generation  with  Synchronous  Node  Replacement  Grammar  [Song  et  al.,  ACL'17] •  Generating  English  from  Abstract  Meaning  Representations  [Pourdamghani  et  al.,  INLG'16] •  Neural  AMR:  Sequence-‐‑‒to-‐‑‒Sequence  Models  for  Parsing  and  Generation          [Konstas  et  al.,  ACL'17] •  Stochastic  inversion  transduction  grammars  and  bilingual  parsing  of  parallel  corpora          [Wu,  Computational  Linguistics  1997] •  A  Syntax-‐‑‒based  Statistical  Translation  Model  [Yamada  and  Knight,  ACL'01] •  Whatʼ’s  in  a  translation  rule  ?  [Galley  et  al.,  NAACL'04] •  Tree-‐‑‒to-‐‑‒string  alignment  template  for  statistical  machine  translation  [Liu  et  al.,  ACL'06] •  Graph  Convolutional  Encoders  for  Syntax-‐‑‒aware  Neural  Machine  Translation          [Bastings  et  al.,  EMNLP'17] •  Tree-‐‑‒to-‐‑‒Sequence  Attentional  Neural  Machine  Translation  [Eriguchi  et  al.,  ACL'16] •  Towards  String-‐‑‒to-‐‑‒Tree  Neural  Machine  Translation  [Aharoni  and  Goldberg,  ACL'17] •  Learning  to  Parse  and  Translate  Improves  Neural  Machine  Translation          [Eriguchi  et  al.,  ACL'17] •  Neural  Machine  Translation  with  Source-‐‑‒Side  Latent  Graph  Parsing          [Hashimoto  and  Tsuruoka,  EMNLP'17]
  24. 24. 1.   Introduction 2.   Neural  Graph-‐‑‒to-‐‑‒Sequence  Model 3.   Levi  Graph  Transformation   4.   Generation  from  AMR  Graphs   5.   Syntax-‐‑‒based  Neural  Machine  Translation 6.   Related  work 7.   Discussion  and  Conclusion
  25. 25. 00  :  Discussion  and  Conclusion 【まとめ】 •  Graph-‐‑‒to-‐‑‒Sequence学習の新しいモデルを提案. •  2つのNLPタスク  :  AMRグラフからの⽣生成タスクとSyntax-‐‑‒based   NMTタスクにおいて、ベースラインを上回った. •  提案法は、従来の(グラフデータの)linearizationよる情報の⽋欠損やパ ラメータ爆発に対処した. 【提案法の2つの限界】 1.  ノード数やエッジ数というグラフの⼤大きさは変動的であるにも関わら ず、GGNNsは予め層数を決める必要がある.層数を動的に決める⽅方が より良良いだろう. 2.  Levi  Graphは、エッジラベルをノードとして表現し、単語ノードと同 じ空間に埋め込むが、本来はノードとエッジは異異なる要素である.   Weave  Module  Networks  [Kearnes  et  al.,  2016]は、パラメータ 爆発をすることなく、ノードとエッジを明⽰示的に分離離できる.
  26. 26. END

×