company reading EMNLP2020

1. Knowledge Graph Alignment
with Entity-Pair Embedding
Zhichun Wang, Jinjian Yang, Xiaoju Ye
EMNLP 2020 , @論文読み会, 紹介者: Yoshiaki Kitagawa
※スライド中の資料は(論文/著者の発表スライド)を利用しています（スライド最後にリンクあり）

2. Summary
 Task
 Knowledge Graph Alignment
 2 つの KG の Entity の対応 をとる
 先行研究と比べてどこがすごいか？
 KG Alignment で State-of-the-art で性能
がめちゃくちゃ良い
 Graph attention networks (GAT) model に
なかった edge に対する attention を貼る
手法
 技術や手法のキモ
 Entity pair に対する embedding と PCG に
よる KG Alignment の定式化
 CNN による特徴抽出と edge を考慮した
GAT model の改良した GNN
 どうやって有効だと検証したか？
 ラベル付された entity alignment データを
使って学習と予測
 正解と予測した上位 k 個を用いて MRR と
hits at K を計測
 議論はあるか？
 性能が良すぎるので、正当な比較か厳密に
チェックしたい
 翻訳誤りに起因する誤りがありそう
 次に読むべき論文
 以下を読んだ方が本論文の理解が深まりそう
 GAT model (Velickovic et al., 2017)

3. Pair-wise Connectivity Graph (PCG)
 2つのシンプルな KG の例
 Node が 3つの KG を2つ合わせて
PCG を作る
 3*3 で 9個の 可能な node pair
 2*2 で 2個の relation pair

4. Generating the PCG
 可能な entity pair の数は膨大なので LSH (Local Sensitive Hashing)を使う
 Entity の前処理として以下を実行しておく
 N-grams of Names; entity 名の文字 N-gram
 N-grams of Attributes; Attribute 名の文字 N-gram
 Seeding alignments; あらかじめ対応が取れているものは繋げておく
 Jaccard 係数の閾値を決めて閾値以下は候補から除外

5. Overall Architecture
まず全体図を確認。この後各要素を追っていく

6. CNN-based Feature Extraction
 同じ entity は同じ attribute を持つ傾向
がある
 2つの entity の attribute の similarity マ
トリックスを作成
 類似度は文字 n-gram の jaccard 係数
 L 階層の Max-pooling で xi を作成

7. Name similarities
 以下の4つを並べたベクトル
 z1: String equality
 完全一致か否かの binary
 z2: Edit Distance
 z3: Jaccard Similarity
 文字 N-gram
 z4: Substring Similarity
 LCS は Longest Common Substring

8. GNN-based Feature Propagation (図)
 hi: CNN の出力と Name similarity の concat

9. GNN-based Feature Propagation (式)
W はそれぞれ違う重み？
↑ tk が edge 情報を持つのでここが重要そう

10. Training
 正解の entity ペアを用いて学習
 同じ正解データで、CNN と GNN 部分を分けて学習
 損失関数はどちらの学習でも (13)の margin-based ranking loss function を使用

11. Experimental Results
 DBP (DBpedia) の言語違いのペア、DBP-WD, DBP-YG で MRR と Hits@k を測定（他言語の変換は翻訳を利用）
 EPEA (Entity-Pair Embedding Approach) が提案手法

12. Summary
 Task
 Knowledge Graph Alignment
 2 つの KG の Entity の対応 をとる
 先行研究と比べてどこがすごいか？
 KG Alignment で State-of-the-art で性能
がめちゃくちゃ良い
 Graph attention networks (GAT) model に
なかった edge に対する attention を貼る
手法
 技術や手法のキモ
 Entity pair に対する embedding と PCG に
よる KG Alignment の定式化
 CNN による特徴抽出と edge を考慮した
GAT model の改良した GNN
 どうやって有効だと検証したか？
 ラベル付された entity alignment データを
使って学習と予測
 正解と予測した上位 k 個を用いて MRR と
hits at K を計測
 議論はあるか？
 性能が良すぎるので、正当な比較か厳密に
チェックしたい
 翻訳誤りに起因する誤りがありそう
 次に読むべき論文
 以下を読んだ方が本論文の理解が深まりそう
 GAT model (Velickovic et al., 2017)

13. 参考資料
 論文: https://www.aclweb.org/anthology/2020.emnlp-main.130.pdf