Low-dimensional hyperbolic-knowledge graph embeddings introduced by Yoshiaki Kitagawa # miss in slides wrong: 双極 correct: 双曲

1. Low-Dimensional Hyperbolic
Knowledge Graph Embeddings
Ines Chami, Adva Wolf, Da-Cheng Juan, Frederic Sala, Sujith Ravi, and Christopher Re´
ACL 2020 , @論文読み会, 紹介者: Yoshiaki Kitagawa
※スライド中の資料は(論文/著者の発表スライド)を利用しています（スライド最後にリンクあり）

2. Summary
 Task
 Link Predication Task
 ⟨h, r⟩ が与えられた時、t を予測する
h: head entity
t: tail entity
r: relationship.
 先行研究と比べてどこがすごいか？
 先行研究: MuRP (Balazˇevic ́ et al., 2019)
 MuRP は曲率が固定されている
 MuRP は translation model で logical
properties の encode に失敗している（ら
しい）
 技術や手法のキモ
 relation を Reflection と Rotate の操作に
当てはめて定式化しそれぞれの操作に
attention
 学習できる曲率
 どうやって有効だと検証したか？
 3つの KG のデータセットで正解として
予測した上位の t ランキングを用いて
MRR と hits at K を計測
 Knowledge graph embedding の
dimention を変えながら MRR の変化を
計測し low dimention で性能を発揮する
ことを確認
 議論はあるか？
 双極空間 (Poincare ball) の外側は空間が
爆発的に広がっている？宇宙？？？
 次に読むべき論文（するべき勉強）
 先行研究の詳細を知るべき
 MuRP (Balazˇevic ́ et al., 2019)
 Poincare embeddings の元論文
 (Nickel and Kiela, 2017)
 双極平面や多様体についての勉強

3. Outline
Knowledge Graph Embedding
The hypKG model
Experimental Results

4. Knowledge Graph Embedding

5. Knowledge Graph Embedding

6. Task: Link Predication Task

7. The hypKG model

8. Model Summary
どちらも 双極空間
の embeddings

9. Hyperbolic rotations and reflections
Isometrie: 等長写像

10. Experimental Results

11. Link Prediction Results in Low Dimensions
MRR: 正しい entity の順位の逆数の平均
H@K: top K 個出したとき、正解の entity を引き当てた割合 K ∈ {1, 3, 10 }

12. The Role of curvature (曲率)

13. Logical Patterns (attention の検証)

14. Summary
 Task
 Link Predication Task
 ⟨h, r⟩ が与えられた時、t を予測する
h: head entity
t: tail entity
r: relationship.
 先行研究と比べてどこがすごいか？
 先行研究: MuRP (Balazˇevic ́ et al., 2019)
 MuRP は曲率が固定されている
 MuRP は translation model で logical
properties の encode に失敗している（ら
しい）
 技術や手法のキモ
 relation を Reflection と Rotate の操作に
当てはめて定式化しそれぞれの操作に
attention
 学習できる曲率
 どうやって有効だと検証したか？
 3つの KG のデータセットで正解として
予測した上位の t ランキングを用いて
MRR と hits at K を計測
 Knowledge graph embedding の
dimention を変えながら MRR の変化を
計測し low dimention で性能を発揮する
ことを確認
 議論はあるか？
 双極空間 (Poincare ball) の外側は空間が
爆発的に広がっている？宇宙？？？
 次に読むべき論文（するべき勉強）
 先行研究の詳細を知るべき
 MuRP (Balazˇevic ́ et al., 2019)
 Poincare embeddings の元論文
 (Nickel and Kiela, 2017)
 双極平面や多様体についての勉強

15. 参考資料
 本論文に関して
 論文: https://www.aclweb.org/anthology/2020.acl-main.617.pdf
 動画: https://slideslive.com/38928761/lowdimensional-hyperbolic-knowledge-graph-
embeddings
 Code:
 PyTorch Code: https://github.com/HazyResearch/KGEmb
 TF Code: https://github.com/tensorflow/neural-structured-learning
 読みたい資料
 https://tech-blog.abeja.asia/entry/hyperbolic_ml_2019