Dự đoán liên kết trong đồ thị tri thức

1. DỰ ĐOÁN LIÊN KẾT TRÊN
ĐỒ THỊ TRI THỨC
Hoàng Minh Thanh (18424062)
Phan Minh Tâm (18424059)
GV hướng dẫn : ThS. Lê Ngọc Thành
GV phản biện : TS. Bùi Tiến Lên

2. Nội dung trình bày
1. Giới thiệu bài toán
2. Công trình liên quan
3. Mô hình dựa trên luật và cải tiến
4. Mô hình dựa trên học sâu
5. Thực nghiệm
6. Kết luận
7. Tài liệu tham khảo
1

3. 1. Giới thiệu bài toán

4. Đồ Thị Tri Thức (Knowledge Graph)
Đồ thị tri thức (𝒢 𝑘𝑛𝑜𝑤) là một cách biểu diễn thông tin có cấu trúc trong thế
giới thực
 Đồ thị tri thức (𝒢 𝑘𝑛𝑜𝑤) là gì ?
3

5. Ví dụ về một thông tin trong 𝒢 𝑘𝑛𝑜𝑤
Donald TrumpMelania Trump
wife_of
Melania_Trump wife_of Donald_Trump
Donald_Trump president_of U.S
Jeff_Bezos richest_of U.S
Tom_Cruise born_in New_York
New_York state_of U.S
Tesla_Inc founded_in U.S
Melania_Trump first_lady U.S
Mỗi cạnh trong 𝒢 𝑘𝑛𝑜𝑤
được lưu trữ xuống
từng dòng dữ liệu
4

6. Biểu diễn tri thức
Donald
Trump
Melania
Trump
wife_of
entitytail
entityhead
relation
5

7.  Đồ Thị Tri Thức (Knowledge Graph)
𝒢 𝑘𝑛𝑜𝑤 = 𝑉, 𝑅, 𝐸 [1]
Biểu diễn đồ thị tri thức
entity1 entityhead1 entitytail1
entityhead2 entitytail2
entity2
entityn
entityhead-n entitytail-n
relation1
relation2
relationn
𝐸 ⊆ 𝑉 × 𝑅 × 𝑉𝑅𝑉
6

8. Google’s Knowledge Graph
Giới thiệu năm 2012 với 500 triệu
thực thể, và 3.5 tỷ sự kiện.
Đến nay tổng cộng đã tăng lên
khoảng 5 tỷ thực thể và 500 tỷ sự
kiện[2]
5 tỷ thực thể
500 tỷ sự kiện[2]
7

9. Dự đoán liên kết
Dữ liệu mất
mát, không
đầy đủ
Khai thác
thông tin
dựa trên
𝑮 𝒌𝒏𝒐𝒘
Kích thước 𝒢 𝑘𝑛𝑜𝑤
50 triệu thực thể
500 triệu sự kiện[5]
Kích thước 𝒢 𝑘𝑛𝑜𝑤
1 tỷ thực thể
70 tỷ sự kiện[5]
8

10. Minh họa về dự đoán liên kết
entitytail?
relation
?entityhead
relation
source target
relation
9

11. 2. Các công trình liên quan

12. Hướng nghiên cứu
 Danh mục nghiên cứu trên đồ thị tri thức
Knowledge
acquisition
Knowledge Graph
Completion
Link
Prediction
11

13. Các phương pháp
Mô hình dựa trên luật
Mô hình dựa trên nhúng
12

14. 3. Mô hình dựa trên luật và cải tiến

15. Phương pháp Any BURL[13]
 AnyBURL (Anytime Bottom Up Rule
Learning[13])
 Phương pháp này xem đồ thị tri thức là một
ngôn ngữ logic và được định nghĩa như sau:
 Một đồ thị tri thức 𝓖 𝒌𝒏𝒐𝒘 được định nghĩa trên một
bộ từ vựng ⟨𝐂, 𝐑⟩ trong đó 𝐂 là tập hợp các hằng số
và 𝐑 là tập hợp các vị từ nhị phân. Khi đó,
𝓖 𝒌𝒏𝒐𝒘 = r a, b r ∈ 𝐑; a, c ∈ 𝐂} là tập hợp sự kiện.
 a, b tương ứng với một đỉnh trong đồ thị, r tương
ứng với nhãn hay quan hệ giữa 2 đỉnh.
14

16. Phương pháp Any BURL[13]
 Phương pháp này xem đồ thị tri thức là một
ngôn ngữ logic và được định nghĩa như sau:
 Khi lấy mẫu một đường đi bất kì trên đồ thị có độ dài
lớn hơn 2 ta có 1 được một luật Horn với vị từ nối
liền (∧).
Ví dụ: Khi ta lấy mẫu một đường dẫn
𝑠𝑝𝑒𝑎𝑘𝑠 𝑒𝑑, 𝑑 , 𝑙𝑖𝑣𝑒 𝑒𝑑, 𝑛𝑙 , 𝑙𝑎𝑛𝑔(𝑛𝑙, 𝑑)
ta có được 1 luật sau:
speaks(ed, d) lives ed, nl lang(nl, d)
Nguồn ảnh [3]
Vậy làm như thế nào ta có
thể khái quát hóa luật này
trên đồ thị ?
15

17. Phương pháp Any BURL[13]
 Để có thể khái quát hóa các luật được tìm thấy
sau khi lấy mẫu đường đi chúng ta sẽ thay các
đỉnh thành các biến.
 Chúng ta sẽ không học tất cả các luật Horn mà
chỉ học 3 loại sau đây như được đề xuất bởi
nhóm tác giả Christian Meilicke.
Nguồn ảnh[3]
16

18. Phương pháp Any BURL[13]
 Ví dụ ta có các quy tắc sau
 𝑠𝑝𝑒𝑎𝑘𝑠(𝑋, 𝑌) ← 𝑙𝑖𝑣𝑒𝑠(𝑋, 𝑌) (1)
 𝑙𝑖𝑣𝑒𝑠_𝑖𝑛_𝑐𝑖𝑡𝑦(𝑋, 𝑌) ← 𝑙𝑖𝑣𝑒𝑠(𝑋, 𝐴), 𝑤𝑖𝑡ℎ𝑖𝑛(𝑌, 𝐴) (2)
 𝑔𝑒𝑛(𝑋, 𝑓𝑒𝑚𝑎𝑙𝑒) ← 𝑚𝑎𝑟𝑟𝑖𝑒𝑑(𝑋, 𝐴), 𝑔𝑒𝑛(𝐴, 𝑚𝑎𝑙𝑒) (3)
 𝑝𝑟𝑜𝑓𝑒𝑠𝑠𝑖𝑜𝑛(𝑋, 𝑎𝑐𝑡𝑜𝑟) ← 𝑎𝑐𝑡𝑒𝑑_𝑖𝑛(𝑋, 𝐴) (4)
𝑩
𝑼 𝒄
𝑼 𝒅 17

19. Phương pháp Any BURL
 Khi tạo ra một luật chúng sẽ dùng thống kê
để tính toán 1 điểm gọi là độ tin cậy.
Ví dụ ta có quy tắc sau:
 𝑔𝑒𝑛(𝑋, 𝑓𝑒𝑚𝑎𝑙𝑒) ← 𝑚𝑎𝑟𝑟𝑖𝑒𝑑(𝑋, 𝐴), 𝑔𝑒𝑛(𝐴, 𝑚𝑎𝑙𝑒) (3)
 Chúng ta sẽ đếm trên đồ thị tất cả các đường đi
thỏa 𝑚𝑎𝑟𝑟𝑖𝑒𝑑(𝑋, 𝐴), 𝑔𝑒𝑛(𝐴, 𝑚𝑎𝑙𝑒) với 𝐴, 𝑋 là bất kì
một đỉnh, hay thực thể nào gọi là 𝑆
 Chúng ta sẽ đếm trên đồ thị tất cả các đường đi thỏa
𝑔𝑒𝑛(𝑋, 𝑓𝑒𝑚𝑎𝑙𝑒) ← 𝑚𝑎𝑟𝑟𝑖𝑒𝑑(𝑋, 𝐴), 𝑔𝑒𝑛(𝐴, 𝑚𝑎𝑙𝑒)
với 𝐴, 𝑋 là bất kì một đỉnh, hay thực thể nào gọi là 𝑆′
 Confident = 𝑆′ / 𝑆
18

20. Phương pháp Any BURL
 Thuật toán
19

21. Phương pháp Any BURL
 Thuật toán cải tiến mới
20

22. 4. Mô hình dựa trên nhúng

23. Phương pháp dựa trên nhúng
 Nhúng đồ thị (Graph Embedding)
 Định nghĩa[7] :
Cho 𝒢 𝑘𝑛𝑜𝑤 = 𝑉, 𝐸 và số chiều xác định trước d
𝑑 ≪ 𝑉 , vấn đề nhúng đồ thị là chuyển 𝒢 𝑘𝑛𝑜𝑤
thành một không gian d-chiều sao cho thuộc tính
của đồ thị được lưu giữ càng nhiều càng tốt.
Nhúng đồ thị là quá trình biến đổi các đặc
trưng của đồ thị sang một không gian khác
có số chiều thấp.
Quá trình nhúng đồ thị có thể hiểu tường
minh là quá trình ánh xạ các đặc trưng để
biểu diễn thành giá trị các vector 22

24. Các phương pháp nhúng 𝒢 𝑘𝑛𝑜𝑤
 Nhúng đồ thị (Graph Embedding)
 Dựa trên phương pháp thiết lập bài toán
nhưng đồ thị có thể chia nhúng đồ thị thành
các loại sau :
Nhúng cạnhNhúng đỉnh Nhúng kết hợp Nhúng toàn bộ
đồ thị
Survey of Graph Embedding Problems, Techniques and Applications [7]
23

25. Mô hình nhúng TransE
 Translating Embeddings (TransE)
 Mô hình TransE được đề xuất bởi nhóm tác giả
Antoine Bordes[9] là một mô hình tiêu biểu cho kỹ
thuật nhúng đồ thị
 Ý tưởng cốt lõi là xem 𝑟𝑒𝑙𝑎𝑡𝑖𝑜𝑛 là phép tịnh tiến
của các vector nhúng sao cho
𝑒ℎ𝑒𝑎𝑑 + 𝑟𝑒𝑙𝑎𝑡𝑖𝑜𝑛 ≈ 𝑒𝑡𝑎𝑖𝑙
head tail
relation
0.6
0.2
0.8
0.2
0.3
-0.4
0.8
0.4
0.4
+ ≈ Din
24

26. Mô hình nhúng TransE
 Thuật toán
Chuẩn hóa trong loop
để đạt kết quả tốt hơn
Đô sai khác giữa bộ chuẩn
và bộ không chuẩn
+
25

27. Mô hình nhúng TransE
 TransE (Translating Embeddings)​
 Ví dụ :
Nếu d - d' > 0. Tiến hành cập nhật lại trọng số cho h, r, t.
vector khởi tạo ban đầu vector sau khi tịnh tiến
26

28. Mô hình nhúng KBGAT
27

29. Mô hình nhúng dựa trên học sâu
 Tối ưu hàm mục tiêu dựa trên một lượng
lớn dữ liệu
Data 𝑓 𝑥
Class 1
Class 2
Class n
ei
e1
e3
?e2
r
𝒢 𝑘𝑛𝑜𝑤
?
?
?
𝑟𝑎𝑛𝑘1
𝑟𝑎𝑛𝑘2
𝑟𝑎𝑛𝑘3
h t
r
h t
r
h tS r
h t’
r
h t’
r
h’ t
r
S’
𝑓 𝑥
h r t
h r t
h r t
h r t’
h r t’
h’ r t
1valid
-1invalid
score
28

30. Phương pháp KBGAT
Datasets
TransE Entity Embedding
Relation Embedding
GAT’ ConvKB
Rank
Entity Embedding
Relation Embedding
weight
Biểu diễn các đặc
trưng lên không gian
Học được các đặc
trưng lân cận của các
thực thể và quan hệ
Khái quát hóa quá
trình biến đổi đặc
trưng
ℒ =
𝑡 𝑖𝑗∈𝑆 𝑡 𝑖𝑗
′
∈𝑆′
max{𝑑 𝑡 𝑖𝑗
− 𝑑 𝑡 𝑖𝑗
′ + 𝛾, 0}
ℒ =
𝑡 𝑖𝑗∈𝑆
log 1 + exp 𝑙 𝑡 𝑖𝑗
. 𝑓 𝑡𝑖𝑗 +
𝜆
2
𝐖 2
2
với 𝑙 𝑡 𝑖𝑗
=
1 ∶ 𝑡𝑖𝑗 ∈ 𝑆
−1 ∶ 𝑡𝑖𝑗 ∈ 𝑆′
Lấy phần dương
Margin
Tham số chuẩn hóa
29

31. Cơ chế chú ý
Cơ chế chú ý được phát minh năm 2014[6] và được phổ biến bằng
mô hình Transformer năm 2017
Apple is good for your health
𝑥1 𝑦1 𝑦2 𝑦3 𝑦4 𝑦5
Apple is good in its design
0.6 0.2 0.8
0.6
0.2
0.8
0.2
0.3
0.1
0.9
0.1
0.8
0.3
0.1
0.4
0.4
0.1
0.3
0.5
0.3
0.7
w1, 𝑤2, 𝑤3, 𝑤4, 𝑤5, 𝑤6 = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥( , )
Query Q
Keys K
0.6
0.2
0.8
0.2
0.3
0.1
0.9
0.1
0.8
0.3
0.1
0.4
0.4
0.1
0.3
0.5
0.3
0.7
Values V
healthApple is goodfor your
= w1 + 𝑤2 + 𝑤3 + 𝑤4 + 𝑤5 + 𝑤6
0.6
0.2
0.8
 Mục tiêu của cơ chế chú ý là tính được sự quan trọng của
một vector nhúng này đối với những vector nhúng khác
bằng hệ số đã chuẩn hóa để có thể so sánh với nhauHệ số chuẩn
hóa
Hệ số chuẩn hóa
30

32. Cơ chế chú ý đa đỉnh
Thuộc các lớp khác nhau
⇒ 𝑆𝑒𝑙𝑓 − 𝑎𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛
Graph Attention Networks – GAT[12]
31

33. Graph Attention Networks – GAT[12]
Figure 1 in Paper Graph atention networks (Petar Velickovi ˇ c..)
32

34. Áp dụng cơ chế chú ý vào 𝒢 𝑘𝑛𝑜𝑤
Self-Attention (NLP) Mask-attention in GAT (𝒢 𝑘𝑛𝑜𝑤)
Linear
transformation
Q = K = X W1; V = X W2 ℎ𝑖 = W1. 𝑒𝑖
Compute attention
coefficients
softmax
Q. KT
𝑑 𝑘
αij =
softmax LeakyRELU W2[hi||hj]
Attention softmax
XW1. XW1
T
𝑑 𝑘
XW2
𝑒𝑖
′
= 𝜎
𝑗∈𝒩 𝑖
αij hj
Multihead-attention
with Concatenate
∥ℎ=1
𝑁ℎ𝑒𝑎𝑑
softmax
XW1. XW1
T
𝑑 𝑘
XW2
𝑒𝑖
′
= ∥ℎ=1
𝑁ℎ𝑒𝑎𝑑
𝜎
j∈𝒩i
αij
h
𝐖h
ej
Multihead-attention
with Average
𝑒𝑖
′′
=
𝜎
1
𝑁ℎ𝑒𝑎𝑑
h=1
𝑁ℎ𝑒𝑎𝑑
j∈𝒩i
αij
h
𝐖h
e′j
33

35. Mô hình KBGAT[11]
Mask Attention with
Concatenate
Entity Embedding
Entity Embedding
Entity Embedding
Entity Embedding
Entity Embedding
Relation Embedding
Relation Embedding
Relation Embedding
Relation Embedding
Residual learning
Mask Attention with
Average
34

36. Cải tiến của KBGAT[11]
 Cải tiến của KBGAT :
 Ghép thêm thông tin 𝑟𝑒𝑙𝑎𝑡𝑖𝑜𝑛
𝑡𝑖𝑗
𝑘
= W1. [𝑒𝑖 ||𝑒𝑗 ||𝑟𝑘]
 Tính cộng thông tin nhop
𝑒𝑖 = (𝑒𝑖 || 𝑒 𝑛ℎ𝑜𝑝
)
𝑟𝑘 = (𝑟𝑘||𝑒 𝑛ℎ𝑜𝑝 )
ei
e1
e2
e3
e4 e6
e5
𝑒1ℎ𝑜𝑝 𝑒2ℎ𝑜𝑝
Ntraining
Concath,t,r
35

37. Mô hình ConvKB[10]
Convolution
Học sự quan trọng của từng đặc trưng
trong feature map 36

38. Cài đặt
 Chiến lược tìm siêu tham số tối ưu là tìm
kiếm lưới (grid search)
 Sử dụng Adam để tối ưu (quán tính có ma
sát)
Google Colab Pro 37
8-15
tiếng/1
datasets

39. 4. Thực nghiệm

40. Datasets
 Có bốn bộ dữ liệu tìm hiểu chia thành hai
nhóm chính bao gồm Freebase và
Wordnet
 WN18RR, FB15k-237 được lược bỏ các quan hệ
trùng hoặc nghịch đảo từ WN18 và FB15k để
tránh các dữ liệu dễ đoán
Test Leakage Đa lĩnh vực Đặc trưng
WN18 Có Có ít loại quan hệ; Dự liệu chỉ thuộc
các từ vựng, Nhiều sự kiện lặp lạiWN18RR
FB15k Có Có Có nhiều loại quan hệ khác nhau; Dữ
liệu thuộc nhiều lĩnh vực khác nhau,
và ít lặp lạiFB15k-237 Có
39

41. Thông tin tập dữ liệu
 Các tập dữ liệu thực nghiệm :
40

42. Tập dữ liệu FreeBase
 Bộ dữ liệu này được tạo bởi nhóm nghiên cứu A.
Bordes[6], trích xuất từ bộ dữ liệu Wikilinks database
 Mỗi đỉnh là một đối tượng trong Wikipedia, mỗi quan hệ là một
đường dẫn
Ví dụ về một dòng dữ liệu trong Freebase
41

43. Tập dữ liệu WordNet
 Bộ dữ liệu này được giới thiệu bởi nhóm tác giả
Bordes, Antoine được trích xuất từ WordNet
 Mỗi đỉnh là một từ vựng, quan hệ là ý nghĩa giữa hai
từ
Ví dụ về một dòng dữ liệu trong WordNet
42

44. Phương pháp đánh giá
 Có ba độ đo phổ biến gồm : H@K, MR,
MRR
 𝐻@𝐾 =
𝑞∈𝑄:𝑟𝑎𝑛𝑘 𝑞 ≤𝐾
𝑄
; 𝐾 ∈ {1,3, 10}
 𝑀𝑅 =
1
𝑄 𝑞∈𝑄 𝑟𝑎𝑛𝑘(𝑞)
 𝑀𝑅𝑅 =
1
𝑄 𝑞∈𝑄
1
𝑟𝑎𝑛𝑘(𝑞)
43

45. Kết quả thực nghiệm
 Kết quả trên tập dữ liệu Freebase[13]
 Kết quả trên tập dữ liệu WordNet[13]
44

46. Kết quả phần cải tiến Any BURL
Kết quả chiến lược thêm tri thức mới vào đồ thị
Kết quả độ tin cậy số luật sinh ra
Tăng MR và MRR
trung bình khoảng
1.05%
Do sinh ra được
các luật có
confident rất cao
45

47. Mã nguồn và quá trình thực hiện
 AnyBURL :
 Mã nguồn public :
https://github.com/MinhTamPhan/mythesis
 KBGAT :
 Mã nguồn github (Graph Collaborate
Attention Network) :
https://github.com/hmthanh/GCAT
 Public Google Colab :
https://colab.research.google.com/drive/1Nu
hMHYywKrKyqEe_nhjzBVRp3AbQf73g
46

48. 6. Kết luận

49. Kết luận
Mô hình dựa trên luật Mô hình dựa trên học sâu
Chi phí Thời gian huấn luyện vượt
trội, chi phí tính toán nhỏ
Thời gian rất lâu, hàng chục tiếng
Chi phí tính toán cực lớn
Thời gian dự
đoán
Lâu hơn do phải duyệt qua
tất cả các luật
Nhanh hơn do dựa trên các trọng
số của mô hình để tính xác xuất
Dữ liệu Học có thể lý giải được Học không thể lý giải (do các lớp
hidden layer)
Thêm tri thức Không ảnh hưởng nhiều
khi thêm tri thức mới
Phải huấn luyện lại từ đầu nếu
thêm tri thức mới
Đặc điểm học Chỉ học được dựa trên tần
xuất của dữ liệu
Học được các cấu trúc phức tạp
mà không cần biết trước cấu trúc
 So sánh hai phương pháp
48

50. Hướng phát triển
 Phương pháp dựa trên luật :
 Gần đây nhóm nghiên cứu của tác giả C. Meilicke
đã nghiên cứu một phương pháp dựa
trên Reinforced learning nhằm tối ưu hóa lợi ích
quá trình sinh ra luật
 Phương pháp dựa trên học sâu :
 Nhóm nghiên cứu về cải tiến của cơ chế chú ý
(Collaborate Instead of Concatenate[8]) và mô hình
CapsE
 Dựa trên những cải tiến đáng kể của mô hình
AnyBURL, và mô hình GCAT đang phát triển, nhóm có
dự định public papers trong tương lai gần
49

51. 5. Tài liệu tham khảo

52. Trích dẫn
 [1] A Comprehensive Survey of Graph Embedding: Problems, Techniques, and Applications
 [2] https://en.wikipedia.org/wiki/Knowledge_Graph
 [3] http://web.informatik.uni-mannheim.de/AnyBURL/
 [4] https://www.forbes.com/sites/robtoews/2020/10/12/the-next-generation-of-artificial-intelligence/
 [5] Industry-scale Knowledge Graphs: Lessons and Challenges (Natasha Noy Yuqing Gao Anshu Jain Anant
Narayanan Alan Patterson Jamie Taylor)
 [6] Bahdanau, Dzmitry, Cho, Kyunghyun, and Bengio, Yoshua. “Neural machine translation by jointly learning to
align and translate”. In: arXiv preprint arXiv:1409.0473 (2014).
 [7] Cai, Hongyun, Zheng, Vincent W, and Chang, Kevin Chen-Chuan. “A comprehensive survey of graph
embedding: Problems, techniques, and applications”. In: IEEE Transactions on Knowledge and Data Engineering
30.9 (2018), pp. 1616–1637
 [8] Cordonnier, Jean-Baptiste, Loukas, Andreas, and Jaggi, Martin. “MultiHead Attention: Collaborate Instead of
Concatenate”. In: arXiv preprint arXiv:2006.16362 (2020).
 [9] Bordes, Antoine et al. “Translating embeddings for modeling multirelational data”. In: Advances in neural
information processing systems. 2013, pp. 2787–2795.
 [10] Nguyen, Dai Quoc et al. “A novel embedding model for knowledge base completion based on convolutional
neural network”. In: arXiv preprint arXiv:1712.02121 (2017).
 [11] Nathani, Deepak et al. “Learning attention-based embeddings for relation prediction in knowledge graphs”.
In: arXiv preprint arXiv:1906.01195 (2019).
 [12] Veliˇckovi´c, Petar et al. “Graph attention networks”. In: arXiv preprint arXiv:1710.10903 (2017)
 [13] Meilicke, Christian et al. Anytime Bottom-Up Rule Learning for Knowledge Graph Completion. 2019. url:
http://web.informatik.unimannheim.de/AnyBURL/meilicke19anyburl.pdf.
 [13] Rossi, Andrea et al. “Knowledge Graph Embedding for Link Prediction: A Comparative Analysis”. In: arXiv
preprint arXiv:2002.00819 (2020).
51

53. 52

54. Q & A
53