Các điều kiện bảo hiểm trong bảo hiểm hàng hoá
Luận án: Hệ tư vấn dựa trên mức độ quan trọng hàm ý thống kê, HAY
1. ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA
PHAN PHƯƠNG LAN
HỆ TƯ VẤN DỰA TRÊN
MỨC ĐỘ QUAN TRỌNG HÀM Ý THỐNG KÊ
LUẬN ÁN TIẾN SĨ KỸ THUẬT
Đà Nẵng - Năm 2019
2. ii
ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA
PHAN PHƯƠNG LAN
HỆ TƯ VẤN DỰA TRÊN
MỨC ĐỘ QUAN TRỌNG HÀM Ý THỐNG KÊ
Chuyên ngành: Khoa học máy tính
Mã số: 9480101
LUẬN ÁN TIẾN SĨ KỸ THUẬT
Người hướng dẫn khoa học:
1. PGS. TS. Huỳnh Xuân Hiệp
2. TS. Huỳnh Hữu Hưng
Đà Nẵng - Năm 2019
3. LỜI CAM ĐOAN
Tôi xin cam đoan đây là công trình nghiên cứu do tôi thực hiện, dưới sự hướng
dẫn của PGS.TS. Huỳnh Xuân Hiệp và TS. Huỳnh Hữu Hưng.
Tôi cam đoan các kết quả nghiên cứu được trình bày trong luận án là trung
thực và không sao chép từ bất kỳ công trình nghiên cứu nào khác. Một số kết quả
nghiên cứu là thành quả tập thể và đã được các đồng tác giả đồng ý cho sử dụng trong
luận án. Mọi trích dẫn trong luận án đều có ghi nguồn gốc xuất xứ rõ ràng và đầy đủ.
Tác giả
NCS. Phan Phương Lan
4. LỜI CẢM ƠN
Trước tiên, tôi xin bày tỏ lòng biết ơn sâu sắc và gửi lời tri ân đến PGS. TS.
Huỳnh Xuân Hiệp và TS. Huỳnh Hữu Hưng đã tận tình hướng dẫn, truyền đạt kiến
thức và kinh nghiệm nghiên cứu khoa học cho tôi trong suốt quá trình học tập, nghiên
cứu và hoàn thành luận án.
Tôi xin chân thành cảm ơn Phòng Đào tạo và Khoa Công nghệ thông tin -
Trường Đại học Bách khoa đã luôn tạo điều kiện thuận lợi cho tôi trong thời gian làm
nghiên cứu sinh tại đây. Xin cảm ơn Ban Lãnh đạo trường Đại học Cần Thơ, Khoa
Công nghệ thông tin và Truyền thông, Bộ môn Công nghệ phần mềm đã luôn hỗ trợ
và tạo điều kiện tốt nhất để tôi có thể tập trung nghiên cứu.
Tôi xin được bày tỏ lòng biết ơn chân thành đến GS. TS. Régis Gras đã cung
cấp cho tôi nhiều tài liệu về lý thuyết phân tích hàm ý thống kê và có những góp ý
sâu sắc cho nghiên cứu của tôi. Xin chân thành cảm ơn các nhà khoa học đã dành thời
gian và công sức đọc và đưa ra các góp ý quý báu để luận án được hoàn chỉnh hơn.
Cuối cùng, tôi xin được gửi lời cảm ơn sâu sắc đến gia đình và bạn thân
- những người luôn bên cạnh, giúp đỡ và động viên tôi trong suốt thời gian học tập,
nghiên cứu và hoàn thành luận án.
Đà Nẵng, ngày 09 tháng 11 năm 2019
NCS. Phan Phương Lan
5. i
MỤC LỤC
1.
MỤC LỤC..................................................................................................................I
DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT ................................................ VI
DANH MỤC BẢNG............................................................................................VIII
DANH MỤC HÌNH................................................................................................ IX
MỞ ĐẦU ....................................................................................................................1
CHƯƠNG 1. TỔNG QUAN.....................................................................................7
1.1. Mức độ quan trọng hàm ý thống kê............................................................................7
1.1.1. Định nghĩa mức độ quan trọng hàm ý thống kê ......................................................7
1.1.2. Mức độ quan trọng hàm ý thống kê cho dữ liệu nhị phân.......................................8
1.1.2.1. Mối quan hệ hàm ý thống kê trên dữ liệu nhị phân..........................................8
1.1.2.2. Chỉ số hàm ý và cường độ hàm ý ...................................................................10
1.1.2.3. Cường độ hàm ý có entropy ...........................................................................12
1.1.2.4. Chỉ số gắn kết .................................................................................................13
1.1.2.5. Chỉ số đóng góp..............................................................................................13
1.1.2.6. Chỉ số tiêu biểu...............................................................................................14
1.1.3. Mức độ quan trọng hàm ý thống kê cho dữ liệu phi nhị phân...............................14
1.1.3.1. Mối quan hệ hàm ý thống kê trên dữ liệu phi nhị phân..................................15
1.1.3.2. Mức độ quan trọng hàm ý thống kê cho dữ liệu phi nhị phân........................15
1.2. Mức độ quan trọng xếp hạng hàm ý thống kê .........................................................17
1.3. Hệ tư vấn và các hướng nghiên cứu..........................................................................18
1.3.1. Hệ tư vấn................................................................................................................18
1.3.2. Phân loại hệ tư vấn ................................................................................................21
1.3.2.1. Hệ tư vấn thuộc nhóm cá thể..........................................................................22
1.3.2.2. Hệ tư vấn thuộc nhóm cộng tác/cộng đồng....................................................22
1.3.2.3. Hệ tư vấn thuộc nhóm chuyên gia..................................................................23
1.3.2.4. Hệ tư vấn thuộc nhóm lai ghép.......................................................................24
6. ii
1.3.2.5. Hệ tư vấn thuộc nhóm theo ngữ cảnh.............................................................25
1.3.3. Các hướng nghiên cứu về hệ tư vấn ......................................................................26
1.3.3.1. Nghiên cứu về dữ liệu ....................................................................................26
1.3.3.2. Nghiên cứu đề xuất và cải tiến các phương pháp tư vấn................................27
1.3.3.3. Nghiên cứu đánh giá hệ tư vấn.......................................................................29
1.4. Kỹ thuật tư vấn lọc cộng tác ......................................................................................29
1.4.1. Kỹ thuật lọc cộng tác dựa trên bộ nhớ (láng giềng) ..............................................29
1.4.2. Kỹ thuật lọc cộng tác dựa trên mô hình.................................................................30
1.4.2.1. Tư vấn lọc cộng tác dựa trên luật kết hợp ......................................................30
1.4.2.2. Mô hình nhân tố tiềm ẩn.................................................................................31
1.5. Đánh giá hiệu quả tư vấn ...........................................................................................32
1.5.1. Phương pháp đánh giá chéo k tập con...................................................................35
1.5.2. Tính chính xác của gợi ý .......................................................................................36
1.5.3. Tính chính xác của xếp hạng được dự đoán ..........................................................37
1.5.4. Tính chính xác của gợi ý được sắp thứ tự..............................................................38
1.6. Phương pháp tư vấn theo mức độ quan trọng hàm ý thống kê..............................39
1.6.1. Tư vấn dựa trên phân tích hàm ý thống kê hiện có ...............................................40
1.6.2. Tư vấn dựa trên mức độ quan trọng hàm ý thống kê.............................................41
1.7. Kết luận chương 1.......................................................................................................43
CHƯƠNG 2. TƯ VẤN THEO MỨC ĐỘ QUAN TRỌNG HÀM Ý THỐNG KÊ
TRÊN LUẬT KẾT HỢP ........................................................................................44
2.1. Mô hình tư vấn theo mức độ quan trọng hàm ý thống kê trên luật SIR...............44
2.1.1. Mô hình tư vấn SIR ...............................................................................................44
2.1.2. Mô hình tư vấn SIR được cải tiến..........................................................................48
2.2. Hoạt động của mô hình tư vấn theo mức độ quan trọng hàm ý thống kê trên luật .
......................................................................................................................................49
2.2.1. Hoạt động của mô hình tư vấn SIR .......................................................................49
2.2.2. Hoạt động của mô hình tư vấn SIR được cải tiến..................................................53
2.3. Đánh giá hiệu quả tư vấn của mô hình SIR .............................................................54
2.3.1. Dữ liệu thực nghiệm của mô hình SIR ..................................................................54
2.3.2. Công cụ thực nghiệm của mô hình SIR.................................................................56
7. iii
2.3.3. Hiệu quả tư vấn của mô hình SIR trên dữ liệu nhị phân .......................................57
2.3.3.1. Các giá trị tham số phù hợp............................................................................58
2.3.3.2. Thời gian xây dựng mô hình tư vấn trước và sau cải tiến..............................60
2.3.3.3. Tính chính xác của gợi ý qua so sánh nội trên dữ liệu nhị phân ....................62
2.3.3.4. Tính chính xác của gợi ý qua so sánh ngoại trên dữ liệu nhị phân.................66
2.3.3.5. Mô hình tư vấn SIR trong gợi ý đăng ký học phần ........................................69
2.3.4. Hiệu quả tư vấn của mô hình SIR trên dữ liệu phi nhị phân .................................69
2.3.4.1. Tính chính xác của gợi ý qua so sánh nội trên dữ liệu phi nhị phân ..............70
2.3.4.2. Tính chính xác của gợi ý qua so sánh ngoại trên dữ liệu phi nhị phân ..........73
2.4. Kết luận chương 2.......................................................................................................75
CHƯƠNG 3. TƯ VẤN THEO MỨC ĐỘ QUAN TRỌNG XẾP HẠNG HÀM Ý
THỐNG KÊ TRÊN NGƯỜI DÙNG .....................................................................77
3.1. Định nghĩa mức độ quan trọng xếp hạng hàm ý thống kê trên người dùng.........78
3.2. Mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê trên người
dùng UIR ............................................................................................................................79
3.3. Hoạt động của mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê
trên người dùng..................................................................................................................81
3.4. Đánh giá hiệu quả tư vấn của mô hình UIR.............................................................85
3.4.1. Dữ liệu thực nghiệm của mô hình UIR .................................................................85
3.4.2. Công cụ thực nghiệm của mô hình UIR ................................................................86
3.4.3. Đánh giá mô hình UIR qua tính chính xác của gợi ý ............................................86
3.4.3.1. Tính chính xác của mô hình UIR qua so sánh ngoại......................................87
3.4.3.2. Tính chính xác của mô hình UIR qua so sánh nội..........................................92
3.4.4. Đánh giá mô hình UIR qua tính chính xác của xếp hạng được dự đoán...............95
3.4.4.1. Sai số của mô hình UIR qua so sánh ngoại ....................................................95
3.4.4.2. Sai số của mô hình UIR qua so sánh nội........................................................98
3.4.5. Đánh giá mô hình UIR qua tính chính xác của gợi ý được sắp thứ tự ..................99
3.4.5.1. Độ lợi tích lũy giảm dần của mô hình UIR trên dữ liệu nhị phân................100
3.4.5.2. Độ lợi tích lũy giảm dần của mô hình UIR trên dữ liệu phi nhị phân..........101
3.5. Kết luận chương 3.....................................................................................................103
8. iv
CHƯƠNG 4. TƯ VẤN THEO MỨC ĐỘ QUAN TRỌNG XẾP HẠNG HÀM Ý
THỐNG KÊ TRÊN MỤC ....................................................................................104
4.1. Định nghĩa mức độ quan trọng xếp hạng hàm ý thống kê trên mục dữ liệu ......105
4.2. Mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê trên mục IIR ..
....................................................................................................................................106
4.3. Hoạt động của mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê
trên mục............................................................................................................................109
4.4. Đánh giá hiệu quả tư vấn của mô hình IIR............................................................111
4.4.1. Dữ liệu và công cụ thực nghiệm của mô hình IIR...............................................111
4.4.2. Thời gian xây dựng ma trận mục trực tiếp và gián tiếp.......................................112
4.4.3. Đánh giá mô hình IIR qua tính chính xác của gợi ý............................................113
4.4.3.1. Tính chính xác của mô hình IIR qua so sánh nội .........................................114
4.4.3.2. Tính chính xác của mô hình IIR qua so sánh ngoại......................................116
4.4.3.3. Tính ổn định của mô hình IIR ......................................................................118
4.4.4. Đánh giá mô hình IIR qua tính chính xác của xếp hạng được dự đoán...............121
4.4.4.1. Sai số của mô hình IIR qua so sánh nội........................................................122
4.4.4.2. Sai số của mô hình IIR qua so sánh ngoại....................................................126
4.4.5. Đánh giá mô hình IIR qua tính chính xác của gợi ý được sắp thứ tự..................128
4.5. So sánh hiệu quả tư vấn của các mô hình đề xuất .................................................130
4.5.1. So sánh thời gian tư vấn ......................................................................................130
4.5.2. So sánh tính chính xác của các mô hình..............................................................132
4.5.3. Đánh giá chung về các mô hình đề xuất..............................................................136
4.6. Kết luận chương 4.....................................................................................................138
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN...........................................................139
Kết luận.............................................................................................................................139
Hướng phát triển .............................................................................................................140
DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ....................141
TÀI LIỆU THAM KHẢO ....................................................................................143
PHỤ LỤC...................................................................................................................1
Phụ lục 1: Công cụ Interestingnesslab và tập dữ liệu DKHP..........................................1
9. v
Công cụ Interestingnesslab ................................................................................................1
Tập dữ liệu DKHP .............................................................................................................2
Phụ lục 2: Giải thuật tư vấn theo mức độ quan trọng hàm ý thống kê trên luật kết
hợp ........................................................................................................................................4
Sinh tập luật dựa trên ngưỡng hỗ trợ, ngưỡng tin cậy và độ dài tối đa của một luật.........4
Biểu diễn tập luật theo phân tích hàm ý thống kê..............................................................4
Tính cường độ hàm ý, chỉ số gắn kết của luật....................................................................6
Lọc tập luật theo ngưỡng cường độ hàm ý hoặc chỉ số gắn kết.........................................8
Phụ lục 3: Giải thuật tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê trên
người dùng..........................................................................................................................10
Biểu diễn mối quan hệ giữa hai người dùng theo phân tích hàm ý thống kê...................10
Tính cường độ hàm ý giữa hai người dùng......................................................................11
Tìm các láng giềng gần nhất của người cần được tư vấn.................................................12
Xác định chỉ số tiêu biểu của một mục đối với mối quan hệ hàm ý giữa hai người dùng...
...............................................................................................................................12
Dự đoán xếp hạng của người dùng cho các mục dữ liệu .................................................14
Phụ lục 4: Giải thuật tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê trên
mục dữ liệu .........................................................................................................................15
Xây dựng ma trận mục dữ liệu - gián tiếp........................................................................15
Xây dựng ma trận mục dữ liệu - trực tiếp........................................................................16
Dự đoán xếp hạng của người dùng cho các mục dữ liệu .................................................17
Phụ lục 5: Giải thuật đánh giá hệ tư vấn.........................................................................18
Phụ lục 6: Xác định giá trị tham số phù hợp của mô hình SIR, AR và IBCF .............21
Ngưỡng tin cậy và hỗ trợ trong các mô hình SIR, AR.....................................................21
Độ dài tối đa của một luật trong các mô hình SIR, AR ...................................................22
Số láng giềng gần nhất của mô hình IBCF ......................................................................25
10. vi
DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT
Thuật ngữ Tiếng Anh Viết tắt
Cường độ hàm ý
Implication/Implicative intensity
Propension intensity
Cường độ hàm ý có entropy Entropic version of implicative intensity
Chỉ số gắn kết Cohesion measure
Chỉ số hàm ý
Implication/Implicative index
Propesion index
Chỉ số tiêu biểu Typicality measure
Chỉ số đóng góp Contribution measure
Độ đo hấp dẫn khách quan Objective interestingness measure
Độ lợi tích lũy giảm dần Normalized discounted cumulative gain nDCG
Hệ tư vấn
Recommender/Recommendation
systems
RS
Mô hình tư vấn theo mức độ quan
trọng hàm ý thống kê trên luật
Statistical implicative rules based model SIR
Mô hình tư vấn theo mức độ quan
trọng xếp hạng hàm ý thống kê trên
mục
Item implicative rating based model IIR
Mô hình tư vấn theo mức độ quan
trọng xếp hạng hàm ý thống kê trên
người dùng
User implicative rating based model UIR
Mục/Mục dữ liệu Item
Phân tích hàm ý thống kê Statistical implicative analysis SIA
Phản ví dụ Counter-example
Sai số bình phương trung bình Root of mean squared error RMSE
Sai số tuyệt đối trung bình Mean absolute error MAE
11. vii
Tư vấn dựa trên luật kết hợp Association rule based recommendation
Tư vấn dựa trên nội dung Content-based recommendation
Tư vấn dựa trên tri thức Knowledge-based recommendation
Tư vấn lai ghép Hybrid recommendation
Tư vấn lọc cộng tác dựa trên mục
Item-based collaborative filtering
recommendation
Tư vấn lọc cộng tác dựa trên
người dùng
User-based collaborative filtering
recommendation
Xếp hạng/đánh giá Rating
12. viii
DANH MỤC BẢNG
Bảng 1.1: Các mức độ quan trọng hàm ý thống kê................................................................8
Bảng 1.2: Một ví dụ về dữ liệu đầu vào ở dạng nhị phân của phân tích hàm ý thống kê...10
Bảng 1.3: Một ví dụ về dữ liệu đầu vào ở dạng phi nhị phân của phân tích hàm ý thống kê.
....................................................................................................................................15
Bảng 1.4: Công thức tính của từng mức độ quan trọng hàm ý thống kê.............................16
Bảng 1.5: Các mức độ quan trọng xếp hạng hàm ý thống kê..............................................18
Bảng 1.6: Một ví dụ về phân chia tập dữ liệu đầu vào với k-fold=4...................................35
Bảng 1.7: Ma trận nhầm lẫn.................................................................................................36
Bảng 2.1: Thông tin chung về các tập dữ liệu mẫu dùng trong thực nghiệm......................55
Bảng 2.2: Dãy phân vị của tập MSWeb(875x135)..............................................................56
Bảng 2.3: Dãy phân vị của tập MovieLens(565x336).........................................................56
Bảng 2.4: Dãy phân vị của tập DKHP(1.130x57). ..............................................................56
Bảng 2.5: Các hệ tư vấn dùng cho việc xác định giá trị s và c của các mô hình SIR, AR trên
tập MSWeb(875x135) và DKHP(1.130x57)..............................................................59
Bảng 2.6: Giá trị tham số phù hợp của các mô hình SIR, AR trên tập MSWeb(875x135) và
DKHP(1.130x57). ......................................................................................................59
Bảng 2.7: Giá trị tham số phù hợp của mô hình IBCF trên tập MSWeb(875x135) và
DKHP(1.130x57). ......................................................................................................60
Bảng 3.1: Thông tin chung về tập dữ liệu mẫu MovieLens(943x1.144).............................85
Bảng 4.1: Thông tin chung về các tập dữ liệu mẫu được trích xuất từ MSWeb................118
Bảng 4.2: Các giá trị tham số phù hợp trên những tập dữ liệu mẫu của MSWeb. ...........119
Bảng 4.3: Bảng tổng hợp đặc điểm của các mô hình tư vấn đề xuất.................................136
13. ix
DANH MỤC HÌNH
Hình 0.1: Mối quan hệ giữa các chương của luận án ............................................................5
Hình 1.1: Biểu diễn của mối quan hệ a b theo phân tích hàm ý thống kê. .......................9
Hình 1.2: Mô hình biểu diễn phương pháp phân tích hàm ý thống kê. ...............................10
Hình 1.3: Dữ liệu đầu vào và đầu ra của hệ tư vấn..............................................................19
Hình 1.4: Phân loại hệ tư vấn theo đối tượng chính cung cấp thông tin..............................21
Hình 1.5: Các hướng nghiên cứu về hệ tư vấn. ...................................................................26
Hình 1.6: Sơ đồ đánh giá hiệu quả tư vấn (tính chính xác của kết quả tư vấn)...................34
Hình 1.7: Mối liên kết giữa những định hướng của luận án và các hướng nghiên cứu về hệ
tư vấn..........................................................................................................................42
Hình 1.8: Mối liên kết giữa kỹ thuật lọc cộng tác, các mức độ quan trọng hàm ý thống kê
và đề xuất nghiên cứu của luận án..............................................................................42
Hình 2.1: Mô hình tư vấn theo mức độ quan trọng hàm ý thống kê trên luật SIR. ............46
Hình 2.2: Minh họa của mô hình tư vấn theo mức độ quan trọng hàm ý thống kê trên luật
SIR..............................................................................................................................47
Hình 2.3: Mô hình tư vấn theo mức độ quan trọng hàm ý thống kê trên luật SIR được cải
tiến..............................................................................................................................48
Hình 2.4: Hoạt động của mô hình tư vấn theo mức độ quan trọng hàm ý thống kê trên luật
SIR..............................................................................................................................49
Hình 2.5: Hoạt động của mô hình tư vấn theo mức độ quan trọng hàm ý thống kê trên luật
SIR được cải tiến........................................................................................................54
Hình 2.6: Tỷ lệ thời gian xây dựng mô hình của SIR sau và trước khi cải tiến trên tập
MSWeb(875x135) với times=2..................................................................................61
Hình 2.7: Tỷ lệ thời gian xây dựng mô hình của SIR sau và trước khi cải tiến trên tập
DKHP(1.130x57) với times=2. ..................................................................................61
Hình 2.8: Đường cong ROC và đường cong Precision - Recall của bốn hệ tư vấn trên tập
MSWeb(875x135) khi times=2, given=2...................................................................63
Hình 2.9: Đường cong ROC và đường cong Precision - Recall của bốn hệ tư vấn trên tập
MSWeb(875x135) khi times=2, given=6...................................................................63
14. x
Hình 2.10: Giá trị F1 của bốn hệ tư vấn trên tập MSWeb(875x135) khi times=2. ............64
Hình 2.11: Đường cong ROC của bốn hệ tư vấn trên tập DKHP(1.130x57) khi times=2 và
given=1, 3, 5...............................................................................................................65
Hình 2.12: Đường cong Precision - Recall của bốn hệ tư vấn trên tập DKHP(1.130x57) khi
times=4, given=2, 4....................................................................................................65
Hình 2.13: Đường cong Precision - Recall và đường cong ROC của bốn hệ tư vấn trên tập
MSWeb(875x135) khi times=6, given=7...................................................................67
Hình 2.14: Đường cong Precision - Recall của bốn hệ tư vấn trên tập MSWeb(875x135) khi
(times, given) là (4, 3) và (2, 2)..................................................................................68
Hình 2.15: Đường cong Precision - Recall và đường cong ROC của bốn hệ tư vấn trên tập
MSWeb(875x135) khi times=2, given=1...................................................................68
Hình 2.16: Đường cong Precision - Recall của bốn hệ tư vấn trên tập MovieLens(565x336)
khi (times, given) là (2, 1) và (1, 6)............................................................................70
Hình 2.17: Đường cong Precision - Recall của bốn hệ tư vấn trên tập MovieLens(565x336)
khi (times, given) là (5, 12) và (3, 17)........................................................................71
Hình 2.18: Đường cong ROC của bốn hệ tư vấn trên tập MovieLens(565x336) khi (times,
given) là (2, 2) và (4, 17)............................................................................................71
Hình 2.19: Sự chênh lệch giá trị Accuracy của ba hệ tư vấn trên tập MovieLens(565x336)
khi times=2.................................................................................................................72
Hình 2.20: Sự chênh lệch giá trị F1 của ba hệ tư vấn trên tập MovieLens(565x336) khi
times=2.......................................................................................................................72
Hình 2.21: Đường cong ROC và Precision - Recall của hai hệ tư vấn trên tập
MovieLens(565x336) khi times=3 và given=6. .........................................................74
Hình 2.22: Sự chênh lệch giá trị F1 của hai hệ tư vấn trên tập MovieLens(565x336) khi
times=1.......................................................................................................................74
Hình 3.1: Mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê trên người dùng
UIR. ............................................................................................................................80
Hình 3.2: Minh họa của mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê
trên người dùng UIR. .................................................................................................81
Hình 3.3: Hoạt động của mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê
trên người dùng UIR. .................................................................................................82
15. xi
Hình 3.4: Đường cong ROC của năm hệ tư vấn trên tập MSWeb(875x135) khi (times, given,
knn) là (4, 4, 50) và (4, 6, 60).....................................................................................88
Hình 3.5: Đường cong Precision - Recall và ROC của năm hệ tư vấn trên tập
MSWeb(875x135) với times=6, given=3, knn=30. ...................................................88
Hình 3.6: Biểu đồ chênh lệch giá trị F1 của hai hệ tư vấn trên tập MSWeb(875x135) khi
times=6 và knn=80.....................................................................................................89
Hình 3.7: Sự chênh lệch giá trị F1của hai hệ tư vấn trên tập MSWeb(875x135) khi given=5.
....................................................................................................................................90
Hình 3.8: Thời gian tư vấn trên tập MSWeb(875x135) khi times=3...................................90
Hình 3.9: Sự chênh lệch giá trị F1, Accuracy của hai hệ tư vấn trên tập DKHP(1.130x57)
khi times=3 và given=2..............................................................................................91
Hình 3.10: Sự chênh lệch giá trị Accuracy của hai hệ tư vấn trên tập DKHP(1.130x57) khi
times=2 và given=3, 4. ...............................................................................................91
Hình 3.11: Thời gian tư vấn trên tập DKHP(1.130x57) khi times=3..................................92
Hình 3.12: Đường cong ROC của hai hệ tư vấn trên tập DKHP(1.130x57) khi (times, knn)
là (5, 40) và given=1, 2, 3...........................................................................................93
Hình 3.13: Sự chênh lệch giá trị F1 của hai hệ tư vấn trên tập MSWeb(875x135) khi given=1
và knn=50 tương ứng. ................................................................................................94
Hình 3.14: Sự chênh lệch giá trị F1 của hai hệ tư vấn trên tập MSWeb(875x135) khi knn=50,
30................................................................................................................................94
Hình 3.15: Giá trị MAE của ba hệ tư vấn trên tập MovieLens(943x1.144) khi (times, knn)
là (2, 30) và (2, 50).....................................................................................................96
Hình 3.16: Giá trị MSE của ba hệ tư vấn trên tập MovieLens(943x1.144) khi (times, knn)
là (2, 40) và (2, 60).....................................................................................................96
Hình 3.17: Giá trị MAE của ba hệ tư vấn trên tập MovieLens(943x1.144) khi times=2 và
knn=10, 30, 50, 60, 80................................................................................................97
Hình 3.18: Giá trị RMSE của ba hệ tư vấn trên tập MovieLens(943x1.144) khi times=3. 98
Hình 3.19: Giá trị MAE của ba hệ tư vấn trên tập MovieLens(943x1.144) khi times=2...99
Hình 3.20: Giá trị nDCG của ba hệ tư vấn trên tập MSWeb(875x135) khi times=10. ....100
Hình 3.21: Sự chênh lệch giá trị nDCG của UIRTypicality RS và UBCFJaccard RS trên tập
MSWeb(875x135) khi times=10..............................................................................101
16. xii
Hình 3.22: Giá trị nDCG của bốn hệ tư vấn trên tập MovieLens(943x1.144) khi times=5.
..................................................................................................................................102
Hình 3.23: Sự chênh lệch giá trị nDCG của UIRTypicality RS và UBCFCosine RS trên tập
MovieLens(943x1.144) khi times=5........................................................................102
Hình 4.1: Mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê trên mục IIR.
..................................................................................................................................107
Hình 4.2: Minh họa của mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê
trên mục IIR..............................................................................................................108
Hình 4.3: Hoạt động của mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê
trên mục IIR..............................................................................................................109
Hình 4.4: Tỷ lệ thời gian xây dựng ma trận mục trực tiếp và gián tiếp trên tập
MSWeb(875x135) khi times=2................................................................................112
Hình 4.5: Tỷ lệ thời gian xây dựng ma trận mục trực tiếp và gián tiếp trên tập
DKHP(1.130x57) khi times=2. ................................................................................113
Hình 4.6: Đường cong ROC của bốn hệ tư vấn trên tập MSWeb(875x135) khi times=4 và
given=(2, 3, 4). .........................................................................................................114
Hình 4.7: Đường cong ROC của bốn hệ tư vấn trên tập DKHP(1.130x57) khi times=2 và
given=(2, 3, 4). .........................................................................................................115
Hình 4.8: Đường cong Precision - Recall và ROC của bốn hệ tư vấn trên tập
MSWeb(875x135) khi (times, given)=(2, 3)............................................................116
Hình 4.9: Đường cong ROC của bốn hệ tư vấn trên tập MSWeb(875x135) khi (times, given)
là (2, 2) và (2, 1).......................................................................................................117
Hình 4.10: Giá trị F1 của bốn hệ tư vấn trên ba tập dữ liệu mẫu của MSWeb khi given=4.
..................................................................................................................................119
Hình 4.11: Giá trị F1 của từng hệ tư vấn trên tập MSWeb(875x135) và MSWeb(432x145)
khi recs=3. ................................................................................................................120
Hình 4.12: Giá trị F1 của từng hệ tư vấn trên tập MSWeb(2.767x159)............................121
Hình 4.13: Giá trị RMSE của IIRIIntens. RS trên tập MovieLens(565x336) khi times=6.
..................................................................................................................................122
Hình 4.14: Giá trị MAE của IIRIIntens. RS trên tập MovieLens(943x1.144) khi times=6.
..................................................................................................................................123
17. xiii
Hình 4.15: Sự chênh lệch giá trị RMSE của từng hệ tư vấn với IIRIIntens. RS trên tập
MovieLens(565x336) khi times=3...........................................................................124
Hình 4.16: Sự chênh lệch giá trị MAE của từng hệ tư vấn với IIRIIntens. RS trên tập
MovieLens(565x336) khi times=3...........................................................................124
Hình 4.17: Sự chênh lệch giá trị RMSE của từng hệ tư vấn với IIRIIntens. RS trên tập
MovieLens(943x1.144) khi times=4........................................................................125
Hình 4.18: Sự chênh lệch giá trị MAE của từng hệ tư vấn với IIRIIntens. RS trên tập
MovieLens(943x1.144) khi times=2........................................................................125
Hình 4.19: Sự chênh lệch giá trị RMSE của từng hệ tư vấn với IBCFPearson RS trên tập
MovieLens(565x336) khi times=10.........................................................................127
Hình 4.20: Sự chênh lệch giá trị MAE của từng hệ tư vấn với IBCFPearson RS trên tập
MovieLens(565x336) khi times=10.........................................................................127
Hình 4.21: Giá trị nDCG của ba hệ tư vấn trên tập MSWeb(875x135) khi times=30. ....129
Hình 4.22: Giá trị nDCG của ba hệ tư vấn trên tập MSWeb(2.767x159) khi times=4. ...129
Hình 4.23: Thời gian tư vấn của ba hệ thống trên tập MSWeb(875x135) khi times=4 và
DKHP(1.130x57) khi times=16. ..............................................................................130
Hình 4.24: Tỷ lệ thời gian tư vấn của UIR RS và IIR RS trên tập MovieLens(943x1.144)
khi times=2...............................................................................................................131
Hình 4.25: Sự chênh lệch giá trị F1 của IIR RS và SIR RS trên tập MSWeb(875x135) khi
times=4.....................................................................................................................132
Hình 4.26: Sự chênh lệch giá trị F1 của UIR RS với IIR RS và SIR RS trên tập
MSWeb(875x135) khi times=4................................................................................133
Hình 4.27: Sự chênh lệch giá trị nDCG của UIR RS và IIR RS trên tập MSWeb(875x135)
khi times=2...............................................................................................................134
Hình 4.28: Sự chênh lệch giá trị nDCG của UIR RS và IIR RS1 trên tập MovieLens(565x336)
khi times=2...............................................................................................................135
Hình 4.29: Sự chênh lệch giá trị nDCG của UIR RS và IIR RS2 trên tập MovieLens(565x336)
khi times=2...............................................................................................................135
18. 1
0. MỞ ĐẦU
1. Tính cấp thiết của luận án
Sự phát triển của công nghệ web, internet và thiết bị điện tử làm cho các dịch
vụ thương mại điện tử, dịch vụ giải trí, v.v ngày càng phong phú cũng như các thông
tin thu thập được ngày càng nhiều và đa dạng. Người dùng có thể bị quá tải thông tin
nên có thể đưa ra quyết định không đúng khi sử dụng những dịch vụ này. Vì vậy, để
đáp ứng nhu cầu tư vấn của người dùng và nhu cầu hỗ trợ kinh doanh của các nhà
cung cấp, hệ tư vấn được xem là một trong các giải pháp hiệu quả cho bài toán bùng
nổ thông tin. Hệ tư vấn (recommendation systems hoặc recommender system) [5] là
kỹ thuật hay công cụ phần mềm được nhúng trong các ứng dụng hoặc trang web giúp
làm giảm tình trạng quá tải thông tin bằng cách tự động truy tìm thông tin và dịch vụ
có liên quan nhất từ một lượng lớn dữ liệu để dự đoán các giá trị xếp hạng/đánh giá
(rating) của người dùng cho một mục dữ liệu (sản phẩm, dịch vụ, v.v) cụ thể và/hoặc
gợi ý các mục có xếp hạng dự đoán cao nhất cho người đó. Trải qua hơn hai mươi
năm phát triển, hệ tư vấn được ứng dụng vào nhiều mặt của cuộc sống như: Thương
mại điện tử, du lịch điện tử, học tập điện tử, dịch vụ điện tử, v.v [30]. Các hệ tư vấn
có thể được phân loại theo kỹ thuật tư vấn [5][10][30], tính chất của dữ liệu [27], lĩnh
vực ứng dụng [30], hoặc đối tượng chính cung cấp thông tin. Hệ tư vấn được xây
dựng theo một trong những kỹ thuật như: Dựa trên nội dung, lọc cộng tác, dựa trên
tri thức, lai ghép [5][10][30]. Trong đó, lọc cộng tác [1][13][15][34] là kỹ thuật quan
trọng và được sử dụng phổ biến nhất. Kỹ thuật này đưa ra các gợi ý cho người dùng
dựa trên những mối quan hệ giữa các mục dữ liệu hay giữa những người dùng. Các
nghiên cứu về hệ tư vấn là khá đa dạng nhưng có thể được nhóm thành các hướng
sau: (1) nghiên cứu về dữ liệu dùng trong hệ tư vấn; (2) đề xuất và cải tiến các phương
pháp tư vấn; (3) đánh giá hệ tư vấn. Mặc dù đã đạt được nhiều thành công song tất cả
những hướng nghiên cứu này vẫn đang được tiếp tục phát triển để đáp ứng sự đa dạng
về lĩnh vực ứng dụng, sự khác nhau trong nhu cầu người dùng và sự phát triển của
công nghệ. Đặc biệt, hướng đề xuất và cải tiến các phương pháp tư vấn giữ vai trò
chủ đạo.
19. 2
Phân tích hàm ý thống kê (Statistical Implicative Analysis - SIA) [61][62] là
phương pháp phân tích dữ liệu được khởi đầu bởi Gras nhằm nghiên cứu các khuynh
hướng giữa các thuộc tính (biến) dữ liệu. Phương pháp này xem mối quan hệ giữa
các thuộc tính là không đối xứng mà theo đó, giá trị hàm ý thống kê của mối quan hệ
giữa các thuộc tính a với các thuộc tính b (𝑎 → 𝑏) và của mối quan hệ giữa b với a
(𝑏 → 𝑎) là khác nhau nên phù hợp với mối quan hệ trong thực tế. Trong phân tích
hàm ý thống kê, mối quan hệ 𝑎 → 𝑏 được biểu diễn bằng bộ bốn giá trị 𝑛, 𝑛 , 𝑛 và
𝑛 ; việc phát hiện khuynh hướng dữ liệu được dựa trên giá trị của mối quan hệ theo
các mức độ quan trọng hàm ý thống kê như cường độ hàm ý, chỉ số gắn kết. Phương
pháp này quan tâm nhiều đến số phản ví dụ 𝑛 trong mối quan hệ mà theo đó, mối
quan hệ được quan sát thống kê chấp nhận càng ít số phản ví dụ thì nó càng có hàm
ý. Hiện nay, việc liên kết phương pháp phân tích hàm ý thống kê vào những lĩnh vực
nghiên cứu khác đang là một trong các chủ đề được quan tâm nhất. Độ đo luôn là một
thành phần quan trọng trong các hệ tư vấn vì nó được sử dụng vào việc tìm ra sự
tương tự giữa những người dùng hay sự tương tự giữa các mục hay các mối quan hệ
tin cậy mạnh giữa các mục, v.v. để từ đó xây dựng danh sách gợi ý. Do đó, các mức
độ quan trọng của phân tích hàm ý thống kê có thể được xem xét cho việc phát triển
hệ tư vấn.
Các nghiên cứu liên kết phân tích hàm ý thống kê vào hệ tư vấn còn khá ít.
Những nghiên cứu [55][60] sử dụng luật kết hợp và một số mức độ quan trọng hàm
ý thống kê để xây dựng hệ tư vấn. Nhìn chung, các nghiên cứu vẫn còn một số vấn
đề chưa giải quyết: (1) chỉ mới tập trung xây dựng mô hình tư vấn trên dữ liệu nhị
phân và chưa quan tâm đến dữ liệu phi nhị phân, đánh giá hiệu quả tư vấn của mô
hình theo tính chính xác của gợi ý; (2) đều sử dụng luật kết hợp để thực hiện tư vấn
nên thời gian tư vấn trực tuyến có thể lâu và máy tính có thể bị quá tải trong quá trình
xử lý; (3) thiếu kết hợp đặc trưng của một số mức độ quan trọng hàm ý thống kê để
nâng cao hiệu quả gợi ý.
Vì vậy, đề tài “Hệ tư vấn dựa trên mức độ quan trọng hàm ý thống kê” được
thực hiện trong khuôn khổ luận án tiến sĩ chuyên ngành khoa học máy tính với mong
muốn được đóng góp một phần vào lĩnh vực nghiên cứu hệ tư vấn và phân tích hàm
ý thống kê.
20. 3
2. Mục tiêu, đối tượng và phạm vi nghiên cứu của luận án
2.1. Mục tiêu nghiên cứu
Luận án tìm hiểu, vận dụng các mức độ quan trọng hàm ý thống kê và kỹ thuật
tư vấn lọc cộng tác để đề xuất và hiệu chỉnh các mô hình tư vấn nhằm cải tiến hiệu
quả (mà cụ thể là độ chính xác) của mô hình; qua đó, góp phần liên kết lý thuyết phân
tích hàm ý thống kê vào lĩnh vực hệ tư vấn.
2.2. Đối tượng nghiên cứu
Luận án tập trung vào các đối tượng nghiên cứu sau:
- Các mức độ quan trọng hàm ý thống kê.
- Các mô hình tư vấn theo các mức độ quan trọng hàm ý thống kê sử dụng kỹ
thuật lọc cộng tác.
2.3. Phạm vi nghiên cứu
Luận án được giới hạn trong phạm vi sau: Tìm hiểu các mức độ quan trọng hàm
ý thống kê, kỹ thuật tư vấn lọc cộng tác, các nghiên cứu hiện có về hệ tư vấn dựa trên
phân tích hàm ý thống kê để:
- Đề xuất và mở rộng mô hình tư vấn theo mức độ quan trọng hàm ý thống kê
trên luật kết hợp.
- Đề xuất một mức độ quan trọng mới ở góc độ người dùng (gọi là xếp hạng
hàm ý thống kê trên người dùng) và mô hình tư vấn theo mức độ mới này.
- Đề xuất một mức độ quan trọng mới ở góc độ mục dữ liệu (gọi là xếp hạng
hàm ý thống kê trên mục) và mô hình tư vấn theo mức độ mới này.
Tất cả các mô hình đề xuất đều có thể áp dụng cho cả dữ liệu nhị phân và phi
nhị phân.
3. Các đóng góp của luận án
Luận án có những đóng góp sau:
- Các mức độ quan trọng hàm ý thống kê mới trên cả dữ liệu nhị phân và phi
nhị phân gồm: Xếp hạng hàm ý thống kê trên người dùng 𝐾𝑛𝑛𝑈𝐼𝑅 (K nearest
neighbors/users based implicative rating) và xếp hạng hàm ý thống kê trên mục dữ
liệu 𝐾𝑛𝑛𝐼𝐼𝑅 (K nearest neighbors/items based implicative rating). Hai mức độ quan
trọng này được dùng để dự đoán xếp hạng của một người dùng cho một mục dữ liệu.
- Các mô hình tư vấn mới có thể áp dụng trên dữ liệu nhị phân và phi nhị phân.
21. ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA
PHAN PHƯƠNG LAN
HỆ TƯ VẤN DỰA TRÊN
MỨC ĐỘ QUAN TRỌNG HÀM Ý THỐNG KÊ
LUẬN ÁN TIẾN SĨ KỸ THUẬT
Đà Nẵng - Năm 2019
22. ii
ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA
PHAN PHƯƠNG LAN
HỆ TƯ VẤN DỰA TRÊN
MỨC ĐỘ QUAN TRỌNG HÀM Ý THỐNG KÊ
Chuyên ngành: Khoa học máy tính
Mã số: 9480101
LUẬN ÁN TIẾN SĨ KỸ THUẬT
Người hướng dẫn khoa học:
1. PGS. TS. Huỳnh Xuân Hiệp
2. TS. Huỳnh Hữu Hưng
Đà Nẵng - Năm 2019
23. LỜI CAM ĐOAN
Tôi xin cam đoan đây là công trình nghiên cứu do tôi thực hiện, dưới sự hướng
dẫn của PGS.TS. Huỳnh Xuân Hiệp và TS. Huỳnh Hữu Hưng.
Tôi cam đoan các kết quả nghiên cứu được trình bày trong luận án là trung
thực và không sao chép từ bất kỳ công trình nghiên cứu nào khác. Một số kết quả
nghiên cứu là thành quả tập thể và đã được các đồng tác giả đồng ý cho sử dụng trong
luận án. Mọi trích dẫn trong luận án đều có ghi nguồn gốc xuất xứ rõ ràng và đầy đủ.
Tác giả
NCS. Phan Phương Lan
24. LỜI CẢM ƠN
Trước tiên, tôi xin bày tỏ lòng biết ơn sâu sắc và gửi lời tri ân đến PGS. TS.
Huỳnh Xuân Hiệp và TS. Huỳnh Hữu Hưng đã tận tình hướng dẫn, truyền đạt kiến
thức và kinh nghiệm nghiên cứu khoa học cho tôi trong suốt quá trình học tập, nghiên
cứu và hoàn thành luận án.
Tôi xin chân thành cảm ơn Phòng Đào tạo và Khoa Công nghệ thông tin -
Trường Đại học Bách khoa đã luôn tạo điều kiện thuận lợi cho tôi trong thời gian làm
nghiên cứu sinh tại đây. Xin cảm ơn Ban Lãnh đạo trường Đại học Cần Thơ, Khoa
Công nghệ thông tin và Truyền thông, Bộ môn Công nghệ phần mềm đã luôn hỗ trợ
và tạo điều kiện tốt nhất để tôi có thể tập trung nghiên cứu.
Tôi xin được bày tỏ lòng biết ơn chân thành đến GS. TS. Régis Gras đã cung
cấp cho tôi nhiều tài liệu về lý thuyết phân tích hàm ý thống kê và có những góp ý
sâu sắc cho nghiên cứu của tôi. Xin chân thành cảm ơn các nhà khoa học đã dành thời
gian và công sức đọc và đưa ra các góp ý quý báu để luận án được hoàn chỉnh hơn.
Cuối cùng, tôi xin được gửi lời cảm ơn sâu sắc đến gia đình và bạn thân
- những người luôn bên cạnh, giúp đỡ và động viên tôi trong suốt thời gian học tập,
nghiên cứu và hoàn thành luận án.
Đà Nẵng, ngày 09 tháng 11 năm 2019
NCS. Phan Phương Lan
25. i
MỤC LỤC
1.
MỤC LỤC..................................................................................................................I
DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT ................................................ VI
DANH MỤC BẢNG............................................................................................VIII
DANH MỤC HÌNH................................................................................................ IX
MỞ ĐẦU ....................................................................................................................1
CHƯƠNG 1. TỔNG QUAN.....................................................................................7
1.1. Mức độ quan trọng hàm ý thống kê............................................................................7
1.1.1. Định nghĩa mức độ quan trọng hàm ý thống kê ......................................................7
1.1.2. Mức độ quan trọng hàm ý thống kê cho dữ liệu nhị phân.......................................8
1.1.2.1. Mối quan hệ hàm ý thống kê trên dữ liệu nhị phân..........................................8
1.1.2.2. Chỉ số hàm ý và cường độ hàm ý ...................................................................10
1.1.2.3. Cường độ hàm ý có entropy ...........................................................................12
1.1.2.4. Chỉ số gắn kết .................................................................................................13
1.1.2.5. Chỉ số đóng góp..............................................................................................13
1.1.2.6. Chỉ số tiêu biểu...............................................................................................14
1.1.3. Mức độ quan trọng hàm ý thống kê cho dữ liệu phi nhị phân...............................14
1.1.3.1. Mối quan hệ hàm ý thống kê trên dữ liệu phi nhị phân..................................15
1.1.3.2. Mức độ quan trọng hàm ý thống kê cho dữ liệu phi nhị phân........................15
1.2. Mức độ quan trọng xếp hạng hàm ý thống kê .........................................................17
1.3. Hệ tư vấn và các hướng nghiên cứu..........................................................................18
1.3.1. Hệ tư vấn................................................................................................................18
1.3.2. Phân loại hệ tư vấn ................................................................................................21
1.3.2.1. Hệ tư vấn thuộc nhóm cá thể..........................................................................22
1.3.2.2. Hệ tư vấn thuộc nhóm cộng tác/cộng đồng....................................................22
1.3.2.3. Hệ tư vấn thuộc nhóm chuyên gia..................................................................23
1.3.2.4. Hệ tư vấn thuộc nhóm lai ghép.......................................................................24
26. ii
1.3.2.5. Hệ tư vấn thuộc nhóm theo ngữ cảnh.............................................................25
1.3.3. Các hướng nghiên cứu về hệ tư vấn ......................................................................26
1.3.3.1. Nghiên cứu về dữ liệu ....................................................................................26
1.3.3.2. Nghiên cứu đề xuất và cải tiến các phương pháp tư vấn................................27
1.3.3.3. Nghiên cứu đánh giá hệ tư vấn.......................................................................29
1.4. Kỹ thuật tư vấn lọc cộng tác ......................................................................................29
1.4.1. Kỹ thuật lọc cộng tác dựa trên bộ nhớ (láng giềng) ..............................................29
1.4.2. Kỹ thuật lọc cộng tác dựa trên mô hình.................................................................30
1.4.2.1. Tư vấn lọc cộng tác dựa trên luật kết hợp ......................................................30
1.4.2.2. Mô hình nhân tố tiềm ẩn.................................................................................31
1.5. Đánh giá hiệu quả tư vấn ...........................................................................................32
1.5.1. Phương pháp đánh giá chéo k tập con...................................................................35
1.5.2. Tính chính xác của gợi ý .......................................................................................36
1.5.3. Tính chính xác của xếp hạng được dự đoán ..........................................................37
1.5.4. Tính chính xác của gợi ý được sắp thứ tự..............................................................38
1.6. Phương pháp tư vấn theo mức độ quan trọng hàm ý thống kê..............................39
1.6.1. Tư vấn dựa trên phân tích hàm ý thống kê hiện có ...............................................40
1.6.2. Tư vấn dựa trên mức độ quan trọng hàm ý thống kê.............................................41
1.7. Kết luận chương 1.......................................................................................................43
CHƯƠNG 2. TƯ VẤN THEO MỨC ĐỘ QUAN TRỌNG HÀM Ý THỐNG KÊ
TRÊN LUẬT KẾT HỢP ........................................................................................44
2.1. Mô hình tư vấn theo mức độ quan trọng hàm ý thống kê trên luật SIR...............44
2.1.1. Mô hình tư vấn SIR ...............................................................................................44
2.1.2. Mô hình tư vấn SIR được cải tiến..........................................................................48
2.2. Hoạt động của mô hình tư vấn theo mức độ quan trọng hàm ý thống kê trên luật .
......................................................................................................................................49
2.2.1. Hoạt động của mô hình tư vấn SIR .......................................................................49
2.2.2. Hoạt động của mô hình tư vấn SIR được cải tiến..................................................53
2.3. Đánh giá hiệu quả tư vấn của mô hình SIR .............................................................54
2.3.1. Dữ liệu thực nghiệm của mô hình SIR ..................................................................54
2.3.2. Công cụ thực nghiệm của mô hình SIR.................................................................56
27. iii
2.3.3. Hiệu quả tư vấn của mô hình SIR trên dữ liệu nhị phân .......................................57
2.3.3.1. Các giá trị tham số phù hợp............................................................................58
2.3.3.2. Thời gian xây dựng mô hình tư vấn trước và sau cải tiến..............................60
2.3.3.3. Tính chính xác của gợi ý qua so sánh nội trên dữ liệu nhị phân ....................62
2.3.3.4. Tính chính xác của gợi ý qua so sánh ngoại trên dữ liệu nhị phân.................66
2.3.3.5. Mô hình tư vấn SIR trong gợi ý đăng ký học phần ........................................69
2.3.4. Hiệu quả tư vấn của mô hình SIR trên dữ liệu phi nhị phân .................................69
2.3.4.1. Tính chính xác của gợi ý qua so sánh nội trên dữ liệu phi nhị phân ..............70
2.3.4.2. Tính chính xác của gợi ý qua so sánh ngoại trên dữ liệu phi nhị phân ..........73
2.4. Kết luận chương 2.......................................................................................................75
CHƯƠNG 3. TƯ VẤN THEO MỨC ĐỘ QUAN TRỌNG XẾP HẠNG HÀM Ý
THỐNG KÊ TRÊN NGƯỜI DÙNG .....................................................................77
3.1. Định nghĩa mức độ quan trọng xếp hạng hàm ý thống kê trên người dùng.........78
3.2. Mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê trên người
dùng UIR ............................................................................................................................79
3.3. Hoạt động của mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê
trên người dùng..................................................................................................................81
3.4. Đánh giá hiệu quả tư vấn của mô hình UIR.............................................................85
3.4.1. Dữ liệu thực nghiệm của mô hình UIR .................................................................85
3.4.2. Công cụ thực nghiệm của mô hình UIR ................................................................86
3.4.3. Đánh giá mô hình UIR qua tính chính xác của gợi ý ............................................86
3.4.3.1. Tính chính xác của mô hình UIR qua so sánh ngoại......................................87
3.4.3.2. Tính chính xác của mô hình UIR qua so sánh nội..........................................92
3.4.4. Đánh giá mô hình UIR qua tính chính xác của xếp hạng được dự đoán...............95
3.4.4.1. Sai số của mô hình UIR qua so sánh ngoại ....................................................95
3.4.4.2. Sai số của mô hình UIR qua so sánh nội........................................................98
3.4.5. Đánh giá mô hình UIR qua tính chính xác của gợi ý được sắp thứ tự ..................99
3.4.5.1. Độ lợi tích lũy giảm dần của mô hình UIR trên dữ liệu nhị phân................100
3.4.5.2. Độ lợi tích lũy giảm dần của mô hình UIR trên dữ liệu phi nhị phân..........101
3.5. Kết luận chương 3.....................................................................................................103
28. iv
CHƯƠNG 4. TƯ VẤN THEO MỨC ĐỘ QUAN TRỌNG XẾP HẠNG HÀM Ý
THỐNG KÊ TRÊN MỤC ....................................................................................104
4.1. Định nghĩa mức độ quan trọng xếp hạng hàm ý thống kê trên mục dữ liệu ......105
4.2. Mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê trên mục IIR ..
....................................................................................................................................106
4.3. Hoạt động của mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê
trên mục............................................................................................................................109
4.4. Đánh giá hiệu quả tư vấn của mô hình IIR............................................................111
4.4.1. Dữ liệu và công cụ thực nghiệm của mô hình IIR...............................................111
4.4.2. Thời gian xây dựng ma trận mục trực tiếp và gián tiếp.......................................112
4.4.3. Đánh giá mô hình IIR qua tính chính xác của gợi ý............................................113
4.4.3.1. Tính chính xác của mô hình IIR qua so sánh nội .........................................114
4.4.3.2. Tính chính xác của mô hình IIR qua so sánh ngoại......................................116
4.4.3.3. Tính ổn định của mô hình IIR ......................................................................118
4.4.4. Đánh giá mô hình IIR qua tính chính xác của xếp hạng được dự đoán...............121
4.4.4.1. Sai số của mô hình IIR qua so sánh nội........................................................122
4.4.4.2. Sai số của mô hình IIR qua so sánh ngoại....................................................126
4.4.5. Đánh giá mô hình IIR qua tính chính xác của gợi ý được sắp thứ tự..................128
4.5. So sánh hiệu quả tư vấn của các mô hình đề xuất .................................................130
4.5.1. So sánh thời gian tư vấn ......................................................................................130
4.5.2. So sánh tính chính xác của các mô hình..............................................................132
4.5.3. Đánh giá chung về các mô hình đề xuất..............................................................136
4.6. Kết luận chương 4.....................................................................................................138
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN...........................................................139
Kết luận.............................................................................................................................139
Hướng phát triển .............................................................................................................140
DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ....................141
TÀI LIỆU THAM KHẢO ....................................................................................143
PHỤ LỤC...................................................................................................................1
Phụ lục 1: Công cụ Interestingnesslab và tập dữ liệu DKHP..........................................1
29. v
Công cụ Interestingnesslab ................................................................................................1
Tập dữ liệu DKHP .............................................................................................................2
Phụ lục 2: Giải thuật tư vấn theo mức độ quan trọng hàm ý thống kê trên luật kết
hợp ........................................................................................................................................4
Sinh tập luật dựa trên ngưỡng hỗ trợ, ngưỡng tin cậy và độ dài tối đa của một luật.........4
Biểu diễn tập luật theo phân tích hàm ý thống kê..............................................................4
Tính cường độ hàm ý, chỉ số gắn kết của luật....................................................................6
Lọc tập luật theo ngưỡng cường độ hàm ý hoặc chỉ số gắn kết.........................................8
Phụ lục 3: Giải thuật tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê trên
người dùng..........................................................................................................................10
Biểu diễn mối quan hệ giữa hai người dùng theo phân tích hàm ý thống kê...................10
Tính cường độ hàm ý giữa hai người dùng......................................................................11
Tìm các láng giềng gần nhất của người cần được tư vấn.................................................12
Xác định chỉ số tiêu biểu của một mục đối với mối quan hệ hàm ý giữa hai người dùng...
...............................................................................................................................12
Dự đoán xếp hạng của người dùng cho các mục dữ liệu .................................................14
Phụ lục 4: Giải thuật tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê trên
mục dữ liệu .........................................................................................................................15
Xây dựng ma trận mục dữ liệu - gián tiếp........................................................................15
Xây dựng ma trận mục dữ liệu - trực tiếp........................................................................16
Dự đoán xếp hạng của người dùng cho các mục dữ liệu .................................................17
Phụ lục 5: Giải thuật đánh giá hệ tư vấn.........................................................................18
Phụ lục 6: Xác định giá trị tham số phù hợp của mô hình SIR, AR và IBCF .............21
Ngưỡng tin cậy và hỗ trợ trong các mô hình SIR, AR.....................................................21
Độ dài tối đa của một luật trong các mô hình SIR, AR ...................................................22
Số láng giềng gần nhất của mô hình IBCF ......................................................................25
30. vi
DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT
Thuật ngữ Tiếng Anh Viết tắt
Cường độ hàm ý
Implication/Implicative intensity
Propension intensity
Cường độ hàm ý có entropy Entropic version of implicative intensity
Chỉ số gắn kết Cohesion measure
Chỉ số hàm ý
Implication/Implicative index
Propesion index
Chỉ số tiêu biểu Typicality measure
Chỉ số đóng góp Contribution measure
Độ đo hấp dẫn khách quan Objective interestingness measure
Độ lợi tích lũy giảm dần Normalized discounted cumulative gain nDCG
Hệ tư vấn
Recommender/Recommendation
systems
RS
Mô hình tư vấn theo mức độ quan
trọng hàm ý thống kê trên luật
Statistical implicative rules based model SIR
Mô hình tư vấn theo mức độ quan
trọng xếp hạng hàm ý thống kê trên
mục
Item implicative rating based model IIR
Mô hình tư vấn theo mức độ quan
trọng xếp hạng hàm ý thống kê trên
người dùng
User implicative rating based model UIR
Mục/Mục dữ liệu Item
Phân tích hàm ý thống kê Statistical implicative analysis SIA
Phản ví dụ Counter-example
Sai số bình phương trung bình Root of mean squared error RMSE
Sai số tuyệt đối trung bình Mean absolute error MAE
31. vii
Tư vấn dựa trên luật kết hợp Association rule based recommendation
Tư vấn dựa trên nội dung Content-based recommendation
Tư vấn dựa trên tri thức Knowledge-based recommendation
Tư vấn lai ghép Hybrid recommendation
Tư vấn lọc cộng tác dựa trên mục
Item-based collaborative filtering
recommendation
Tư vấn lọc cộng tác dựa trên
người dùng
User-based collaborative filtering
recommendation
Xếp hạng/đánh giá Rating
32. viii
DANH MỤC BẢNG
Bảng 1.1: Các mức độ quan trọng hàm ý thống kê................................................................8
Bảng 1.2: Một ví dụ về dữ liệu đầu vào ở dạng nhị phân của phân tích hàm ý thống kê...10
Bảng 1.3: Một ví dụ về dữ liệu đầu vào ở dạng phi nhị phân của phân tích hàm ý thống kê.
....................................................................................................................................15
Bảng 1.4: Công thức tính của từng mức độ quan trọng hàm ý thống kê.............................16
Bảng 1.5: Các mức độ quan trọng xếp hạng hàm ý thống kê..............................................18
Bảng 1.6: Một ví dụ về phân chia tập dữ liệu đầu vào với k-fold=4...................................35
Bảng 1.7: Ma trận nhầm lẫn.................................................................................................36
Bảng 2.1: Thông tin chung về các tập dữ liệu mẫu dùng trong thực nghiệm......................55
Bảng 2.2: Dãy phân vị của tập MSWeb(875x135)..............................................................56
Bảng 2.3: Dãy phân vị của tập MovieLens(565x336).........................................................56
Bảng 2.4: Dãy phân vị của tập DKHP(1.130x57). ..............................................................56
Bảng 2.5: Các hệ tư vấn dùng cho việc xác định giá trị s và c của các mô hình SIR, AR trên
tập MSWeb(875x135) và DKHP(1.130x57)..............................................................59
Bảng 2.6: Giá trị tham số phù hợp của các mô hình SIR, AR trên tập MSWeb(875x135) và
DKHP(1.130x57). ......................................................................................................59
Bảng 2.7: Giá trị tham số phù hợp của mô hình IBCF trên tập MSWeb(875x135) và
DKHP(1.130x57). ......................................................................................................60
Bảng 3.1: Thông tin chung về tập dữ liệu mẫu MovieLens(943x1.144).............................85
Bảng 4.1: Thông tin chung về các tập dữ liệu mẫu được trích xuất từ MSWeb................118
Bảng 4.2: Các giá trị tham số phù hợp trên những tập dữ liệu mẫu của MSWeb. ...........119
Bảng 4.3: Bảng tổng hợp đặc điểm của các mô hình tư vấn đề xuất.................................136
33. ix
DANH MỤC HÌNH
Hình 0.1: Mối quan hệ giữa các chương của luận án ............................................................5
Hình 1.1: Biểu diễn của mối quan hệ a b theo phân tích hàm ý thống kê. .......................9
Hình 1.2: Mô hình biểu diễn phương pháp phân tích hàm ý thống kê. ...............................10
Hình 1.3: Dữ liệu đầu vào và đầu ra của hệ tư vấn..............................................................19
Hình 1.4: Phân loại hệ tư vấn theo đối tượng chính cung cấp thông tin..............................21
Hình 1.5: Các hướng nghiên cứu về hệ tư vấn. ...................................................................26
Hình 1.6: Sơ đồ đánh giá hiệu quả tư vấn (tính chính xác của kết quả tư vấn)...................34
Hình 1.7: Mối liên kết giữa những định hướng của luận án và các hướng nghiên cứu về hệ
tư vấn..........................................................................................................................42
Hình 1.8: Mối liên kết giữa kỹ thuật lọc cộng tác, các mức độ quan trọng hàm ý thống kê
và đề xuất nghiên cứu của luận án..............................................................................42
Hình 2.1: Mô hình tư vấn theo mức độ quan trọng hàm ý thống kê trên luật SIR. ............46
Hình 2.2: Minh họa của mô hình tư vấn theo mức độ quan trọng hàm ý thống kê trên luật
SIR..............................................................................................................................47
Hình 2.3: Mô hình tư vấn theo mức độ quan trọng hàm ý thống kê trên luật SIR được cải
tiến..............................................................................................................................48
Hình 2.4: Hoạt động của mô hình tư vấn theo mức độ quan trọng hàm ý thống kê trên luật
SIR..............................................................................................................................49
Hình 2.5: Hoạt động của mô hình tư vấn theo mức độ quan trọng hàm ý thống kê trên luật
SIR được cải tiến........................................................................................................54
Hình 2.6: Tỷ lệ thời gian xây dựng mô hình của SIR sau và trước khi cải tiến trên tập
MSWeb(875x135) với times=2..................................................................................61
Hình 2.7: Tỷ lệ thời gian xây dựng mô hình của SIR sau và trước khi cải tiến trên tập
DKHP(1.130x57) với times=2. ..................................................................................61
Hình 2.8: Đường cong ROC và đường cong Precision - Recall của bốn hệ tư vấn trên tập
MSWeb(875x135) khi times=2, given=2...................................................................63
Hình 2.9: Đường cong ROC và đường cong Precision - Recall của bốn hệ tư vấn trên tập
MSWeb(875x135) khi times=2, given=6...................................................................63
34. x
Hình 2.10: Giá trị F1 của bốn hệ tư vấn trên tập MSWeb(875x135) khi times=2. ............64
Hình 2.11: Đường cong ROC của bốn hệ tư vấn trên tập DKHP(1.130x57) khi times=2 và
given=1, 3, 5...............................................................................................................65
Hình 2.12: Đường cong Precision - Recall của bốn hệ tư vấn trên tập DKHP(1.130x57) khi
times=4, given=2, 4....................................................................................................65
Hình 2.13: Đường cong Precision - Recall và đường cong ROC của bốn hệ tư vấn trên tập
MSWeb(875x135) khi times=6, given=7...................................................................67
Hình 2.14: Đường cong Precision - Recall của bốn hệ tư vấn trên tập MSWeb(875x135) khi
(times, given) là (4, 3) và (2, 2)..................................................................................68
Hình 2.15: Đường cong Precision - Recall và đường cong ROC của bốn hệ tư vấn trên tập
MSWeb(875x135) khi times=2, given=1...................................................................68
Hình 2.16: Đường cong Precision - Recall của bốn hệ tư vấn trên tập MovieLens(565x336)
khi (times, given) là (2, 1) và (1, 6)............................................................................70
Hình 2.17: Đường cong Precision - Recall của bốn hệ tư vấn trên tập MovieLens(565x336)
khi (times, given) là (5, 12) và (3, 17)........................................................................71
Hình 2.18: Đường cong ROC của bốn hệ tư vấn trên tập MovieLens(565x336) khi (times,
given) là (2, 2) và (4, 17)............................................................................................71
Hình 2.19: Sự chênh lệch giá trị Accuracy của ba hệ tư vấn trên tập MovieLens(565x336)
khi times=2.................................................................................................................72
Hình 2.20: Sự chênh lệch giá trị F1 của ba hệ tư vấn trên tập MovieLens(565x336) khi
times=2.......................................................................................................................72
Hình 2.21: Đường cong ROC và Precision - Recall của hai hệ tư vấn trên tập
MovieLens(565x336) khi times=3 và given=6. .........................................................74
Hình 2.22: Sự chênh lệch giá trị F1 của hai hệ tư vấn trên tập MovieLens(565x336) khi
times=1.......................................................................................................................74
Hình 3.1: Mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê trên người dùng
UIR. ............................................................................................................................80
Hình 3.2: Minh họa của mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê
trên người dùng UIR. .................................................................................................81
Hình 3.3: Hoạt động của mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê
trên người dùng UIR. .................................................................................................82
35. xi
Hình 3.4: Đường cong ROC của năm hệ tư vấn trên tập MSWeb(875x135) khi (times, given,
knn) là (4, 4, 50) và (4, 6, 60).....................................................................................88
Hình 3.5: Đường cong Precision - Recall và ROC của năm hệ tư vấn trên tập
MSWeb(875x135) với times=6, given=3, knn=30. ...................................................88
Hình 3.6: Biểu đồ chênh lệch giá trị F1 của hai hệ tư vấn trên tập MSWeb(875x135) khi
times=6 và knn=80.....................................................................................................89
Hình 3.7: Sự chênh lệch giá trị F1của hai hệ tư vấn trên tập MSWeb(875x135) khi given=5.
....................................................................................................................................90
Hình 3.8: Thời gian tư vấn trên tập MSWeb(875x135) khi times=3...................................90
Hình 3.9: Sự chênh lệch giá trị F1, Accuracy của hai hệ tư vấn trên tập DKHP(1.130x57)
khi times=3 và given=2..............................................................................................91
Hình 3.10: Sự chênh lệch giá trị Accuracy của hai hệ tư vấn trên tập DKHP(1.130x57) khi
times=2 và given=3, 4. ...............................................................................................91
Hình 3.11: Thời gian tư vấn trên tập DKHP(1.130x57) khi times=3..................................92
Hình 3.12: Đường cong ROC của hai hệ tư vấn trên tập DKHP(1.130x57) khi (times, knn)
là (5, 40) và given=1, 2, 3...........................................................................................93
Hình 3.13: Sự chênh lệch giá trị F1 của hai hệ tư vấn trên tập MSWeb(875x135) khi given=1
và knn=50 tương ứng. ................................................................................................94
Hình 3.14: Sự chênh lệch giá trị F1 của hai hệ tư vấn trên tập MSWeb(875x135) khi knn=50,
30................................................................................................................................94
Hình 3.15: Giá trị MAE của ba hệ tư vấn trên tập MovieLens(943x1.144) khi (times, knn)
là (2, 30) và (2, 50).....................................................................................................96
Hình 3.16: Giá trị MSE của ba hệ tư vấn trên tập MovieLens(943x1.144) khi (times, knn)
là (2, 40) và (2, 60).....................................................................................................96
Hình 3.17: Giá trị MAE của ba hệ tư vấn trên tập MovieLens(943x1.144) khi times=2 và
knn=10, 30, 50, 60, 80................................................................................................97
Hình 3.18: Giá trị RMSE của ba hệ tư vấn trên tập MovieLens(943x1.144) khi times=3. 98
Hình 3.19: Giá trị MAE của ba hệ tư vấn trên tập MovieLens(943x1.144) khi times=2...99
Hình 3.20: Giá trị nDCG của ba hệ tư vấn trên tập MSWeb(875x135) khi times=10. ....100
Hình 3.21: Sự chênh lệch giá trị nDCG của UIRTypicality RS và UBCFJaccard RS trên tập
MSWeb(875x135) khi times=10..............................................................................101
36. xii
Hình 3.22: Giá trị nDCG của bốn hệ tư vấn trên tập MovieLens(943x1.144) khi times=5.
..................................................................................................................................102
Hình 3.23: Sự chênh lệch giá trị nDCG của UIRTypicality RS và UBCFCosine RS trên tập
MovieLens(943x1.144) khi times=5........................................................................102
Hình 4.1: Mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê trên mục IIR.
..................................................................................................................................107
Hình 4.2: Minh họa của mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê
trên mục IIR..............................................................................................................108
Hình 4.3: Hoạt động của mô hình tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê
trên mục IIR..............................................................................................................109
Hình 4.4: Tỷ lệ thời gian xây dựng ma trận mục trực tiếp và gián tiếp trên tập
MSWeb(875x135) khi times=2................................................................................112
Hình 4.5: Tỷ lệ thời gian xây dựng ma trận mục trực tiếp và gián tiếp trên tập
DKHP(1.130x57) khi times=2. ................................................................................113
Hình 4.6: Đường cong ROC của bốn hệ tư vấn trên tập MSWeb(875x135) khi times=4 và
given=(2, 3, 4). .........................................................................................................114
Hình 4.7: Đường cong ROC của bốn hệ tư vấn trên tập DKHP(1.130x57) khi times=2 và
given=(2, 3, 4). .........................................................................................................115
Hình 4.8: Đường cong Precision - Recall và ROC của bốn hệ tư vấn trên tập
MSWeb(875x135) khi (times, given)=(2, 3)............................................................116
Hình 4.9: Đường cong ROC của bốn hệ tư vấn trên tập MSWeb(875x135) khi (times, given)
là (2, 2) và (2, 1).......................................................................................................117
Hình 4.10: Giá trị F1 của bốn hệ tư vấn trên ba tập dữ liệu mẫu của MSWeb khi given=4.
..................................................................................................................................119
Hình 4.11: Giá trị F1 của từng hệ tư vấn trên tập MSWeb(875x135) và MSWeb(432x145)
khi recs=3. ................................................................................................................120
Hình 4.12: Giá trị F1 của từng hệ tư vấn trên tập MSWeb(2.767x159)............................121
Hình 4.13: Giá trị RMSE của IIRIIntens. RS trên tập MovieLens(565x336) khi times=6.
..................................................................................................................................122
Hình 4.14: Giá trị MAE của IIRIIntens. RS trên tập MovieLens(943x1.144) khi times=6.
..................................................................................................................................123
37. xiii
Hình 4.15: Sự chênh lệch giá trị RMSE của từng hệ tư vấn với IIRIIntens. RS trên tập
MovieLens(565x336) khi times=3...........................................................................124
Hình 4.16: Sự chênh lệch giá trị MAE của từng hệ tư vấn với IIRIIntens. RS trên tập
MovieLens(565x336) khi times=3...........................................................................124
Hình 4.17: Sự chênh lệch giá trị RMSE của từng hệ tư vấn với IIRIIntens. RS trên tập
MovieLens(943x1.144) khi times=4........................................................................125
Hình 4.18: Sự chênh lệch giá trị MAE của từng hệ tư vấn với IIRIIntens. RS trên tập
MovieLens(943x1.144) khi times=2........................................................................125
Hình 4.19: Sự chênh lệch giá trị RMSE của từng hệ tư vấn với IBCFPearson RS trên tập
MovieLens(565x336) khi times=10.........................................................................127
Hình 4.20: Sự chênh lệch giá trị MAE của từng hệ tư vấn với IBCFPearson RS trên tập
MovieLens(565x336) khi times=10.........................................................................127
Hình 4.21: Giá trị nDCG của ba hệ tư vấn trên tập MSWeb(875x135) khi times=30. ....129
Hình 4.22: Giá trị nDCG của ba hệ tư vấn trên tập MSWeb(2.767x159) khi times=4. ...129
Hình 4.23: Thời gian tư vấn của ba hệ thống trên tập MSWeb(875x135) khi times=4 và
DKHP(1.130x57) khi times=16. ..............................................................................130
Hình 4.24: Tỷ lệ thời gian tư vấn của UIR RS và IIR RS trên tập MovieLens(943x1.144)
khi times=2...............................................................................................................131
Hình 4.25: Sự chênh lệch giá trị F1 của IIR RS và SIR RS trên tập MSWeb(875x135) khi
times=4.....................................................................................................................132
Hình 4.26: Sự chênh lệch giá trị F1 của UIR RS với IIR RS và SIR RS trên tập
MSWeb(875x135) khi times=4................................................................................133
Hình 4.27: Sự chênh lệch giá trị nDCG của UIR RS và IIR RS trên tập MSWeb(875x135)
khi times=2...............................................................................................................134
Hình 4.28: Sự chênh lệch giá trị nDCG của UIR RS và IIR RS1 trên tập MovieLens(565x336)
khi times=2...............................................................................................................135
Hình 4.29: Sự chênh lệch giá trị nDCG của UIR RS và IIR RS2 trên tập MovieLens(565x336)
khi times=2...............................................................................................................135
38. 1
0. MỞ ĐẦU
1. Tính cấp thiết của luận án
Sự phát triển của công nghệ web, internet và thiết bị điện tử làm cho các dịch
vụ thương mại điện tử, dịch vụ giải trí, v.v ngày càng phong phú cũng như các thông
tin thu thập được ngày càng nhiều và đa dạng. Người dùng có thể bị quá tải thông tin
nên có thể đưa ra quyết định không đúng khi sử dụng những dịch vụ này. Vì vậy, để
đáp ứng nhu cầu tư vấn của người dùng và nhu cầu hỗ trợ kinh doanh của các nhà
cung cấp, hệ tư vấn được xem là một trong các giải pháp hiệu quả cho bài toán bùng
nổ thông tin. Hệ tư vấn (recommendation systems hoặc recommender system) [5] là
kỹ thuật hay công cụ phần mềm được nhúng trong các ứng dụng hoặc trang web giúp
làm giảm tình trạng quá tải thông tin bằng cách tự động truy tìm thông tin và dịch vụ
có liên quan nhất từ một lượng lớn dữ liệu để dự đoán các giá trị xếp hạng/đánh giá
(rating) của người dùng cho một mục dữ liệu (sản phẩm, dịch vụ, v.v) cụ thể và/hoặc
gợi ý các mục có xếp hạng dự đoán cao nhất cho người đó. Trải qua hơn hai mươi
năm phát triển, hệ tư vấn được ứng dụng vào nhiều mặt của cuộc sống như: Thương
mại điện tử, du lịch điện tử, học tập điện tử, dịch vụ điện tử, v.v [30]. Các hệ tư vấn
có thể được phân loại theo kỹ thuật tư vấn [5][10][30], tính chất của dữ liệu [27], lĩnh
vực ứng dụng [30], hoặc đối tượng chính cung cấp thông tin. Hệ tư vấn được xây
dựng theo một trong những kỹ thuật như: Dựa trên nội dung, lọc cộng tác, dựa trên
tri thức, lai ghép [5][10][30]. Trong đó, lọc cộng tác [1][13][15][34] là kỹ thuật quan
trọng và được sử dụng phổ biến nhất. Kỹ thuật này đưa ra các gợi ý cho người dùng
dựa trên những mối quan hệ giữa các mục dữ liệu hay giữa những người dùng. Các
nghiên cứu về hệ tư vấn là khá đa dạng nhưng có thể được nhóm thành các hướng
sau: (1) nghiên cứu về dữ liệu dùng trong hệ tư vấn; (2) đề xuất và cải tiến các phương
pháp tư vấn; (3) đánh giá hệ tư vấn. Mặc dù đã đạt được nhiều thành công song tất cả
những hướng nghiên cứu này vẫn đang được tiếp tục phát triển để đáp ứng sự đa dạng
về lĩnh vực ứng dụng, sự khác nhau trong nhu cầu người dùng và sự phát triển của
công nghệ. Đặc biệt, hướng đề xuất và cải tiến các phương pháp tư vấn giữ vai trò
chủ đạo.
39. 2
Phân tích hàm ý thống kê (Statistical Implicative Analysis - SIA) [61][62] là
phương pháp phân tích dữ liệu được khởi đầu bởi Gras nhằm nghiên cứu các khuynh
hướng giữa các thuộc tính (biến) dữ liệu. Phương pháp này xem mối quan hệ giữa
các thuộc tính là không đối xứng mà theo đó, giá trị hàm ý thống kê của mối quan hệ
giữa các thuộc tính a với các thuộc tính b (𝑎 → 𝑏) và của mối quan hệ giữa b với a
(𝑏 → 𝑎) là khác nhau nên phù hợp với mối quan hệ trong thực tế. Trong phân tích
hàm ý thống kê, mối quan hệ 𝑎 → 𝑏 được biểu diễn bằng bộ bốn giá trị 𝑛, 𝑛 , 𝑛 và
𝑛 ; việc phát hiện khuynh hướng dữ liệu được dựa trên giá trị của mối quan hệ theo
các mức độ quan trọng hàm ý thống kê như cường độ hàm ý, chỉ số gắn kết. Phương
pháp này quan tâm nhiều đến số phản ví dụ 𝑛 trong mối quan hệ mà theo đó, mối
quan hệ được quan sát thống kê chấp nhận càng ít số phản ví dụ thì nó càng có hàm
ý. Hiện nay, việc liên kết phương pháp phân tích hàm ý thống kê vào những lĩnh vực
nghiên cứu khác đang là một trong các chủ đề được quan tâm nhất. Độ đo luôn là một
thành phần quan trọng trong các hệ tư vấn vì nó được sử dụng vào việc tìm ra sự
tương tự giữa những người dùng hay sự tương tự giữa các mục hay các mối quan hệ
tin cậy mạnh giữa các mục, v.v. để từ đó xây dựng danh sách gợi ý. Do đó, các mức
độ quan trọng của phân tích hàm ý thống kê có thể được xem xét cho việc phát triển
hệ tư vấn.
Các nghiên cứu liên kết phân tích hàm ý thống kê vào hệ tư vấn còn khá ít.
Những nghiên cứu [55][60] sử dụng luật kết hợp và một số mức độ quan trọng hàm
ý thống kê để xây dựng hệ tư vấn. Nhìn chung, các nghiên cứu vẫn còn một số vấn
đề chưa giải quyết: (1) chỉ mới tập trung xây dựng mô hình tư vấn trên dữ liệu nhị
phân và chưa quan tâm đến dữ liệu phi nhị phân, đánh giá hiệu quả tư vấn của mô
hình theo tính chính xác của gợi ý; (2) đều sử dụng luật kết hợp để thực hiện tư vấn
nên thời gian tư vấn trực tuyến có thể lâu và máy tính có thể bị quá tải trong quá trình
xử lý; (3) thiếu kết hợp đặc trưng của một số mức độ quan trọng hàm ý thống kê để
nâng cao hiệu quả gợi ý.
Vì vậy, đề tài “Hệ tư vấn dựa trên mức độ quan trọng hàm ý thống kê” được
thực hiện trong khuôn khổ luận án tiến sĩ chuyên ngành khoa học máy tính với mong
muốn được đóng góp một phần vào lĩnh vực nghiên cứu hệ tư vấn và phân tích hàm
ý thống kê.
40. 3
2. Mục tiêu, đối tượng và phạm vi nghiên cứu của luận án
2.1. Mục tiêu nghiên cứu
Luận án tìm hiểu, vận dụng các mức độ quan trọng hàm ý thống kê và kỹ thuật
tư vấn lọc cộng tác để đề xuất và hiệu chỉnh các mô hình tư vấn nhằm cải tiến hiệu
quả (mà cụ thể là độ chính xác) của mô hình; qua đó, góp phần liên kết lý thuyết phân
tích hàm ý thống kê vào lĩnh vực hệ tư vấn.
2.2. Đối tượng nghiên cứu
Luận án tập trung vào các đối tượng nghiên cứu sau:
- Các mức độ quan trọng hàm ý thống kê.
- Các mô hình tư vấn theo các mức độ quan trọng hàm ý thống kê sử dụng kỹ
thuật lọc cộng tác.
2.3. Phạm vi nghiên cứu
Luận án được giới hạn trong phạm vi sau: Tìm hiểu các mức độ quan trọng hàm
ý thống kê, kỹ thuật tư vấn lọc cộng tác, các nghiên cứu hiện có về hệ tư vấn dựa trên
phân tích hàm ý thống kê để:
- Đề xuất và mở rộng mô hình tư vấn theo mức độ quan trọng hàm ý thống kê
trên luật kết hợp.
- Đề xuất một mức độ quan trọng mới ở góc độ người dùng (gọi là xếp hạng
hàm ý thống kê trên người dùng) và mô hình tư vấn theo mức độ mới này.
- Đề xuất một mức độ quan trọng mới ở góc độ mục dữ liệu (gọi là xếp hạng
hàm ý thống kê trên mục) và mô hình tư vấn theo mức độ mới này.
Tất cả các mô hình đề xuất đều có thể áp dụng cho cả dữ liệu nhị phân và phi
nhị phân.
3. Các đóng góp của luận án
Luận án có những đóng góp sau:
- Các mức độ quan trọng hàm ý thống kê mới trên cả dữ liệu nhị phân và phi
nhị phân gồm: Xếp hạng hàm ý thống kê trên người dùng 𝐾𝑛𝑛𝑈𝐼𝑅 (K nearest
neighbors/users based implicative rating) và xếp hạng hàm ý thống kê trên mục dữ
liệu 𝐾𝑛𝑛𝐼𝐼𝑅 (K nearest neighbors/items based implicative rating). Hai mức độ quan
trọng này được dùng để dự đoán xếp hạng của một người dùng cho một mục dữ liệu.
- Các mô hình tư vấn mới có thể áp dụng trên dữ liệu nhị phân và phi nhị phân.