Tài liệu thảo luận về sự cần thiết và ứng dụng của Khám Phá Tri Thức từ Cơ Sở Dữ Liệu (KDD) và Khai Thác Dữ Liệu (DM). Nó nêu bật sự bùng nổ dữ liệu trong các lĩnh vực như khoa học, thương mại và an ninh, đồng thời trình bày quy trình KDD, bao gồm tiền xử lý, khai thác và đánh giá kết quả. Cuối cùng, tài liệu nhấn mạnh tầm quan trọng của KDD và DM trong việc tìm kiếm tri thức từ các khối lượng dữ liệu lớn.

1. Khoa Công Nghệ Thông Tin
Trường Đại Học Cần Thơ
Đỗ Thanh Nghị
dtnghi@cit.ctu.edu.vn
Cần Thơ
24-11-2008
Từ khám phá tri thức đến khai mỏ dữ liệu
Knowledge Discovery in Databases - Data Mining

2. Nội dung
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo
2

3. Nội dung
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo
3

4. Sự bùng nổ dữ liệu
s trong những năm 90, với sự phát triển mạnh của:
q công nghệ vi xử lý
q công nghệ lưu trữ
q công nghệ truyền thông
q ứng dụng công nghệ thông tin trong nhiều lãnh vực
 dữ liệu tăng nhanh
 bùng nổ dữ liệu
 (Lyman et al., 2003), http://www.sims.berkeley.edu
/research/projects/how-much-info/
4
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

5. Một vài ví dụ
s cơ sở dữ liệu khoa học thiên văn
q Europe’s Very Long Baseline Interforometry (VLBI)
q 16 kính thiên văn
q mỗi kính thu 1 Gigabits/giây dữ liệu
q phân tích dữ liệu thu được của 25 ngày
q kho dữ liệu quá lớn, vài Terabytes (1)
5
(1): 1 Kb = 1000 bytes, 1 Mb = 10002
bytes, 1 Gb = 10003
bytes, 1 Tb = 10004
bytes,
1 Pb = 10005
bytes, 1 Eb = 10006
bytes, 1 Zb = 10007
bytes, 1 Yb = 10008
bytes
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

6. Một vài ví dụ
s các cơ sở dữ liệu khoa học khác
q NSA: hàng triệu tài liệu văn bản nói về khủng bố
q Merck: hàng triệu cấu trúc phân tử hóa học
q El nino: vài trăm Gigabytes
 khối lượng dữ liệu khổng lồ cần phân tích
6
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

7. Một vài ví dụ
s cơ sở dữ liệu truyền thông
q AT&T: tiếp nhận 275 triệu cuộc gọi / ngày
s cơ sở dữ liệu thương mại
q lưu trữ thông tin về khách hàng
q phục vụ cho kế hoạch đầu tư và phát triển
q AT&T: 26 Terabytes
q France Telecom: 30 Terabytes thông tin về khách hàng
q Walmart: 20 triệu giao dịch / ngày
7
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

8. Một vài ví dụ
s dữ liệu world wide
q Google: tiếp nhận hơn 4 tỉ yêu cầu tìm kiếm / ngày, lưu trữ
hàng trăm Terabytes dữ liệu
q Alexa internet archive: 500 Terabytes / 7 năm
q IBM WebFountain, 160 Terabytes / năm 2003
q Internet Archive, www.archive.org: 300 Terabytes
s tổng hợp lại
q trong năm 2002: dữ liệu trên toàn cầu tăng 5 Exabytes (1)
q dữ liệu tăng 2 lần trong vòng 9 tháng
(1): 1 Kb = 1000 bytes, 1 Mb = 10002
bytes, 1 Gb = 10003
bytes, 1 Tb = 10004
bytes,
1 Pb = 10005
bytes, 1 Eb = 10006
bytes, 1 Zb = 10007
bytes, 1 Yb = 10008
bytes
8
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

9. KDD & DM là cần thiết
s KDD & DM
q thực sự cần thiết để khai thác những tri thức tiềm ẩn
q trong những kho dữ liệu lớn
 tạp chí về công nghệ của trường MIT số ra tháng 1-2
năm 2001
9
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

10. Nội dung
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo
10

11. Lãnh vực ứng dụng
s khoa học & công nghệ
q thiên văn, sinh học, etc.
s thương mại
q quảng cáo, marketing, đầu tư sản xuất, phân tích rủi ro trong
kinh doanh, etc.
s Web
q moteur tìm kiếm, phân loại bản tin, Web log, etc.
s an ninh quốc phòng
q chống khủng bố, chống gian lận, etc.
11
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

12. 2002
12
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

13. 2003
13
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

14. 2004
14
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

15. 2005
15
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

16. 2006
16
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

17. 2007
17
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

18. 2 năm gần nhất
18
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

19. Data mining có quan trọng ?
19
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

20. Nội dung
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo
20

21. Quá trình KDD
s quá trình KDD
q lặp
q khai mỏ dữ liệu (DM): cốt lõi
Dữ liệu
thô
Dữ liệu được
chọn lọc Dữ liệu đã
được tiền
xử lý Mô hình Tri thức
Chọn Tiền xử lý Xây dựng mô hình Dịch & đánh giá kết quả
Tiền xử lý Khai thác dữ liệu Đánh giá kết quả
21
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

22. Tiền xử lý dữ liệu
s từ mục tiêu đề ra của ứng dụng
q từ nguồn dữ liệu khác nhau
q chọn dữ liệu cần thiết cho mục tiêu đề ra
q mẫu tin, trường dữ liệu
q biểu diễn dữ liệu, chuyển đổi kiểu sao cho phù hợp với giải
thuật DM sẽ được áp dụng ở bước sau
q làm sạch dữ liệu: khắc phục đối với trường dữ liệu rỗng, dư
thừa, hoặc dữ liệu không hợp lệ
q có thể tinh giảm dữ liệu hơn
22
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

23. Khai mỏ dữ liệu
s kỹ thuật
q máy học
q trí tuệ nhân tạo
q nhận dạng
q phân tích thống kê
q hoặc bằng phương pháp trực quan: hiển thị
q xây dựng mô hình, tạo tri thức về dữ liệu
q kiểm định lại mô hình
q nếu chưa đạt thì phải xây dựng mô hình khác
q bước này rất khó và cần nhiều công sức
23
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

24. Đánh giá kết quả
s kết quả
q kiểm định dựa vào mục tiêu ban đầu của ứng dụng
q nghĩa là chỉ có người sử dụng hoặc chuyên gia về lãnh vực
mới có khả năng đánh giá
q kết quả có đạt được cần dễ hiểu
q hiển thị, dịch kết quả
q người sử dụng hoặc chuyên gia
q có thể đánh giá và hiểu được kết quả sinh ra
24
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

25. Lãnh vực nghiên cứu liên quan
Phương pháp
hiển thị
Cơ sở dữ liệu
Xác suất
thống kê
Máy học
Trí tuệ nhân
tạo
25
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

26. Cơ sở nền tảng
s thống kê
q dựa nhiều vào nền tảng lý thuyết
q tập trung vào kiểm định những giả thiết
s máy học
q dựa nhiều vào heuristics
q tập trung cải tiến hiệu quả của giải thuật học
26
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

27. DM & KDD
s DM & KDD
q tích hợp cơ sở lý thuyết & heuristic
q tập trung vào toàn bộ quá trình khám phá và khai thác dữ liệu
để tìm ra tri thức
q phải hữu dụng cho người sử dụng
q bao gồm những kỹ thuật
q tiền xử lý dữ liệu: chọn lọc dữ liệu, xử lý dữ liệu sai, etc.
q quá trình xây dựng mô hình: DM
q trình bày, giải thích, dịch kết quả
27
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

28. Nội dung
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo
28

29. Giải thuật khai mỏ dữ liệu
s kỹ thuật
q phân lớp (classification, supervised classification) : xây dựng
mô hình phân loại dựa trên dữ liệu tập học đã có nhãn (lớp)
q hồi quy (regression) : xây dựng mô hình phân loại dựa trên dữ
liệu tập học đã có nhãn (lớp) là giá trị liên tục
q gom cụm, nhóm (clustering, unsupervised classification) : xây
dựng mô hình gom cụm dữ liệu tập học (không có nhãn) sao
cho các dữ liệu cùng nhóm có các tính chất tương tự nhau và
dữ liệu của 2 nhóm khác nhau sẽ có các tính chất khác nhau
q luật kết hợp (association rules) : phát hiện mối liên quan giữa
các biến của dữ liệu
29
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

30. Kỹ thuật DM (2001)
30
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

31. Kỹ thuật DM (10/2002)
31
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

32. Kỹ thuật DM (11/2003)
32
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

33. Kỹ thuật DM (2004)
33
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

34. Kỹ thuật DM (02/2005)
34
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

35. Kỹ thuật DM (2006)
35
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

36. Kỹ thuật DM (2007)
36
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

37. 37
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

38. Kỹ thuật DM thành công
trong ứng dụng thực
38
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

39. Phần mềm thường được sử dụng
39
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

40. Phần mềm thường được sử dụng
40
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

41. Nội dung
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo
41

42. Kết luận về KDD & DM
s KDD & DM
q cần thiết
q khai thác, tìm kiếm tri thức
q ẩn trong khối lượng lớn dữ liệu
q áp dụng cho nhiều lĩnh vực khác nhau
s KDD
q quá trình lặp lại
q tiền xử lý, khai thác dữ liệu & đánh giá kết quả
q DM là cốt lõi của quá trình KDD
42
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

43. Kết luận về KDD & DM
s KDD & DM
q cần giải quyết được mục tiêu ban đầu đặt ra của ứng dụng
q khả năng làm việc tốt với khối lượng lớn dữ liệu
q đáp ứng được về những ràng buộc: thời gian, thiết bị, chất
lượng kết quả, hiểu được
q « no free lunch theorem »: không có kỹ thuật DM nào là tốt
trong tất cả các trường hợp
 rất khó, no free lunch 
43
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

44. Hướng phát triển
s tương lai, KDD & DM
q nguồn dữ liệu hỗn hợp: văn bản, hình ảnh, âm thanh, ký tự
q cải thiện độ phức tạp của quá trình để có khả năng làm việc
tốt với khối lượng lớn dữ liệu: tạo giải thuật mới hoặc cải tiến
giải thuật hiện có
q tích hợp kiến thức chuyên gia
q diễn dịch kết quả
q mở rộng sang những lãnh vực ứng dụng khác như: sinh học,
kinh tế, y học, quốc phòng, thiên văn, etc.
44
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo

45. Metaphor của V. Vapnik 
s Solving a problem of interest, do not solve a more
general problem as an intermediate step. Try to get the
answer that you really need but not a more general one
(Vapnik, 1995).
45

46. Nội dung
s tại sao KDD & DM là cần thiết?
s những ứng dụng của KDD & DM
s quá trình KDD
s giải thuật DM
s kết luận và hướng phát triển
s tài liệu tham khảo
46

47. Lịch sử
s 1989 IJCAI Workshop on Knowledge Discovery in Databases (Piatetsky-Shapiro)
q Knowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991)
s 1991-1994 Workshops on Knowledge Discovery in Databases
q Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy,
1996)
s 1995-1998 International Conferences on Knowledge Discovery in Databases and Data
Mining (KDD’95-98)
q Journal of Data Mining and Knowledge Discovery (1997)
s 1998 ACM SIGKDD, SIGKDD’1999-2001 conferences, and SIGKDD Explorations
s More conferences on data mining
q EGC (2001), PAKDD (1997), PKDD (1997), SIAM-Data Mining (2001), (IEEE) ICDM (2001), etc.
47

48. Tham khảo
s ngày 24/11/2008, sử dụng google để tìm
q Data Mining: 11 000 000 links
q Knowledge Discovery in Databases: 3 000 000 links
48

49. Tham khảo
s Data mining and KDD (SIGKDD: CDROM)
q Conferences: ACM-SIGKDD, IEEE-ICDM, SIAM-DM, PKDD, PAKDD, etc.
q Journal: Data Mining and Knowledge Discovery, KDD Explorations
s Database systems (SIGMOD: CD ROM)
q Conferences: ACM-SIGMOD, ACM-PODS, VLDB, IEEE-ICDE, EDBT, ICDT, DASFAA
q Journals: ACM-TODS, IEEE-TKDE, JIIS, J. ACM, etc.
s AI & Machine Learning
q Conferences: Machine learning (ML), AAAI, IJCAI, COLT (Learning Theory), etc.
q Journals: Machine Learning, Artificial Intelligence, etc.
s Statistics
q Conferences: Joint Stat. Meeting, etc.
q Journals: Annals of statistics, etc.
s Visualization
q Conference proceedings: CHI, ACM-SIGGraph, etc.
q Journals: IEEE Trans. visualization and computer graphics, etc. 49

50. Tham khảo
s K. Bennett and C. Campbell. Support Vector Machines: Hype or Hallelujah ?. SIGKDD Explorations,
2(2), pp. 1-13, 2000
s L. Breiman. Random Forests. Machine Learning, 45(1), pp. 5-32, 2001
s L. Breiman, J. Friedman, R. Olshen, and C. Stone. Classification and Regression Trees. Chapman & Hall,
New York, 1984
s N. Cristianini and J. Shawe-Taylor. An Introduction to Support Vector Machines and Other Kernel-based
Learning Methods. Cambridge University Press, 2000
s U. M. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy. Advances in Knowledge Discovery
and Data Mining. AAAI/MIT Press, 1996
s U. Fayyad, G. Grinstein, and A. Wierse, Information Visualization in Data Mining and Knowledge
Discovery, Morgan Kaufmann, 2001
s J. Han and M. Kamber. Data Mining: Concepts and Techniques. Morgan Kaufmann, 2001
s D. J. Hand, H. Mannila, and P. Smyth, Principles of Data Mining, MIT Press, 2001
50

51. Tham khảo
s T. Hastie, R. Tibshirani, and J. Friedman, The Elements of Statistical Learning: Data Mining, Inference, and
Prediction, Springer-Verlag, 2001
s T. M. Mitchell, Machine Learning, McGraw Hill, 1997
s G. Piatetsky-Shapiro and W. J. Frawley. Knowledge Discovery in Databases. AAAI/MIT Press, 1991
s J. Quinlan. C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers, 1993
s V. Vapnik. The Nature of Statistical Learning Theory. Springer-Verlag, New York, 1995
s I. H. Witten and E. Frank. Data Mining: Practical Machine Learning Tools and Techniques with Java
Implementations. Morgan Kaufmann, 2001
s C. Blake and C. Merz. UCI Repository of Machine Learning Databases. 1998.
http://www.ics.uci.edu/~mlearn/MLRepository.html
s Delve. Data for Evaluating Learning in Valid Experiments. 1996. http://www.cs.toronto.edu/~delve
51

52. Tham khảo
(http://www.kdnuggets.com/software/index.html)
52

53. Tham khảo
(http://www.kdnuggets.com/software/index.html)
53

54. Tham khảo
(http://www.kdnuggets.com/software/index.html)
54

55. Tham khảo
(http://www.kdnuggets.com/software/index.html)
55

56. Tham khảo
(http://www.kdnuggets.com/software/index.html)
56

57. Tham khảo
(http://www.kdnuggets.com/software/index.html)
57

58. Tham khảo
(http://www.kdnuggets.com/software/index.html)
58

59. Tham khảo
(http://www.kdnuggets.com/software/index.html)
59

60. Tham khảo
(http://www.kdnuggets.com/software/index.html)
60

61. Tham khảo
(http://www.kdnuggets.com/software/index.html)
61

62. Tham khảo
(http://www.kdnuggets.com/software/index.html)
s phần mềm miễn phí
q R: ngôn ngữ lập trình cấp cao, hỗ trợ nhiều thư viện, công cụ,
giải thuật hỗ trợ cho phân tích dữ liệu và DM
(http://www.r-project.org)
q WEKA: thư viện DM viết bằng JAVA, dễ sử dụng, tích hợp
và phát triển (http://www.cs.waikato.ac.nz/~ml/weka/)
q C4.5: giải thuật cây quyết định, rất nhanh và hiệu quả
(http://www.rulequest.com/Personal/)
q RandomForest: giải thuật tập hợp những cây quyết định,
nhanh và chính xác
(http://www.stat.berkeley.edu/users/breiman/)
62

63. Tham khảo
(http://www.kdnuggets.com/software/index.html)
s phần mềm miễn phí
q SVM & Kernel-machines: nhiều giải thuật máy học
(http://www.kernel-machines.org)
q Boosting: nhiều giải thuật máy học (http://www.boosting.org)
q etc.
63

64. Tham khảo
(http://www.kdnuggets.com/software/index.html)
64

65. Tham khảo
(http://www.kdnuggets.com/software/index.html)
65

66. Sử dụng cho môn học
s nên download và sử dụng phần mềm
q C4.5: cây quyết định
q LibSVM: giải thuật máy học vectơ hỗ trợ
q Weka: giải thuật máy học khác
q R: lập trình cho thống kê & phân tích dữ liệu
q GNU Octave: « free Matlab »
q etc.
66

67. s download các tập dữ liệu
q Mushroom (UCI): luật kết hợp
q Pima (UCI): giải thuật máy học
q Spambase (UCI): giải thuật máy học
q Sat-images (UCI): giải thuật máy học
q Segment (UCI): giải thuật máy học
q Forest cover types (UCI): giải thuật máy học
q MNIST (LeCun): giải thuật máy học
q ALL-AML Leukemia (Biomedical): giải thuật máy học
Sử dụng cho môn học
67
(UCI): http://archive.ics.uci.edu/ml/
(LeCun): http://yann.lecun.com/exdb/mnist
(Biomedical): http://datam.i2r.a-star.edu.sg/datasets/krbd/

68. s nên đọc lại các công cụ xử lý text đơn giản của
Linux: cut, sed, awk
s lập trình script (bash)
s giải các bài tập : phân lớp dữ liệu, clustering, tìm luật
kết hợp
s mỗi nhóm chọn 3 trong các tập dữ liệu để thực tập
các giải thuật và báo cáo cuối kỳ (50% số điểm) và
thi cuối kỳ để có thêm số điểm còn lại
s Anh/Chị có thể chọn cho mình một giải thuật mà
Anh/Chị thích để xử lý dữ liệu của mình 
Sử dụng cho môn học
68