Tài liệu mô tả hệ thống thu thập tin tức từ các nguồn trực tuyến bằng cách sử dụng công nghệ web crawling, text parsing và indexing. Các bước chính bao gồm thu thập dữ liệu, phân tích từ khóa và xếp hạng kết quả tìm kiếm. Nó cũng trình bày về việc xử lý dữ liệu và cách tạo thẻ từ khóa để tối ưu hóa kết quả tìm kiếm.

1. SEARCH ENGINE NEWS COLLECTION SYSTEM Nguyen Duc Phu <nducphu@gmail.com>

2. WHY WE DO? 1 2 3 4 sport relax business other 1 2 3 4 One channel?

3. Web crawling ( or spider, bot, crawler, web worm, robot…) Indexing Searching SIMPLE SEARCH ENGINE

4. FLOW keyword Result Spider Engine News Sources Vnexpress Dantri ... Data Server 1. GATHER DATA 2. SEARCH Data Server End Users

5. Spider Engine DATABASE FLOW ONE: GATHER DATA

6. SPIDER ENGINE TEXT PARSER DATA HANDLE

7. WHAT IS TEXT PARSER? TEXT PARSER Domain : vnexpress.net Subject : Giá xăng dầu giảm xuống còn 11 ngàn Time : 10:30, 12-12-2008 Descripton : Một quan chức thuộc Bộ Tài chính cho biết về khả năng tăng giá xăng dầu ... Images : Yes (no) ImageURL : http://www.vnexpress.net/Files/Subject/3B/A0/96/61/a3.jpg SourceURL: http://www.vnexpress.net/GL/Kinh-doanh/2008/12/3BA09661/ Other ...

8. WHAT IS DATA HANDLE? DATA HANDLE DATA RETURN BY TEXT PARSER Tags : giá xăng dầu, giá xăng, giảm giá, xăng dầu, kinh tế, năng lượng... Time : 10:30, 12-12-2008 Images : Yes (no) ImageURL : http://www.vnexpress.net/Files/Subject/3B/A0/96/61/a3.jpg SourceURL: http://www.vnexpress.net/GL/Kinh-doanh/2008/12/3BA09661/ Etc...

9. LAYOUT STRUCTURE v v Block 1 Block 2 Block 3 Block 0

10. HOW IS TEXT PARSER WORK?

11. DATA RETURN BY TEXT PARSER DUPLICATE DATA DATA HANDLED INDEXING TAGS MAKER DICTIONARY CUSTOME TAGS TAGS PARSE DATA HANDLE

12. WHAT’S TAGS MAKER? DICTIONARY Giá xăng dầu giảm xuống còn 11 ngàn Giá xăng, giá dầu, xăng dầu, 11 ngàn, giảm xuống, xuống còn, giá xăng dầu,... Giá xăng, xăng dầu, giá xăng dầu, giảm xuống... CUSTOME TAGS Giá xăng, xăng dầu, giá xăng dầu, kinh tế, năng lượng,... TAGS MAKER TAGS PARSE

13. TAGS PARSER Vietnamese Rule Giá xăng dầu giảm ... 1 2 3 4 Maximum length: 3-5 Minimum: 2 (1?) Giá+xăng Giá+dầu Giá+giảm xăng+dầu dầu+giảm giá+xăng+dầu? 1 2 3 4 1 3 3 2 4 1 1 2 3 a+b+c a<b<c

14. MORE EXAMPLE Thị trường chứng khoán Họp quốc hội 3 : odd number tag-name, tag-name.. 4: even number tag-name, tag-name..

15. FLOW 2: SEARCHING

16. HOW WE DO? Keyword Keyword Analysis Keyword Filter Tags Parser Ranking Keyword RESULTS

17. Normal Mai Phương Thúy Mai Phuong Thuy Wrong MaiPhuong Thuy .^Mai-Phuong*%Thuy Site regular dantri: mai phuong thuy, {today}mai phuong thuy mai phuong thuy, mai phương thúy Remove special character Bad word Type classification KEYWORD FILTER

18. mai phuong thuy, mai phương thúy TAGS PARSER Mai Phương Thúy, Mai Phương, Phương Thúy Ranking Keyword SEARCHING PROCESS

19. MADE IN VIETNAM

20. DO ANYTHING YOU WANT TO

21. THANKS Have Question?