nguyen-duc-phu-search-engine

317 views

Published on

Published in: Technology, Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
317
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
5
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

nguyen-duc-phu-search-engine

  1. 1. SEARCH ENGINE NEWS COLLECTION SYSTEM Nguyen Duc Phu <nducphu@gmail.com>
  2. 2. WHY WE DO?sport relax business other 1 2 3 4 1 2 3 4 One channel?
  3. 3. 1. Web crawling ( or spider, bot, crawler, web worm, robot…) 2. Indexing 3. SearchingSIMPLE SEARCH ENGINE
  4. 4. FLOW1. GATHER DATA News Sources Data Server Vnexpress Dantri ... Spider Engine2. SEARCH Data Server keyword Result End Users
  5. 5. FLOW ONE: GATHER DATA Spider Engine DATABASE
  6. 6. SPIDER ENGINE TEXT PARSER DATA HANDLE
  7. 7. WHAT IS TEXT PARSER? TEXT PARSERDomain: vnexpress.net Images: Yes (no)Subject: Giá xăng dầu giảm xuống còn 11 ngàn ImageURL: http://www.vnexpress.net/Files/Subject/3B/A0/96/61/a3.jTime: 10:30, 12-12-2008 pgDescripton: Một quan chức thuộc Bộ Tài chính SourceURL:http://www.vnexpress.net/GL/Kinh-cho biết về khả năng tăng giá xăng dầu... doanh/2008/12/3BA09661/ Other...
  8. 8. DATA RETURN BY TEXT WHAT IS DATA HANDLE? PARSER DATA HANDLETags: giá xăng dầu, giá xăng, giảm giá, xăng dầu, kinh tế, năng lượng...Time: 10:30, 12-12-2008Images: Yes (no)ImageURL: http://www.vnexpress.net/Files/Subject/3B/A0/96/61/a3.jpgSourceURL:http://www.vnexpress.net/GL/Kinh-doanh/2008/12/3BA09661/Etc...
  9. 9. LAYOUT STRUCTURE Block 0 Block 1 v Block 2 v Block 3
  10. 10. HOW IS TEXT PARSER WORK?
  11. 11. DATA HANDLE DATARETURNBY TEXTPARSER DUPLICATE DATA TAGS MAKER TAGS PARSE DATA DICTIONARY HANDLED CUSTOME TAGS INDEXING
  12. 12. WHAT’S TAGS Giá xăng dầu giảm xuống còn 11 ngàn MAKER? TAGS PARSE Giá xăng, giá dầu, xăng dầu, 11 ngàn, giảm xuống, xuống còn, giá xăng dầu,... TAGS MAKER DICTIONARY Giá xăng, xăng dầu, giá xăng dầu, giảm xuống... CUSTOME TAGS Giá xăng, xăng dầu, giá xăng dầu, kinh tế, năng lượng,...
  13. 13. TAGS PARSERVietnamese Rule 1 2 3 4 - Maximum length: 3-5Giá xăng dầu giảm ... - Minimum: 2 (1?)Giá+xăng Giá+dầu Giá+giảm xăng+dầu dầu+giảm 1 2 1 3 1 4 2 3 3 4giá+xăng+dầu? 1 2 3 a+b+c a<b<c
  14. 14. MORE EXAMPLE tag-name,Thị trường chứng khoán tag-name.. 4: even number tag-name, Họp quốc hội tag-name.. 3 : odd number
  15. 15. FLOW 2:SEARCHING
  16. 16. HOW WE DO? Keyword Keyword Analysis Ranking KeywordKeyword Tags RESULTS Filter Parser
  17. 17. KEYWORD FILTERNormal Remove special characterMai Phương ThúyMai Phuong ThuyWrong Bad wordMaiPhuong Thuy.^Mai-Phuong*%ThuySite regular Type classificationdantri: mai phuongthuy,{today}mai phuongthuy mai phuong thuy, mai phương thúy
  18. 18. mai phuong thuy, mai phương thúy TAGS PARSERMai Phương Thúy, Mai RankingPhương, Phương Thúy Keyword SEARCHING PROCESS
  19. 19. MADE IN VIETNAM
  20. 20. DO ANYTHING YOU WANT TO
  21. 21. THANKSHave Question?

×