SEARCH ENGINE NEWS COLLECTION SYSTEM Nguyen Duc Phu <nducphu@gmail.com>
WHY WE DO? 1 2 3 4 sport relax business other 1 2 3 4 One channel?
<ul><li>Web crawling ( or spider, bot, crawler, web worm, robot…) </li></ul><ul><li>Indexing </li></ul><ul><li>Searching <...
FLOW keyword Result Spider Engine News Sources Vnexpress  Dantri ... Data Server 1. GATHER DATA 2. SEARCH Data Server End ...
Spider Engine DATABASE FLOW ONE: GATHER DATA
SPIDER ENGINE TEXT PARSER DATA HANDLE
WHAT IS TEXT PARSER? TEXT PARSER Domain : vnexpress.net Subject : Giá xăng dầu giảm xuống còn 11 ngàn Time : 10:30, 12-12-...
WHAT IS DATA HANDLE? DATA HANDLE DATA RETURN BY TEXT PARSER Tags :  giá xăng dầu, giá xăng, giảm giá, xăng dầu, kinh tế, n...
LAYOUT STRUCTURE v v Block 1 Block 2 Block 3 Block 0
HOW IS TEXT PARSER WORK?
DATA RETURN BY TEXT PARSER DUPLICATE DATA DATA HANDLED INDEXING TAGS MAKER DICTIONARY CUSTOME TAGS TAGS PARSE DATA HANDLE
WHAT’S TAGS MAKER? DICTIONARY Giá xăng dầu giảm xuống còn 11 ngàn Giá xăng, giá dầu, xăng dầu,  11 ngàn,  giảm xuống,  xuố...
TAGS PARSER Vietnamese Rule Giá  xăng  dầu  giảm ... 1 2 3 4 <ul><li>Maximum length: 3-5 </li></ul><ul><li>Minimum: 2 (1?)...
MORE EXAMPLE Thị trường chứng khoán Họp quốc  hội 3 : odd number tag-name, tag-name.. 4: even number tag-name, tag-name..
FLOW 2: SEARCHING
HOW WE DO? Keyword Keyword Analysis Keyword Filter Tags Parser Ranking Keyword RESULTS
Normal Mai Phương Thúy Mai Phuong Thuy Wrong MaiPhuong Thuy .^Mai-Phuong*%Thuy Site regular dantri: mai phuong thuy, {toda...
mai phuong thuy, mai phương thúy TAGS PARSER Mai Phương Thúy,   Mai Phương,  Phương Thúy Ranking Keyword SEARCHING PROCESS
MADE IN VIETNAM
DO ANYTHING YOU WANT TO
THANKS Have Question?
Upcoming SlideShare
Loading in …5
×

Hanoi PHP Day 2008 - 04 - Nguyen Duc Phu - Search Engine: New Collection System

733 views

Published on

A presentation at Hanoi PHP day, 14/11/2008.

Published in: Technology, Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
733
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
34
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Hanoi PHP Day 2008 - 04 - Nguyen Duc Phu - Search Engine: New Collection System

  1. 1. SEARCH ENGINE NEWS COLLECTION SYSTEM Nguyen Duc Phu <nducphu@gmail.com>
  2. 2. WHY WE DO? 1 2 3 4 sport relax business other 1 2 3 4 One channel?
  3. 3. <ul><li>Web crawling ( or spider, bot, crawler, web worm, robot…) </li></ul><ul><li>Indexing </li></ul><ul><li>Searching </li></ul>SIMPLE SEARCH ENGINE
  4. 4. FLOW keyword Result Spider Engine News Sources Vnexpress Dantri ... Data Server 1. GATHER DATA 2. SEARCH Data Server End Users
  5. 5. Spider Engine DATABASE FLOW ONE: GATHER DATA
  6. 6. SPIDER ENGINE TEXT PARSER DATA HANDLE
  7. 7. WHAT IS TEXT PARSER? TEXT PARSER Domain : vnexpress.net Subject : Giá xăng dầu giảm xuống còn 11 ngàn Time : 10:30, 12-12-2008 Descripton : Một quan chức thuộc Bộ Tài chính cho biết về khả năng tăng giá xăng dầu ... Images : Yes (no) ImageURL : http://www.vnexpress.net/Files/Subject/3B/A0/96/61/a3.jpg SourceURL: http://www.vnexpress.net/GL/Kinh-doanh/2008/12/3BA09661/ Other ...
  8. 8. WHAT IS DATA HANDLE? DATA HANDLE DATA RETURN BY TEXT PARSER Tags : giá xăng dầu, giá xăng, giảm giá, xăng dầu, kinh tế, năng lượng... Time : 10:30, 12-12-2008 Images : Yes (no) ImageURL : http://www.vnexpress.net/Files/Subject/3B/A0/96/61/a3.jpg SourceURL: http://www.vnexpress.net/GL/Kinh-doanh/2008/12/3BA09661/ Etc...
  9. 9. LAYOUT STRUCTURE v v Block 1 Block 2 Block 3 Block 0
  10. 10. HOW IS TEXT PARSER WORK?
  11. 11. DATA RETURN BY TEXT PARSER DUPLICATE DATA DATA HANDLED INDEXING TAGS MAKER DICTIONARY CUSTOME TAGS TAGS PARSE DATA HANDLE
  12. 12. WHAT’S TAGS MAKER? DICTIONARY Giá xăng dầu giảm xuống còn 11 ngàn Giá xăng, giá dầu, xăng dầu, 11 ngàn, giảm xuống, xuống còn, giá xăng dầu,... Giá xăng, xăng dầu, giá xăng dầu, giảm xuống... CUSTOME TAGS Giá xăng, xăng dầu, giá xăng dầu, kinh tế, năng lượng,... TAGS MAKER TAGS PARSE
  13. 13. TAGS PARSER Vietnamese Rule Giá xăng dầu giảm ... 1 2 3 4 <ul><li>Maximum length: 3-5 </li></ul><ul><li>Minimum: 2 (1?) </li></ul>Giá+xăng Giá+dầu Giá+giảm xăng+dầu dầu+giảm giá+xăng+dầu? 1 2 3 4 1 3 3 2 4 1 1 2 3 a+b+c a<b<c
  14. 14. MORE EXAMPLE Thị trường chứng khoán Họp quốc hội 3 : odd number tag-name, tag-name.. 4: even number tag-name, tag-name..
  15. 15. FLOW 2: SEARCHING
  16. 16. HOW WE DO? Keyword Keyword Analysis Keyword Filter Tags Parser Ranking Keyword RESULTS
  17. 17. Normal Mai Phương Thúy Mai Phuong Thuy Wrong MaiPhuong Thuy .^Mai-Phuong*%Thuy Site regular dantri: mai phuong thuy, {today}mai phuong thuy mai phuong thuy, mai phương thúy Remove special character Bad word Type classification KEYWORD FILTER
  18. 18. mai phuong thuy, mai phương thúy TAGS PARSER Mai Phương Thúy, Mai Phương, Phương Thúy Ranking Keyword SEARCHING PROCESS
  19. 19. MADE IN VIETNAM
  20. 20. DO ANYTHING YOU WANT TO
  21. 21. THANKS Have Question?

×