Introduction to
Search Engine Spam
KimYong Woo
totworld@daumcorp.com
Daum Communications
Part I :
Taxonomy of
Search Engine Spam
Key Success Factor
of IR Service
• Document Coverage
• Speed of Retrieving
• Sorting Result
: Ranking with relevance and i...
Defeat IR
• Search Engine Spam
Deliberate human action to trigger an
unjustifiably high rank, considering the
pages’s true ...
Spam is Big Money
• Affiliate programs
• Siphon traffic from SEs to Amazon/eBay/
Make a few bucks
• Siphon traffic from SEs t...
Spamming Techniques
• Boosting
• Term Spamming
• Link Spamming
• Hiding
• Content Hiding
• Cloaking
• Redirection
Boosting Techniques
Body,Title, Meta Tag,Anchor, URLWhat
Repetition, Dumping,Weaving, StitchingHow
- By Term
- By Link
Wha...
Hiding Techniques
- Content Hiding
- Cloaking
- Redirection
Text, LinkWhat
Color, Script, Graphics, FlashHow
Case Study
Case 1
• Repetition
http://blog.naver.com/PostView.nhn?blogId=dmstj9692&logNo=60135388060
깨이라며 웅끼사이트바카라 사이트바카라 카지노사이트 카지노사...
Case 2
• Weaving
http://blog.naver.com/PostView.nhn?blogId=myloveend07&logNo=60096768168
<div style="font-size:9pt; font-f...
Case 3
• Stitching + Repetition
http://blog.naver.com/mjy579/90057036369
◆把我當好朋友, ◀☞라이브 바 카라▶ ωωω.Kaza5678.com ◀인터넷바다이야기☞'...
Case 4
• Dumping + Stitching + Hiding(White Color)
http://cafe.daum.net/wedding/79V/830307
<FONT color=#ffffff>㉿온라인 바다 이야기...
Case 5
• Weaving + Stitching + Hiding(Script)
http://blog.naver.com/PostView.nhn?blogId=albatros10&logNo=150117998769
<div...
Case 6
• Redirection
http://brtastwetf.tistory.com
<script language="javascript">document.write(unescape("x3C
x73x63x72x69...
Domestic Spam
Domestic Spam
• 온라인 매체 홍보
• 도박 사이트 (B + H)
• 화상 채팅 사이트 (B + H)
• 경매 사이트 (B)
• 파일공유 사이트 (H)
• 사주 사이트 (B)
• 기타
• 외부 검색 사이트 관...
Domestic Spam
• Spamdexing Sources
• Text
• News Article
• Famous Blogger’s Article
• QnA Article
• Manual of Certain Doma...
Part 2 :
Daum’s Filter Service
As was...
Search Service Diagram
Crawler
Internal
Data
Source
External
Data
Source
Distributed
ETL
Storage
Search
Engine
Document
Sp...
As is...
Document Filtering
• Keyword-based filtering with
Aho-corasick String matching algorithm
• Sentence-based filtering with
Has...
IP based Spam Domain Evaluation Service
• Spammer’s Objective = Rendering their page on user’s browser
• How?
• Out-link
•...
Limitation of
Document Filtering
• Work Process
Expose Detect Logic Update Filtering
• High Dependency of keywords and pat...
Spam User Profiling
• Keyword Set Expand to Ambiguous Word
• Diversify the Qualification Features
• Reduce the Keyword and P...
Spam User Profiling
• Document Features
• Dictionary based Feature
• Html Tag based Feature
• Text based Feature
• SNS orie...
• Vectorization
• Normalizing FeatureValues with Linear Function
• Ex ) Outlink Ratio : 0.75 < x < 1.00
x = 0.85, S(x) = 4...
• Process Flow
Raw Documents
Document Features
User Profile
Spam User Profile
Spam User Profiling
IDtTitletContentt...
ID DF1...
• Statistics
Spam User Profiling
0
6000
12000
18000
Spam Blogs Internal Spam Users
30000
20000
10000
Limitation of
Spam User Profiling
• Pre-defined Spam User Profile is Needed
• Cost for maintenance
• Cost for expansion cover...
Spam Scoring
• Naive Bayesian Classifier
1
P(C|F1,F2,...,Fn) = Π P(Fi|C)
z
• Feature Selection
InfoGain(Class,Feature) = H(...
Spam Scoring
• Analysis Tool and Library
Weka 3 : www.cs.waikato.ac.nz/ml/weka
• Data
• Target Interval : 1 week
• Learning Set
• 2,500...
• Confusion Matrix (t = 1.0)
• Accuracy = 0.908
Spam Scoring
Spam Ham
Spam 2,922 552
Ham 164 239,826
Future Work
• Classifier Learning Interval
• Learning Data Range
• Spam Score Update Rule
References
• http://news.chosun.com/site/data/html_dir/
2011/03/29/2011032900039.html
• Gyongyi Z., Garcia-Molina H.,“Web ...
 고맙습니다.
Upcoming SlideShare
Loading in...5
×

20111207 kim yongwoo_introses

430

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
430
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

20111207 kim yongwoo_introses

  1. 1. Introduction to Search Engine Spam KimYong Woo totworld@daumcorp.com Daum Communications
  2. 2. Part I : Taxonomy of Search Engine Spam
  3. 3. Key Success Factor of IR Service • Document Coverage • Speed of Retrieving • Sorting Result : Ranking with relevance and importance
  4. 4. Defeat IR • Search Engine Spam Deliberate human action to trigger an unjustifiably high rank, considering the pages’s true value. • Synonym Spamdexing,Web Spam, Seach Spam
  5. 5. Spam is Big Money • Affiliate programs • Siphon traffic from SEs to Amazon/eBay/ Make a few bucks • Siphon traffic from SEs to aViagra seller Make $6 per sale • Siphon traffic from SEs to a porn site Make $20-$40 per new member
  6. 6. Spamming Techniques • Boosting • Term Spamming • Link Spamming • Hiding • Content Hiding • Cloaking • Redirection
  7. 7. Boosting Techniques Body,Title, Meta Tag,Anchor, URLWhat Repetition, Dumping,Weaving, StitchingHow - By Term - By Link What How In-link, Out-link Honey Pot, Directory, Comment, Exchange, Exp. Domain, Farm
  8. 8. Hiding Techniques - Content Hiding - Cloaking - Redirection Text, LinkWhat Color, Script, Graphics, FlashHow
  9. 9. Case Study
  10. 10. Case 1 • Repetition http://blog.naver.com/PostView.nhn?blogId=dmstj9692&logNo=60135388060 깨이라며 웅끼사이트바카라 사이트바카라 카지노사이트 카지노사이트 ★ ↗┏┏★★★ TAZA1.COM★★★┓┓★카지노 사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사 이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카 지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이 트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지 노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사 이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카 지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이 트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지 노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사 이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카 지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이 트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지 노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사 이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카 지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이 트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지 노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사이트 카지노사
  11. 11. Case 2 • Weaving http://blog.naver.com/PostView.nhn?blogId=myloveend07&logNo=60096768168 <div style="font-size:9pt; font-family:1184252_9;" class="view"><table cellspacing="0" cellpadding="0" align="left" border="0"> <tbody> <tr> <td style="font-size:9pt;font-family: 1184252_9;"><img src="http://imgnn.seoul.co.kr/img//upload/2009/12/08/SSI_20091208135040_V.jpg" onload="setTimeout('utility.resizeImageWithId('img//upload/2009/12/08/SSI_20091208135040_V.jpg ')',200)" style="cursor: pointer;" id="img//upload/2009/12/08/SSI_20091208135040_V.jpg" onclick="popview(this, '90000003_000000000000000DFE0BE8A8')" /></td></tr> <tr> <td style="font- size:9pt;font-family:1184252_9;" height="2"></td></tr></tbody></table>’자연의 삶’을 한눈에 확인할 수 있 는 사진 한장이 해외언론에 공개돼 화제다. 물고기를 잡아먹는 뱀, 그리고 물고기를 삼키는 그 뱀을 잡아먹는 왜가리를 순간 포착한 절묘한 사진이다. 이 사진은 미국 메릴랜드 포토맥 강에서 야생동물을 전문적으로 촬영하는 데이비드 크룩스가 우연 하게 담아냈다. 사진에 등장하는 왜가리는 ‘푸른 가슴 왜가리’고 뱀은 ‘노던 워터 스네이크’라 불리는 물뱀이다. 포토맥 강 에 날아드는 왜가리와 큰 해오라기 εїз무료바다이야기↘♫온라인황금성◎↖ⓗTtp://addppp.com❤온 라인릴게임㉦바다이야기다운오션파라다이스↕①바다이야기게임㉦온라인야마토◎인터넷바다이야기◎릴게임사이온라인야마토종류의 새를 전문으로 촬영하는 크룩스는 사진 촬영당시에는 이 상황을 알아채지 못했다. 왜가리의 사냥장면을 찍기 위해 인내심을 가지고 주시하던 왜가리가 먹이를 잡기위해 물속으로 부리를 재빠르게 집어 넣는 순간 카메라 셔터를 누르기 시작했다. 그리 고 왜가리의 입에는 물고기εїз무료바다이야기↘♫온라인황금성◎↖ⓗTtp://addppp.com❤온라인릴게임 ㉦바다이야기다운오션파라다이스↕①바다이야기게임㉦온라인야마토◎인터넷바다이야기◎릴게임사이온라인야마토가 아닌 뱀이 물 려 나왔다. 그리고 나중에 컴퓨터에서 확인한 후에야 뱀의 입에 다시 물고기가 있다는 것을 알게됐다. 크룩스는 ”새를 촬영 하εїз무료바다이야기↘♫온라인황금성◎↖ⓗTtp://addppp.com❤온라인릴게임㉦바다이야기다운오션파 라다이스↕①바다이야기게임㉦온라인야마토◎인터넷바다이야기◎릴게임사이온라인야마토는 것은 고독하고 오랜 인내심을 필요로 하는데, 이런 멋진 장면을 담을 수 있어 너무 기쁘다.” 고 말했다. ’자연의 삶’을 한눈에 확인할 수 있는 사진 한장이 해 외언론에 공개돼 화제다. 물고기를 잡아먹는 뱀, 그리고 물고기를 삼키는 그 뱀을 잡아먹는 왜가리를 순간포착한 절묘한 사 News URL : http://nownews.seoul.co.kr/news/newsView.php?id=20091208601008
  12. 12. Case 3 • Stitching + Repetition http://blog.naver.com/mjy579/90057036369 ◆把我當好朋友, ◀☞라이브 바 카라▶ ωωω.Kaza5678.com ◀인터넷바다이야기☞'카라' 구하라, "한국의 아무로 나미에" 日 네티즌 찬사◆把我當好朋友, ◀☞라이브 바 카라▶ ωωω.Kaza5678.com ◀인터넷바다이야기☞'카라' 구하라, "한국의 아무로 나미에" 日 네 티즌 찬사◆把我當好朋友, ◀☞라이브 바 카라▶ ωωω.Kaza5678.com ◀인터넷바다이야기☞'카라' 구하라, "한국의 아무로 나미에" 日 네티즌 찬사◆把我當好朋友, ◀☞라이브 바 카라▶ ωωω.Kaza5678.com ◀인터넷바다이야기☞'카라' 구하라, "한국의 아무로 나 미에" 日 네티즌 찬사 ◆把我當好朋友, ◀☞라이브 바 카라▶ ωωω.Kaza5678.com ◀인터넷바다이야기☞'카라....... News URL : http://breaknews.com/sub_read.html?uid=106260&section=sc4
  13. 13. Case 4 • Dumping + Stitching + Hiding(White Color) http://cafe.daum.net/wedding/79V/830307 <FONT color=#ffffff>㉿온라인 바다 이야기 야마토 오션 파라다이스3 씨엔죠이</FONT> <P><FONT color=#ffffff>㉿온라인 바다 이야기 야마토 오션 파라다이스3 씨엔죠이특히▷▶http://ⓥⓘⓟ1004.ⓝⓔⓣ◀◁황금 성 게임,강원랜드 카지노,로얄카지노게임,공짜릴게임 사이트,온라인바다이야기,황금성예시그림,실제돈버는게임,바다이야 기다운로드,슬롯머신게임다운,꽃놀이게임,골드레이서,릴게임 할수있는곳,블랙잭게임,성인피씨게임,무료황금성,온라인예 시게임,인터넷황금성,온라인 바다 이야기 게임,생방송아도사끼,인터넷바다이야기,무료바다이야기,야마토게임2동영상,무 료바카라게임,황금성 다운하는 곳,실시간 카지노,바카라 이기는법,인터넷백경,온라인황금성,바다포커,온라인야마토,바다 이야기게임,인터넷야마토게임,씨엔죠이,인터넷릴게임 사이트,온라인카지노,바카라 전략,메달치기게임,도성게임,실제돈버 는게임,무료슬롯머신,777오락기,황금성홈페이지,야마토게임2게임하기,온라인릴게임 사이트,무료릴게임 사이트,오션파라 다이스pc,백경게임장공략법,인터넷 카지노, 극 초반에는 다양한 출연진들의 개성 넘치는 연기가 시청자들의 눈길을 끌 었다.</FONT></P><P style="TEXT-ALIGN: center"><img src="http://cfile279.uf.daum.net/image/ 191DFE164AA1C32619FB32" class="tx-daum-image" style="CLEAR: none; FLOAT: none" actualwidth="800" hspace="1" width="800" vspace="1" border="0" /></P><P><FONT color=#ffffff>&nbsp;</FONT></P><P style="TEXT-ALIGN: center"><img src="http:// cfile260.uf.daum.net/image/181DFE164AA1C3271A12C4" class="tx-daum-image" style="CLEAR: none; FLOAT: none" actualwidth="800" hspace="1" width="800" vspace="1" border="0" /></P><P><FONT color=#ffffff>&nbsp;</FONT></P><P style="TEXT-ALIGN: center"><img src="http:// cfile248.uf.daum.net/image/191DFE164AA1C3271B4A2A" class="tx-daum-image" style="CLEAR: none; FLOAT: none" actualwidth="800" hspace="1" width="800" vspace="1" border="0" /></P><P><FONT color=#ffffff>&nbsp;</FONT></P><P style="TEXT-ALIGN: center"><img src="http:// cfile261.uf.daum.net/image/201DFE164AA1C3271C1D35" class="tx-daum-image" style="CLEAR: none; FLOAT: none" actualwidth="800" hspace="1" width="800" vspace="1" border="0" /></P><P><FONT color=#ffffff>&nbsp;</FONT></P><P style="TEXT-ALIGN: center"><img src="http:// cfile247.uf.daum.net/image/121DFE164AA1C3281D39A8" class="tx-daum-image" style="CLEAR: none; FLOAT: none" actualwidth="800" hspace="1" width="800" vspace="1" border="0" /></P><P><FONT color=#ffffff>&nbsp;</FONT></P><P style="TEXT-ALIGN: center"><img src="http://
  14. 14. Case 5 • Weaving + Stitching + Hiding(Script) http://blog.naver.com/PostView.nhn?blogId=albatros10&logNo=150117998769 <div style="OVERFLOW: hidden; WIDTH: 1px; HEIGHT: 1px">(여행)오션파라다이스(미국) ======⊙?⊙========⊙? ⊙======(여행)오션파라다이스(미국) 444444444444444 경기를 치르게 되며 (여행)오션파라다이스(미국) LIG손해보험에서 1걸음 당 1천원을 자선 기금으로 적립하게 된다. 밝혔다. 마나우스는 브라질의 항구도시로서 교통의 요충지에 인구 200만을 자랑하는 도시다. (여행)오션파라다이스(미국) 분명한 (여행)오션파라다이스(미국) 것은 시청자들의 바라는 '무릎팍도사'의 색은 더욱 확고해지고 있다는 사 실이다. 종합격투기의 메이저리그 UFC가 오는 28일 13년 만에 (여행)오션파라다이스(미국) 브라질 대회를 개최한다. 늘씬하고 부유한 세 경(서효림)을 (여행)오션파라다이스(미국) 물리치고 지욱의 마음을 차지한 연재의 스타일링을 보라. 솔직한 (여행)오션파라다이스(미국) 발언으로 눈길을 끌었다. "먹는 것을 워낙 좋아해서 먹고 싶은 건 다 먹었다. 대신 군것질을 줄이고 운동을 했다"고 밝 힌 박하선은 "운동은 종류별로 다 해봤는데, 줄넘기가 가장 효과적이었다"며 "줄넘기로 한 달에 6Kg을 감량한 적도 있다"고 털어놨다. 없게 됐다. 하지만 최성국은 K리그에 복귀할 수 (여행)오션파라다이스(미국) 있는 가능성도 부여받았다. 위해서는 나스리 이적료의 두 배 이상을 지불해야 한다고 (여행)오션파라다이스(미국) 엄포를 놓았다. 중에서도 각 프로팀이 먼저 (여행)오션파라다 이스(미국) 탐낼 만한 선수는 투수가 많았다는 뜻이다. 아무 무리 없이 (여행)오션파라다이스(미국) 나스리의 빈 자리를 메울 수 있게 된 다. 수식을 붙이는 이는 단 (여행)오션파라다이스(미국) 한 명도 없다고 해도 과언이 아니다. 상무(여행)오션파라다이스(미국) 선수들이 20세 이하 대표나 올림픽대표로 뛸 수 있기 때문이다. (여행)오션파라다이스(미국) 움직임까지 벌였고 KBS 예능국은 고위 관계자들까지 나서 '강호동 잡기'에 나섰다고 했다. 속내들이 엮어지고 그것이 무대 위로 집중되어 (여행)오션파라다이스(미국) 폭발할 때 힘이 생겨난 다. 했지만, 연재를 연기하는 배우의 몸은 평범한 30대의 것이 아니지 않는가. (여행)오션파라다이스(미국) </div> 기사 : http://media.daum.net/entertain/enews/view? cateid=1032&newsid=20110825145441849&p=mydaily&t__nil_news=downtxt&nil_id=4
  15. 15. Case 6 • Redirection http://brtastwetf.tistory.com <script language="javascript">document.write(unescape("x3C x73x63x72x69x70x74x20x74x79x70x65x3Dx27x74x65x78x74x2Fx6A x61x76x61x73x63x72x69x70x74x27x3Ex20x0Dx0Ax69x66x28x64x6Fx63x75x6D x65x6Ex74x2Ex72x65x66x65x72x72x65x72x2Ex6Dx61x74x63x68x28x22x2Fx63x6F x6Dx7Cx6Ex65x74x7Cx63x6Fx2Ex6Bx72x7Cx62x6Cx6Fx67x73x65x61x72x63x68x2E x67x6Fx6Fx67x6Cx65x2Ex63x6Fx2Ex6Bx72x7Cx73x65x61x72x63x68x2E x70x61x72x61x6Ex2Ex63x6Fx6Dx7Cx73x65x61x72x63x68x2Ex64x61x75x6Dx2Ex6E x65x74x7Cx73x65x61x72x63x68x2Ex6Ex61x76x65x72x2Ex63x6Fx6Dx7C x77x77x77x2Ex67x6Fx6Fx67x6Cx65x2Ex63x6Fx2Ex6Bx72x7C x73x65x61x72x63x68x2Ex79x61x68x6Fx6Fx2Ex63x6Fx6Dx7Cx74x61x62x2E x73x65x61x72x63x68x2Ex64x61x75x6Dx2Ex6Ex65x74x7Cx73x61x2E x73x65x61x72x63x68x2Ex64x61x75x6Dx2Ex6Ex65x74x7Cx62x69x6Ex67x2E x73x65x61x72x63x68x2Ex64x61x75x6Dx2Ex6Ex65x74x7Cx77x65x62x2E x73x65x61x72x63x68x2Ex6Ex61x76x65x72x2Ex63x6Fx6Dx7Cx63x61x66x65x62x6C x6Fx67x2Ex73x65x61x72x63x68x2Ex6Ex61x76x65x72x2Ex63x6Fx6Dx7Cx62x6Cx6F x67x73x65x61x72x63x68x2Ex67x6Fx6Fx67x6Cx65x2Ex63x6Fx6Dx7C x73x65x61x72x63x68x2Ex6Ex61x74x65x2Ex63x6Fx6Dx7C x63x61x66x65x32x35x34x2Ex64x61x75x6Dx2Ex6Ex65x74x2Fx22x29x29x20x7B x20x0Dx0Ax77x69x6Ex64x6Fx77x2Ex74x6Fx70x2Ex6Cx6Fx63x61x74x69x6Fx6Ex2E x68x72x65x66x3Dx27x68x74x74x70x3Ax2Fx2Fx70x64x73x32x31x2Ex65x67x6Cx6F x6Fx73x2Ex63x6Fx6Dx2Fx70x64x73x2Fx32x30x31x31x30x35x2Fx31x34x2F x32x34x2Fx33x32x35x35x36x35x38x5Fx32x31x31x35x34x38x37x5Fx67x6Fx5F x37x35x35x38x36x2Ex74x78x74x27x3Bx20x0Dx0Ax7Dx20x0Dx0Ax3Cx2F x73x63x72x69x70x74x3E"));</script>
  16. 16. Domestic Spam
  17. 17. Domestic Spam • 온라인 매체 홍보 • 도박 사이트 (B + H) • 화상 채팅 사이트 (B + H) • 경매 사이트 (B) • 파일공유 사이트 (H) • 사주 사이트 (B) • 기타 • 외부 검색 사이트 관련 Link Flash • 뉴스 관련 기사 영역 Link • 레포트 사이트 • 오프라인 매체 홍보 • 휴대폰 소액 결제 • 성매매 • 아이디, 통장 매매 • 불법 약품 판매
  18. 18. Domestic Spam • Spamdexing Sources • Text • News Article • Famous Blogger’s Article • QnA Article • Manual of Certain Domain • Keyword • Adult Keyword • Title of Software 0 1.50 3.00 4.50 6.00 Adult Query Ratio Normal Query
  19. 19. Part 2 : Daum’s Filter Service
  20. 20. As was...
  21. 21. Search Service Diagram Crawler Internal Data Source External Data Source Distributed ETL Storage Search Engine Document Spam Filter Service Spam Analysis Service
  22. 22. As is...
  23. 23. Document Filtering • Keyword-based filtering with Aho-corasick String matching algorithm • Sentence-based filtering with Hash function, NLP • Domain Name-based filtering • Pattern-based filtering with Regular Expressions
  24. 24. IP based Spam Domain Evaluation Service • Spammer’s Objective = Rendering their page on user’s browser • How? • Out-link • Script • Cost for Single Domain Cost for Single IP Address Free $500 ~ $1,000 / month • Example, < 218.232.105.118 057c.kjlkrtsd.co.kr 2nbt4hz.infohunte.co.kr 4fvn.rbmsdfue.com . . . Spam Document 1 Spam Document 2 Spam Document 3 Spam Document 4 . . . 1 IP 1M Domains 2.8M Documents
  25. 25. Limitation of Document Filtering • Work Process Expose Detect Logic Update Filtering • High Dependency of keywords and patterns • Robust approach is needed. User oriented analysis!
  26. 26. Spam User Profiling • Keyword Set Expand to Ambiguous Word • Diversify the Qualification Features • Reduce the Keyword and Pattern Dependency • Intuitive and Fast Spam Profile Modeling
  27. 27. Spam User Profiling • Document Features • Dictionary based Feature • Html Tag based Feature • Text based Feature • SNS oriented Feature • User Feature • Writing activity • Maturity • Document Filter - User Profile
  28. 28. • Vectorization • Normalizing FeatureValues with Linear Function • Ex ) Outlink Ratio : 0.75 < x < 1.00 x = 0.85, S(x) = 4 • Similarity Measure • Cosine Similarity |B|Cosθ Sim(A, B) = |A| Spam User Profiling
  29. 29. • Process Flow Raw Documents Document Features User Profile Spam User Profile Spam User Profiling IDtTitletContentt... ID DF1|DF2|DF3|... ID S(UF1)|...S(DF1)|... ID SUP_Score|... Map & Reduce Map & Reduce
  30. 30. • Statistics Spam User Profiling 0 6000 12000 18000 Spam Blogs Internal Spam Users 30000 20000 10000
  31. 31. Limitation of Spam User Profiling • Pre-defined Spam User Profile is Needed • Cost for maintenance • Cost for expansion coverage Supervised Learning Classifier!
  32. 32. Spam Scoring • Naive Bayesian Classifier 1 P(C|F1,F2,...,Fn) = Π P(Fi|C) z • Feature Selection InfoGain(Class,Feature) = H(Class) - H(Class | Feature)
  33. 33. Spam Scoring
  34. 34. • Analysis Tool and Library Weka 3 : www.cs.waikato.ac.nz/ml/weka • Data • Target Interval : 1 week • Learning Set • 2,500 blogs(Spam), 280,000 blogs(Ham) • Test Set • 3,474 blogs(Spam), 239,990 blogs(Ham) Spam Scoring
  35. 35. • Confusion Matrix (t = 1.0) • Accuracy = 0.908 Spam Scoring Spam Ham Spam 2,922 552 Ham 164 239,826
  36. 36. Future Work • Classifier Learning Interval • Learning Data Range • Spam Score Update Rule
  37. 37. References • http://news.chosun.com/site/data/html_dir/ 2011/03/29/2011032900039.html • Gyongyi Z., Garcia-Molina H.,“Web spam taxonomy”, In First International Workshop on Adversarial Information Retrieval on the Web(AIRWeb), 2005 • Dennis Fetterly, Mark Manasse and Marc Najork.,“Spam, damn spam, and statistics.” In Proceedings of the 7th International Workshop on the Web and Database(WebDB), 2004 • Zoltan Gyongyi, Hector Garcia-Molina, and Jan Pedersen.,“Combating web spam with TrustRank.” In Proceedings of the 30th International Conferece onVery Large Database(VLDB), 2004 • Amit Shinghal, Challenges in running a Commercial Web Search Engine
  38. 38.  고맙습니다.
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×