Fuzzy Inference for Intrusion Detection of Web Robots in Computer Networks (Persian)

See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/281650920
Mahdieh Zabihi-7th OperatingResearch
Data · September 2015
DOI: 10.13140/RG.2.1.3958.5764
CITATIONS
0
READS
18
2 authors:
Some of the authors of this publication are also working on these related projects:
Stock Market Prediction (SMP) View project
Web mining View project
Mahdieh Zabihimayvan
Wright State University
15 PUBLICATIONS 23 CITATIONS
SEE PROFILE
Majid Vafaei Jahan
Islamic Azad University Mashhad Branch
73 PUBLICATIONS 120 CITATIONS
SEE PROFILE
All content following this page was uploaded by Mahdieh Zabihimayvan on 11 September 2015.
The user has requested enhancement of the downloaded file.

‫نشاني‬‫دبيرخانه‬:،‫سوناى‬ ‫دانشگاه‬ ،‫سوناى‬‫دانشکده‬‫رياضي‬‫علوم‬ ‫و‬ ‫آهار‬ ،‫کاهپيوتر‬
‫پست‬‫ترونيکي‬‫الک‬:Or2014@mail.semnan.ac.ir،‫پايگاه‬‫نتي‬‫ر‬‫ايتن‬:Or2014.semnan.ac.i،‫تلفن‬:3354061-0231
‫ن‬‫ي‬‫م‬‫ت‬‫هف‬‫س‬‫ن‬‫ا‬‫ر‬‫ف‬‫ن‬‫ک‬‫نيب‬‫ي‬‫ل‬‫ل‬‫م‬‫ل‬‫ا‬‫ن‬‫م‬‫ج‬‫ن‬
‫ا‬‫ي‬‫ن‬‫اريا‬‫ق‬‫ي‬‫ق‬‫ح‬‫ت‬‫رد‬‫ات‬‫ي‬‫ل‬‫م‬‫ع‬
24‫و‬25‫ارديبهشت‬1393–‫سوناى‬ ‫دانشگاه‬
‫مطالة‬ ‫فهرست‬:
‫ٍب‬ ‫ّای‬ ‫رٍتات‬ ‫تؼریف‬
‫ٍب‬ ‫رٍتات‬ ‫تطریص‬ ِ‫هسال‬ ‫صَرت‬
‫هارکَف‬ ‫تٌسی‬ ِ‫ذَض‬ ‫الگَریتن‬ ‫تؼریف‬
‫پیطٌْازی‬ ‫الگَریتن‬ ِ‫ارائ‬
‫پیطٌْازی‬ ‫الگَریتن‬ ‫ارزیاتی‬
‫الگَریتن‬ ‫تا‬ ‫پیطٌْازی‬ ‫الگَریتن‬ ِ‫هقایس‬RMCL

Web Server
•ِ‫ترًاه‬‫ّایی‬‫ٍب‬ ‫صفحات‬ ‫از‬ ‫زاًص‬ ‫استرراج‬ ‫ترای‬
•‫از‬ ‫کار‬ ‫آغاز‬ِ‫صفح‬ ‫تؼسازی‬‫توام‬ ‫تاززیس‬ ٍ‫صَرت‬ ِ‫ت‬ ‫صفحات‬ ‫ایي‬ ‫از‬ ‫زسترسی‬ ‫قاتل‬ ‫اسٌاز‬
‫تازگطتی‬
‫وب‬ ‫روتات‬ ‫تعریف‬:
1/16

n
‫یک‬ ‫از‬ ‫درخواست‬ ‫دو‬ ‫بین‬ ‫حدآستانه‬‫نشست‬:30‫دقیقه‬
‫نشست‬ ‫یک‬
1 2
{ , ,..., }n
R r r r
1 1
,{ | , }i
m m
i i i
i i
sS s R s R s
 
   
0 s is Human
: {0,1}, ( )
1 s is Robot
i
i
i
f S f s 



‫روبات‬ ‫تشخیص‬ ‫مساله‬ ‫تعریف‬‫وب‬
•R:ِ‫هجوَػ‬‫زرذَاست‬‫ّای‬‫هَجَز‬‫زر‬‫فایل‬‫ثثت‬‫ٍقایغ‬.
•S:ِ‫هجوَػ‬‫ًطست‬‫ّای‬‫هَجَز‬.
•F:‫تؼییي‬ ‫تاتغ‬‫ًطست‬ ‫ّر‬ ‫ًَع‬ ُ‫کٌٌس‬
2/16

‫رایج‬ ‫فرمت‬ ‫در‬ ‫درخواست‬ ‫هر‬ ‫ترای‬ ‫ضذه‬ ‫ثثت‬ ‫اطالعات‬:
Client IP
Date/time of request
Complete Request String
Response HTTP Status
Response Size(Bytes)
Referrer string
User agent Field
3/16

‫فایل‬ ‫زرذَاست‬"robots.txt"
‫کلیک‬ ‫ًرخ‬ ‫حساکثر‬
‫ًطست‬ ‫هست‬
‫ًَع‬ ‫از‬ ‫زرذَاست‬ ‫زرصس‬HEAD
‫ذالی‬ ‫ارجاػات‬ ‫تا‬ ‫زرذَاست‬ ‫زرصس‬
‫زرذَاستی‬ ‫اعالػات‬ ‫حجن‬
ِ‫صفح‬ ‫زرذَاست‬ ‫ػوق‬
‫زرذَاست‬ ‫ًسثت‬Html‫تصَیر‬ ِ‫ت‬
‫فایل‬ ‫زرذَاست‬ ‫زرصس‬‫زیگر‬ ‫ّای‬
‫فایل‬ ‫زرذَاست‬ ‫زرصس‬PDFٍPSS
‫ّا‬ ‫زرذَاست‬ ‫ػوق‬ ‫هؼیار‬ ‫از‬ ‫اًحراف‬
‫ذغای‬ ‫پاسد‬404
‫هتَالی‬ ِ‫زًثال‬ ‫زرذَاست‬ ‫ًرخ‬
13‫نطست‬ ‫هر‬ ‫ترای‬ ‫ضذه‬ ‫استخراج‬ ‫خصیصه‬:
4/16

Input: A, Adjacency matrix
Initialize M to MG, the canonical
transition matrix M:= MG:= (A+I) D-1
Yes
Output clusters
No
Expand: M := M*M
Inflate: M := M.^r (r usually
2), renormalize columns
Prune
Converged?
‫مارکوف‬ ‫تنذی‬ ‫خوضه‬ ‫الگوریتم‬
:(MCL)
Enhances flow to well-connected
nodes as well as to new nodes.
Increases inequality in each
column. “Rich get richer, poor
get poorer.”
Saves memory by removing
entries close to zero.
: k L k L
r R R 
 
1
( ) ( ) / ( )
k
r r
r pq pq iq
i
M M M

  
5/16

‫پیطنهادی‬ ‫الگوریتم‬:
•‫پرزازش‬ ‫پیص‬ ‫فاز‬
‫ّسف‬:‫تٌسی‬ ِ‫ذَض‬ ‫الگَریتن‬ ‫ترای‬ ‫هٌاسة‬ ‫ٍرٍزی‬ ‫هاتریس‬ ‫تَلیس‬
•‫تٌسی‬ ِ‫ذَض‬ ‫فاز‬
6/16

‫پردازش‬ ‫پیص‬ ‫فاز‬ ‫ترای‬ ‫پیطنهادی‬ ‫الگوریتم‬:
Data set
Create
Similarity
Matrix
Prune 𝑀𝑠
(<0.9)
Create
Associate
Matrix
Column-Wise
Normalization
Input
Matrix
Min-Max
Normalization
𝑀𝑠
𝑀 𝑝
𝑀 𝐺𝑀 𝐺
7/16

min
' ( max min ) min
max min
v
Av new new new
A A A
A A

  

. 1( , )
2 2( ) ( )
1 1
n
A B
i iA B iCosSimilarity A B
A B n n
A B
i i
i i

 
 
 
‫پردازش‬ ‫پیص‬ ‫فاز‬ ‫ترای‬ ‫پیطنهادی‬ ‫الگوریتم‬(‫ادامه‬):
ُ‫تاز‬ ِ‫ت‬ ‫ّا‬ ِ‫ذصیص‬ ‫هقازیر‬ ‫سازی‬ ‫ًرهال‬[1ٍ0:]
‫کسیٌَسی‬ ‫ضثاّت‬ ِ‫راتغ‬:
‫هرتلف‬ ‫ّای‬ ‫ًطست‬ ‫تیي‬ ‫حاصل‬ ‫ضثاّت‬ ‫هاتریس‬:
•‫هاتریس‬ ‫ایي‬ ‫زر‬
•m:‫تراتر‬‫ًطست‬ ‫تؼساز‬‫هَجَز‬ ‫ّای‬
11 1
1
a a
m
M
Similarity
a a
m mm m m


 
 
 
  
 
1,ii ij jia a a 
8/16

‫پردازش‬ ‫پیص‬ ‫فاز‬ ‫ترای‬ ‫پیطنهادی‬ ‫الگوریتم‬(‫ادامه‬):
•‫هاتریس‬𝑀 𝑝:
‫از‬ ‫کوتر‬ ‫ّای‬ ِ‫زرای‬ ِ‫کلی‬ ‫کرزى‬ ‫صفر‬0.9‫رٍی‬ ‫تیطتر‬ ‫تاکیس‬ ‫جْت‬ ‫ضثاّت‬ ‫هاتریس‬ ‫زر‬
‫ّن‬ ِ‫ت‬ ِ‫ضثی‬ ‫ّای‬ ‫ًطست‬ ‫تیي‬ ‫قَی‬ ‫ّای‬ ‫ضثاّت‬
•‫هجاٍرت‬ ‫هاتریس‬𝑀 𝐺:
‫هاتریس‬ ‫زر‬ ُ‫هاًس‬ ‫تاقی‬ ‫صفر‬ ‫غیر‬ ‫ّای‬ ِ‫زرای‬ ِ‫کلی‬ ‫کرزى‬ ‫یک‬𝑀 𝑝
•‫آذر‬ ِ‫هرحل‬:
‫هارکَف‬ ‫تٌسی‬ ِ‫ذَض‬ ‫الگَریتن‬ ‫اصلی‬ ُ‫قاػس‬ ‫عثق‬ ‫هجاٍرت‬ ‫هاتریس‬ ‫ستًَی‬ ‫سازی‬ ‫ًرهال‬
9/16

•‫استاًسارز‬ ‫هؼیار‬ ‫از‬ ‫اًحراف‬:‫ضاذصی‬‫هتغیر‬ ‫یک‬ ‫هقازیر‬ ‫پراکٌسگی‬ ‫هیساى‬ ‫تؼییي‬ ‫ترای‬ ‫آهاری‬
‫آى‬ ‫هیاًگیي‬ ِ‫ت‬ ‫ًسثت‬ ‫تصازفی‬‫ّا‬
1. Repeat
2. Expand by taking the 𝐞𝐭𝐡
power of the
matrix.
3. for each column C of the resulting matrix do
4. Compute the µ and δ of C.
5. for each element k of C do
6. if (k < µ - δ) then
7. Assign 0 to k.
8. end;
9. end;
10. end;
‫تنذی‬ ‫خوضه‬ ‫فاز‬ ‫ترای‬ ‫پیطنهادی‬ ‫الگوریتم‬:
‫ّرس‬‫هقازیر‬‫ّر‬‫ستَى‬‫تر‬‫اساس‬
‫اذتالف‬‫هیاًگیي‬ٍ‫اًحراف‬‫از‬
‫هؼیار‬‫هقازیر‬‫هَجَز‬‫زر‬‫ّر‬‫ستَى‬
‫هاتریس‬‫هیاًی‬‫تؼس‬‫از‬‫اػوال‬
‫ػولگر‬‫تسظ‬
10/16

‫نهایی‬ ‫های‬ ‫خوضه‬ ‫ناظر‬ ‫تا‬ ‫ارزیاتی‬ ‫نتایج‬:
‫ضاهل‬ ‫ٍب‬ ‫پارس‬ ‫سایت‬ ‫ٍقایغ‬ ‫ثثت‬ ‫فایل‬ ‫از‬ ُ‫استفاز‬2422‫ًطست‬(1055ٍ ‫اًساى‬1367‫رٍتات‬)
TP TN
RI
TP TN FP FN


  
( , )
ij
j
n
precision i j
n

Re ( , )
ij
i
n
call i j
n

𝐹1 =
2 × 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑟𝑒𝑐𝑎𝑙𝑙
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑒𝑐𝑎𝑙𝑙
ِ‫ذَض‬ ‫زر‬ ‫زرست‬ ‫تصویوات‬ ‫تؼساز‬‫تٌسی‬
ًَِ‫ًو‬ ‫تؼساز‬ِ‫زست‬ ‫ّای‬iِ‫ذَض‬ ‫زر‬jِ‫ذَض‬ ‫اػضای‬ ‫تؼساز‬ ِ‫ت‬j
ًَِ‫ًو‬ ‫تؼساز‬ِ‫زست‬ ‫ّای‬iِ‫ذَض‬ ‫زر‬j‫تؼساز‬ ِ‫ت‬‫ترچسة‬ ‫تا‬ ‫اػضا‬ ‫کل‬i
11/16

0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
PrecisionRecallF1Accuracy
Precision
Recall
F1
Accuracy
‫نهایی‬ ‫های‬ ‫خوضه‬ ‫ناظر‬ ‫تا‬ ‫ارزیاتی‬ ‫نتایج‬(‫ادامه‬:)
12/16

‫تنذی‬ ‫خوضه‬ ‫الگوریتم‬RMCL:
•Regularized Markov Clustering algorithm
•‫ًظن‬‫جریاى‬ ‫تَزیغ‬ ِ‫ت‬ ‫زازى‬‫ذارج‬ ‫ّای‬‫ًَز‬ ‫یک‬ ‫از‬ ُ‫ضس‬(ِ‫ّوسای‬‫ًَز‬ ‫آى‬ ‫ّای‬)‫تؼساز‬ ‫کاّص‬ ‫ّسف‬ ‫تا‬
‫ّای‬ ِ‫ذَض‬‫ًْایی‬
•ِ‫ت‬ ‫تسظ‬ ‫ػولگر‬ ‫تغییر‬𝑀 ∗ 𝑀 𝐺‫جای‬ ِ‫ت‬𝑀 ∗ 𝑀.
13/16

‫الگوریتم‬ ‫تا‬ ‫پیطنهادی‬ ‫الگوریتم‬ ‫عملکرد‬ ‫مقایسه‬RMCL:
‫آزهوى‬
‫هوبستگي‬
‫تکرار‬‫اصلي‬ ‫حلقه‬‫اجرا‬ ‫زهاى‬‫تعداد‬‫خوشه‬‫ها‬‫الگوريتن‬
0.6206315.95 sec2‫پيشنهادی‬ ‫روش‬
0.6279616.96 sec4RMCL
•‫هجاٍرت‬ ‫هاتریس‬ ‫تَلیس‬ ‫زر‬ ‫کَچک‬ ‫ّای‬ ‫ضثاّت‬ ‫هقازیر‬ ‫کرزى‬ ‫زرگیر‬ ‫ػسم‬
‫ّا‬ ‫ًطست‬ ‫تیي‬ ‫ارتثاط‬ ‫از‬ ‫تر‬ ‫قَی‬ ‫تازتاتی‬ ‫ایجاز‬
•‫اػوال‬ ‫از‬ ‫تؼس‬ ‫ستَى‬ ‫ّر‬ ‫هقازیر‬ ‫هؼیار‬ ‫از‬ ‫اًحراف‬ ٍ ‫هیاًگیي‬ ‫اذتالف‬ ‫تراساس‬ ‫کَچک‬ ‫هقازیر‬ ‫ّرس‬
‫تسظ‬ ‫ػولگر‬
‫اصلی‬ ِ‫حلق‬ ‫تکرار‬ ‫تؼساز‬ ‫کاّص‬ ٍ ‫اجرا‬ ‫سرػت‬ ‫افسایص‬
14/16

‫نهایی‬ ‫گیری‬ ‫نتیجه‬:
‫ٍب‬ ‫ّای‬ ‫رٍتات‬ ‫تطریص‬ ‫زر‬ ‫پیطٌْازی‬ ‫الگَریتن‬ ‫سرػت‬ ٍ ‫زقت‬
•‫الگَریتن‬ ‫ٍرٍزی‬ ‫هاتریس‬ ‫هٌاسة‬ ٍ ‫زقیق‬ ‫تؼریف‬
•‫ضس‬ ‫ذَاٌّس‬ ‫صفر‬ ُ‫تاالذر‬ ‫ًسزیک‬ ُ‫آیٌس‬ ‫زر‬ ِ‫ک‬ ‫هقازیری‬ ‫کرزى‬ ‫ّرس‬
‫هاتریس‬ ‫تکارگیری‬ ٍ ‫َّضوٌس‬ ٍ ُ‫ساز‬ ‫ساذتاری‬ ‫تا‬ ‫گراف‬ ‫تر‬ ‫هثتٌی‬ ‫الگَریتن‬ ‫ایي‬
ُ‫زاز‬ ‫ضثاّت‬ِ‫ذَض‬ ‫ّا‬‫هی‬ ‫زقیق‬ ٍ ‫سریغ‬ ‫را‬ ‫هَجَز‬ ‫عثیؼی‬ ‫ّای‬‫یاتس‬.
15/16
View publication statsView publication stats

Fuzzy Inference for Intrusion Detection of Web Robots in Computer Networks (Persian)

Recommended

Recommended

More Related Content

Featured

Featured (20)

Fuzzy Inference for Intrusion Detection of Web Robots in Computer Networks (Persian)