فایل آموزشی تجزیه و تحلیل مولفه های اساسی Principle Component Analysis PCA

1. Principle component
analysis
‫اساسی‬ ‫های‬ ‫مولفه‬ ‫ی‬ ‫تجزیه‬
‫فاتحی‬ ‫ابوالفضل‬ ‫کننده‬ ‫تهیه‬

2. ‫منطق‬ ‫بررسی‬PCA
‫هدف‬PCA
‫الگ‬ ‫یافتن‬ ‫و‬ ‫شناسایی‬ ‫برای‬ ‫ها‬ ‫داده‬ ‫تحلیل‬‫ویی‬
‫ای‬ ‫گونه‬ ‫به‬ ‫ها‬ ‫داده‬ ‫مجموعه‬ ‫ابعاد‬ ‫کاهش‬ ‫برای‬
‫بعد‬ ‫کاهش‬ ‫طریق‬ ‫از‬ ‫رفته‬ ‫دست‬ ‫از‬ ‫اطالعات‬ ‫که‬
‫برسد‬ ‫حداقل‬ ‫به‬.
‫همبستگی‬ ‫ماتریس‬ ‫کمک‬ ‫به‬ ‫روش‬ ‫این‬ ‫در‬
‫را‬ ‫ها‬ ‫متغیر‬ ‫بین‬ ‫مشابه‬ ‫وجه‬ ‫تا‬ ‫دارد‬ ‫سعی‬
‫نماید‬ ‫تاکید‬ ‫ابعاد‬ ‫تفاوتهای‬ ‫وبر‬ ‫دهد‬ ‫کاهش‬
‫دارای‬ ‫که‬ ‫هایی‬ ‫بخش‬ ‫دارد‬ ‫قصد‬ ‫یعنی‬
‫نماید‬ ‫حذف‬ ‫را‬ ‫هستند‬ ‫همبستگی‬.
2
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

3. :
n n
inputX Y feature
.
(PCA)) (
( ) (linear
combination)
.
3
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

4. 4
PCA) (
(PC)
.
1( _first PC).
2( _second PC)
.
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

5. 5
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬ back

6. ‫خطی‬ ‫ترکیب‬(linear combination)
‫میباش‬ ‫خطی‬ ‫،ترکیب‬ ‫اساسی‬ ‫های‬ ‫مولفه‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫مبانی‬ ‫از‬ ‫یکی‬‫د‬.
6
11 1
22 2
, ,
i
i
i
ipP P
aX Y
aX Y
X a Y
aX Y
    
    
      
    
    
     
/
1 1 11 1 12 2 1
/
2 2 21 1 22 2 2
/
1 2 2 2
... p P
P P
p p p p pp P
y a X a X a X a X
y a X a X a X a X
y a X a X a X a X
    
    
    
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

7. ‫سوال‬
‫بردار‬‫باشد؟‬ ‫داشته‬ ‫باید‬ ‫ویژگی‬ ‫چه‬
7
/
ia
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

8. ‫اساسی‬ ‫های‬ ‫مولفه‬ ‫واریانس‬ ‫ی‬ ‫محاسبه‬
‫داریم‬ ‫متغیر‬ ‫دو‬ ‫تنها‬ ‫کنیم‬ ‫می‬ ‫فرض‬(n=2)
1 11 1 12 2 1 11 1 12 2 11 1 12 2( ) ( )y a X a X E y E a X a X a a       
1
2



 
  
 
11 12
21 22
 
 
 
   
 
2
1 11 1 12 2 11 1 11 1 12 2 12 2
2 2 2 2
11 1 1 12 2 2 11 12 1 1 2 2
2 2
1 12 2 12 1 211 11
2 2
11 12 22 12 1211 11
var( ) var( ) [( ) ( )]
[( ( ) ( ) 2 ( )( )]
var( ) var( ) 2 cov( , )
2 ( )
y a X a X E a X a a X a
E a X a X a a X X
a X a X a a X X
a a a a
 
   
  
      
      
  
 
2
var( ) (( ) )xx E x  
Show picture

9.  
2 2
1 11 12 22 12 1211 11
11 21 11 2 2
11 12 11 12 22 12 1211 11
12 22 21
var( ) 2 ( )
2 ( )
y a a a a
a
a a a a a a
a
  
 
  
 
  
   
     
   
1 1 1var( )y a a 
‫اساسی‬ ‫ی‬ ‫مولفه‬ ‫اولین‬ ‫واریانس‬ ‫باید‬ ،‫اساسی‬ ‫های‬ ‫مولفه‬ ‫اهداف‬ ‫اساس‬ ‫بر‬(y1)‫حداکثر‬
‫شود‬.
‫مشکل‬:‫بردار‬ ‫طول‬ ‫به‬ ‫بستگی‬ ‫امر‬ ‫این‬a1‫دارد‬.

10. :1a.
(1y)/
1a X
/
1var( )a X/
1 1 1a a .
  12 2 /
1 2 1 1 2 2 1 2
2
x
x
l x x x x x x x x x x
x
 
      
 

/
1 1 1a a 1a.
.
(2y)/
2a X
/
2var( )a X/
2 2 1a a / /
1 2cov( , ) 0a X a X .
PCA(.
/ /
1 2 1 2cov( , ) cov( , ) 0a X a X Y Y 
.)
.
10
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

11. ‫سوال‬:‫نا‬ ‫اساسی‬ ‫های‬ ‫مولفه‬ ‫باید‬ ‫چرا‬
‫باشند؟‬ ‫همبسته‬
‫بعد‬ ‫کاهش‬ ‫خاطر‬ ‫به‬
11
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

12. ‫ویژه‬ ‫مقادیر‬ ‫و‬ ‫ها‬ ‫بردار‬ ‫بر‬ ‫گذری‬
*n nAnn.
*p p
:
( , )
1,2,...,
i ie
i p


1
2
i
i
i
ip
e
e
e
e
 
 
 
 
 
  
:
/
1i ie e  .
12
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

13. (:(singular value decomposition
:
/
* * * *m k m m m k k kA U S V
UV.S( , ) ii i 
.
*m mU
/
* *m k k mA A
11 21 1
12 22 2
*
1 2
m
m
m m
m m mm
u u u
u u u
U
u u u
 
 
 
 
 
  
13
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

14. *k kV
/
* *k m m kA A
S:
1
2
*
0 0
0 0
0 0 0
m kS


 
 
 
 
 
 
11 21 1
12 22 2
*
1 2
k
k
k k
k k kk
v v v
v v v
V
v v v
 
 
 
 
 
  
14
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

15. /
3*2
3 1
1 3
1 1
A
 
   
   
2*3
3 1 1
1 3 1
A
 
    
15
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

16. 16
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬
10 0 0
0 12 0
0 0 0
s
 
   
  

17. ‫تکین‬ ‫مقدار‬ ‫ی‬ ‫تجزیه‬ ‫از‬ ‫استفاده‬((singular value
decomposition‫جدید‬ ‫های‬ ‫متغیر‬ ‫واریانس‬ ‫تعیین‬ ‫در‬
‫نکته‬
17
11 22
1
( )
p
ii pp
i
trace A a a a a

    
11 22( ) pptrace      
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬
11 12
21 22
 
 
 
   
 

18. ‫واریانس‬ ‫تعیین‬ ‫در‬ ‫تکین‬ ‫مقدار‬ ‫ی‬ ‫تجزیه‬ ‫از‬ ‫استفاده‬
‫جدید‬ ‫های‬ ‫متغیر‬
‫واریانس‬ ‫ماتریس‬ ‫تجزیه‬–‫تکی‬ ‫مقدار‬ ‫ی‬ ‫تجزیه‬ ‫روش‬ ‫اساس‬ ‫بر‬ ‫کواریانس‬‫ن‬
‫ماتریس‬P‫است‬ ‫متعامد‬ ‫ماتریس‬ ‫یک‬.
18
/
PSP
/ /
PP P P I 
1
2
*
0 0
0 0
0 0
p p
p
S



 
 
 
 
 
  
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

19. ‫راه‬ ‫نقشه‬
‫ویژه‬ ‫بردارهای‬ ‫و‬ ‫ویژه‬ ‫های‬ ‫مقدار‬
‫تکین‬ ‫مقدار‬ ‫ی‬ ‫تجزیه‬
‫های‬ ‫مولفه‬ ‫در‬ ‫واریانس‬ ‫ی‬ ‫محاسبه‬
‫اساسی‬

20. ‫کلی‬ ‫نتیجه‬
‫واریانس‬i‫با‬ ‫است‬ ‫،برابر‬ ‫اساسی‬ ‫ی‬ ‫مولفه‬ ‫امین‬i‫واریانس‬ ‫ماتریس‬ ‫ویژه‬ ‫مقدار‬ ‫امین‬–
‫کواریانس‬.
20
/ /
11 22 1 2
1 1
( ) var( ) ( ) ( ) ( ) var( )
p p
pp i p i
i i
trace x trace PSP trace SPP trace S y     
 
              
var( )i iy 
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

21. ‫سهم‬i‫امین‬‫کل‬ ‫واریانس‬ ‫از‬ ‫اساسی‬ ‫جز‬:
‫جزء‬ ‫اولین‬ ‫انتخاب‬ ‫در‬ ‫نکات‬ ‫از‬ ‫یکی‬(first principle component)‫است‬ ‫این‬
‫همانگون‬ ‫و‬ ‫باشد‬ ‫داشته‬ ‫را‬ ‫واریانس‬ ‫بیشترین‬ ‫که‬ ‫شود‬ ‫انتخاب‬ ‫جزیی‬ ‫که‬‫که‬ ‫ه‬
‫است‬ ‫انها‬ ‫ی‬ ‫ویژه‬ ‫مقدار‬ ‫برابر‬ ‫اساسی‬ ‫اجزای‬ ‫واریانس‬ ‫شد‬ ‫اثبات‬ ‫باال‬ ‫در‬.‫پس‬
‫باشد‬ ‫داشته‬ ‫را‬ ‫ویژه‬ ‫مقدار‬ ‫بیشترین‬ ‫که‬ ‫است‬ ‫جزیی‬ ‫برابر‬ ‫جزء‬ ‫اولین‬.‫ای‬‫امر‬ ‫ن‬
‫حدود‬ ‫که‬ ‫میشود‬ ‫ان‬ ‫سبب‬80‫الی‬90‫جزء‬ ‫دو‬ ‫یکی‬ ‫در‬ ‫واریانس‬ ‫کل‬ ‫درصد‬
‫شود‬ ‫جمع‬ ‫ابتدایی‬.
21
1 2
i
p
proportion

  

  
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

22. ikeki.
ike,i kY X
22
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬
1 11 1 12 2y a X a X 
' 1i ie e  i ia e

23. ie(/
1i ie e )
/
ia
.
23
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

24. ‫مثال‬
24
 
 
 
1
2
3
/
1
/
2
/
3
1 2 0
2 5 0
0 0 2
5.83
2.00
0.17
0.383 0.924 0
0.0 0 0.00 1.00
0.924 0.383 0
e
e
e



 
    
  



 


/
1 1 1 2
/
2 2 3
/
3 3 1 2
0.383 0.924
0.924 0.383
Y e X x x
Y e X x
Y e X x x
  
 
  
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

25. ‫مثال‬ ‫ادامه‬
‫برای‬ ‫واریانس‬ ‫محاسبه‬I‫اساسی‬ ‫ی‬ ‫مولفه‬ ‫امین‬:
25
2 2
1 1 2 1 2
1 2
var( ) var(0.383 0.92 ) (0.383) var( ) (0.924) var( )
2(0.383)(0.924)cov( , )
Y x x x x
x x
    
1
2
1 2
var( ) (1,1) 1
var( ) (2,2) 5
cov( , ) (1,2) 2
x
x
x x
  
  
   
1 1var( ) 5.83Y  
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

26. ‫مثال‬ ‫ادامه‬
‫واریانس‬ ‫از‬ ‫جزء‬ ‫اولین‬ ‫سهم‬‫کل‬
‫کل‬ ‫واریانس‬ ‫از‬ ‫جزء‬ ‫دومین‬ ‫و‬ ‫اولین‬ ‫سهم‬
26
1
1 2 3
5.83
0.73 73%
5.83 2 0.17

  
  
   
1
1 2 3
2 5.83
0.98 98%
5.83 2 0.17

  

  
   
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

27. ‫توجه‬
‫اولیه‬ ‫متغیر‬ ‫سه‬ ‫جای‬ ‫به‬ ‫توان‬ ‫می‬) (‫متغیر‬ ‫دو‬ ‫از‬ ‫تنها‬ ،
‫جدید‬((pc‫که‬ ‫ای‬ ‫گونه‬ ‫کرد،به‬ ‫استفاده‬98%‫دهد‬ ‫پوشش‬ ‫را‬ ‫کل‬ ‫واریانس‬ ‫از‬.
‫است‬ ‫بعد‬ ‫کاهش‬ ‫همان‬ ‫این‬.
27
1 2 3, ,x x x
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

28. ‫سوال‬:‫است؟‬ ‫کافی‬ ‫مولفه‬ ‫تعداد‬ ‫چه‬
‫این‬ ‫تشخیص‬ ‫در‬ ‫روبرو‬ ‫نمودار‬
‫میکن‬ ‫شایانی‬ ‫کمک‬ ‫موضوع‬‫د‬.
‫نمودار‬ ‫این‬ ‫در‬ ‫بایستی‬ ‫ما‬
‫بگردیم‬ ‫بازو‬ ‫دنبال‬.‫مقدا‬ ‫ان‬‫ر‬
‫در‬ ‫را‬ ‫اساسی‬ ‫های‬ ‫مولفه‬ ‫از‬
‫ای‬ ‫به‬ ‫میگیریم،باتوجه‬ ‫نظر‬‫نکه‬
‫ویژه،مقادیر‬ ‫مقادیر‬ ‫مابقی‬
‫و‬ ‫باشند‬ ‫داشته‬ ‫را‬ ‫کمی‬
‫اندازه‬ ‫حدو‬ ‫یک‬ ‫در‬ ‫تقریبا‬
‫باشند‬.
‫در‬ ‫رو‬ ‫روبه‬ ‫شکل‬ ‫در‬i=3
‫همگی‬ ‫ویژه‬ ‫مقادیر‬ ‫مابقی‬
‫میباشند‬ ‫اندازه‬ ‫حدو‬ ‫یک‬ ‫در‬.
28
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

29. ‫تکمیلی‬ ‫نکات‬
‫الگوریتم‬ ‫در‬PCA‫زیر‬ ‫باپارامترهای‬ ‫نرمال‬ ‫توزیع‬ ‫دارای‬ ‫ها‬ ‫داده‬ ‫مجموعه‬ ‫میکنیم‬ ‫فرض‬
‫میباشد‬.
‫است‬ ‫شده‬ ‫توزیع‬ ‫زیر‬ ‫مختصات‬ ‫با‬ ‫شکل‬ ‫بیضی‬ ‫صورت‬ ‫به‬ ‫ها‬ ‫داده‬ ‫مجموعه‬ ‫چگالی‬.
‫متغییره‬ ‫تک‬ ‫برای‬
‫متغییره‬ ‫چند‬ ‫برای‬
29
11 12
( , )
( ) var( )
X
i
X
trace pp x

  

      
2
2 1
( )( ) ( )X
X X X
X
x
x x

  

 
   
 
/ 1 2
( ) ( )X XX X C 
   
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

30. ‫تکمیلی‬ ‫نکات‬
‫می‬ ‫بدست‬ ‫اولیه‬ ‫محورهای‬ ‫دوران‬ ‫از‬ ‫اساسی‬ ‫های‬ ‫مولفه‬ ‫نظرهندسی‬ ‫از‬
‫ایند‬.
‫باال‬ ‫دستگاه‬ ‫در‬Xi‫و‬ ‫اصلی‬ ‫مختصات‬ ‫سیستم‬ ‫در‬ ‫بردار‬ ،Yi‫سیستم‬ ‫در‬ ‫بردار‬ ،
‫باشد‬‫می‬ ‫یافته‬ ‫دوران‬.‫محورهای‬ ‫و‬ ‫اصلی‬ ‫محورهای‬ ‫بین‬ ‫جهت‬ ‫کسینوس‬
‫با‬ ‫را‬ ‫یافته‬ ‫دوران‬lij‫دهند‬‫می‬ ‫نشان‬.‫اندیس‬i‫و‬ ‫جدید‬ ‫سیستم‬ ‫به‬ ‫مربوط‬
‫اندیس‬j‫قدیم‬ ‫سیستم‬ ‫به‬ ‫مربوط‬‫است‬.
30
,Y RX R rotationmatrix 
1 11 1 12 2 13 3
2 21 1 22 2 23 3
3 31 1 32 2 33 3
Y l X l X l X
Y l X l X l X
Y l X l X l X
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

31. 31
‫متغیره‬ ‫چند‬ ‫های‬ ‫شاخص‬ ‫معرفی‬

32. ‫پایان‬