Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Seoul National University2/25/2017 1
PRINCIPAL COMPONENT ANALYSIS (PCA)
주성분분석
박정호 박사과정*
서울대학교 기계항공공학부
시스템 건전성 및 리스크 관리 연구실...
Seoul National University
Principles of PCA
2/25/2017 2
1) Maximum variance 2) Minimum error
• To maximize the variance of...
Seoul National University
Maximum variance – (1)
2/25/2017 3
x
1
xSample set mean : 
1
u x u xVariance of the projected da...
Seoul National University
Maximum variance – (2)
2/25/2017 4
Formulation of maximization using Lagrange multiplier
x, 1
원래...
Seoul National University
Minimum error – (1)
2/25/2017 5
x u
Representation of each data point by a 
linear combination o...
Seoul National University
Minimum error – (2)
2/25/2017 6
Distortion measure : 1
x x Need to be minimized
x u u
x u x u
De...
Upcoming SlideShare
Loading in …5
×

PCA (Principal Component Analysis)

1,035 views

Published on

The sildes contain brief descriptions about principles and derivations of PCA.

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

PCA (Principal Component Analysis)

  1. 1. Seoul National University2/25/2017 1 PRINCIPAL COMPONENT ANALYSIS (PCA) 주성분분석 박정호 박사과정* 서울대학교 기계항공공학부 시스템 건전성 및 리스크 관리 연구실 *hihijung@snu.ac.kr
  2. 2. Seoul National University Principles of PCA 2/25/2017 2 1) Maximum variance 2) Minimum error • To maximize the variance of the  projected data on the certain dimension. Var1 PC1 PC2 PC1 PC2Var2 PC1 PC2 SSE1 SSE2 • To minimize the mean squared distance  between the data and their projections. SSE : Sum or squared errors
  3. 3. Seoul National University Maximum variance – (1) 2/25/2017 3 x 1 xSample set mean :  1 u x u xVariance of the projected data :  maximize where  is the data covariance matrix defined by  x x x x 전개하면 똑같음  Projected data의 variance 를 maximize 하는 것은 결국 를 maximize 하는 것과 동일하게 됨. * 은 data 가 projection 되는 vector 를 말한다. (unit vector 임. 즉,  1) 
  4. 4. Seoul National University Maximum variance – (2) 2/25/2017 4 Formulation of maximization using Lagrange multiplier x, 1 원래식 Constraint (derivative w.r.t.  ) • 은 의 eigenvector,  은 eigenvalue 이다. • 1 라는 사실을 이용하면,  =  이 된다. 즉, variance 의 maximization 문제가 eigenvalue 의 maximum을 구하는 문제와 같아진다.  Summary 1 u x u x → → Variance Different expression of  the variance using  covariance matrix Eigenvalue of the  covariance matrix
  5. 5. Seoul National University Minimum error – (1) 2/25/2017 5 x u Representation of each data point by a  linear combination of the basis vectors : Where  δ ,  i.e. D‐dimensional basis vectors {u }  x x u u x u u u → x u Approximation of each data point by a  restricted number M < D :  x u u
  6. 6. Seoul National University Minimum error – (2) 2/25/2017 6 Distortion measure : 1 x x Need to be minimized x u u x u x u Derivative w.r.t.  & orthonormality Derivative w.r.t.  & orthonormality x x x x u u 1 x u x u   • 최소의 distortion measure, J를 구하기 위해서는 1~M 까지의 eigenvalue 들의 최대값을 가져야함 ↔ Variance의 maximization 문제와 같은 결론

×