Linear Factor Models 13.4~13.5

1. 13.4 Sparse Coding
Unsupervised feature learning, Feature extraction 에서 사용됨
sparse coding : 엄밀하게는 𝒉(latent variable)의 값을 추론하는 과정
sparse modeling : 모형 설계 및 학습 과정
그냥 두 과정 모두 sparse coding이라고 부르기도 한다

2. Sparse coding이란 무엇인가?? 예시
다음과 같이 7처럼 보이는 이미지를 분해해서 다음과 같은 부분 특성들을 나타내는 이미지
들의 linear combination으로 나타낼 수 있다. 이 때 곱해지는 latent variabl들이 대부분 0
으로 이루어져 있어서 sparse coding이라고 하는 듯.

3. Sparse coding이란 무엇인가?? 예시

4. Model에서 뽑은 샘플
(엉망진창인 것 같아도)
가중치 벡터들을 살펴봤을때는
그나마 특징들을 잘 학습한 친구도 있는 것 같다
Sparse coding이란 무엇인가?? 예시

5. 𝑎𝑟𝑔 min
ℎ
𝜆 𝒉 1 + 𝛽 𝒙 − 𝑾𝒉 2
2
교재에 나와 있는 sparse coding 최적화 문제는 다음과 같다
교재에서는 𝒉를 추론하는 과정만 다뤘기 때문에(솔직히 언급만 했지 설명해주지도 않았다)
𝑾에 대해서는 언급이 없는데 𝑾같이 포함함 최적화 문제는 다음과 같다(여기서 𝑾와 𝑫는 같다 )

6. 우리는 위의 식을 최소화하는 𝒉를 𝑫를 구해야 한다.
1. reconstruction 𝑥 = 𝐷ℎ
weight matrix(𝐷)와 latent vector(ℎ)의 곱으로 이루어짐. 원래의 input(𝑥)와 유사하면 좋다.
하지만 너무 유사하면 의미가 없겠지
2. Reconstruction error
원래의 input과 만들어 낸 것과의 차
3. Sparsity penalty(𝜆)
𝜆가 높으면 sparsity가 낮아야 하므로 0에 가까워 질 것이고, 𝜆낮으면 reconstruction error를 최대한
낮게 만들려고 할 것이다(원본과 굉장히 유사해 질것)
참고 : https://www.youtube.com/watch?v=7a0_iEruGoM&list=PL6Xpj9I5qXYEcOhn7TqghAJ6NAPrNmUBH&index=60

7. 𝐷 는 주황색으로 표시된 부분 이미지들에 해당되고 ℎ의 경우 빨간색의 latent를
표현하는 value들에 해당한다. 양의 무한대, 음의 무한대까지 가능하다

8. Sparse Coding with an Overcomplete Basis Set: A Strategy Employed by V1 ? (Olshausen and Field, 1996)
Why Sparseness?
이미지의 경우 edge,
line 등의 적은 요소들
로 설명 가능
Multi modally
같은 확률 분포
에서 유용

9. 13.5 Manifold Interpretation of PCA
매니폴드(manifold)란, 두 점 사이의 거리 혹은 유사도가 근거리에서는 유클리디안
(Euclidean metric, 직선 거리)을 따르지만 원거리에서는 그렇지 않은 공간
PCA와 factor analysis를 비롯한 Linear factor model들은 manifold를 학습하는 것으로
해석할 수도 있다

10. 다음과 같이 팬케이크(?) 모양의 분포가 되어있다고 했을 때, 수직 방향의 분산(주황색)은 잡음으
로, 다른 방향의 분산들은 신호에 해당된다.

11. 일반적인 linear PCA라면 위와같은 manifold의 특성을 제대로 추출하지 못할 것이다.
Nolinear한 PCA도 있고 다른 manifold learning 방법들도 있다.