Linear Factor Models 13.1~13.3

1. 13.
Linear Factor Models
하인준 , 이정현

2. Generative Model
지도학습 비지도학습

3. Generative Model
정규분포 포아송분포 감마분포

4. Generative Model
Generative adversarial network (GAN)

5. Linear Factor Model
잠재변수 (Latent Variable) h
h의 선형변환에 bias와 noise를 더함으로써 x를 생성
이때 보통 noise는 Gaussian & diagonal (차원들에 대해 독립)

6. Linear Factor Model

7. Linear Factor Model

8. pPCA
ICA
SFA

9. probabilistic PCA

10. “이번에 배울 PPCA란 말이죠..”
-PCA장인
probabilistic PCA

11. Probabilistic PCA

12. Probabilistic PCA

13. Probabilistic PCA
Eigen Decomposition
/ Singular Value Decomposition

14. probabilistic PCA

15. probabilistic PCA

16. probabilistic PCA

17. probabilistic PCA

18. probabilistic PCA

19. probabilistic PCA

20. probabilistic PCA

21. probabilistic PCA

22. probabilistic PCA

23. Independent CA

24. Independent CA

25. Independent CA

26. Independent CA

27. Slow Feature Analysis

28. Slow Feature Analysis
가장 중요한 정보는 무엇일까?
가장 천천히(부드럽게) 변하는것!
-느림 원리(slowness principle)

29. Slow Feature Analysis

30. Slow Feature Analysis
람다는 항의 강도를 결정하는 하이퍼파라미터,
t 는 시간,
f는 특징추출기(feature extractor)
L은 거리를 측정하는 Loss function (흔히 MSE를 활용한다)
느림 원리(slowness principle) 적용을 위해 원 모델의 비용함수에 다음항을 추가

31. Slow Feature Analysis
결국 이러한 최적화 문제를 풀게 되는것!

32. Slow Feature Analysis
컴퓨터에게 자연경관을 담은 동영상으로 훈련한 결과와
쥐의 뇌에서 뉴런들이 대표하는 특징들이 공통점이 높게 나타나는것으로 보아
생물학적으로도 어느정도 그럴듯한 모형인 것으로 보임.
하지만 최고수준의 응용에서 활용되지 못하는데,
성과를 제한하는 요인이 어떤것인지 아직 알려지지 않음

33. 13.
Linear Factor Models
하인준 , 이정현