CS231n Chapter12, Visualization and Understand Summary

1. 김수빈 (kimziou77@naver.com)
2020.08.
Visualization and Understanding
CS231n chap12

2. 시각화는 네트워크의 성능을 높이는게 아니라
“우리가 이해함“ 이 목적임!

3. 지금까지..
CNN을 어떻게 학습시킬 것인가?
다양한 문제를 해결하기 위해
CNN을 어떻게 해야 하는가?

4. 이제부터..
CNN의 내부에서는 어떤 일이 일어나고 있는가?
CNN은 어떤 종류의 Feature을 찾고 있을까?

5. 왜 이걸..?
결과가 어떻게 나왔는지를 설계자도 알 수 없음.
??
블랙박스 모델

6. 그래서 우리는 이걸 배워서..!

7. - CNN은 어떤 종류의 feature을 찾는 것일까?
- CNN의 내부를 분석하려면 어떤 테크닉이 필요할까?
Q

8. Activation visualization weight visualization
Visualization

9. DataSet Visualization
데이터셋 상에 포함된 전체 이미지 들에 대한
예측결과의 일반적 경향성 & 예측 결과들간의 거리관계 등을 알 수 있다.

10. Dimensionality Reduction
Feature의 수가 많으면..
1. Overfit이 될 가능성이 크다.
2. 모델의 성능을 저하시킨다.
3. Feature들 사이 관계를 파악하기 힘들다
4. 컴퓨터도 힘들다

11. Dimensionality Reduction
4096차원 (추출된 각 특성들) 의 공간 2차원 feature space

12. DataSet Visualization
Pixel관점 Nearest Neighbors feature관점 Nearest Neighbors

13. Dimensionality Reduction
PCA(Principal component Analysis)
다.

14. Dimensionality Reduction
t-SNE

15. 특징 시각화
CNN은 어떤 종류의 Feature을 찾고 있을까?

16. Occlusion

17. 어떤 이미지가 들어와야
각 뉴런들의 활성이 최대화 되는지
시각화 하는 방법
Maximally Activating Patches

18. Gradient
클래스 스코어가 입력 이미지의 어떤 부분에 영향을 끼쳤는지
클래스 스코어에 대한 그래디언트

19. 이미지의 표현을 더 의미있고 분석하기 쉬운 것으로 단순화/변경 하는 것
Gradient
Saliency Map

20. Intermediate feature via (Guided) backpropagation
네트워크 중간뉴런이 입력 이미지의 어떤 부분에 영향을 끼쳤는지
중간뉴런에 대한 그래디언트

21. 입력 이미지에 의존적이지 않은 방법은 없을까?
해당 뉴런을 시킬 수 있는 어떠한 “ ”가 있을까?
그렇다면…

22. zeros, uniform, noise 등으로 초기화된
초기 이미지
Gradient Ascent

23. Gradient Ascent

24. 이미지를 더 잘 시각화 하는 방법
Gradient Ascent

25. Fooling Images

26. FUN
시각화로 재밌는 실험해보기

27. Deep-Dream

28. Feature Inversion

29. 간단한 텍스쳐 합성
Texture Synthesis
Nearest Neighbor
With No Neural Network

30. Texture Synthesis
Gram Matrix
With Yes Neural Network

31. Texture Synthesis
Gram Matrix

32. 사람은 어떻게 예술을 할 수 있을까?
이 행위를 어떻게 알고리즘적으로 해석 할 수 있을까?
 Style Transfer

33. 두 영상(content image & style image)이 주어졌을 때
주된 형태는 content image와 유사하게 유지하면서
스타일만 우리가 원하는 style image와 유사하게 바꾸는 것
Style Transfer

34. Style Transfer

35. Style Transfer

36. END