신호해석특론시간에 발표했던 자료.

1. Convolutional
neural network
2018.04.02
신호해석특론
김정훈 jhkim@dilab.co.kr

2. ILSVRC
 Imagenet Large Scale Visual Recognition Competition
 1000만장의 image를 학습, 15만장의 이미지를 test
 1000 classes
신호해석특론 2

3. Contents
 Artificial intelligence
 Machine Learning
 Deep Learning
 Convolutional Neural network
신호해석특론 3

4. Artificial Intelligence
 “인공지능(人工知能, 영어: artificial intelligence, AI)은 철학적으로 인간성이나 지성을
갖춘 존재, 혹은 시스템에 의해 만들어진 지능, 즉 인공적인 지능을 뜻한다. 일반적으
로 범용 컴퓨터에 적용한다고 가정한다. 이 용어는 또한 그와 같은 지능을 만들 수 있
는 방법론이나 실현 가능성 등을 연구하는 과학 분야를 지칭하기도 한다.”
 단순하게:
 입력이 주어지면, 출력을 내보낸다.
신호해석특론 4

5. 원의 넓이?
신호해석특론 5

6. Machine Learning
 머신 러닝(영어: machine learning) 또는 기계 학습(機械
學習)은 인공 지능의 한 분야로, 컴퓨터가 학습할 수 있도
록 하는 알고리즘과 기술을 개발하는 분야를 말한다. 가령,
기계 학습을 통해서 수신한 이메일이 스팸인지 아닌지를
구분할 수 있도록 훈련할 수 있다.
 어떠한 태스크(T)에 대해 꾸준한 경험(E)을 통하
여 그 T에 대한 성능(P)를 높이는 것
신호해석특론 6

7. Machine Learning
신호해석특론 7

8. Machine Learning
 Supervised Learning
 입력에 대한 정답값이 있음. 대조하며 학습
 Backpropagation
 Unsupervised Learning
 정답 없이 입력값들만 주어짐
 Clustering, autoencoder
 Reinforcement learning
 입력값(액션)에 대한 평가만 주어짐
 Q-learning
신호해석특론 8

9. Machine Learning
 Supervised Learning
 Unsupervised Learning
신호해석특론 9

10. Machine Learning
 Reinforcement learning
신호해석특론 10

11. Deep Learning
 Deep? Machine?
신호해석특론 11

12. Neural Network
 뉴런과 인공 뉴런
 Input, output, threshold
신호해석특론 12

13. Neural Network
 뉴런 모델링
신호해석특론 13

14. Neural Network
 뉴런들의 연결
신호해석특론 14

15. Deep Learning
 레이어가 많을수록 높은 지능의 인공지능??
 Overfitting
 Vanishing Gradient
 오랫동안 이 두가지 문제를 풀지 못함
신호해석특론 15

16. Overfitting
신호해석특론 16
 Housing price prediction

17. Overfitting
신호해석특론 17
 Why?
 주어진 데이터가 적다.
 모델이 너무 복잡하다.
 딥러닝은 수백만개의 파라미터가 있다. -> overfitting

18. Overfitting
신호해석특론 18
 Dropout
 랜덤하게 뉴런을 끊음으로써 모델을 단순하게 만든다.

19. Overfitting
신호해석특론 19
 Dropout
 에러율의 차이

20. Vanishing Gradient
신호해석특론 20
 Backpropagation
 1986 ~ 2006

21. Vanishing Gradient
신호해석특론 21
 딥러닝은 미분값을 이용한다.
 학습되는 양 = 미분값 * 출력값
 대부분의 영역에서 미분값이 0에 가깝다.

22. Vanishing Gradient
신호해석특론 22
 ReLU(Rectified Linear Unit)의 등장.
 미분값이 1
 출력값은 제한없음
 max(0, x)

23. Covolutional NN
신호해석특론 23
 Neural Network를 영상처리에 특화시켜 보자.
 1. 영상의 특징을 찾자: Convolution 이용

24. Covolution(합성곱)
신호해석특론 24
 “합성곱(合成-, convolution, 콘벌루션)은 하나의 함수와 또 다른 함수
를 반전 이동한 값을 곱한 다음, 구간에 대해 적분하여 새로운 함수를
구하는 수학 연산자이다.”

25. Covolution
신호해석특론 25
 떨어 뜨린 공의 교훈

26. Covolution
신호해석특론 26
 a + b 가 3이 될 경우
 확률: f(2)g(1)

27. Covolution
신호해석특론 27
 a + b 가 3이 될 경우
 확률: f(1)g(2), f(0)g(3)

28. Covolution
신호해석특론 28
 a + b = c 일 경우
 확률:
 b = c – a
 Convolution의 표준정의

29. 2차원(영상)에서 Convolution
신호해석특론 29
 다른 함수 위에 슬라이딩 하여 곱하고 더하는 것

30. 2차원(영상)에서 Convolution
신호해석특론 30
 이미지 변환 : 필터
 이미지 : 2차원 함수

31. 2차원(영상)에서 Convolution
신호해석특론 31
 곡선을 검출하는 filter

32. 2차원(영상)에서 Convolution
신호해석특론 32
 곡선을 검출하는 filter

33. 2차원(영상)에서 Convolution
신호해석특론 33
 곡선을 검출하는 filter

34. 영상 분석의 기초
신호해석특론 34
 서로 다른 크기의 영상 feature
 1. 필터 사이즈를 점점 크게 만든다.
 2. 영상 사이즈를 점점 작게 만든다.
 Corner detection Example

35. 영상 분석의 기초
신호해석특론 35
 1. 필터 사이즈를 점점 크게 만든다.

36. 영상 분석의 기초
신호해석특론 36
 2. 이미지 사이즈를 점점 작게 만든다.

37. Convolutional NN
신호해석특론 37
 1. 필터 사이즈를 점점 크게 만든다.

38. Convolutional NN
신호해석특론 38
 2. 이미지 사이즈를 점점 작게 만든다.
 정보압축 : 효율적 계산 & 왜곡에 robust

39. LeNet-5 (1998)
신호해석특론 39
 Feature extraction + Neural Network

40. LeNet-5 (1998)
신호해석특론 40
 Feature extraction + Neural Network
 1. Input - 크기 32x32x1. 흑백 이미지. (필터 5x5, stride 1)
 2. C1 - 크기 28x28x6. feature maps 6개. (필터 2x2, subsampling)
 3. S2 - 크기 14x14x6. feature maps 6개. (필터 5x5, stride 1)
 4. C3 - 크기 10x10x16. feature maps 16개
 5. S4 - 크기 5x5x16. feature maps 16개.
 6. C5 - FC(Full Connection )120개
 7. F6 - FC(Full Connection) 84개
 8. Output - GC(Gaussian Connections) 10개. (최종 분류)

41. LeNet-5 (1998)
신호해석특론 41
 Feature extraction + Neural Network

42. AlexNet
신호해석특론 42
 ILSVRC2012 - ImageNet

43. AlexNet
신호해석특론 43
 ILSVRC2012 - ImageNet

44. AlexNet
신호해석특론 44
 ILSVRC2012 – ImageNet (15.4% error)

45. AlexNet
신호해석특론 45
 ILSVRC2012 - ImageNet

46. GoogLeNet (2014)
신호해석특론 46
 Inception module

47. GoogLeNet (2014)
신호해석특론 47
 Inception module
 깊어졌지만 많이 넓어지지는 않았다.
 모델의 처음과 끝에 FC layer가 적용됐다.
 Inception 모듈에서는 hidden layer에 포함된 노드가 7
개 있는데 최대 2개만 거치면 목표까지 갈 수 있다.
 거쳐야 하는 1개 또는 2개는 반복할때마다 달라져
균형잡힌 결과를 얻게 된다.
 저자 10명이상.

48. GoogLeNet (2014)
신호해석특론 48
 2015 ResNet (152 layer) 3.6%
 2016 Trimps-Soushen (Inception-Resnet) 2.99%

49. R-CNN…
신호해석특론 49

50. Reference
신호해석특론 50
 http://www.image-net.org/
 http://hellogohn.com/post_one18
 http://bcho.tistory.com/1149
 http://pythonkim.tistory.com/40
 https://medium.com/@mldevhong

51. Q&A
신호해석특론 51