Visual AI(시각 인공지능) Lecture 3 : Optimization by Gradient Descent

1. Visual AI(시각인공지능)
Lecture 3 : Optimization by Gradient
Descent
1

2. Content
Linearly non-separable data
Supervised Learning
Gradient Descent Algorithm
2

3. XOR is Not Linearly Separable
3

4. Three Perceptrons Are Required
2개의 뉴런이 hyperplane을 만들어 내고 나머지 한 뉴런이 2개
의 hyperplane을 연결
4

5. 5

6. Network of Perceptrons to solve XOR (1/2)
6

7. 7

8. 8

9. Interpretation
9

10. Supervised Learning
10

11. Main Idea
11

12. Gradient Descent Algorithms
1. Close form solution
2. Batch Gradient Descent (BGD)
3. Stochastic Gradient Descent (SGD)
4. Mini-batch Gradient Descent
12

13. Perceptron without Step Activation Function
13

14. Mean Squared Error (MSE)
14

15. Vectorization (1/2)
15

16. Vectorization (2/2)
16

17. Our problem…
에러를 최소화하는 Wk를 찾는 것
17

18. Close Form Solution
18

19. Finding the Minimum Error
19

20. Summary
Close form 솔루션은 한번에 해결책을 제시해 줌
단점 ?
20

21. Batch Gradient Descent (BGD)
21

22. Batch Gradient Descent (BGD)
22

23. Batch Gradient Descent (BGD)
23

24. BGD Interactive Demo
데모
24

25. Batch Gradient Descent (BGD)
25

26. 26

27. Problems of BGD
정확한 gradient 정보는 사전에 정의 되어야 함
즉 R과 P가 정확히 계산되어 있어야함
문제 1 : 랜덤한 스트림 패턴의 데이터가 들어오면 R과 P를 정확
히 계산 못함
문제 2 : P와 R을 계산하는 것은 벡터 차원이 커질수록 매우
heavy함
27

28. Stochastic Gradient Descent (SGD)
28

29. Stochastic Gradient Descent
데이터 스트림에서 정확하게 예측하기 위해 합리적으로 긴 시
간동안 평균치를 구해야 함
신뢰할만한 R과 P를 예측하기 위해 얼마나 많은 스트림 데이터
를 흘려보내야 할까?
방안:
SGD는 k개의 interation동안 Wk가 최적의 솔루션 Wopt에 가까
워질수록 평균으로 수렴한다.
29

30. Stochastic Gradient Descent
30

31. Stochastic Gradient Descent
SGD의 가중치 업데이트 수식
31

32. Stochastic Gradient Descent (SGD)
32

33. BGD vs SGD (1/2)
33

34. BGD vs SGD (2/2)
34

35. Mini-Batch Gradient Descent
Batch와 SGD의 중급자 모드
35

36. Mini-Batch Gradient Descent
36

37. Summary
37

38. 다음 강의
다중 퍼셉트론을 이용한 non-seperable 문제를 풀어보았음
그러나 실제로 데이터는 noisy하고 이진 분류 분제로 제한되지
않음
어떻게 더 네트워크를 발전시킬 수 있을까?
자동으로 학습하는 알고리즘을 배웠음
그러나 현재까지 배운 활성화 함수는 미분 불가능인데 어떻게
GD를 뉴럴넷에 적용시킬수 있을까?
38