[신경망기초] 멀티레이어퍼셉트론
•
0 likes•854 views
퍼셉트론의 한계를 극복하는 방법입니다. 퍼셉트론은 나오자 마자 한계에 봉착했는데, 이를 해결하기 위해 구조적인 확장을 하게 됩니다. 그러나 정작 중요한 것은 이 확장된 구조에서의 학습 방법을 오랫 동안 찾지 못한 것입니다. 여기서 소개하는 신경망 학습방법은 신경망 학습방법의 거의 전부라고 할 수 있습니다.
Recommended
More Related Content
What's hot
What's hot (20)
More from jaypi Ko
More from jaypi Ko (20)
[신경망기초] 멀티레이어퍼셉트론
- 1. 멀티레이어 퍼셉트론 딥러닝을 위한 신경망 기초 nonezerok@gmail.com 퍼셉트론의 한계를 극복하는 방법입니다. 퍼셉트론은 나오자 마자 한계에 봉착했는데, 이를 해결하기 위해 구조적인 확장을 하게 됩니다. 그러나 정작 중요한 것은 이 확장된 구조에서의 학습 방법을 오랫 동안 찾지 못한 것입니다. 여기서 소개하는 신경망 학습방법은 신경망 학습방법의 거의 전부라고 할 수 있습니다.
- 2. 2 = 1 1 = 1 = 0 1 = 0 = 0 0 = 0 = 1 0 = 0 퍼셉트론이 다루지 못하는 문제 직선으로는 이 패턴을 구분할 수 없다
- 3. 3 좀 더 복잡한 문제를 다루기 위해 결과를 다시 퍼셉트론의 입력으로 그래서 구조를 복잡하게 만들어 보았다.
- 4. 4 Input Layer Hidden Layer Output Layer Multi-Layer Perceptron [그림] http://cs231n.github.io/neural-networks-1/ 보통 신경망 그림 여러 개의 층으로 구성
- 5. 5 = × + + × + = + + + = + + + 1 = = + 층을 늘리긴 했는데… 여전히 직선(초평면Hyper-plane)~선형식을 전개해 보니 여전히 직선
- 6. 6 1 = 선형일 수 밖에 없는 이유 = () = 선형함수는 가중합만 낳을 뿐 여기 출력에 항등함수 통과시켜도 그대로 가로축 입력, 세로축 출력 입력과 똑 같은 출력; 항등함수 있다고 생각해도 됨.
- 7. 비선형 함수를 도입 7 그래서 항등함수 대신에 아름다운 S 라인 함수 아름다운 여인을 보면 더 알고 싶다. 이름 포함해서…
- 8. = 1 1 + = 1 + 8 식이 아름답다. 시그모이드 함수
- 9. 9 1 1 활성함수; activation function = = 1 1 + 신경망의 노드에는 선형 합 z를 통과시키는 함수가 있다.
- 10. 10 시그모이드 함수의 미분특성 = 1 1 + = 1 + = () 1 − () 미분했는데 자기 자신이 다시 나오는 멋진; nice한 특징이 있다.
- 11. 11 = 1 1 + = 1 + = 1 − 1 + 1 + = 1 + 1 + − 1 1 + = 1 1 + − 1 1 + = 1 1 + 1 − 1 1 + = 1 − 분수 미분 공식 & chain rule = =
- 12. 출력층에 관한 기울기 = 1 2 − ∈ 12 출력 층의 노드 출력을 알고 있으니까 계산 가능하다. 여기서의 미분은 가능하다. 여기에 존재하는 가중치에 대한 미분
- 13. 13 = + ∆ ∆ = − = 1 − − , 출력층에 관한 가중치 갱신 결과를 미리 보면 ∆ = − = 1 − , 퍼셉트론 미분
- 14. 14 = + ∆ ∆ = − = 1 − − , 출력층에 관한 가중치 갱신 결과를 미리 보면 ∆ = − = 1 − , 활성함수 차이!퍼셉트론 미분
- 15. 15 = 1 2 − = 1 2 − = 1 2 2 − − = − − = − − = − − + , + ⋯ + , = − − 1 − , = = 1 1 + = 1 − = chain rule
- 16. 히든층에 관한 기울기 16 여기서의 미분은 쉽지 않다. 여기에 존재하는 가중치에 대한 미분
- 17. 17 = 1 2 ? − Hidden 노드에서는 Target 값을 모른다. 이 문제를 해결하기 위해 20년 걸림
- 18. 18 오류가 전달되었다 오류에 대한 가중치 변화율 = 1 2 − 먼저 직관으로 이해해 보자 출력 층에서 발생하는 오류는 그 이전 히든 층의 노드에서 일정 부분 기여한 것이니, (연결 가중치 만큼) 구하고자 하는 오류에 대한 가중치 변화율을 출력 층에서 받아오자!
- 19. 19 ∆, = , = when is of the first layer 오류 역전파 알고리즘 ∆ = − = 1 − − , ← 1 − − ← 1 − , , ← , + ∆, ℎ , 20여년 만에 나온 알고리즘
- 20. 다층 구조로 신경망 확장 시그모이드 활성함수 도입 오류 역전파 알고리즘 20 정리