[신경망기초] 오류역전파알고리즘
•
1 like•1,869 views
신경망의 핵심 학습 알고리즘인 오류역전파알고리즘을 유도해 봅니다. 신경망 학습에 대한 깊은 이해와 함의를 이해하는데 반드시 필요한 과정입니다. 유도 과정에는 미분 공식 중 하나인 연쇄법칙 (Chain Rule)이 사용되고 있습니다.
Recommended
More Related Content
What's hot
What's hot (20)
More from jaypi Ko
More from jaypi Ko (20)
[신경망기초] 오류역전파알고리즘
- 1. 오류역전파알고리즘; backpropagation 딥러닝을 위한 신경망 기초 nonezerok@gmail.com 신경망의 핵심 학습 알고리즘인 오류역전파알고리즘을 유도해 봅니다. 신경망 학습에 대한 깊은 이해와 함의를 이해하는데 반드시 필요한 과정입니다. 유도 과정에는 미분 공식 중 하나인 연쇄법칙 (Chain Rule)이 사용되고 있습니다.
- 2. 2 오류가 전달되었다 오류에 대한 가중치 변화율 = 1 2 − 먼저 직관으로 이해해 보자 출력 층에서 발생하는 오류는 그 이전 히든 층의 노드에서 일정 부분 기여한 것이니, (연결 가중치 만큼) 구하고자 하는 오류에 대한 가중치 변화율을 출력 층에서 받아오자!
- 3. 3 ∆, = , = when is of the first layer 오류 역전파 알고리즘 ∆ = − = 1 − − , ← 1 − − ← 1 − , , ← , + ∆, ℎ , 25년 만에 나온 알고리즘 (15년)
- 4. 4 오류 역전파 알고리즘 유도
- 5. = = − 1 − = − 1 − = 1 2 − = = + = = + = = − 1 − 1 − = 1 − = ′ 5
- 6. = = = 1 − = ′ = − 1 − = − ′ In case of output layer In case of hidden layer = = 6
- 7. = + = + = − 1 − = − 1 − = + = 1 2 − + 1 2 − 0 = + = + = − 1 − = − 1 − 0 ′ ′ 7
- 8. = + = + = + = − 1 − 1 − + − 1 − 1 − = − 1 − + − 1 − 1 − ′ 8 = + = 1 2 − + 1 2 −
- 9. = = = = − 1 − = − ′ = − 1 − = − ′ = + ′ In case of output layer In case of hidden layer 9