Recommended
More Related Content
Featured
Featured (20)
[유쉘] 5.가중치 초기화
- 1. 가중치 초기화
- 2. 유쉘 산업시스템 공학과를 졸업하고 딥러닝에 대해 공부하고 있습니다 yushell0417@gmail.com
- 3. 3 활성화 함수에 변화로 인해 언더피팅이 개선됩니다.
- 4. 4 하지만 조금 더 정확도를 높이고 싶을 때 생각해 봐야 할 것이 있습니다.
- 5. 5 바로 활성화 함수를 통과하는 가중치 입니다.
- 6. 6 0 10 5 이해를 돕기 위해 ReLU 함수를 가져왔습니다.
- 7. 7 0 10 5 만약 가중치 값의 분포가
- 8. 8 0 10 5 0보다 큰 값에서 위치하거나
- 9. 9 0 10 5 0보다 작은 값에서 위치하게 되면 학습이 잘 이뤄질까요?
- 10. 10 학습이 잘 이뤄지지 않기 때문에 활성화 함수를 통과하기 전에 가중치를 초기화 하는 것은 매우 중요합니다. 정확도를 높일 수 있기 때문이죠!!
- 11. 11 가중치 초기화 하는 첫번 째 방법은 0과 1사이의 값으로 위치하도록 만들기 위해 정규분포를 사용하자는 방법이였습니다.
- 12. 12 정규분포는 표준편차에 따라 모양이 달라집니다. 표준편차: 0.01 표준편차: 0.001 표준편차: 0.1
- 13. 13 그렇다면.. 깊은 신경망에서는?? 두가지의 문제가 발생합니다!!
- 14. 14 표준편차가 너무 작게 되면 데이터 학습 시 기울기가 사라져 버리는 현상이 발생하게 되고
- 15. 15 표준편차가 너무 크면 데이터 학습 시 기울기가너무 커지게 되어 최적의 가중치를 찾지 못하는 즉, 발산하게 되는 현상이 생기게 됩니다.
- 16. 16 이러한 현상을 개선하기 위해 나온 방법이 Xavier 초기화 방법입니다. 기울기가 사라져버리는.. 기울기가 너무 커져버리는..
- 17. 17 신경망의 층이 깊어지면서 생기는 두가지 현상을 개선하고자 깊어지는 만큼의 수(input 값)로 나눠 주자는 방법입니다. x1 x2 1 2 3 총 3층이네?? 표준정규화 / 3 !!
- 18. 18 하지만 Xavier 는 ReLU 함수에서는 잘 적용이 되지 않았습니다.
- 19. 19 그래서 ReLU 함수에 잘 적용하는 He 방법이 나오게 되었습니다.
- 20. 20 정확도를 조금 더 높이기 위해 활성화 함수를 통과하기 전 가중치 초기화에 대하여 살펴보았습니다.
- 21. 감사합니다