밑바닥부터 시작하는 딥러닝 책 리뷰입니다. 자세한 내용은 책을 참고하세요

1. 밑바닥부터 시작하는 딥러닝
박성현 zkfthfl123@naver.com

2. 목차
• 정확도를 더 높이려면?
• 층을 깊게 하는 이유
• 또다른 CNN 구조들

3. 정확도를 높이려면?
• 데이터 확장
입력 이미지(훈련 이미지)를 알고리즘을
동원해 ‘인위적’으로 확장한다.
데이터가 몇 개 없을 때 효과적이다.
회전, 이동, 자르기, 대칭 등이 있다.

4. 층을 깊게 하는 이유
입력 출력
5x5

5. 층을 깊게 하는 이유
입력 출력
3x3 3x3
중간

6. 층을 깊게 하는 이유
• 5x5의 합성곱 연산 1회는 3x3 연산을 2회 수행하여 대체 가능함.
• 5x5 합성곱 매개변수의 수는 25개
• 3x3 합성곱 매개변수의 수는 18개 (2x3x3)
• 층을 깊게 함으로써 학습 데이터의 양을 줄여 고속화가 가능.

7. 또다른 CNN 구조들

8. VGG
• 합성곱 계층과 풀링 계층으로 구성되는 ‘기본적’인 CNN
• 3x3의 작은 필터를 사용한 합성곱 계층을 연속으로 거치는 것이 특징이다.
• 2014년 대회에서 2위에 올랐음(1위 : GoogLeNet), 구성이 간단하여 응용하기 좋음

9. GoogLeNet
• 세로 방향 깊이뿐 아니라 가로 방향도 깊다는 점이 특징
• 가로 방향의 폭 : 인셉션 구조
• 인셉션 구조는 크기가 다른 필터를 여러 개 적용하여 그 결과를 결합한다.
• 1x1 크기의 필터를 많은 곳에서 사용한다. (채널쪽 으로 크기를 줄임)

10. ResNet
• 층이 지나치게 깊으면 학습이 잘 되지 않고, 성능이 떨어지는 경우가 많다.
• 해결책으로 스킵 연결(skip connection)을 도입했다.
• 입력 데이터를 합성곱 계층을 건너 뛰어 출력에 바로 더하는 구조이다.
• 역전파 때 스킵 연결이 신호 감쇠를 막아준다.