Chapter 7 Regularization for deep learning - 3

1. 7.11 배깅과 기타 앙상블 학습법
(다음장의 드랍아웃 공부에 배깅의 개념이 필요)
배깅(Bootstrap Aggregating) :
여러 모델을 결합 -> 일반화 오차를 줄일 수 있음
여러 모델들의 예측을 동시에 고려하는 것이 일반화에 좋은 이유
 각 모델들에 의한 예측이 서로 다른 오차를 갖기 때문.
배깅과 같은 앙상블 기법은 거의 대부분의 경우 일반화 오차를 줄일 수 있는 강력하고 믿을 만한 방법

2. 7.12 Dropout
Dropout이란?
- 하나의 샘플을 훈련할 때마다 각각의 노드를 확률적으로 삭제하는 것. (출력유닛은 삭제x)
- 큰 모델의 정칙화를 위한 강력하고 계산비용이 낮은 방법.
- 많은 뉴런들로 구성된 신경망 모델의 내부에서 배깅과 유사한 효과를 얻을 수 있게 함.

3. 7.12 Dropout
신경망에서 유닛을 삭제하여 얻을 수 있는
모든 부분망을 학습하고, 실전에서는 모든
부분망을 동시에 사용함. -> 배깅과 유사.
But 신경망이 커질수록 생성될 수 있는 부
분망의 가짓수는 지수적으로 증가하여 현실
적으로 모든 부분망을 학습하는 것은 불가
능.
배깅과 달리, 드롭아웃에서는 모델들이 매
개변수(w, b)를 공유
=> 극히 일부의 부분망들에 대한 학습만으
로 다른 부분망들도 적절한 매개변수 값을
갖게 됨.

4. 7.12 Dropout
그럼 드롭아웃이 가져오는 구체적인 효과를 알아보자.
이를 명확하게 알기 위해 모델은 확률분포 𝑝 𝑦 𝒙 를 출력 한다고 생각해보면..
배깅
각 모델 𝑖가 𝑝 𝑖
𝑦 𝒙 를 출력.
전체모델의 출력:
𝑝 𝑦 𝒙 =
1
𝑘
𝑖=1
𝑘
𝑝 𝑖 (𝑦|𝒙)
드롭아웃
각 부분망은 𝑝 𝑦 𝒙, 𝝁 를 출력.
전체모델의 출력:
𝑝 𝑦 𝒙 =
𝝁
𝑝(𝝁)𝑝(𝑦|𝒙, 𝝁)
𝝁 : 2진 마스크 벡터.
각 유닛들에 대해 확률적으로 부여한 이진수를 저장.
0이면 해당 유닛 삭제
- 각 마스크가 하나의 부분망을 표현
- 전체모델의 출력은 모든 가능한 마스크에 대해 각 마
스크가 만들어질 확률과, 그때의 부분망의 출력값을
곱하여 모두 더한 것.
- 지수적으로 많은 항이 포함되지만 10~20개정도의 마
스크만을 사용해서 이에 근사하는 계산값을 얻음.

5. 7.12 Dropout
즉, 각 개별 유닛의 관점에서 볼 때,
드롭아웃은 모든 유닛을 포함하면서 각 유닛 i에서 나가는 방향의 가중치들에
유닛 i가 포함될 확률을 곱한 하나의 모델의 출력값 𝑝 𝑦 𝒙 를 계산함으로써 앙
상블에 근사하는 효과를 내는 것. (가중치 비례 추론 규칙)
i
𝑤𝑖 ∗ 𝑝(포함)

6. 7.12 Dropout
각 노드가 속할 확률을 0.5로 하여 드롭아웃을 적용 할 신경망에 비선형성이 없는 경
우, 드롭아웃 적용하지 않고 모델을 훈련시킨 뒤 모든 가중치에 0.5를 곱하면 정확히 같
은 효과가 발생.
비선형성이 존재할 경우, 가중치 비례 추론 규칙에 근사하는 효과를 얻을 수 있음.
(이론적 증명 아직 없음)
i
𝑤𝑖 ∗ 𝑝(포함)

7. 7.12 Dropout
드롭아웃의 장점
1. 계산 비용이 아주 낮음
2. 적용할 수 있는 모델이나 훈련절차에 별다른 제한이 없음
그 외
1. 선형신경망에서 드롭아웃은 각각 다른 λ를 갖는 L2가중치 감쇄와 동일하다.
2. 이진 마스크가 아닌 실수값을 갖는 마스크를 가중치들에 곱했을 때 더 나은 성과를 얻을 수도 있다.

8. 7.12 Dropout
드롭아웃의 직관적 이해
레이어2의 한 노드가 코를 탐지함
그 노드를 삭제하고 다른 노드들을 훈련시킨다는 것은?
코에 완전히 의존하지 않고 다른 특징들을 통해서도
얼굴을 탐지할 수 있게 모델을 훈련시키는 것.

9. 7.13 대립 훈련
대립 견본: 원본 데이터와 유사(사람
이 보기에)하지만 모델에서 전혀 다
른 아웃풋이 출력되는 데이터.
대립 훈련: 훈련데이터에 인위적으
로 노이즈를 가한 데이터를 포함하
여 신경망을 훈련하는 것.
대립훈련의 핵심 아이디어
서로 다른 클래스들은 대부분의 경우 연결되지 않은 manifold상에 놓
여있으며, 작은 변화를 준다고 해서 다른 클래스의 manifold로 변화되
지 못할 것이다.

10. 7.14 Tangent Distance, Tangent Prop, and Manifold Tangent Classifier
Manifold:
한 위치에서 그에 이웃한 위치로 이동하는 변환이 실제로 존재하는 영역
같은 클래스는 같은 manifold 상에 존재할 것.
Manifold의 접선벡터를 사전에 정의하여 manifold에서 벗어날 수록 출력값이 달라지고,
Manifold상에서 움직일 땐 출력값이 달라지지 않는 벌점항을 모델에 부여