3. Introduction
한 장으로 보는 딥러닝
2019-07-01
3
1957, 1960 1969 1986 2006
퍼셉트론 개념
처음 등장
Widrow and Hoff:
Adaline/Madaline
(~1960)
Frank
Rosenblatt
(1957)
Backpropagation
Geoffrey Hinton
“이렇게 하면 됨”
MLP는 풀 수
없는 문제
“그거 인간이 못 품”
Marvin Minsky,
founder of the MIT
AI Lab (1969)
Geoffrey Hinton
Vanishing gradient 해결
“비선형성과 초기화에
대해 잘못 이해 있었음”
그래디언트가 없어져요 :(
SVM 떡상 :)
90년대
4. Basic of DL
뉴렬넷/MLP(다층 퍼셉트론)이란 무엇인가
2019-07-01
4
단일 퍼셉트론을 여러 층 쌓은 것.
i
x ij
w jk
w k
y
j
b k
b
j
i
ij b
x
w +
k
j
i
ij
jk b
b
x
w
f
w +
+ )
(
5. Basic of DL
학습이란 무엇인가
2019-07-01
5
모델과 비용함수를 정의함
“비용이 최소가 되는 모델의 파라미터를 찾는 것!”
Linear Regression Logistic Regression
b
x
w
x
y +
=
= T
H )
(
ˆ
2
)
(
2
1
)
(
cost )
(H y
x
b
w, −
=
)
(
)
(
1
1
1
1
))
(
(
ˆ
b
x
W
x
x
y +
−
−
+
=
+
=
= T
e
e
H
g H
)
ˆ
1
log(
)
1
(
)
ˆ
log(
)
(
cost y
y
y
y −
−
−
−
=
b
w,
Model :
Cost :
6. Basic of DL
Gradient Descent/Backpropagation
2019-07-01
6
Gradient Descent : 기울기가 작은 쪽으로 이동함.
2
)
(
2
1
)
(
cost )
(H y
x
b
w, −
=
2
)
(
2
1
1 )
(H
-
)
(t y
x
w
w
w −
=
+
Intuition : 기울기가 작은 곳(극 값)으로 오면 변화가 적음
7. Basic of DL
Gradient Descent/Backpropagation
2019-07-01
7
Backpropagation : 출력 쪽 노드부터 파라미터를 갱신함.
i
x ij
w jk
w k
y
j
b k
b
j
ij
k
jk
b
w
b
w
갱신 순서
8. Basic of DL
Gradient Descent/Backpropagation
2019-07-01
8
Backpropagation : 출력 쪽 노드부터 파라미터를 갱신함.
jk
k
k
k
k
k
k
jk w
s
s
y
y
e
e
E
w
E
=
jk
w k
y
k
b
2
2
1
k
e
E =
k
dk
k y
y
e −
=
앞서 봤던 비용과 동일
)
( k
j
jk
k
k b
y
w
s
y +
= 비선형 함수
“나머지 파라미터에
대해서도 해볼 것”
j
k
k
jk
y
s
f
e
w
E
)
(
'
=
9. Basic of DL
Softmax 분류 (Multinomial classification)
2019-07-01
9
=
= N
k
x
x
i
k
i
e
e
)
(x
1
softmax
jk
w k
y
k
b
비선형성을 가지는 확률(or 합이 1이 되게 normalize)
“One hot encoding으로 해석함.”
해당 노드
전체 노드
10. Basic of DL
CNN의 구조
2019-07-01
10
1
2
+
−
+
=
S
FH
P
H
OH
1
2
+
−
+
=
S
FW
P
W
OW
1 2 3 0
0 1 2 3
3 0 1 2
2 3 0 1
2 0 1
0 1 2
1 0 2
7 12 10 2
4 15 16 10
10 6 15 6
8 10 4 3
* =
11. Basic of DL
CNN의 응용
2019-07-01
11
Strided Convolution Fractional Convolution(Transposed Convolution)
12. Detection with DL
Detection 종류
2019-07-01
12
Detection
with DL
1 Step
method
2 Step
method
• 진정한 의미의 end-to-end 구조
• 빠른 detection 속도
• eg. YOLO 계열
• Region proposal and detection 구조
• 속도는 느리나 정확도가 높음
• eg. R-CNN 계열
“Competition에서 중요한 것은 정확도로 2 step method를 지향”
13. Detection with DL
R-CNN
2019-07-01
13
• SS(Selective Search)를 통한 region proposal 사용
• 제안 받은 영역을 CNN을 통해 특징을 추출하고, 이를 SVM으로 구분함.
• SS : Exhaustive + Segmentation 기법 융합.
• Segmentation : 시드 영역을 기반으로 주변 그룹과 Similarity(색상, 크기 등등 4가지 지표)를 비교하여
그룹 확장
• Region proposal
• Classification
• BB regression
14. Summary
정리
2019-07-01
14
• 딥러닝의 간단한 개념들(model, cost, bp, and etc.)에 대해 복습함.
• CNN의 기본 구조는 conv net과 pool 이지만, 최신 트렌드에서는 pool을 사용하지 않음.
• Detection에 있어서 1 step과 2step 방법이 있는데 본 연구에서는 2 step method를 지향함.
• R-CNN은 기본적으로 별도의 region proposal 구조로 부터 영역을 제안 받아 이를 구분하는 작업을
수행함.
