basic of deep learning

Basic of Deep Learning
Deep Learning Study
Hansol Kang
: 2주차

Contents
2019-07-01
2
Introduction
Basic of DL
Summary
Detection with DL

Introduction
한 장으로 보는 딥러닝
2019-07-01
3
1957, 1960 1969 1986 2006
퍼셉트론 개념
처음 등장
Widrow and Hoff:
Adaline/Madaline
(~1960)
Frank
Rosenblatt
(1957)
Backpropagation
Geoffrey Hinton
“이렇게 하면 됨”
MLP는 풀 수
없는 문제
“그거 인간이 못 품”
Marvin Minsky,
founder of the MIT
AI Lab (1969)
Geoffrey Hinton
Vanishing gradient 해결
“비선형성과 초기화에
대해 잘못 이해 있었음”
그래디언트가 없어져요 :(
SVM 떡상 :)
90년대

Basic of DL
뉴렬넷/MLP(다층 퍼셉트론)이란 무엇인가
2019-07-01
4
단일 퍼셉트론을 여러 층 쌓은 것.
i
x ij
w jk
w k
y
j
b k
b
j
i
ij b
x
w +

k
j
i
ij
jk b
b
x
w
f
w +
+ )
(


Basic of DL
학습이란 무엇인가
2019-07-01
5
모델과 비용함수를 정의함
“비용이 최소가 되는 모델의 파라미터를 찾는 것!”
Linear Regression Logistic Regression
b
x
w
x
y +
=
= T
H )
(
ˆ
2
)
(
2
1
)
(
cost )
(H y
x
b
w, −
=
)
(
)
(
1
1
1
1
))
(
(
ˆ
b
x
W
x
x
y +
−
−
+
=
+
=
= T
e
e
H
g H
)
ˆ
1
log(
)
1
(
)
ˆ
log(
)
(
cost y
y
y
y −
−
−
−
=
b
w,
Model :
Cost :

Basic of DL
Gradient Descent/Backpropagation
2019-07-01
6
Gradient Descent : 기울기가 작은 쪽으로 이동함.
2
)
(
2
1
)
(
cost )
(H y
x
b
w, −
=
2
)
(
2
1
1 )
(H
-
)
(t y
x
w
w
w −


=
+ 
Intuition : 기울기가 작은 곳(극 값)으로 오면 변화가 적음

Basic of DL
2019-07-01
7
Backpropagation : 출력 쪽 노드부터 파라미터를 갱신함.
i
x ij
w jk
w k
y
j
b k
b
j
ij
k
jk
b
w
b
w
갱신 순서

Basic of DL
2019-07-01
8
Backpropagation : 출력 쪽 노드부터 파라미터를 갱신함.
jk
k
k
k
k
k
k
jk w
s
s
y
y
e
e
E
w
E








=

 jk
w k
y
k
b
2
2
1
k
e
E =
k
dk
k y
y
e −
=
앞서 봤던 비용과 동일
)
( k
j
jk
k
k b
y
w
s
y +
= 비선형 함수
“나머지 파라미터에
대해서도 해볼 것”
j
k
k
jk
y
s
f
e
w
E
)
(
'

=



Basic of DL
Softmax 분류 (Multinomial classification)
2019-07-01
9

=
= N
k
x
x
i
k
i
e
e
)
(x
1
softmax
jk
w k
y
k
b
비선형성을 가지는 확률(or 합이 1이 되게 normalize)
“One hot encoding으로 해석함.”
해당 노드
전체 노드

Basic of DL
CNN의 구조
2019-07-01
10
1
2
+
−
+
=
S
FH
P
H
OH
1
2
+
−
+
=
S
FW
P
W
OW
1 2 3 0
0 1 2 3
3 0 1 2
2 3 0 1
2 0 1
0 1 2
1 0 2
7 12 10 2
4 15 16 10
10 6 15 6
8 10 4 3
* =

Basic of DL
CNN의 응용
2019-07-01
11
Strided Convolution Fractional Convolution(Transposed Convolution)

Detection with DL
Detection 종류
2019-07-01
12
Detection
with DL
1 Step
method
2 Step
method
• 진정한 의미의 end-to-end 구조
• 빠른 detection 속도
• eg. YOLO 계열
• Region proposal and detection 구조
• 속도는 느리나 정확도가 높음
• eg. R-CNN 계열
“Competition에서 중요한 것은 정확도로 2 step method를 지향”

Detection with DL
R-CNN
2019-07-01
13
• SS(Selective Search)를 통한 region proposal 사용
• 제안 받은 영역을 CNN을 통해 특징을 추출하고, 이를 SVM으로 구분함.
• SS : Exhaustive + Segmentation 기법 융합.
• Segmentation : 시드 영역을 기반으로 주변 그룹과 Similarity(색상, 크기 등등 4가지 지표)를 비교하여
그룹 확장
• Region proposal
• Classification
• BB regression

Summary
정리
2019-07-01
14
• 딥러닝의 간단한 개념들(model, cost, bp, and etc.)에 대해 복습함.
• CNN의 기본 구조는 conv net과 pool 이지만, 최신 트렌드에서는 pool을 사용하지 않음.
• Detection에 있어서 1 step과 2step 방법이 있는데 본 연구에서는 2 step method를 지향함.
• R-CNN은 기본적으로 별도의 region proposal 구조로 부터 영역을 제안 받아 이를 구분하는 작업을
수행함.

basic of deep learning

More Related Content

Similar to basic of deep learning

More from Hansol Kang

basic of deep learning