Object detection via region-based fully convolutional networks​

1. R-FCN : Object detection via region-based fully convolutional networks
Deep Learning Study
Hansol Kang

2. Contents
2019-07-15
2
Introduction
R-FCN
Summary

3. Introduction
Detection의 종류
2019-07-15
3
Detection
with DL
1 Stage
method
2 Stage
method
• 진정한 의미의 end-to-end 구조
• 빠른 detection 속도
• eg. YOLO 계열
• Region proposal and detection 구조
• 속도는 느리나 정확도가 높음
• eg. R-CNN 계열
R-FCN(Region-based Fully Convolutional Networks)은 R-CNN 계열에 FCN 구조를 접목함.

4. Introduction
FCN(Fully Convolutional Networks)란?
2019-07-15
4
Input
image
Output
Conv
Conv
FC

5. Introduction
FCN(Fully Convolutional Networks)란?
2019-07-15
5
FC의 가장 큰 문제점
: 지역적인 위치 정보를 잃어버림.
2차원 정보를 1차원으로 해석하기 때문.
FCN의 등장
: 지역적인 위치 정보를 보존함.
2차원 정보를 그대로 해석함.
GoogLeNet과 유사하게 1x1 convolution을 활용함.

6. Introduction
FCN(Fully Convolutional Networks)란?
2019-07-15
6
Input
image
Conv
Conv
• 2D를 그대로 가져감.
• 1x1 conv를 이용하여 depth만 줄임.
• FC가 없어져서 input size를 고려할 필요 없음.
• Classification을 예로 들면, depth는 class에 해당함.
(<->FC에서는 노드 개수가 class)
Output

7. Introduction
Classification Vs. Detection
2019-07-15
7
Classification Detection
Spiderman : 83%
Superman : 15%
Deadpool : 2%
ㅁ : Spiderman 83%
ㅁ : Spiderman 12%
ㅁ : Spiderman 12%
Classification
Translation Invariance
Detection
Translation Variance

8. R-FCN
Position-Sensitive Score Map
2019-07-15
8
Translation Variance 성질을 부여함.

9. R-FCN
Position-Sensitive RoI Pooling
2019-07-15
9

10. R-FCN
Position-Sensitive RoI Pooling
2019-07-15
10

11. R-FCN
Position-Sensitive RoI Pooling
2019-07-15
11

12. R-FCN
Position-Sensitive RoI Pooling
2019-07-15
12


+
+
=
)
,
(
)
,
(
0
0
,
, /
)
|
,
(
)
|
,
(
j
i
bin
y
x
c
j
i
c n
y
y
x
x
z
j
i
r 

0, 0 0, 1 0, 2
1, 0 1, 1 1, 2
2, 0 2, 1 2, 2
bin(i,j)
)
|
,
( 
j
i
rc
)
|
0
,
0
( 
person
r )
|
2
,
2
( 
person
r
)
|
0
,
0
( 
car
r )
|
2
,
2
( 
car
r
…
…
…
c
j
i
z ,
, : score map
]
)
1
[(
]
[
k
w
i
x
k
w
i +

 ]
)
1
[(
]
[
k
h
j
y
k
h
j +



13. R-FCN
Position-Sensitive RoI Pooling
2019-07-15
13
]
)
1
[(
]
[
k
w
i
x
k
w
i +

 ]
)
1
[(
]
[
k
h
j
y
k
h
j +


w
h
0 1 2
0
1
2
i
j

=
j
i
c
c j
i
r
r
,
)
|
,
(
)
( 

 =
= C
c
r
r
c
c
c
e
e
s
0
'
)
(
)
(
'
)
( 




+
+
=
)
,
(
)
,
(
0
0
,
, /
)
|
,
(
)
|
,
(
j
i
bin
y
x
c
j
i
c n
y
y
x
x
z
j
i
r 


14. R-FCN
Training
2019-07-15
14
)
,
(
]
0
[
)
(
)
,
( *
*
,
,
, * t
t
L
c
s
L
t
s
L reg
c
cls
h
w
y
x 
+
= 
*
c : RoI’s ground-truth label
)
log(
)
( *
*
c
c
cls s
s
L −
= : Cross entropy loss for classification
*
t : Ground-truth box
reg
L : bounding box regression loss
>0.5 : positive
o.t : negative
GT
Predict
Softmax
score map
Regression
loss(IoU)

15. R-FCN
Results
2019-07-15
15

16. Summary
정리
2019-07-15
16
• 기존의 R-CNN 계열에 FCN을 접목한 detection network에 대해 학습함.
• 해당 R-FCN 논문에서는 FCN에 position-sensitive score map을 접목하여 translation variance하게 네
트워크를 제안함.
• Position-sensitive RoI polling 으로부터 position-sensitive score map을 구하고, 이를 voting을 통하여
최종적인 결과값을 얻음.

17. &
2019-07-15 17