이동 로봇을 위한 사각형 기반 위치 추정의 기하학적 방법

Geometric Formulation of Rectangle Based Localization of Mobile Robot
이동 로봇을 위한 사각형 기반 위치 추정의 기하학적 방법
이주행*, 이재연, 이아현, 김재홍
인간-로봇 상호작용 연구실
제10회 한국로봇종합학술대회 (KRoC 2015)
“재난극복 및 예방을 위한 로봇공학의 역할”
2015 5월 6일~8일, 대전 컨벤션센터
Session: WA2 로봇 비젼/햅틱스/텔레로보틱스

Joo-Haeng Lee (joohaeng@etri.re.kr)
발표순서
•배경 이론
- 선분 카메라쌍 CLC (ICPR’12, ETRIJ’13, ICPR’14)
•제안 방법
- 이동 로봇의 사각형 기반 위치 추정
•실험 결과
•Q&A

선분 카메라 쌍
•Line Camera (LC) - 정의
- 선분을 촬영
- 주축이 선분의 중심 통과
n: (1) 1D image of a
line denoted by l0 and
the principal axis
s through the center of
ne line.
on: an analytic
on to the pose
ation of a line camera
cosθ0
= d
l0
− l2
l0
+ l2
= dα0
cv0v2 m
d s0s2
q0
y2 y0
v0v2 m
pc
l0
l2
amera model!
d s0s2
q0
y2 y0
v0v2 m
pc
l0
l2
Pose Equation of LC

선분 카메라 쌍
•Coupled Line Camera (CLC) - 정의
- 선분 카메라 두개를 주축이 공유되도록 결합
- 직사각형 투사구조에 대한 기하학적 기술
e Cameras a special pin-hole camera model!
ered quad
pal axis
he center of
e G; (3) a
f G:
or each
line camera
2) these
s should
al axis.
d =
cosθ0
α0
=
cosθ1
α1
= F2
(θ0
,θ1
,li
)
u0
u1
u2
u3
l0
l1
l2
l3
r
φ
Q
v0
v2
u0
u2 θ0
v1
v3
u1 u3
θ1
v0v1
v2
v3
pc
Q
G
m
α0
=
l0
− l2
l0
+ l2
=
cosθ0
d
α1
=
l1
− l3
l1
+ l3
=
cosθ1
d
β =
l1
l0
Pose of LC 0 CouplingPose of LC 1

CLC 활용
•입력 영상
- 장면내 직사각형에 대한 한장의 영상 주어짐
- 직사각형의 종횡비 모름

CLC 활용
•가정
- 단순한 카메라 모델
• pin-hole projection
• no lens distortion
• centered principal axis
• square pixel
• unknown parameters: i.e., focal length f
- 영상내 사각형 형상 추출
• 꼭짓점, 선분
• 별도의 방법 사용: LSD + α

CLC 활용
•출력
- 장면내 직사각형의 종횡비 및 복원
- 직사각형에 대한 카메라의 투사중심의 상대적 위치

•특징
- 중심 직사각형에 대한 대수해 및 기하학적 해석
- 비중심 직사각형에 대한 기하학적 전처리
CLC 활용
Qg
Gg
Q
G
Qg
Q
Gg
G
pc
=
d
sinφ
(sinφ cosθ0
,cosθ1
− cosφ cosθ0
,sinρ sinθ0
sinθ1
)
cosφ = cosρ sinθ0
sinθ1
+ cosθ0
cosθ1

•입력 영상 - 640x480
CLC 적용예

•사각형 영역 추출 - Qg - 네 꼭지점 또는 변
CLC 적용예

•사각형 영역 추출 - Qg
CLC 적용예
(0,0)
(640,480)
Qg
(225.6, 80.)
(488.8, 316.5)
(381.6, 464.5)
(172., 188.5)

CLC 적용예
(0,0)
(640,480)
Qg

•중심 사각형 유추 - Q
CLC 적용예
(0,0)
(640,480)
Q
Qg

CLC 적용예

CLC 적용예
(0,0)
(640,480)
(248.855, 76.7698)
(546.56, 328.365)
(426.777, 484.979)
(191.65., 189.94)
Q

•대각선 인수화 - 분할비 li 와 사이각 ρ
CLC 적용예
(0,0)
(640,480)
Qρ
l0
l1
l2
l3

•대각선 인수화 - 분할비 li 와 사이각 ρ
CLC 적용예
(0,0)
(640,480)
Q
0.4
0.55
0.6
0.31
2.35

•대각선 인수화 - αi 와 β
CLC 적용예
α0
=
l0
− l2
l0
+ l2
=
cosθ0
d
= −0.20
α1
=
l1
− l3
l1
+ l3
=
cosθ1
d
= 0.28
β =
l1
l0
= 1.37
Pose of LC 0 CouplingPose of LC 1
ered quad
pal axis
he center of
e G; (3) a
f G:
or each
line camera
2) these
s should
al axis.
d =
cosθ0
α0
=
cosθ1
α1
= F2
(θ0
,θ1
,li
)
u0
u1
u2
u3
l0
l1
l2
l3
r
φ
Q
v0
v2
u0
u2 θ0
v1
v3
u1 u3
θ1
v0v1
v2
v3
pc
Q
G
m

•공통 주축의 길이 - d
CLC 적용예
d = A0
/ A1
= 2.56
A0
= (1−α1
)2
β2
− (1−α0
)2
A1
= α0
2
(1−α1
)2
β2
− (1−α0
)2
α1
2
ered quad
pal axis
he center of
e G; (3) a
f G:
or each
line camera
2) these
s should
al axis.
d =
cosθ0
α0
=
cosθ1
α1
= F2
(θ0
,θ1
,li
)
u0
u1
u2
u3
l0
l1
l2
l3
r
φ
Q
v0
v2
u0
u2 θ0
v1
v3
u1 u3
θ1
v0v1
v2
v3
pc
Q
G
m

•선분 카메라의 방위 - θi
CLC 적용예
cosθ0
= α0
d → θ0
= 2.11
cosθ1
= α1
d → θ1
= 0.79
Pose of LC
ered quad
pal axis
he center of
e G; (3) a
f G:
or each
line camera
2) these
s should
al axis.
d =
cosθ0
α0
=
cosθ1
α1
= F2
(θ0
,θ1
,li
)
u0
u1
u2
u3
l0
l1
l2
l3
r
φ
Q
v0
v2
u0
u2 θ0
v1
v3
u1 u3
θ1
v0v1
v2
v3
pc
Q
G
m

•직사각형의 대각선 각 (종횡비) - φ
CLC 적용예
cosφ = cosρ sinθ0
sinθ1
+ cosθ0
cosθ1
φ = 2.48 ≈ 142.22°
ered quad
pal axis
he center of
e G; (3) a
f G:
or each
line camera
2) these
s should
al axis.
d =
cosθ0
α0
=
cosθ1
α1
= F2
(θ0
,θ1
,li
)
u0
u1
u2
u3
l0
l1
l2
l3
r
φ
Q
v0
v2
u0
u2 θ0
v1
v3
u1 u3
θ1
v0v1
v2
v3
pc
Q
G
m

•중심 직사각형의 복원 - G
CLC 적용예
(1,0,0)(-1,0,0)
(cos φ,sin φ,0)
-(cos φ,sin φ,0)
φ
G
(0,0,0)

•중심 직사각형의 복원 - G
CLC 적용예
(0,0,0)

•직사각형의 rectify - Gg
CLC 적용예

•직사각형의 기하복원 - Gg
CLC 적용예
Q
Qg

•직사각형의 기하복원 - Gg
CLC 적용예
G
Gg
(0,0,0)

•카메라 투사중심의 위치 - pc
CLC 적용예
pc
=
d
sinφ
(sinφ cosθ0
,cosθ1
− cosφ cosθ0
,sinρ sinθ0
sinθ1
)
= (−1.31,1.26,1.80)
ered quad
pal axis
he center of
e G; (3) a
f G:
or each
line camera
2) these
s should
al axis.
d =
cosθ0
α0
=
cosθ1
α1
= F2
(θ0
,θ1
,li
)
u0
u1
u2
u3
l0
l1
l2
l3
r
φ
Q
v0
v2
u0
u2 θ0
v1
v3
u1 u3
θ1
v0v1
v2
v3
pc
Q
G
m

•카메라 투사중심의 위치 - pc
CLC 적용예
G
Gg
Q
Qg
pc
(1,0,0)
(cos φ,sin φ,0)
(0,0,0)

관련 연구
•Homography
- Qg와 Gg의 대응관계가 미리 주어져야 함
- 제안 방법은 Gg 직사각형이라는 사실을 알고
있으나 구체적인 형태 (예, 종횡비)를 가정하지
않음
- 직사각형 제약 조건에 대한 수치적 최적화를
수행. 계산의 부담.
- 카메라의 투사중심 (위치/방위)는 별도의 방법
으로 계산해야 함

관련 연구
•Image of Absolute Conic (ΙΑC)
- 카메라 내부 인수 계산 선행
- 제약 조건식 수립을 통해 종횡비 계산 가능
- 카메라의 투사중심 (위치/방위)는 별도의 방법
으로 계산해야 함

관련 연구
•상용 SW: Office Lens, Photoshop, CamScanner,..
- 종횡비 계산 오류
- 카메라 위치는 고려하지 않음

Source Rectangle
(1:?)
CLC
(1:0.408)
CamScanner
(1:0.47)

Source Images CLC Photoshop Perspective Crop

CLC 기반 위치추정
•대표 시나리오
- 이동 로봇에 부착된 카메라
- 직사각형 형태의 목표점으로 이동
• (예) 병원물류 로봇이 엘리베이터 문으로
- 출입문으로 부터의 상대적 위치 추정
• 거리 + 방위
• 문의 크기가 알려져 있다면 절대치 추정 가능

CLC 기반 위치추정
•제안 방법
- 영상 취득 및 목표 사각형 영역 추출
- CLC 적용: 기하 복원
- 장면 구성: 변환 적용
- 위치 추정: 방위 및 거리 계산
- 경로 계획

적용 예
•입력 영상 - 1024 x 683

적용 예

•직사각형 복원 - G, Gg
적용 예
G
Gg

•참조영상에서 비교 - G, Gg
적용 예
G Gg

•카메라 위치 및 장면 복원
적용 예
pc
G Gg

•위치 추정을 위한 기하
적용 예
pc
G Gg
중심축
중심축
수선의발
vg,f
수선의발
vf

•목표 사각형으로의 위치 추정추정
적용 예
pc
G Gg
중심축
중심축
수선의발
vg,f
수선의발
vf
•각도:
•거리:
∠vf
pc
vg,f
|| pc
vg,f
||

•가상의 장면. 이동 로봇이 사각형 목표를 기준
으로 위치를 추정. 경로를 생성하여 이동함
•시뮬레이션 환경: Mathematica 10
시뮬레이션 예

시뮬레이션 예
•베지어 곡선 + arc length param.

요약
•배경 이론
- 선분 카메라쌍 (CLC) 이론 및 활용
•제안 방법
- 이동 로봇의 사각형 기반 위치 추정
•실험 결과
•단일 영상에 대한 적용 및 시뮬레이션 예

향후 연구
•실제 이동 로봇에의 적용
- 영상내 사각형 영역 설정 자동화
- 에러 민감도 분석 및 대응
- 실제 로봇에 대한 경로 생성 및 주행 실험
•기존 위치추정 방법과의 비교 및 결합
- 센서 퓨젼을 통한 에러 감소에 기여

이동 로봇을 위한 사각형 기반 위치 추정의 기하학적 방법

이동 로봇을 위한 사각형 기반 위치 추정의 기하학적 방법

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (20)

Similar to 이동 로봇을 위한 사각형 기반 위치 추정의 기하학적 방법

Similar to 이동 로봇을 위한 사각형 기반 위치 추정의 기하학적 방법 (7)

More from Joo-Haeng Lee

More from Joo-Haeng Lee (14)

이동 로봇을 위한 사각형 기반 위치 추정의 기하학적 방법