Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

이동 로봇을 위한 사각형 기반 위치 추정의 기하학적 방법

678 views

Published on

"Geometric formulation of rectangle based localization of a mobile robot"
Oral presented at KRoC 2015:
http://kros.org/kroc2015/index.php

Published in: Technology
  • Be the first to comment

이동 로봇을 위한 사각형 기반 위치 추정의 기하학적 방법

  1. 1. Geometric Formulation of Rectangle Based Localization of Mobile Robot 이동 로봇을 위한 사각형 기반 위치 추정의 기하학적 방법 이주행*, 이재연, 이아현, 김재홍 인간-로봇 상호작용 연구실 제10회 한국로봇종합학술대회 (KRoC 2015) “재난극복 및 예방을 위한 로봇공학의 역할” 2015 5월 6일~8일, 대전 컨벤션센터 Session: WA2 로봇 비젼/햅틱스/텔레로보틱스
  2. 2. Joo-Haeng Lee (joohaeng@etri.re.kr) 발표순서 •배경 이론 - 선분 카메라쌍 CLC (ICPR’12, ETRIJ’13, ICPR’14) •제안 방법 - 이동 로봇의 사각형 기반 위치 추정 •실험 결과 •Q&A
  3. 3. Joo-Haeng Lee (joohaeng@etri.re.kr) 선분 카메라 쌍 •Line Camera (LC) - 정의 - 선분을 촬영 - 주축이 선분의 중심 통과 n: (1) 1D image of a line denoted by l0 and the principal axis s through the center of ne line. on: an analytic on to the pose ation of a line camera cosθ0 = d l0 − l2 l0 + l2 = dα0 cv0v2 m d s0s2 q0 y2 y0 v0v2 m pc l0 l2 amera model! d s0s2 q0 y2 y0 v0v2 m pc l0 l2 Pose Equation of LC
  4. 4. Joo-Haeng Lee (joohaeng@etri.re.kr) 선분 카메라 쌍 •Coupled Line Camera (CLC) - 정의 - 선분 카메라 두개를 주축이 공유되도록 결합 - 직사각형 투사구조에 대한 기하학적 기술 e Cameras a special pin-hole camera model! ered quad pal axis he center of e G; (3) a f G: or each line camera 2) these s should al axis. d = cosθ0 α0 = cosθ1 α1 = F2 (θ0 ,θ1 ,li ) u0 u1 u2 u3 l0 l1 l2 l3 r φ Q v0 v2 u0 u2 θ0 v1 v3 u1 u3 θ1 v0v1 v2 v3 pc Q G m α0 = l0 − l2 l0 + l2 = cosθ0 d α1 = l1 − l3 l1 + l3 = cosθ1 d β = l1 l0 Pose of LC 0 CouplingPose of LC 1
  5. 5. Joo-Haeng Lee (joohaeng@etri.re.kr) CLC 활용 •입력 영상 - 장면내 직사각형에 대한 한장의 영상 주어짐 - 직사각형의 종횡비 모름
  6. 6. Joo-Haeng Lee (joohaeng@etri.re.kr) CLC 활용 •가정 - 단순한 카메라 모델 • pin-hole projection • no lens distortion • centered principal axis • square pixel • unknown parameters: i.e., focal length f - 영상내 사각형 형상 추출 • 꼭짓점, 선분 • 별도의 방법 사용: LSD + α
  7. 7. Joo-Haeng Lee (joohaeng@etri.re.kr) CLC 활용 •출력 - 장면내 직사각형의 종횡비 및 복원 - 직사각형에 대한 카메라의 투사중심의 상대적 위치
  8. 8. Joo-Haeng Lee (joohaeng@etri.re.kr) •특징 - 중심 직사각형에 대한 대수해 및 기하학적 해석 - 비중심 직사각형에 대한 기하학적 전처리 CLC 활용 Qg Gg Q G Qg Q Gg G pc = d sinφ (sinφ cosθ0 ,cosθ1 − cosφ cosθ0 ,sinρ sinθ0 sinθ1 ) cosφ = cosρ sinθ0 sinθ1 + cosθ0 cosθ1
  9. 9. Joo-Haeng Lee (joohaeng@etri.re.kr) •입력 영상 - 640x480 CLC 적용예
  10. 10. Joo-Haeng Lee (joohaeng@etri.re.kr) •사각형 영역 추출 - Qg - 네 꼭지점 또는 변 CLC 적용예
  11. 11. Joo-Haeng Lee (joohaeng@etri.re.kr) •사각형 영역 추출 - Qg CLC 적용예 (0,0) (640,480) Qg (225.6, 80.) (488.8, 316.5) (381.6, 464.5) (172., 188.5)
  12. 12. Joo-Haeng Lee (joohaeng@etri.re.kr) •사각형 영역 추출 - Qg CLC 적용예 (0,0) (640,480) Qg
  13. 13. Joo-Haeng Lee (joohaeng@etri.re.kr) •중심 사각형 유추 - Q CLC 적용예 (0,0) (640,480) Q Qg
  14. 14. Joo-Haeng Lee (joohaeng@etri.re.kr) •중심 사각형 유추 - Q CLC 적용예
  15. 15. Joo-Haeng Lee (joohaeng@etri.re.kr) •중심 사각형 유추 - Q CLC 적용예
  16. 16. Joo-Haeng Lee (joohaeng@etri.re.kr) •중심 사각형 유추 - Q CLC 적용예
  17. 17. Joo-Haeng Lee (joohaeng@etri.re.kr) •중심 사각형 유추 - Q CLC 적용예
  18. 18. Joo-Haeng Lee (joohaeng@etri.re.kr) •중심 사각형 유추 - Q CLC 적용예
  19. 19. Joo-Haeng Lee (joohaeng@etri.re.kr) •중심 사각형 유추 - Q CLC 적용예
  20. 20. Joo-Haeng Lee (joohaeng@etri.re.kr) •중심 사각형 유추 - Q CLC 적용예
  21. 21. Joo-Haeng Lee (joohaeng@etri.re.kr) •중심 사각형 유추 - Q CLC 적용예
  22. 22. Joo-Haeng Lee (joohaeng@etri.re.kr) •중심 사각형 유추 - Q CLC 적용예 (0,0) (640,480) (248.855, 76.7698) (546.56, 328.365) (426.777, 484.979) (191.65., 189.94) Q
  23. 23. Joo-Haeng Lee (joohaeng@etri.re.kr) •대각선 인수화 - 분할비 li 와 사이각 ρ CLC 적용예 (0,0) (640,480) Qρ l0 l1 l2 l3
  24. 24. Joo-Haeng Lee (joohaeng@etri.re.kr) •대각선 인수화 - 분할비 li 와 사이각 ρ CLC 적용예 (0,0) (640,480) Q 0.4 0.55 0.6 0.31 2.35
  25. 25. Joo-Haeng Lee (joohaeng@etri.re.kr) •대각선 인수화 - αi 와 β CLC 적용예 α0 = l0 − l2 l0 + l2 = cosθ0 d = −0.20 α1 = l1 − l3 l1 + l3 = cosθ1 d = 0.28 β = l1 l0 = 1.37 Pose of LC 0 CouplingPose of LC 1 e Cameras a special pin-hole camera model! ered quad pal axis he center of e G; (3) a f G: or each line camera 2) these s should al axis. d = cosθ0 α0 = cosθ1 α1 = F2 (θ0 ,θ1 ,li ) u0 u1 u2 u3 l0 l1 l2 l3 r φ Q v0 v2 u0 u2 θ0 v1 v3 u1 u3 θ1 v0v1 v2 v3 pc Q G m
  26. 26. Joo-Haeng Lee (joohaeng@etri.re.kr) •공통 주축의 길이 - d CLC 적용예 d = A0 / A1 = 2.56 A0 = (1−α1 )2 β2 − (1−α0 )2 A1 = α0 2 (1−α1 )2 β2 − (1−α0 )2 α1 2 e Cameras a special pin-hole camera model! ered quad pal axis he center of e G; (3) a f G: or each line camera 2) these s should al axis. d = cosθ0 α0 = cosθ1 α1 = F2 (θ0 ,θ1 ,li ) u0 u1 u2 u3 l0 l1 l2 l3 r φ Q v0 v2 u0 u2 θ0 v1 v3 u1 u3 θ1 v0v1 v2 v3 pc Q G m
  27. 27. Joo-Haeng Lee (joohaeng@etri.re.kr) •선분 카메라의 방위 - θi CLC 적용예 cosθ0 = α0 d → θ0 = 2.11 cosθ1 = α1 d → θ1 = 0.79 Pose of LC e Cameras a special pin-hole camera model! ered quad pal axis he center of e G; (3) a f G: or each line camera 2) these s should al axis. d = cosθ0 α0 = cosθ1 α1 = F2 (θ0 ,θ1 ,li ) u0 u1 u2 u3 l0 l1 l2 l3 r φ Q v0 v2 u0 u2 θ0 v1 v3 u1 u3 θ1 v0v1 v2 v3 pc Q G m
  28. 28. Joo-Haeng Lee (joohaeng@etri.re.kr) •직사각형의 대각선 각 (종횡비) - φ CLC 적용예 cosφ = cosρ sinθ0 sinθ1 + cosθ0 cosθ1 φ = 2.48 ≈ 142.22° e Cameras a special pin-hole camera model! ered quad pal axis he center of e G; (3) a f G: or each line camera 2) these s should al axis. d = cosθ0 α0 = cosθ1 α1 = F2 (θ0 ,θ1 ,li ) u0 u1 u2 u3 l0 l1 l2 l3 r φ Q v0 v2 u0 u2 θ0 v1 v3 u1 u3 θ1 v0v1 v2 v3 pc Q G m
  29. 29. Joo-Haeng Lee (joohaeng@etri.re.kr) •중심 직사각형의 복원 - G CLC 적용예 (1,0,0)(-1,0,0) (cos φ,sin φ,0) -(cos φ,sin φ,0) φ G (0,0,0)
  30. 30. Joo-Haeng Lee (joohaeng@etri.re.kr) •중심 직사각형의 복원 - G CLC 적용예 (0,0,0)
  31. 31. Joo-Haeng Lee (joohaeng@etri.re.kr) •직사각형의 rectify - Gg CLC 적용예
  32. 32. Joo-Haeng Lee (joohaeng@etri.re.kr) •직사각형의 기하복원 - Gg CLC 적용예 Q Qg
  33. 33. Joo-Haeng Lee (joohaeng@etri.re.kr) •직사각형의 기하복원 - Gg CLC 적용예 G Gg (0,0,0)
  34. 34. Joo-Haeng Lee (joohaeng@etri.re.kr) •카메라 투사중심의 위치 - pc CLC 적용예 pc = d sinφ (sinφ cosθ0 ,cosθ1 − cosφ cosθ0 ,sinρ sinθ0 sinθ1 ) = (−1.31,1.26,1.80) e Cameras a special pin-hole camera model! ered quad pal axis he center of e G; (3) a f G: or each line camera 2) these s should al axis. d = cosθ0 α0 = cosθ1 α1 = F2 (θ0 ,θ1 ,li ) u0 u1 u2 u3 l0 l1 l2 l3 r φ Q v0 v2 u0 u2 θ0 v1 v3 u1 u3 θ1 v0v1 v2 v3 pc Q G m
  35. 35. Joo-Haeng Lee (joohaeng@etri.re.kr) •카메라 투사중심의 위치 - pc CLC 적용예 G Gg Q Qg pc (1,0,0) (cos φ,sin φ,0) (0,0,0)
  36. 36. Joo-Haeng Lee (joohaeng@etri.re.kr) •카메라 투사중심의 위치 - pc CLC 적용예 G Gg Q Qg pc (1,0,0) (cos φ,sin φ,0) (0,0,0)
  37. 37. Joo-Haeng Lee (joohaeng@etri.re.kr) 관련 연구 •Homography - Qg와 Gg의 대응관계가 미리 주어져야 함 - 제안 방법은 Gg 직사각형이라는 사실을 알고 있으나 구체적인 형태 (예, 종횡비)를 가정하지 않음 - 직사각형 제약 조건에 대한 수치적 최적화를 수행. 계산의 부담. - 카메라의 투사중심 (위치/방위)는 별도의 방법 으로 계산해야 함
  38. 38. Joo-Haeng Lee (joohaeng@etri.re.kr) 관련 연구 •Image of Absolute Conic (ΙΑC) - 카메라 내부 인수 계산 선행 - 제약 조건식 수립을 통해 종횡비 계산 가능 - 카메라의 투사중심 (위치/방위)는 별도의 방법 으로 계산해야 함
  39. 39. Joo-Haeng Lee (joohaeng@etri.re.kr) 관련 연구 •상용 SW: Office Lens, Photoshop, CamScanner,.. - 종횡비 계산 오류 - 카메라 위치는 고려하지 않음
  40. 40. Source Rectangle (1:?) CLC (1:0.408) CamScanner (1:0.47)
  41. 41. Source Images CLC Photoshop Perspective Crop
  42. 42. Joo-Haeng Lee (joohaeng@etri.re.kr) CLC 기반 위치추정 •대표 시나리오 - 이동 로봇에 부착된 카메라 - 직사각형 형태의 목표점으로 이동 • (예) 병원물류 로봇이 엘리베이터 문으로 - 출입문으로 부터의 상대적 위치 추정 • 거리 + 방위 • 문의 크기가 알려져 있다면 절대치 추정 가능
  43. 43. Joo-Haeng Lee (joohaeng@etri.re.kr) CLC 기반 위치추정 •제안 방법 - 영상 취득 및 목표 사각형 영역 추출 - CLC 적용: 기하 복원 - 장면 구성: 변환 적용 - 위치 추정: 방위 및 거리 계산 - 경로 계획
  44. 44. Joo-Haeng Lee (joohaeng@etri.re.kr) 적용 예 •입력 영상 - 1024 x 683
  45. 45. Joo-Haeng Lee (joohaeng@etri.re.kr) 적용 예 •사각형 영역 추출 - Qg
  46. 46. Joo-Haeng Lee (joohaeng@etri.re.kr) 적용 예 •사각형 영역 추출 - Qg
  47. 47. Joo-Haeng Lee (joohaeng@etri.re.kr) 적용 예 •중심 사각형 유추 - Q
  48. 48. Joo-Haeng Lee (joohaeng@etri.re.kr) •직사각형 복원 - G, Gg 적용 예 G Gg
  49. 49. Joo-Haeng Lee (joohaeng@etri.re.kr) •참조영상에서 비교 - G, Gg 적용 예 G Gg
  50. 50. Joo-Haeng Lee (joohaeng@etri.re.kr) •카메라 위치 및 장면 복원 적용 예 pc G Gg
  51. 51. Joo-Haeng Lee (joohaeng@etri.re.kr) •위치 추정을 위한 기하 적용 예 pc G Gg 중심축 중심축 수선의발 vg,f 수선의발 vf
  52. 52. Joo-Haeng Lee (joohaeng@etri.re.kr) •목표 사각형으로의 위치 추정추정 적용 예 pc G Gg 중심축 중심축 수선의발 vg,f 수선의발 vf •각도: •거리: ∠vf pc vg,f || pc vg,f ||
  53. 53. Joo-Haeng Lee (joohaeng@etri.re.kr) •가상의 장면. 이동 로봇이 사각형 목표를 기준 으로 위치를 추정. 경로를 생성하여 이동함 •시뮬레이션 환경: Mathematica 10 시뮬레이션 예
  54. 54. Joo-Haeng Lee (joohaeng@etri.re.kr) 시뮬레이션 예 •베지어 곡선 + arc length param.
  55. 55. Joo-Haeng Lee (joohaeng@etri.re.kr) 요약 •배경 이론 - 선분 카메라쌍 (CLC) 이론 및 활용 •제안 방법 - 이동 로봇의 사각형 기반 위치 추정 •실험 결과 •단일 영상에 대한 적용 및 시뮬레이션 예
  56. 56. Joo-Haeng Lee (joohaeng@etri.re.kr) 향후 연구 •실제 이동 로봇에의 적용 - 영상내 사각형 영역 설정 자동화 - 에러 민감도 분석 및 대응 - 실제 로봇에 대한 경로 생성 및 주행 실험 •기존 위치추정 방법과의 비교 및 결합 - 센서 퓨젼을 통한 에러 감소에 기여
  57. 57. Q&A joohaeng@etri.re.kr

×