공간증강현실을 이용한 곡선의 디자인 (HCI Korea 2013)

1,923 views
1,466 views

Published on

발표처: 한국 HCI 학술대회, 강원도 하이원 리조트, 1월 30~2월 1일, 2013.
저자: 이아현 (UST/ETRI), 이주행 (ETRI/UST)

Published in: Technology

공간증강현실을 이용한 곡선의 디자인 (HCI Korea 2013)

  1. 1. Human Computer Interaction KOREA 2013 (HCI KOREA 2013) Jan.30-Feb.1, 2013, High1 Resort, Gangwon, Korea 공간증강현실을 이용한 곡선의 디자인 Designing Curve using Spatial Augmented Reality UST / ETRI ETRI / UST 컴퓨터소프트웨어 및 공학 로봇/인지 시스템 연구부 이아현 박사과정 이주행 책임연구원 / 부교수 azsure@etri.re.kr joohaeng@etri.re.kr
  2. 2. 목차 §  공간증강현실이란? §  ETRI 공간증강현실 시스템 §  공간증강현실 기반의 곡선 디자인 §  카메라-프로젝터 캘리브레이션 §  곡선의 디자인 §  프로젝터 이미지 투사, OpenGL Matrix §  게임: mouse-and-cheese §  구현 결과 데모 §  결론 및 향후 연구 계획
  3. 3. 공간증강현실(Spatial Augmented Reality) §  Projector + 증강현실(Augmented Reality) §  실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을 직접 투사하는 증강현실 기술 Sixth Sense Device | MIT Media Lab | 2009
  4. 4. 공간증강현실(Spatial Augmented Reality) §  Projector + 증강현실(Augmented Reality) §  실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을 직접 투사하는 증강현실 기술 OASIS | U Washington & Intel Labs | 2010
  5. 5. 공간증강현실(Spatial Augmented Reality) §  Projector + 증강현실(Augmented Reality) §  실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을 직접 투사하는 증강현실 기술 OmniTouch | CMU & Microsoft | 2011
  6. 6. 공간증강현실(Spatial Augmented Reality) §  Projector + 증강현실(Augmented Reality) §  실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을 직접 투사하는 증강현실 기술 MirageTable | Microsoft Research | 2012
  7. 7. 공간증강현실(Spatial Augmented Reality) §  Projector + 증강현실(Augmented Reality) §  실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을 직접 투사하는 증강현실 기술 IllumiRoom | Microsoft Research | 2012
  8. 8. 공간증강현실(Spatial Augmented Reality) §  Projector + 증강현실(Augmented Reality) §  실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을 직접 투사하는 증강현실 기술 Automotive Manufacturing Using SAR Wearable Computer Lab, U South Australia | 2012 J. Zhou et et., “In-Situ Support for Automotive Manufacturing Using Spatial Augmented Realit y,”Int. J. Virtual Reality, 11(1), 2012.
  9. 9. 공간증강현실(Spatial Augmented Reality) §  Projector + 증강현실(Augmented Reality) §  실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을 직접 투사하는 증강현실 기술 Projected Augmented Reality | Intel | 2012 D. McCulley, “Projected Augmented Reality: Keeping Pace with Innovation,” http://goo.gl/bXJbA
  10. 10. 공간증강현실(Spatial Augmented Reality) §  Projector + 증강현실(Augmented Reality) §  실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을 직접 투사하는 증강현실 기술 Supporting Freeform Modeling in SAR | Wearable Computer Lab, U South Australia | 2012 Mass et al., “Supporting Freeform Modelling in Spatial Augmented Reality Environments with a Ne w Deformable Material,” AUIS 2012.
  11. 11. 공간증강현실(Spatial Augmented Reality) §  Projector + 증강현실(Augmented Reality) §  실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을 직접 투사하는 증강현실 기술 Augmented Interactive Cake | Disney Research | 2012 Carter et al., “Projector systems and method for producing digitally augmented interactive cakes a nd other food products,” US Patents 8,223,196 B2, Jul. 17, 2012.
  12. 12. 공간증강현실(Spatial Augmented Reality) §  Projector + 증강현실(Augmented Reality) §  실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을 직접 투사하는 증강현실 기술 Steerable AR with the Beamatron | Microsoft Research | 2012 A. Wilson et al.,”Steerable Augmented Reality with the Beamatron,” UIST 2012.
  13. 13. ETRI 공간증강현실 시스템 2 Camera-Projector 2 Tilt Motors Work Area 2 Pan Motors 1 Base Motor (360°) 미래형 로봇 컴퓨터의 프로토타입
  14. 14. ETRI 공간증강현실 시스템
  15. 15. ETRI 공간증강현실 시스템 데모 ETRI FRC System Demo | Ritsumeikan Univ. | 2012
  16. 16. ETRI 공간증강현실 시스템 FRC(Future Robotic Computer) System! System Initialization! Application! Camera Calibration! Projector-Camera Calibration! Camera - Projector System! Define World Coordi Define World Coordin External Camera Cali nate System! ate System! bration! Capture Camera Ima External Camera Calib Planar Feature Detect ge! ration! ion ! Finding Chessboard Finding Projected Che Corners! Rendering Virtual Obj ssboard Corners! ect! Find the Sub-Pixel L ocation of Corners! Projector-Camera Co Warping Rendering I rrelated Calibration u mage! sing Tsai Method! Internal & External C amera Calibration!
  17. 17. 카메라-프로젝터 캘리브레이션 §  카메라 캘리브레이션은 Zhang[1] 의 방법을 사용. §  해상도의 명시를 요구하는 Zhang의 방법과 달리 Tsai[2]의 방법은 초기 화된 해상도가 필요하지 않아, lens shift가 존재하는 프로젝터 캘리브레 이션에 적합. (특히, 프로젝터-카메라의 위치가 변동되는 경우, Tsai의 방 법이 필요함) [1] Z. Zhang, "Flexible New Technique for Camera Calibration," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 1330-1334, Nov. 2000. [2] R.Y. Tsai, "An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision", Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach , FL, pp. 364-374, 1986
  18. 18. 카메라 캘리브레이션 World Coordinate Camera Coordinate G Q Mc : 카메라의 내부 파라미터 Q : 체커보드 코너점(카메라 좌표계) Xwc : 카메라의 외부 파라미터 G : 체커보드 코너점(실세계 좌표계) Q = HwcG = λMcXwcG
  19. 19. 프로젝터 캘리브레이션 Camera Coordinate World Coordinate Hwc Hcw Xcp Qc Projector Coordinate Gp Hpw Qp Mc : 카메라의 내부 파라미터 Qc : 체커보드 코너점(카메라 좌표계) Xwc : 카메라의 외부 파라미터 Gp : 체커보드 코너점(실세계 좌표계) Mp : 프로젝터의 내부 파라미터 Qp : 체커보드 코너점(프로젝터 좌표계) Xwp : 프로젝터의 외부 파라미터 Xcp : 카메라-프로젝트 상관관계 파라미터 Gp = ( McXwc ) −1 Qc = Hwc −1Qc = HcwQc Qp = λMpXwpGp = HwpGp , Hcp = HwpHcw
  20. 20. 캘리브레이션 결과 Mc 612.8802 0.0 324.9092 Xwc 0.9947 -0.0291 0.0988 -18.2939 0.0 615.7199 247.9953 -0.0212 0.9965 0.0806 59.9006 0.0 0.0 1.0 0.1005 0.0781 -0.9913 531.2821 카메라 해상도 : 640 x 480 0.0 0.0 0.0 1.0 Mp 1991.4294 -4.2051 326.2305 Xcp 0.9977 -0.0005 0.0666 -58.0666 (=XwpXcw) 0.0 1991.7452 493.3812 -0.0030 0.9992 0.0374 0.2145 0.0 0.0 1.0 -0.0666 -0.0376 -0.9970 33.9260 프로젝트 해상도 : 800 x 600 0.0 0.0 0.0 1.0
  21. 21. 곡선의 디자인 Camera Coordinate 카메라 입력영상 HSV컬러 공간을 이용한 마커 검출 World Coordinate 제어점 검출 및 Cubic B-spline 보간법을 사용하여 제어점을 지나가는 곡선을 디자인
  22. 22. 프로젝터 이미지 투사 OpenCV OpenGL Camera Coordinate World Coordinate Projector Coordinate Hcw Hwp
  23. 23. OpenGL Matrix World Coordinate Projector Coordinate Hwp Projection Matrix Modelview Matrix Mp(3x3) Xwp(4x4) Mp (4x4)
  24. 24. Mouse-Cheese 게임 Obstacle Obstacle Marker Marker Mouse Cheese 쥐의 경로 만들기 실패 쥐의 경로 만들기 성공
  25. 25. 실험 환경 v  Intel® Core™ i7 CPU(2.67GHz), RAM 4GM, v  Camera resolution : 640 x 480 v  Projector resolution : 800 x 600 v  Frame Rate : 30 fps v  IDE : Visual Studio 2010 v  Open Library : OpenCV, OpenGL, Matrix TCL Pro. Logitech C920 Optoma PK320 Dynamixel MX-28
  26. 26. 구현 결과
  27. 27. 결론 및 향후 연구 계획 §  요약 ü  실세계 기반의 직관적인 사용자 인터페이스를 이용한 평면 곡선의 디자인 방법 제시 §  응용 분야 ü  직관적인 인터페이스를 요구하는 다양한 공간증간현실 분야에서 응용 가능: 디자인, 설계, 엔터테인먼트, 교육 등. §  향후연구 ü  로봇 기반의 공간증강현실 분야로의 확장 ü  카메라-프로젝터 시스템과 로봇(모터)을 결합하여 각각의 캘리브레이션 을 자동으로 수행. ü  카메라-프로젝터-모터의 하이브리드 제어 기법 개발.
  28. 28. Q & A이아현 azsure@etri.re.kr이주행 joohaeng@etri.re.kr
  29. 29. 1 2 2 1 2 1 2 1 2 1 2 1 2 5 1 2 1 2 1 2ST1 1 2 1 1 2 5 1 2 1 2ST2 1 2 1 2 1 2 5 1 2 5ST3 1 2 1 2 1 2 5 1 2 5 1 2 1 2 1 2 5 1 2 1 1 2 1 2 1 2

×