증강 현실을 이용한 수술내비게이션 시스템

1. 증강 현실을 이용한 수술내비게이션 시스템
최현석, 홍재성*
대구경북과학기술원 대학원 로봇공학전공
Development of a Surgical Navigation System
using Augmented Reality
Hyun Seok Choi, Jae Sung Hong*
Department of Robotics Engineering, Graduate School, DGIST, Daegu, Korea
*Choihs85@dgist.ac.kr
Abstract
A real-time augmented reality navigation system was developed for the surgical operation. Recently the
augmented reality technologies have been intensively researched for the surgical application since the
augmented reality based navigation system enables the accurate and precise surgery. To improve the
accuracy of the surgical augmented reality navigation system, we developed a camera calibration and
registration technique.
연구 배경
증강 현실을 이용한 수술 내비게이션을 사용하
면 피부나 다른 장기로 인하여 가려져 있는 종양
및 특정 부위를 직관적으로 나타낼 수 있다 [1].
현재 사용되고 있는 영상 처리를 이용한 증강현
실 기법은 카메라와 영상처리용 특징점을 이용
하여 카메라의 상대적 위치를 찾을 수 있으며,
가상의 물체를 카메라 영상에 나타낼 수 있다
[2]. 하지만 내시경이나 현미경을 사용하는 수술
에서 증강 현실을 이용한 내비게이션을 사용할
때에는 영상처리용 특징점을 환자의 체내에서
사용할 수 없기 때문에 다른 방법이 필요하다.
카메라와 환자의 위치를 추적할 수 있는 위치추
적 장치와 환자-영상 (patient-image)간의 영상
정합 정보를 사용하게 되면 영상처리용 특징점
을 사용하지 않고서도 카메라와 환자간의 관계
를 계산해 낼 수 있다. 또한 수술용 내시경이나
현미경을 이용한 증강현실 기반의 내비게이션의
정밀도를 높이기 위해서는 카메라 캘리브레이션
이 필요하다. 그리고 카메라와 환자의 관계를 알
기 위해서는 환자-영상간 영상정합 정보와 카메
라와 광학식 위치추적장치와의 관계 및 광학식
위치추적장치와 환자의 관계를 알아야 한다[3].
본 연구에서는 수술을 위한 좀 더 정밀한 증강현
실 내비게이션을 구현하기 위하여 카메라 캘리
브레이션을 수행하고 카메라와 환자간의 관계를
찾아내는 방법을 제시 하였으며 수술에 적합한
증강 현실 소프트웨어 프로그램을 개발하였다.
연구 방법
영상처리용 특징점을 사용하지 않는 증강현실을
구현하기 위해서는 카메라 초점과 환자 좌표계
사이의 관계를 찾아야 한다. 본 연구에서는 광학
식 위치추적 장치 (Polaris Spectra, NDI,
Canada)를 사용하여 환자의 피부에 부착된 마커
와 카메라에 부착된 마커 간의 관계를 알아내었
다. 환자의 피부에 부착된 마커는 환자-영상간
영상정합을 통해서 환자 좌표계를 기준으로 만
들 수 있다. 카메라에 부착된 마커와 카메라 내
부에 존재하는 초점과의 관계는 카메라 캘리브
레이션을 통하여 계산 되었다. 카메라 켈리브레
이션 방법을 이용하면 렌즈의 왜곡을 교정할 수
있으며, 카메라의 내부 파라메터를 구할 수 있다.
P-061

2. 따라서 계산된 내부 파라메터를 이용하여 카메
라와 체스보드 간의 정확한 관계를 도출해내었
다. 또한 광학식 위치 추적장치를 이용하여 체스
보드와 카메라에 부착된 마커와의 관계를 찾아
내어 카메라와 카메라 내부에 존재하는 초점과
의 관계를 계산하였다. 이와 같은 방법으로 계산
된 데이터를 자체 제작한 소프트웨어 프로그램
에 적용하여 수술용 내비게이션을 위한 증강현
실을 구현하였다.
그림 1. 카메라 초점과 환자 좌표계의 관계
연구 결과
VTK(visualization tool kit)와 OpenCV
(computer vision)를 이용하여 자체 제작한 증강
현실 소프트웨어 프로그램에 계산된 카메라의 초
점과 환자 사이의 관계를 대입하여 수술용 내비게
이션에 이용될 수 있는 증강현실을 구현하였다.
실험을 통하여 광학식 위치추적 장치와 마커간의
누적 오차 및 카메라 캘리브레이션에 따른 오차가
발생하는 것을 알 수 있었다. 알고리즘 개선을 통
하여 개발된 시스템의 정밀도를 높인다면 보다 정
밀한 수술용 내비게이션 시스템이 될 것이라 기대
된다.
그림 2. 증강현실 기반의 소프트웨어 프로그램
Acknowledgements
본 연구는 부분적으로 의료영상기반 이비인후
과 및 신경외과 수술용 최소침습 다자유도 수
술로봇시스템 기술개발 과제(100-40097)와
교육과학기술부에서 지원하는 대구경북과학기
술원 특성화 지원 융합과학 중점센터 운영사업
(12-BD-0402) 그리고 MIREBrain 도약 프로
그램의 지원을 받아 수행하였음.
참고 문헌
[1] 서병국, 강갑철, 박종일, “컴퓨터 기반 수술
시 환부표시를 위한 직접투사형 증강현실 인터
페이스 ” , 의공학회지, vol. 28, pp. 786-790,
2007.
[2] J. Marescaux and L. Soler, “Image-Guided
Robotic Surgery“, Semin. Laparosc. Surg., vol.
11, pp. 113-122, 2004.
[3] S. Kim, J. Hong, S. Joung, A. Yamada, N.
Matsumoto, S. I. Kim, Y. S. Kim, and M.
Hashizume, “Dual surgical navigation using
augmented and virtual environment
techniques”, Int. J. Optomechatroni., vol. 5, pp.
155-169, 2011.