Automatic 3d reconstruction and calibration of calf
•
1 like•246 views
Automatic 3d reconstruction and calibration of calf - KCGS 2016 presentation
Recommended
More Related Content
Similar to Automatic 3d reconstruction and calibration of calf
Similar to Automatic 3d reconstruction and calibration of calf (20)
Automatic 3d reconstruction and calibration of calf
- 1. Automatic 3D Reconstruction and Calibration of Calf Sehee Min Jehee Lee Movement Research Lab Seoul National University
- 5. X-ray
- 9. Radiation Dose in milligrams 1,000 620 310 100 40 30 10 0 100 200 300 400 500 600 700 800 900 1,000 Annual Nuclear Worker Dose Limit Whole Body CT Scan Average US Annual Dose US Avg. Natural Background Dose Annual Public Dose Limit From Your Body Cosmic Rays Chest X-ray 5,000 (mg) USNRC, 2015. United states nuclear regulatory commission. http://www.nrc.gov/about-nrc/radiation/around-us/doses-daily-lives.html
- 10. Relative Work • 3D Reconstruction from 2D Images
- 11. Related Work Tamás Illés & Szabolcs Somoskeöy, The EOS™ imaging system and its uses in daily orthopaedic practice, International Orthopaedics (SICOT) (2012) 36:1325–1331
- 12. 3D Femur Reconstruction from Stereo X-ray YOUN. K., PARK, M. S. AND LEE, J., 3D Femur Reconstruction from Stereo X-ray. KCGS 2014. 7, 103-104 (2 pages).
- 13. 3D Femur Reconstruction from Stereo X-ray YOUN. K., PARK, M. S. AND LEE, J., 3D Femur Reconstruction from Stereo X-ray. KCGS 2014. 7, 103-104 (2 pages). 정면상
- 14. • 경골과 비골 두 가지 종류의 뼈로 이루어진 종아리 • 경골과 비골 사이의 중첩때문에 외곽선을 정확하게 분할해낼 수 없다는 문제점 존재 Multi-Segment Problem
- 15. Input 3D 평균 통계적 형상 모델 2D X-ray 이미지 • 주성분 분석 (Principle Component Analysis) • 환자 33명의 종아리 CT 사용 PARK, N., LEE, J., SUNG, K. H., PARK, M. S., AND KOO, S. 2014. Design and validation of automated femoral bone morphology measurements in cerebral palsy. Journal of digital imaging 27, 2, 262–269. <3D 평균 통계적 형상 모델>
- 16. Input 3D 평균 통계적 형상 모델 2D X-ray 이미지 <Lat><AP> <Tibia와 Fibula의 특징을 나타내는 N개의 점>
- 17. Input 3D 평균 통계적 형상 모델 2D X-ray 이미지 <두 장의 X-ray 이미지>
- 18. Input 3D 평균 통계적 형상 모델 2D X-ray 이미지 <사용자로부터 입력 받은 N개의 점>
- 19. Points Pose Estimation • N개의 점에 대하여 Perspective-N-Points (PNP) 알고리즘을 사용하여 2D X-ray 이미지, 3D 평균 통계적 형상 모델과 카메라의 위치를 정한다.
- 20. • Canny-edge detection을 사용하여 X-ray에서 뼈의 윤곽선이 될 수 있는 후보를 찾는다. • 위에서 얻은 pixel에 Delaunay triangulation을 사용하여 edge로 연결하여 graph로 바꾼다. ☞ Graph shortest path problem Constraint : 입력으로 주어진 N개의 점이 모두 외곽선에 포함되어야 한다 Contour Segmentation
- 21. Contour Segmentation ☞ Graph searching algorithm with weighted edge • 경골과 비골 사이의 edge에 weight를 부여하여 중첩이 존재하더라도 외곽선을 분할할 수 있 도록 개선
- 22. Contour Pose Estimation • 분할된 외곽선에 대하여 Perspective-N-Points (PNP) 알고리즘을 사용하여 2D X-ray 이미지, 3D 평균 통계적 형상 모델과 카메라의 위치를 조절한다. : 2D X-ray 이미지에서 뼈의 외곽선 / : 3D 모델을 X-ray에 투영하여 얻은 외곽선
- 23. Contour Pose Estimation • 분할된 외곽선에 대하여 Perspective-N-Points (PNP) 알고리즘을 사용하여 2D X-ray 이미지, 3D 평균 통계적 형상 모델과 카메라의 위치를 조절한다. : 2D X-ray 이미지에서 뼈의 외곽선 / : 3D 모델을 X-ray에 투영하여 얻은 외곽선
- 24. Contour Pose Estimation • 분할된 외곽선에 대하여 Perspective-N-Points (PNP) 알고리즘을 사용하여 2D X-ray 이미지, 3D 평균 통계적 형상 모델과 카메라의 위치를 조절한다. : 2D X-ray 이미지에서 뼈의 외곽선 / : 3D 모델을 X-ray에 투영하여 얻은 외곽선
- 25. Shape Deformation • 3D 평균 통계적 모델의 형태를 변환 • 2D 외곽선과 3D 모델의 외곽선의 차이가 줄어들도록 deform • 기존 10개의 PCA 축을 조절하여 deform
- 26. Shape Deformation • 3D 평균 통계적 모델의 형태를 변환 • 2D 외곽선과 3D 모델의 외곽선의 차이가 줄어들도록 deform • 기존 10개의 PCA 축을 조절하여 deform
- 27. Output : 2D X-ray 이미지에서 뼈의 외곽선 / : 3D 모델을 X-ray에 투영하여 얻은 외곽선
- 28. Conclusion • 환자의 X-ray 2장을 활용하여 환자 맞춤형 3D 골격 모델 생성 • Multi-Segment인 종아리 뼈에 대해서도 적용 가능한 알고리즘 개발 • 방사선 노출의 위험과 비용 문제를 해결
- 29. Future Work - 1 • 완전히 골절된 뼈의 경우에도 3D 인체 하지 모델을 복원 가능한 알고리즘 개발
- 30. Future Work - 2 • Pelvis와 Foot에 대한 연구를 완성하여 적은 수의 X-ray만으로도 인체 하지 3D 골격 모델을 완성
- 31. 끝
- 32. 정면상
Editor's Notes
- 네 시작하도록 하겠습니다
- 우리는 다양한 상황에서 인체의 근골격 모델을 필요로 합니다. 특히 정형외과의 도움이 필요한 경우에 인체 근골격 모델을 필수적으로 얻어야만 하는데요.
- 인체 근골격 모델을 얻기 위하여 다양한 방법들이 도입되었습니다. 먼저 근골격 모델을 2D로 얻고자 할때, 가장 자주 사용되는 방법은 X-ray 촬영입니다. X-ray 촬영은 X-ray를 인체에 투과하면 인체의 내부 구조물을 볼 수 있다는 것을 이용합니다. 별도의 조영제가 필요하지 않고 촬영 시간이 짧기 때문에 가장 널리 사용되고 있습니다. 또한 인체 근골격 모델을 3D로 얻고자 할때, X-ray를 이용하는 CT와 자기장을 이용하는 MRI가 대표적으로 사용되고 있습니다.
- 이 사진은 이번 2월 말에 제가 자전거를 타다가 다쳤을때 찍은 사진입니다. 자전거를 타고 내리다가 자전거 페달과 지면 사이에 발목이 끼면서 다친 후, 응급실에서 찍은 사진입니다. 다친 직후부터 아예 걸어다닐 수가 없었고 통증과 발목의 붓기로 봤을때 발목이 부러졌다는 것을 거의 확신할 수 있었습니다.
- 하지만 X-ray 사진을 찍었을 때, X-ray 사진을 여러 번에 걸쳐 여러 장 찍었음에도 불구하고 방사선과에서 주로 찍는 방식인 정면상과 측면상에서 모두 제대로 어느 부분이 부러졌는지 확실히 판단할 수 없었습니다. 특히 제가 다쳤다고 예상되는 부분인 경골과 비골은, 두 뼈 사이의 중첩때문에 골절된 것인지 금이 간 것인지 알 수 없는 상황이었습니다.
- 그래서 결국 몇 시간이 흐르고 나서야 CT를 촬영하게 되었습니다. CT는 컴퓨터 단층 촬영이라는 방법으로, X-ray를 발생시키는 원통 모양의 장치에 들어가서 촬영하는 방식인데요. 인체를 가로지르는 횡단면상을 X-ray를 이용해 여러 장 찍은 후, 적분의 개념을 가지고 3D 모델을 얻어냅니다. 저는 총 441장의 단층 촬영을 한 후, 이 횡단면상을 모두 모아 3D 모델을 얻었습니다.
- CT 촬영을 하면, 다음과 같이 현재 저의 종아리 뼈의 상태를 3D 모델로 얻어낼 수 있게 됩니다. 저도 CT 촬영을 하고 난 후, Tibia 뒷쪽과 Fibula가 완전히 부러졌다는 것을 드디어 알아낼 수 있게 되었습니다.
- 그 이후, 정형외과 선생님의 수술로 다음과 같이 제가 다친 정확한 부분에 티타늄과 스테인레스로 이루어진 철판과 철심으로 뼈가 붙는 것을 도와줄 수 있게 되었습니다.
- 저와 같이 골절상을 입은 경우에 CT 촬영은 필수적으로 보입니다. 하지만 CT의 경우, 치명적인 단점이 있는데요. 그 것은 바로 방사선 노출입니다. 이 그래프는 미국 원자력규제위원회에서 발표한 2015년 방사선 노출량 그래프입니다. 흉부 X-ray 촬영의 경우 10 밀리그램인 반면, 전신 CT 촬영의 경우 100배 양에 해당하는 1000 밀리그램의 방사선에 노출되게 됩니다. 미국 평균 1년 노출량이 620 밀리그램인 것에 비해보면 한 회 촬영만으로도 1년치 이상에 노출되게 되므로 매우 치명적이라 할 수 있습니다. 따라서, CT 촬영은 어린이 혹은 임산부에게는 사용하지 못합니다.
- 따라서 방사선 노출 위험을 피하면서 3D 근골격 모델을 만드는 것에 대한 연구가 있었는데요, 앞에서 보신 그래프를 생각해보시면, X-ray의 경우, 방사선 노출량이 10mg에 불과하였습니다. 이 부분에 초점을 두고, 여러 장의 2D 이미지로부터 3D 모델을 reconstruction하는 방법에 대한 다양한 연구가 진행되었습니다.
- EOS System이 그 연구들 중 하나인데요, 왼쪽 그림과 같이 일정한 위치에 미리 orthogonal하게 고정되어 있는 2개의 X-ray 촬영 기기를 사용하는 방법입니다. 반드시 미리 칼리브레이션된 위치에 X-ray 촬영 기기가 있어야만 기존에 시스템에서 가지고 있는 3D 템플릿에 맞추어 3D 모델을 얻을 수 있습니다. 이 경우, x-ray를 두 장 찍는 것만으로도 3D 골격 모델을 얻을 수 있지만, 기존에 사용되고 있던 의료기기들을 모두 제안 시스템으로 대체해야 한다는 문제점이 존재하였습니다.
- 이 문제를 해결하기 위하여 2014년 KCGS에서 ‘두 장의 X-ray 사진으로부터 3차원 대퇴골 복원‘이라는 논문이 발표되었습니다. 이 논문에서는 단일 세그먼트로 이루어진 허벅지를 3D 모델로 복원하는 문제를 풀었습니다. 논문의 주요 컨트리뷰션은 카메라의 포지션을 모르는 상태에서도 2D 이미지와 3D 모델 그리고 사용자로부터 입력 받은 특징점들로 포지션을 맞추어 나갈 수 있다는 것입니다. 입력 받은 특징점
- 이 문제를 해결하기 위하여 2014년 KCGS에서 ‘두 장의 X-ray 사진으로부터 3차원 대퇴골 복원‘이라는 논문이 발표되었습니다. 이 논문에서는 단일 세그먼트로 이루어진 허벅지를 3D 모델로 복원하는 문제를 풀었습니다. 논문의 주요 컨트리뷰션은 카메라의 포지션을 모르는 상태에서도 2D 이미지와 3D 모델 그리고 사용자로부터 입력 받은 특징점들로 포지션을 맞추어 나갈 수 있다는 것입니다.
- 먼저, 인풋 데이터에 대해서 설명하도록 하겠습니다. 첫번째로는 3D로 만들어진 종아리 골격의 평균 통계적 형상 모델이 필요합니다. 저희는 3D 모델을 만들기 위하여 분당 서울대병원에서 받은 환자 33명의 종아리 CT 파일을 사용하였습니다. 이 모델을 얻기 위해 33명의 종아리 CT 파일을 주성분 분석을 통해 하나의 평균 통계적 형상 모델로 만들었습니다. 그리고 종아리 뼈의 경우, 경골과 비골 두 종류의 뼈로 이루어져 있기 때문에, 3D 모델에는 두 종류의 뼈를 모두 포함하고 있도록 만들었습니다.
- 또한 모델에는 다음과 같이 N개의 점이 주어져야 합니다. 이 점들은 종아리 뼈에서 해부학적으로 뼈에 의미 있는 부분을 표시하는 부분을 하며, 3D 모델과 2D X-ray 이미지의 관계를 설명하는 역할을 하게 됩니다. 저희는 이 특징점들을 각각 경골과 비골의 최상단점, 최하단점, 교점 등으로 설정하여 7개 점을 사용하였습니다.
- 두번째 인풋 데이터로는 2장의 2D X-ray 이미지가 필요합니다. X-ray는 각각 물체를 정면에서 찍은 정면상, AP와 측면에서 찍은 측면상, Lateral View를 사용하였습니다. 이 두가지 촬영 방법은 광범위한 방사선 의학과에서 공통된 촬영 방식입니다.
- 2D X-ray 이미지도 3D 모델에 표시된 것과 같은 위치에 마킹된 점이 필요합니다. 따라서 사용자로부터 같은 위치에 N개의 점을 입력하도록 하여 X-ray 상에 표시할 수 있도록 합니다.
- 이제 알고리즘의 각 단계에 대해서 설명하도록 하겠습니다. 먼저, 첫번째 단계로는 Points Pose Estimation입니다. 카메라의 포지션과 2D 이미지, 3D 모델의 위치를 정해주어야 하는데요, 이때 사용자에게 입력 받은 N개의 점을 바탕으로 pose estimation algorithm 중 하나인 PNP 알고리즘을 사용합니다. 아래의 그림과 같이, PNP 알고리즘을 수행하고 나면, 카메라와 3D 모델, 2D X-ray 이미지의 위치를 결정할 수 있습니다.
- 두번째 단계는 외곽선 분할입니다. X-ray 이미지는 이미지 외에는 다른 정보가 없는 상태이기 때문에, X-ray 이미지 상에서 원하는 뼈의 형태를 분리해내는 작업이 필요합니다. 뼈의 형태를 분리하기 위하여 케니 엣지 디텍션을 사용하여 X-ray 상에서 영상의 검은 부분과 관련된 모든 엣지들을 제거합니다. 이 과정을 통해 뼈의 외곽선이 될 수 있는 픽셀들을 얻어낼 수 있습니다. 이 후, 얻어낸 픽셀에 들로네 트라이앵귤레이션을 통해, 그래프로 표현될 수 있도록 평면 위의 픽셀들을 삼각형으로 연결해 줍니다. 이 두 가지 과정을 지나고 나면, 이제 X-ray는 뼈로 판정될 가능성이 있는 벌텍스들의 그래프로 표현되게 됩니다. 이제 이 문제를 그래프 최단거리 패스 문제로 풀면 X-ray 상에서 뼈의 외곽선을 얻어낼 수 있습니다. 이때 반드시 지켜져야 하는 제약 조건이 있는데, 그 것은 입력으로 주어진 N개 점이 반드시 포함되어야 한다는 점입니다. 제약 조건을 지키며 문제를 풀자면, 주어진 N개의 점들을 일정한 순서에 따라 방문하는 문제로 해결 가능합니다.
- 이 문제를 해결하기 위하여, 그래프의 경골과 비골 사이의 엣지에는 weight를 부여하여 중첩이 존재하더라도 외곽선을 분할할 수 있도록 하였습니다. 그 결과는 다음과 같습니다. 빨간색 선은 X-ray 상에서 뼈를 분리해낸 결과입니다.
- 세번째 단계는 외곽선 위치 추정입니다. 이제 우리는 X-ray 이미지에서 분할한 외곽선을 가지고 있습니다. 이후, 3D 모델을 X-ray 위에 프로젝션하여 외곽선을 얻어냅니다. 가지고 있는 두 가지 외곽선을 가지고 다시 PNP 알고리즘을 사용해 위치를 조절합니다.
- 세번째 단계는 외곽선 위치 추정입니다. 이제 우리는 X-ray 이미지에서 분할한 외곽선을 가지고 있습니다. 이후, 3D 모델을 X-ray 위에 프로젝션하여 외곽선을 얻어냅니다. 가지고 있는 두 가지 외곽선을 가지고 다시 PNP 알고리즘을 사용해 위치를 조절합니다.
- 세번째 단계는 외곽선 위치 추정입니다. 이제 우리는 X-ray 이미지에서 분할한 외곽선을 가지고 있습니다. 이후, 3D 모델을 X-ray 위에 프로젝션하여 외곽선을 얻어냅니다. 가지고 있는 두 가지 외곽선을 가지고 다시 PNP 알고리즘을 사용해 위치를 조절합니다.
- 네번쨰 단계는 3D 모델의 형태 변환으로, 기존에 가지고 있던 PCA의 축 10개를 조절하여, 3D 모델과 2D 외곽선의 차이가 줄어들도록 디포메이션하여 결과를 얻어냅니다.
- 네번쨰 단계는 3D 모델의 형태 변환으로, 기존에 가지고 있던 PCA의 축 10개를 조절하여, 3D 모델과 2D 외곽선의 차이가 줄어들도록 디포메이션하여 결과를 얻어냅니다.
- 제안 알고리즘의 아웃풋으로 3D 모델을 얻을 수 있습니다. 그림에서 X-ray 상의 빨간색 선은 X-ray 상의 종아리 뼈의 외곽선이며, 초록색 선은 3D 모델의 외곽선을 X-ray 상에 투영한 결과입니다.
- 하지만 아직 저와 같이 심하게 골절된 환자들의 케이스에는 기본적인 3D 평균 통계적 형상 모델에 크랙이 생길 경우, 디포메이션하는 알고리즘을 개발하지 못했습니다. 심하게 골절되어 3D 평균 통계적 형상 모델과 정확히 대응되지 못하는 환자의 경우에도 적용 가능한 알고리즘을 개발할 예정입니다.
- 발의 경우, 종아리보다 훨씬 많은 26개의 뼈로 구성되어 있기 때문에 X-ray 상에서 확인하기 어려운 중첩들이 많이 존재합니다. 발처럼 세그먼트의 개수가 많아서 엣지의 경계가 모호한 경우에도 적용 가능한 알고리즘을 개발해야 합니다. 최종적으로는 골반과 발에 대한 연구를 완성하여, 별도의 교정 과정 없이 적은 수의 엑스레이만으로도 3D 인체 하지 모델을 복원할 수 있는 것을 목표로 하고 있습니다.