Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

圖形處理器於腦部核磁共振影像處理應用

1,750 views

Published on

陳享民/洪哲倫

Published in: Technology
  • Be the first to comment

圖形處理器於腦部核磁共振影像處理應用

  1. 1. TAIPEI | SEP. 21-22, 2016 陳享民/洪哲倫,2016/8/25 圖形處理器於腦部核磁共振影像 處理應用
  2. 2. 2 AGENDA 核磁共振影像簡介 腦部核磁共振影像可提供之臨床資訊 腦部核磁共振影像處理目前狀況 為何需要圖形處理器? 腦部核磁共振影像分割技術 深度學習於醫學影像處理 深度學習於腦部病變偵測應用 深度學習於腦部MRI影像分割應用
  3. 3. 3 核磁共振影像簡介
  4. 4. 4 核磁共振影像簡介(1/2) 什麼是核磁共振影像(Magnetic Resonance Imaging, MRI) ? 是利用生物體內氫核子(1H)在磁場中特殊表現而進行造影之技術。 1946年—核磁共振現象(F. Bloch, E. Purcell ); 1973、77年—改良出新的成像技術,磁振造影( MRI )才告誕生 (P. Lauterbur、P. Mansfield ); 1980年—第一台臨床使用之MRI產生。磁振造影(MRI),發明前後至今共獲 得三種諾貝爾獎肯定(物理、化學及生理醫學),產生七位諾貝爾獎得 主。
  5. 5. 5 核磁共振影像簡介(2/2) 非侵入性、及無游離輻射物質。 對軟組織之對比(contrast)分辨率最高。 解剖影像,且亦可提供功能性影像。 MRI具有較高的空間解析度。 能呈現具體的多方向切面影像。 核磁共振影像優點
  6. 6. 6 腦部核磁共振影像可提供之臨床資訊
  7. 7. 7 腦部核磁共振影像可提供之臨床資訊(1/3) 腦部結構與功能 額葉 位於:腦前方 功能:推理、計劃、組織,集中能 力,解決問題,情緒及某些 語言/運動(運動皮質-Motor Area) 中央溝 頂葉 位於:中央溝(Central Sulcus)的後方 功能:接收內外界環境的刺激訊息, 例如:觸覺、溫度、疼痛 枕葉 位於:腦部後側 功能:視覺有關 顳葉 位於:大腦外側裂(Lateral Fissue) 功能:視覺、知覺及刺激的辨識,也 和記憶(hippocampus)有關 圖片來源:http://en.wikipedia.org/wiki/Parietal_lobe
  8. 8. 8 腦部核磁共振影像可提供之臨床資訊(2/3) T1-Weighted Images T2-Weighted Images FLAIR Images
  9. 9. 9 腦部核磁共振影像可提供之臨床資訊(3/3) 影像處理技術基礎 (Automated Talairach Atlas Labels For Functional Brain Mapping, Lancaster et al, 2000).
  10. 10. 10 腦部核磁共振影像處理目前狀況
  11. 11. 11 腦部核磁共振影像處理目前狀況 結構形態學之方法-based on spatial properties, features 統計方法-based on probability distributions used to model image intensity 光譜方法 -based on spectral information provided by image sequences. 目前用於MRI分析之方法
  12. 12. 12 為何需要圖形處理器?
  13. 13. 13 為何需要圖形處理器? PCA、 SVM… 等方法 病灶 偵測、 分類 紋理萃取 紋理影像產生器 在kernel設定Thread Block 掃描影像每個4*4大小視窗 將紋理值放回原像素點 每個Block裡的Thread同時 計算矩陣Row每點的像素 之GLCM及GLRLM 將整張圖像複製到GPU裡 平行運算之計算流程 每個Block取得該區塊的最 大值,並計算GLCM及 GLRLM大小 每個Thread計算該GLCM及 GLRLM之紋理值 將處理過的紋理資料複製 到主記憶體 共生矩陣 (GLCM) • Energy • Contrast • Correlation • Entropy • Homogeneity • …等19種 紋理特徵 運行長度矩陣 (GLRLM) • SRE • LRE • GLN • RLN • RP • …等11種 紋理特徵 共可得 約100張MRI影像 * 3種波序 (PD (FLAIR)、T1、T2) * 4種角度(0o、45o、90o、135o) * 30種紋理特徵(19+11) ≒ 36,000張特徵影像 Multi-channels MRI T1 T2 FLAIR
  14. 14. 14 腦部核磁共振影像分割技術
  15. 15. 15 腦部核磁共振影像
  16. 16. 16 影像分割
  17. 17. 17 實驗環境與資料 NVIDIA GTX 980 (Maxwell) with 2048 CUDA cores and 7GB GDDR3 RAM The hosts (CPU) Intel Xeon E3-1231 v3 3.40GHz with 64GB RAM CUDA version is 6.5 Data Size 1150*1280 9/26/16
  18. 18. 18 分割結果
  19. 19. 19 執行效能 IMG Size= 1150*1280 16.71 0.48 0 2 4 6 8 10 12 14 16 18 Intel E3 CPU GTX980 Time(seconds) Platform
  20. 20. 20 不同記憶體傳輸效能 0.48 0.8 0.48 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 GTX980 float Time(s) Platform Kernel time Kernel time(Zero-copy) Kernel time(Unified memory) IMG Size= 1150*1280
  21. 21. 21 深度學習於醫學影像處理
  22. 22. 22 醫學影像的用途 • 主要的目的 • 協助診斷 • 疾病的評估 • 兩個影像因素 • 影像來源 • 影像解釋 9/26/16
  23. 23. 23 常用的醫學影像處理技術 過去十年類神經網路已經被使用於分析醫學影像 其他的分類方法 Decision tree Boosting Support vector machines 9/26/16 效能不彰
  24. 24. 24 傳統的CNN應用於醫學影像處理 1993, CNN被用於辨識肺腫瘤 [1] 1995, CNN被用於檢視乳房鈣化 [2] 1996, CNN被用於從乳房X光影像中取出腫瘤或正常組織 [3] 9/26/16 [1] S. C. B. Lo, J. S. J. Lin, M. T. Freedman, and S. K. Mun, “Computerassisteddiagnosis of lung nodule detection using artificial convolutionneural- network,” Proc. SPIE Med. Imag., Image Process., vol. 1898,pp. 859–869, 1993. [2] H.-P. Chan, S.-C. Lo, B. Sahiner, K. L. Lam, and M. A. Helvie, “Computer-aideddetection of mammographic microcalcifications: Patternrecognition with an artificial neural network,” Med. Phys., vol. 22, no.10, pp. 1555–67, 1995. [3] B. Sahiner et al., “Classification of mass and normal breasttissue: A convolutionneural network classifier with spatial domain and texture images,”IEEE Trans. Med. Imag., vol. 15, no. 5, pp. 598–610, Oct. 1996.
  25. 25. 25 傳統CNN VS. 現代深度CNN 1. 運算效能 (Performance) 2. 層的數量 (Layers) 9/26/16 GPU
  26. 26. 26NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE. 目前深度CNN常用於醫學影像的分析 病變偵測 腫瘤、息肉、腦血管等疾病 CT以及MRI影像 分割與形狀模型 心臟超音波 腦部MRI http://www.24drs.com/
  27. 27. 27 深度學習於 腦部病變偵測應用
  28. 28. 28NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE. 腦部微出血 腦部微出血(Cerebral microbleeds: CMB)是近年來相當重要的課題 可能影響: 腦部類澱粉血管病變 高血壓血管病變 腦白質病變等
  29. 29. 29NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE. 腦部微出血 MRI CMB 通常在腦部核磁共振影像中呈 現小於 5mm、均質圓形之低訊號病 灶。 Qi Dou, et al., "Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks," IEEE TRANSACTIONS ON MEDICAL IMAGING, 2016
  30. 30. 30NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE. NETWORK FRAMEWORK Qi Dou, et al., "Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks," IEEE TRANSACTIONS ON MEDICAL IMAGING, 2016
  31. 31. 31NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE. 3D CNN MODEL Qi Dou, et al., "Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks," IEEE TRANSACTIONS ON MEDICAL IMAGING, 2016
  32. 32. 32NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE. WORKFLOW Qi Dou, et al., "Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks," IEEE TRANSACTIONS ON MEDICAL IMAGING, 2016
  33. 33. 33NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE. 實驗結果 (1) Qi Dou, et al., "Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks," IEEE TRANSACTIONS ON MEDICAL IMAGING, 2016
  34. 34. 34NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE. 實驗結果 (2) Qi Dou, et al., "Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks," IEEE TRANSACTIONS ON MEDICAL IMAGING, 2016
  35. 35. 35NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE. 實驗結果 (3) Qi Dou, et al., "Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks," IEEE TRANSACTIONS ON MEDICAL IMAGING, 2016
  36. 36. 36 深度學習於 腦部MRI影像分割應用
  37. 37. 37 DEEP MRI BRAIN EXTRACTION (1) • Brain extraction from MRI • Skull stripping • Removing non-brain tissue • CNN • Fully-convolutional 9/26/16 (http://www.wjgnet.com/1949-8470/full/v6/i11/855.htm) Deep MRI brain extraction: A 3D convolutional neural network for skull stripping (Heidelberg University Hospital, Heidelberg, Germany), 2016
  38. 38. 38 DEEP MRI BRAIN EXTRACTION (2) Deep MRI brain extraction: A 3D convolutional neural network for skull stripping (Heidelberg University Hospital, Heidelberg, Germany)
  39. 39. 39 HOUGH-CNN Deep Learning for Segmentation of Deep Brain Regions in MRI and Ultrasound, 2016 • Combination of CNN and Voting Strategy • Caffe framework 9/26/16
  40. 40. 40 深度學習於醫學影像的挑戰
  41. 41. 41 資料來源的挑戰 資料的數量 需領域專家確認訓練資料
  42. 42. 42 深度學習網路於醫學影像分析的挑戰 資料維度-2D vs 3D 學習方法-Unsupervised vs Supervised 移轉學習與調整
  43. 43. 43 腦部MRI影像分析的開源軟體 (CUDA)
  44. 44. 44 FREESURFER FreeSurfer is a software package for the analysis and visualization of structural and functional neuroimaging data from cross-sectional or longitudinal studies. 9/26/16 (http://surfer.nmr.mgh.harvard.edu/)
  45. 45. 45 NIFTYREC • GPU (CUDA) accelerated projection and back-projection for Emission Tomography • GPU (CUDA) accelerated projection for Transmission Tomography (ray-casting) • Depth-dependent collimator/detector response (Emission Tomography) 9/26/16https://sourceforge.net/projects/niftyrec/
  46. 46. 46 ONE MORE THING
  47. 47. 47 第一部具有深度學習技術的醫用超音波儀器 Samsung The premium ultrasound system RS80A
  48. 48. TAIPEI | SEP. 21-22, 2016 THANK YOU

×