Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

【Unite 2018 Tokyo】Unityの医療と教育への応用 ~ちょっと人を助けてみませんか?~

3,534 views

Published on

講演者:金 太一(東京大学医学部脳神経外科)

こんな人におすすめ
・医療や教育分野に興味のある方
・これまで医療分野に携わったことのない方
・医用CGや医用画像に興味のある方

受講者が得られる知見
・医療や教育分野のニーズや展望
・非医療の方こそ活躍できる
・Unityで医用画像の取込や医用3DCG作成を実装する方法

Published in: Technology
  • Be the first to comment

【Unite 2018 Tokyo】Unityの医療と教育への応用 ~ちょっと人を助けてみませんか?~

  1. 1. Unityの医療と教育への応用 〜ちょっと人を助けてみませんか?〜 金 太一 東京大学医学部脳神経外科 2018.5.9 2018/5/7-9
  2. 2. 金 太一 ・脳神経外科医として17年 ・手術シミュレーションや医用3DCGの臨床応用 ・使用しているソフト(本日ご紹介する内容のレベル)  Unity  Modo / Maya / ZBrush / KeyShot  Real Flow / Motion  Amira  医用画像処理ソフトは使用せず 東京大学医学部脳神経外科 / 助教 “ 役に立つ、日々使われる ” 自己紹介
  3. 3. 本日の内容 1. 医療への応用とニーズを紹介 2. 医療に関わったことがない人や技術こそ活躍で きる 3. Unityで医用画像処理ができるようになる Caution!! 実際の手術のビデオがでます
  4. 4. 市場 医療機器(年成長率5.2%)   国内3.8兆円、世界55兆円(2018年) 医療シミュレーション(15%)  世界 1400億円/2019年→2800億円/2022年 診断支援ソフトウェア(急速に拡大中)  2020年には770億円(国内) 患者固有のデータではない 仮想シミュレーション(変形など)できるソフト がない 患者固有の3DCGによる手術シミュレー ション CAEヘルスケア社 日本スリービー・サイエンティフィック社
  5. 5. 脳神経外科手術 脳幹(正常解剖) 2cm 1. 知識 2. 戦略 3. 判断 4. 手先の器用さ 手術に必要なもの 脳腫瘍の手術
  6. 6. 当施設での3DCGによる手術検討(2008〜) 900症例、論文36本、特許申請 7件
  7. 7. まずは医用画像に慣れてもらいます “ UnityでDICOMデータを扱う ”
  8. 8. 医用画像のフォーマット DICOM ・Digital Imaging and Communications in Medicineの略 ・医用画像の国際標準規格 全ての情報には個別の番号(タグ)が定められている どのタグにどんな内容が入っているか決まっている タグ グループ番号 エレメント番号 データ 0002 0000 200 0002 0001 … 0002 0002 1.2.840.10008.5.1.4.1.1.4 0002 0003 1.2.840.113619.2.312.3596.11861684.12073.136 98 0002 0010 1.2.840.10008.1.2.1 0002 0013 OFFIS_DCMTK_354 0002 0005 ISO_IR 100 0008 0020 20130530 0008 0030 163709 0008 0060 MR 0008 0070 GE MEDICAL SYSTEMS 0008 0060 TOKYO UNIV HOSPITAL 0008 0060 Unspecified DOCOMのヘッダー情報(←Photoshopでも見られます!)
  9. 9. 画像への変換 画素データもタグ番号(7fe0, 0010)のデータに格納されている 画像への変換は、複数のタグ情報を組み合わせて画素を抽出し、画素に色を対応付ける 0 0 0 0 0 0 0 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 5 6 6 6 6 6 6 6 6 6 7 7 7 7 7 7 8 8 8 8 8 8 8 8 9 グループ番号 エレメント番号 データ 7fe0 10 0 0 0 0 0 0 0 ・・・ 8 8 8 9 グループ番号 エレメント番号 データ 0028 0004 Photometric Interpretation 0028 0010 Rows 0028 0011 Columns 0028 0030 Pixel Spacing 0028 0100 Bits Allocated 0028 0101 Bits Stored 0028 0102 High Bit 0028 0103 Pixel Representation 0028 0106 Smallest Image Pixel Value 0028 0107 Largest Image Pixel Value 0028 1050 Window Center 0028 1051 Window Width ピクセルデータ + 画像作成に必要なタグ情報 抽出した画素 画像作成時に参考とするタグ情報 +
  10. 10. 株式会社Kompath (https://www.facebook.com/Kompath) 2018年5月5日リリース Simple DICOM Loader (DICOMデータを表示するアセット)
  11. 11. Simple DICOM Loader (DICOMデータを表示するアセット) 株式会社Kompath (https://www.facebook.com/Kompath) 2018年5月5日リリース
  12. 12. High Speed CPU-based Marching cubes (近日中にリリース) (DICOMデータから3DCGを作成するアセット 株式会社Kompath (https://www.facebook.com/Kompath)
  13. 13. 株式会社Kompath (https://www.facebook.com/Kompath) High Speed CPU-based Marching cubes (DICOMデータから3DCGを作成するアセット (近日中にリリース)
  14. 14. どうして手術シミュレーションや医用3DCGが必要なのか 現状では何かが不足 課題と解決法(未解決を含む)をご紹 介
  15. 15. 課題1. 多すぎる医用画像データ 手術1症例あたり 数十種類 数千枚。。。
  16. 16. 課題1. 多すぎる医用画像データ 脳腫瘍 医用融合3次元画像 fusion
  17. 17. レジストレーション レンダリング y x z x z multi-thresholdone threshold 手術シミュレーション 正規化相互情報量法 セグメンテーション 元画像データの選択 医用融合3次元画像処理のなが れ hybrid rendering Surface Rendering Volume Rendering other CG techniques 骨削除 脳変形 4DCG などなど shading texturing patent application PCT/JP2014/76958 30分〜数時間
  18. 18. リージョングローイング法による脳のセグメンテーション 現状では、 自動セグメンテーションは不可能 課題2. 画像処理時間と用手的操作 自動 自動 手動
  19. 19. 機械学習を用いた脳の自動セグメンテーション 入力:造影FIESTA(208x480x160) 出力:脳が1、それ以外が0のラベルボクセルデータ 学習率0.5でSGDにて15〜30epoch学習した後Adamを適用 各層のパラメータの初期化:Chainerのデフォルト Deep Learning Frame Work:Chainer 3.1.0  言語:Python3.6 計算機:CPU: Intel(R) Core(TM) i7-6800K 3.40GHz GPU: NVIDIA GeForce GTX 1080 Ti 学習データ(健常人10例) 出力データテストデータ 融合3次元画像 として使用 機械学習 モデル 学習済モデル 課題2. 画像処理時間と用手的操作
  20. 20. 学習結果 単純閾値法で3次元化 正解データ (ヒトが用手的に抽出) 機械学習を用いた脳の自動セグメンテーション 課題2. 画像処理時間と用手的操作
  21. 21. 1. 学習データを均一にする前処理  ・ラベルの方法(範囲、対象)  ・位置姿勢やスケールを補正  ・解像度を一致させる 2. その後の画像処理(region growingにおけるseed point) 視床にseed pointをおき region growing 単純閾値法 機械学習を用いた脳の自動セグメンテーション 正解データ (ヒトが用手的に抽出) 学習結果   課題2. 画像処理時間と用手的操作
  22. 22. Modo® 10例のテストデータで同等のクオリティの脳3DCGモデルが作成可能であった 数千・数万のデータは不要! というか、ない! 本研究は、科学技術振興機構(JST)戦略的創造研究推進事業(CREST)研究領域 「人間と情報環境の共生インタラクション基盤技術の創出と展開」 「データ駆動型知的情報システムの理解・制御のためのインタラクション」による成果です 機械学習を用いた脳の自動セグメンテーション 課題2. 画像処理時間と用手的操作
  23. 23. 課題3. 医用画像の描出能 ・ 解像度  白黒 512x512x200程度(1 voxel ≒ 0.5mm)  ←1mmの血管がぎりぎり描出  ←脳神経外科手術で最も重要な血管は1mm前後   ・ 分解能  医師の頭の中でのみ融合  →正しく3次元化できない  →情報共有ができない  →手術時のリスク↑ 重要な組織は医用画像にほとんど写っていない 脳幹 Wikipediaより
  24. 24. 正常解剖モデルを作る Modo®、Maya® 課題3. 医用画像の描出能 Kakizawa et al., Neurosurgery. 2007 2018
  25. 25. 課題3. 医用画像の描出能 知識(正常解剖3DCG)と医用画像との融合 脳幹部海綿状血管腫
  26. 26. 変形 ・増大方向 ・距離を計測 ・脳幹を超えな い iterative closest point法:ポリゴンのレジストレーショ ン法 知識(正常解剖3DCG)と医用画像との融合 課題3. 医用画像の描出能 脳幹部海綿状血管腫
  27. 27. ・5例の海綿状血管腫 ・血管腫と顔面神経核の相対位置関係を予測 sup & inf colliculus mesencephalic nucleus of V IV spinothalamic tract lateral lemniscus CST principal sensory nucleus of V V motor nucleus of Vtectospinal tract tectospinal tract central tegmental tract 術中電気刺激で合致を確認 課題3. 医用画像の描出能 脳幹部海綿状血管腫 知識(正常解剖3DCG)と医用画像との融合
  28. 28. 高精細頭部解剖アプリ 「iRis」 App Storeにて販売中 本研究は、内閣府 総合科学技術・イノベーション会議が主導する 革新的研究開発推進プログラム(ImPACT) 「バイオニックヒューマノイドが拓く新産業革命」による成果です Unityで開発 臨床応用できるクオリティ 脳神経外科専門医レベルの解剖 株式会社Kompath (https://www.facebook.com/Kompath)
  29. 29. ≠ 病気の診断 (医用画像データの忠実な可視化) 手術検討(シミュレーション) (現実空間の模倣 & どう治療するか)  患者固有のデータが扱える 手術シミュレーション ソフトは存在しない! 課題4. 診断と手術検討の違い 脳動脈瘤
  30. 30. Shono N, et al., Oper Neurosurg. 14(5), 2018 課題4. 診断と手術検討の違い 脳動脈瘤クリッピングシミュレーター ClipSim ・8症例の患者さんでシミュレーション ・6症例でシミュレーションで予想したクリップを実際に使用 した Soya VIRTUAL REALITY VR 3Dグラス Leap Motion
  31. 31. 医療への応用は本当にハードルが高いのか?
  32. 32. 課題5. 操作性(UI) これ以上、医療機器が増えては・・・ バイタルモニター 電気生理学的 モニタリング 融合3次元画像 ナビゲーション 手術顕微鏡 診療端末 録画システム ・超音波 ・術中X線 ・術中CT ・術中MRI ・術中血管撮影 ・術中蛍光造影    ・   ・   ・ Amira® (Thermo Fisher SCIENTIFIC社)
  33. 33. 医用画像ビューワアプリ 「eMma」 今月リリース予定(無料) iPhoneやiPadでDICOM画像を閲覧する だけのシンプルなアプリ 本研究は、国立研究開発法人科学技術振興機構 戦略的創造研究推進事業(社会技術研究開発) 「研究開発成果実装支援プログラム」による研究成果の一部です イノベーションを起こす可能性 ・ありそうでなかった  ・ 患者さんが自分の画像をもてる ・ どこでも簡単に医用画像が見られる eMma : Easy Multi-Medical image Applying
  34. 34. 医用3DCGビューワアプリ 「Brain Viewer」 参考書の付録として作成
  35. 35. 課題6. 生体組織の仮想変形 ・ 物理的整合性に厳密さは不要 ・ 本当に見たいのは変形させた脳の奥にある解剖構造 物理的整合性は必要か?
  36. 36. 三叉神経痛 ・脳の変形:モーフィング ・血管の移動:リギング 課題6. 生体組織の仮想変形
  37. 37. 課題7. 視覚的リアリティの追求 迷走神経 舌咽神経 聴神経 三叉神経 顔面神経 前下小脳動脈 聴神経腫瘍 リアリティの追求もほどほどに。。。
  38. 38. 1. 視認性向上 2. 観察者の負担軽減 3. ヒューマンエラー回避 4. 承認欲求、モチベーション向上 5. 特徴量抽出 6. 画像処理の向上・発展 1.金ら、脳神経外科ジャーナル 25(8): 622-630, 2016 2. Manabe H, et al., IWAIT2014: 585-588, 2014 脳動静脈奇形 課題7. 視覚的リアリティの追求
  39. 39. X AP RL FH 微小血管は解析不可能 2. phase-contrast MR angiography 複雑な形状は解析不可能 1. 数値流体力学 (CFD : computational fluid dynamics) 課題8. 流体シミュレーション
  40. 40. 血管芽細胞腫 Modo® ・9例の血管芽細胞腫 ・各血管の速度に順位 ・術中ドップラーで検証 90%合致 drainer 4.28 ml/min 0.89 ml/min 3.54 ml/min 7.3 ml/min 課題8. 流体シミュレーション
  41. 41. いろいろなものへ応用
  42. 42. 診断を支援するアプリ Anatomical Knowledge Indicator(AKI)
  43. 43. 教育への応用 色々な領域への橋渡しとしてUnityが活躍 現場で役に立っているものを教育の場へおとすことに意味がある 解剖実習 離島 様々な職種・施設で試用してもらいフィードバック 放射線技師 患者さん インドの脳神経外科教授 手術見学医学部4年生の講義 ハンズオンセミナー 離島の医師 学生が作ったアプリ
  44. 44. AR/MRの応用 ジャマと言われた・・・ ・視野が変わる度にレジストレーション ・奥行き情報がない ・そもそも頻繁に使用しない 脳腫瘍(脊索腫)
  45. 45. AR/MRの応用 トラクトグラフィー 脳腫瘍 覚醒下手術 トラクトグラフィー  神経線維を可視化したもの  脳機能画像としてもっとも代表的なも の
  46. 46. Landmark & thin-plate spline method 誤差(脳変形後) 0.64±0.88 mm (mean±SE) n = 4 patent 2013-103562 開頭直後の脳表写真 術前画像 AR/MRの応用 仮想情報でなく、現実空間情報を歪める!
  47. 47. 自動手術シミュレーション 一番知りたいことは「高精細なCG」ではなく、「どう手術する か」 左顔面けいれ ん 本研究の一部は、国立研究開発法人日本医療研究開発機構(AMED)の 【術中の迅速な判断・決定を支援するための診断支援機器・システム開発プロジェクト】 「術前と術中をつなぐスマート手術ガイドソフトウェアの開発」の 支援によるものです 株式会社ポケット・クエリーズと一緒に開発中 手術操作 → エキスパートシステム モデル作成 → ディープラーニング
  48. 48.     1. モデルのポジション(体位)    ・REZが視野の視野の中心  ・開頭位置が視野の中心  ・inferior nuchal lineが視野の中心  ・顕微鏡術野を弱角に 2. 開頭位置  ・外側端はS状静脈洞にわずかに接する  ・inferior nuckal lineの上1/3、下2/3の割合で、3cmの穴を骨にあける 3. 顕微鏡術野  ・開頭位置を拡大  ・X神経が視野の中心  ・VII, VIIIは20〜30度  ・REZが視認できる角度  4. 小脳の変形   ・脳ヘラによる変形(リギング、有限要素)   ・脳ヘラは脳槽から挿入し、正中側へ移動   ・脳ヘラの先端はREZ   ・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動   5. 責任血管の移動(1本目)   ・どの変形機能を実装させるかはまだ未定(リギングが候補)   ・REZ部にある血管を中心として錐体骨側へ最短距離   ・VII&VIII神経とX神経の間に   ・血管が伸びすぎない程度の量で   ・椎骨動脈の移動(2本目、必要時)アルゴリズムは同じ(移動方向がやや異な り、尾側へ)    現時点で人間が入力するパラメータ    ・REZの位置    ・脳幹の向き    ・inferior nuchal line S状静脈洞 下項線上を移動しながら、メッシュの衝突判定によって、 S状静脈洞にわずかに(2mm)かかる位置に直径3cmの穴を開け る 穴(開頭)は病変とカメラ とを一直線につなぐ円柱上 に 自動手術シミュレーション
  49. 49.     1. モデルのポジション(体位)    ・REZが視野の視野の中心  ・開頭位置が視野の中心  ・inferior nuchal lineが視野の中心  ・顕微鏡術野を弱角に 2. 開頭位置  ・外側端はS状静脈洞にわずかに接する  ・inferior nuckal lineの上1/3、下2/3の割合で、2.5cmの穴を骨にあける 3. 顕微鏡術野  ・開頭位置を拡大  ・X神経が視野の中心  ・VII, VIIIは20〜30度  ・REZが視認できる角度  4. 小脳の変形   ・脳ヘラによる変形(リギング、有限要素)   ・脳ヘラは脳槽から挿入し、正中側へ移動   ・脳ヘラの先端はREZ   ・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動   5. 責任血管の移動(1本目)   ・どの変形機能を実装させるかはまだ未定(リギングが候補)   ・REZ部にある血管を中心として錐体骨側へ最短距離   ・VII&VIII神経とX神経の間に   ・血管が伸びすぎない程度の量で   ・椎骨動脈の移動(2本目、必要時)アルゴリズムは同じ(移動方向がやや異なり、尾側へ)    現時点で人間が入力するパラメータ    ・REZの位置    ・脳幹の向き    ・inferior nuchal line 変形表現範囲 ・変形角度と同じ ・先端が病変部から2cmの距離 小脳全体の変形 顔面神経と90度の角度となるように設定 自動手術シミュレーション アセット「MEGA-FIERS」を使用して脳の変形を実装
  50. 50.     1. モデルのポジション(体位)    ・REZが視野の視野の中心  ・開頭位置が視野の中心  ・inferior nuchal lineが視野の中心  ・顕微鏡術野を弱角に 2. 開頭位置  ・外側端はS状静脈洞にわずかに接する  ・inferior nuckal lineの上1/3、下2/3の割合で、2.5cmの穴を骨にあける 3. 顕微鏡術野  ・開頭位置を拡大  ・X神経が視野の中心  ・VII, VIIIは20〜30度  ・REZが視認できる角度  4. 小脳の変形   ・脳ヘラによる変形(リギング、有限要素)   ・脳ヘラは脳槽から挿入し、正中側へ移動   ・脳ヘラの先端はREZ   ・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動   5. 責任血管の移動(1本目)   ・どの変形機能を実装させるかはまだ未定(リギングが候補)   ・REZ部にある血管を中心として錐体骨側へ最短距離   ・VII&VIII神経とX神経の間に   ・血管が伸びすぎない程度の量で   ・椎骨動脈の移動(2本目、必要時)アルゴリズムは同じ(移動方向がやや異なり、尾側へ)    現時点で人間が入力するパラメータ    ・REZの位置    ・脳幹の向き    ・inferior nuchal line 変形形状の設定 変形の表現のパラメータ 今回手術する領域 自動手術シミュレーション アセット「MEGA-FIERS」を使用して脳の変形を実装
  51. 51. シナリオシステム ・シナリオデータがあれば、自動で手術実行  手術のうまい人のシナリオデータを用いて、  →異なる症例(CG)に  →経験の浅い医師との差分 ・手術手技の定量化  →技量の均てん化   →手術ロボットなどへの応用  →機械学習への応用 自動手術シミュレーション ポケット・クエリーズ社と一緒に開発中
  52. 52. おわりに 非連続イノベーションをおこすには 異分野間の連携が重要だと思います ちょっと人を助けてみたい方、 医療や教育への応用に興味のある人、 お気軽にご連絡ください!!

×