【Unite 2018 Tokyo】Unityの医療と教育への応用 ～ちょっと人を助けてみませんか？～
Report
Share
•5 likes•11,034 views
【Unite 2018 Tokyo】Unityの医療と教育への応用 ～ちょっと人を助けてみませんか？～
•5 likes•11,034 views
Report
Share
Download to read offline
講演者：金 太一（東京大学医学部脳神経外科） こんな人におすすめ ・医療や教育分野に興味のある方 ・これまで医療分野に携わったことのない方 ・医用CGや医用画像に興味のある方 受講者が得られる知見 ・医療や教育分野のニーズや展望 ・非医療の方こそ活躍できる ・Unityで医用画像の取込や医用3DCG作成を実装する方法
![[DL輪読会]ViNG: Learning Open-World Navigation with Visual Goals](https://cdn.slidesharecdn.com/ss_thumbnails/ving-210108020327-thumbnail.jpg?width=384&fit=bounds)
More Related Content
What's hot
![[DL輪読会]Dense Captioning分野のまとめ](https://cdn.slidesharecdn.com/ss_thumbnails/dlseminar-201202012355-thumbnail.jpg?width=384&fit=bounds)
What's hot(20)
![[DL輪読会]Dense Captioning分野のまとめ](https://cdn.slidesharecdn.com/ss_thumbnails/dlseminar-201202012355-thumbnail.jpg?width=768&fit=bounds)
![[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...](https://cdn.slidesharecdn.com/ss_thumbnails/kuboshizuma20180316-180525003941-thumbnail.jpg?width=768&fit=bounds)
Similar to 【Unite 2018 Tokyo】Unityの医療と教育への応用 ～ちょっと人を助けてみませんか？～
Similar to 【Unite 2018 Tokyo】Unityの医療と教育への応用 ～ちょっと人を助けてみませんか？～(20)
More from UnityTechnologiesJapan002
More from UnityTechnologiesJapan002(20)
Recently uploaded
Recently uploaded(12)
【Unite 2018 Tokyo】Unityの医療と教育への応用 ～ちょっと人を助けてみませんか？～
- 2. 金 太一 ・脳神経外科医として17年 ・手術シミュレーションや医用3DCGの臨床応用 ・使用しているソフト（本日ご紹介する内容のレベル） Unity Modo / Maya / ZBrush / KeyShot Real Flow / Motion Amira 医用画像処理ソフトは使用せず 東京大学医学部脳神経外科 / 助教 “ 役に立つ、日々使われる ” 自己紹介
- 3. 本日の内容 1. 医療への応用とニーズを紹介 2. 医療に関わったことがない人や技術こそ活躍で きる 3. Unityで医用画像処理ができるようになる Caution!! 実際の手術のビデオがでます
- 5. 脳神経外科手術 脳幹（正常解剖） 2cm 1. 知識 2. 戦略 3. 判断 4. 手先の器用さ 手術に必要なもの 脳腫瘍の手術
- 8. 医用画像のフォーマット DICOM ・Digital Imaging and Communications in Medicineの略 ・医用画像の国際標準規格 全ての情報には個別の番号（タグ）が定められている どのタグにどんな内容が入っているか決まっている タグ グループ番号 エレメント番号 データ 0002 0000 200 0002 0001 … 0002 0002 1.2.840.10008.5.1.4.1.1.4 0002 0003 1.2.840.113619.2.312.3596.11861684.12073.136 98 0002 0010 1.2.840.10008.1.2.1 0002 0013 OFFIS_DCMTK_354 0002 0005 ISO_IR 100 0008 0020 20130530 0008 0030 163709 0008 0060 MR 0008 0070 GE MEDICAL SYSTEMS 0008 0060 TOKYO UNIV HOSPITAL 0008 0060 Unspecified DOCOMのヘッダー情報（←Photoshopでも見られます！）
- 9. 画像への変換 画素データもタグ番号（7fe0, 0010）のデータに格納されている 画像への変換は、複数のタグ情報を組み合わせて画素を抽出し、画素に色を対応付ける 0 0 0 0 0 0 0 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 5 6 6 6 6 6 6 6 6 6 7 7 7 7 7 7 8 8 8 8 8 8 8 8 9 グループ番号 エレメント番号 データ 7fe0 10 0 0 0 0 0 0 0 ・・・ 8 8 8 9 グループ番号 エレメント番号 データ 0028 0004 Photometric Interpretation 0028 0010 Rows 0028 0011 Columns 0028 0030 Pixel Spacing 0028 0100 Bits Allocated 0028 0101 Bits Stored 0028 0102 High Bit 0028 0103 Pixel Representation 0028 0106 Smallest Image Pixel Value 0028 0107 Largest Image Pixel Value 0028 1050 Window Center 0028 1051 Window Width ピクセルデータ ＋ 画像作成に必要なタグ情報 抽出した画素 画像作成時に参考とするタグ情報 ＋
- 10. 株式会社Kompath (https://www.facebook.com/Kompath) 2018年5月5日リリース Simple DICOM Loader （DICOMデータを表示するアセット）
- 11. Simple DICOM Loader （DICOMデータを表示するアセット） 株式会社Kompath (https://www.facebook.com/Kompath) 2018年5月5日リリース
- 12. High Speed CPU-based Marching cubes （近日中にリリース） （DICOMデータから3DCGを作成するアセット 株式会社Kompath (https://www.facebook.com/Kompath)
- 13. 株式会社Kompath (https://www.facebook.com/Kompath) High Speed CPU-based Marching cubes （DICOMデータから3DCGを作成するアセット （近日中にリリース）
- 17. レジストレーション レンダリング y x z x z multi-thresholdone threshold 手術シミュレーション 正規化相互情報量法 セグメンテーション 元画像データの選択 医用融合３次元画像処理のなが れ hybrid rendering Surface Rendering Volume Rendering other CG techniques 骨削除 脳変形 ４DCG などなど shading texturing patent application PCT/JP2014/76958 30分〜数時間
- 19. 機械学習を用いた脳の自動セグメンテーション 入力：造影FIESTA（208x480x160） 出力：脳が1、それ以外が0のラベルボクセルデータ 学習率0.5でSGDにて15〜30epoch学習した後Adamを適用 各層のパラメータの初期化：Chainerのデフォルト Deep Learning Frame Work：Chainer 3.1.0 言語：Python3.6 計算機：CPU: Intel(R) Core(TM) i7-6800K 3.40GHz GPU: NVIDIA GeForce GTX 1080 Ti 学習データ（健常人10例） 出力データテストデータ 融合3次元画像 として使用 機械学習 モデル 学習済モデル 課題2. 画像処理時間と用手的操作
- 21. 1. 学習データを均一にする前処理 ・ラベルの方法（範囲、対象） ・位置姿勢やスケールを補正 ・解像度を一致させる 2. その後の画像処理（region growingにおけるseed point） 視床にseed pointをおき region growing 単純閾値法 機械学習を用いた脳の自動セグメンテーション 正解データ （ヒトが用手的に抽出） 学習結果 課題2. 画像処理時間と用手的操作
- 23. 課題3. 医用画像の描出能 ・ 解像度 白黒 512x512x200程度（1 voxel ≒ 0.5mm） ←1mmの血管がぎりぎり描出 ←脳神経外科手術で最も重要な血管は1mm前後 ・ 分解能 医師の頭の中でのみ融合 →正しく3次元化できない →情報共有ができない →手術時のリスク↑ 重要な組織は医用画像にほとんど写っていない 脳幹 Wikipediaより
- 24. 正常解剖モデルを作る Modo®、Maya® 課題3. 医用画像の描出能 Kakizawa et al., Neurosurgery. 2007 2018
- 26. 変形 ・増大方向 ・距離を計測 ・脳幹を超えな い iterative closest point法：ポリゴンのレジストレーショ ン法 知識（正常解剖3DCG）と医用画像との融合 課題3. 医用画像の描出能 脳幹部海綿状血管腫
- 27. ・5例の海綿状血管腫 ・血管腫と顔面神経核の相対位置関係を予測 sup & inf colliculus mesencephalic nucleus of V IV spinothalamic tract lateral lemniscus CST principal sensory nucleus of V V motor nucleus of Vtectospinal tract tectospinal tract central tegmental tract 術中電気刺激で合致を確認 課題3. 医用画像の描出能 脳幹部海綿状血管腫 知識（正常解剖3DCG）と医用画像との融合
- 28. 高精細頭部解剖アプリ 「iRis」 App Storeにて販売中 本研究は、内閣府 総合科学技術・イノベーション会議が主導する 革新的研究開発推進プログラム（ＩｍＰＡＣＴ） 「バイオニックヒューマノイドが拓く新産業革命」による成果です Unityで開発 臨床応用できるクオリティ 脳神経外科専門医レベルの解剖 株式会社Kompath (https://www.facebook.com/Kompath)
- 29. ≠ 病気の診断 （医用画像データの忠実な可視化） 手術検討（シミュレーション） （現実空間の模倣 & どう治療するか） 患者固有のデータが扱える 手術シミュレーション ソフトは存在しない！ 課題4. 診断と手術検討の違い 脳動脈瘤
- 30. Shono N, et al., Oper Neurosurg. 14(5), 2018 課題4. 診断と手術検討の違い 脳動脈瘤クリッピングシミュレーター ClipSim ・8症例の患者さんでシミュレーション ・6症例でシミュレーションで予想したクリップを実際に使用 した Soya VIRTUAL REALITY VR 3Dグラス Leap Motion
- 32. 課題5. 操作性（UI） これ以上、医療機器が増えては・・・ バイタルモニター 電気生理学的 モニタリング 融合３次元画像 ナビゲーション 手術顕微鏡 診療端末 録画システム ・超音波 ・術中X線 ・術中CT ・術中MRI ・術中血管撮影 ・術中蛍光造影 ・ ・ ・ Amira® (Thermo Fisher SCIENTIFIC社)
- 33. 医用画像ビューワアプリ 「eMma」 今月リリース予定（無料） iPhoneやiPadでDICOM画像を閲覧する だけのシンプルなアプリ 本研究は、国立研究開発法人科学技術振興機構 戦略的創造研究推進事業（社会技術研究開発） 「研究開発成果実装支援プログラム」による研究成果の一部です イノベーションを起こす可能性 ・ありそうでなかった ・ 患者さんが自分の画像をもてる ・ どこでも簡単に医用画像が見られる eMma : Easy Multi-Medical image Applying
- 35. 課題6. 生体組織の仮想変形 ・ 物理的整合性に厳密さは不要 ・ 本当に見たいのは変形させた脳の奥にある解剖構造 物理的整合性は必要か？
- 38. 1. 視認性向上 2. 観察者の負担軽減 3. ヒューマンエラー回避 4. 承認欲求、モチベーション向上 5. 特徴量抽出 6. 画像処理の向上・発展 1.金ら、脳神経外科ジャーナル 25(8): 622-630, 2016 2. Manabe H, et al., IWAIT2014: 585-588, 2014 脳動静脈奇形 課題7. 視覚的リアリティの追求
- 39. X AP RL FH 微小血管は解析不可能 2. phase-contrast MR angiography 複雑な形状は解析不可能 1. 数値流体力学 (CFD : computational fluid dynamics) 課題8. 流体シミュレーション
- 40. 血管芽細胞腫 Modo® ・9例の血管芽細胞腫 ・各血管の速度に順位 ・術中ドップラーで検証 90%合致 drainer 4.28 ml/min 0.89 ml/min 3.54 ml/min 7.3 ml/min 課題8. 流体シミュレーション
- 41. いろいろなものへ応用
- 46. Landmark & thin-plate spline method 誤差（脳変形後） 0.64±0.88 mm (mean±SE) n = 4 patent 2013-103562 開頭直後の脳表写真 術前画像 AR/MRの応用 仮想情報でなく、現実空間情報を歪める！
- 47. 自動手術シミュレーション 一番知りたいことは「高精細なCG」ではなく、「どう手術する か」 左顔面けいれ ん 本研究の一部は、国立研究開発法人日本医療研究開発機構(AMED)の 【術中の迅速な判断・決定を支援するための診断支援機器・システム開発プロジェクト】 「術前と術中をつなぐスマート手術ガイドソフトウェアの開発」の 支援によるものです 株式会社ポケット・クエリーズと一緒に開発中 手術操作 → エキスパートシステム モデル作成 → ディープラーニング
- 48. 1. モデルのポジション（体位） ・REZが視野の視野の中心 ・開頭位置が視野の中心 ・inferior nuchal lineが視野の中心 ・顕微鏡術野を弱角に 2. 開頭位置 ・外側端はS状静脈洞にわずかに接する ・inferior nuckal lineの上1/3、下2/3の割合で、3cmの穴を骨にあける 3. 顕微鏡術野 ・開頭位置を拡大 ・X神経が視野の中心 ・VII, VIIIは20〜30度 ・REZが視認できる角度 4. 小脳の変形 ・脳ヘラによる変形（リギング、有限要素） ・脳ヘラは脳槽から挿入し、正中側へ移動 ・脳ヘラの先端はREZ ・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動 5. 責任血管の移動（１本目） ・どの変形機能を実装させるかはまだ未定（リギングが候補） ・REZ部にある血管を中心として錐体骨側へ最短距離 ・VII&VIII神経とX神経の間に ・血管が伸びすぎない程度の量で ・椎骨動脈の移動（２本目、必要時）アルゴリズムは同じ（移動方向がやや異な り、尾側へ） 現時点で人間が入力するパラメータ ・REZの位置 ・脳幹の向き ・inferior nuchal line S状静脈洞 下項線上を移動しながら、メッシュの衝突判定によって、 S状静脈洞にわずかに（2mm）かかる位置に直径3cmの穴を開け る 穴（開頭）は病変とカメラ とを一直線につなぐ円柱上 に 自動手術シミュレーション
- 49. 1. モデルのポジション（体位） ・REZが視野の視野の中心 ・開頭位置が視野の中心 ・inferior nuchal lineが視野の中心 ・顕微鏡術野を弱角に 2. 開頭位置 ・外側端はS状静脈洞にわずかに接する ・inferior nuckal lineの上1/3、下2/3の割合で、2.5cmの穴を骨にあける 3. 顕微鏡術野 ・開頭位置を拡大 ・X神経が視野の中心 ・VII, VIIIは20〜30度 ・REZが視認できる角度 4. 小脳の変形 ・脳ヘラによる変形（リギング、有限要素） ・脳ヘラは脳槽から挿入し、正中側へ移動 ・脳ヘラの先端はREZ ・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動 5. 責任血管の移動（１本目） ・どの変形機能を実装させるかはまだ未定（リギングが候補） ・REZ部にある血管を中心として錐体骨側へ最短距離 ・VII&VIII神経とX神経の間に ・血管が伸びすぎない程度の量で ・椎骨動脈の移動（２本目、必要時）アルゴリズムは同じ（移動方向がやや異なり、尾側へ） 現時点で人間が入力するパラメータ ・REZの位置 ・脳幹の向き ・inferior nuchal line 変形表現範囲 ・変形角度と同じ ・先端が病変部から2cmの距離 小脳全体の変形 顔面神経と90度の角度となるように設定 自動手術シミュレーション アセット「MEGA-FIERS」を使用して脳の変形を実装
- 50. 1. モデルのポジション（体位） ・REZが視野の視野の中心 ・開頭位置が視野の中心 ・inferior nuchal lineが視野の中心 ・顕微鏡術野を弱角に 2. 開頭位置 ・外側端はS状静脈洞にわずかに接する ・inferior nuckal lineの上1/3、下2/3の割合で、2.5cmの穴を骨にあける 3. 顕微鏡術野 ・開頭位置を拡大 ・X神経が視野の中心 ・VII, VIIIは20〜30度 ・REZが視認できる角度 4. 小脳の変形 ・脳ヘラによる変形（リギング、有限要素） ・脳ヘラは脳槽から挿入し、正中側へ移動 ・脳ヘラの先端はREZ ・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動 5. 責任血管の移動（１本目） ・どの変形機能を実装させるかはまだ未定（リギングが候補） ・REZ部にある血管を中心として錐体骨側へ最短距離 ・VII&VIII神経とX神経の間に ・血管が伸びすぎない程度の量で ・椎骨動脈の移動（２本目、必要時）アルゴリズムは同じ（移動方向がやや異なり、尾側へ） 現時点で人間が入力するパラメータ ・REZの位置 ・脳幹の向き ・inferior nuchal line 変形形状の設定 変形の表現のパラメータ 今回手術する領域 自動手術シミュレーション アセット「MEGA-FIERS」を使用して脳の変形を実装