Advertisement
Advertisement

More Related Content

Slideshows for you(20)

Similar to CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション(20)

Advertisement

More from 奈良先端大 情報科学研究科(20)

Recently uploaded(20)

Advertisement

CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション

  1. Imaging-based Computational Biomedicine Lab CycleGANによる異種モダリティ画像生成を用いた 股関節MRIの筋骨格セグメンテーション 松岡拓未*1 日朝 祐太*1 大竹 義人*1 高尾 正樹*2 高嶋和磨*2 Jerry L. Prince *3 菅野 伸彦*2 佐藤 嘉伸*1 *1 奈良先端科学技術大学院 先端科学技術研究科 情報科学領域 *2 大阪大学大学院 医学系研究科 *3 Department of Electrical and Computer Engineering, Johns Hopkins University 2018/7/25 JAMIT@筑波
  2. 研究背景・目的
  3. [1] J. D. Webb, Comput. Methods Biomech. Biomed. Engin., 2014. [2] H. F. Choi, Vis. Comput., 2014. 背景 3 CT画像 筋骨格モデル 筋骨格領域の自動抽出 患者固有の解析[1,2] • 筋骨格機能解析は動態シミュレーションや治療計画の ため重要 • 患者固有の機能解析のためには,医用画像からの筋骨 格領域の抽出が必要[1, 2] • 手動での筋骨格領域の抽出は一症例当たり専門医で 数十時間を要する
  4. 4 • これまでに,CNNを用いたCTからの筋骨格セグメンテー ション手法を提案[1] • 高速かつ高精度な抽出が可能 • 不確実性の推定が可能 [1] Y. Hiasa, MI研究会, 2017 CNN Post processing テスト 3D CT 2D slice 2D label 学習 Skin ROI Data augmentation Conv. Deconv. 3D label Uncertainty 背景
  5. 背景 5 • モダリティによる画像の特徴の違いはセグメンテーショ ンに影響を及ぼす • 他のモダリティから自動セグメンテーションを行うには, 十分に位置合わせされた同患者の(ペアの)画像やモダ リティ毎のラベル作成が必要 位置合わせされた(ペアの)MR画像とCT画像
  6. • 教師ラベル付きCTデータセットを転用し,ラベル無しMRI データセットからの自動セグメンテーションを行う • データセット間でペアの画像なし • ある種の半教師付き学習 目的 6 ラベルなしMRIデータセットラベル付きCTデータセット
  7. 関連研究
  8. 関連研究:CycleGANによる画像生成[1,2] 8 • 識別器が各ドメインの分布を学習し,生成器がドメイン 間の写像を学習 • ペアの学習データを必要としない シマウマ↔馬[1] 夏↔冬[1] MR ↔ CT [2] [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ
  9. 関連研究:CycleGANによる画像生成[1,2] 9 [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ • 識別器 • 画像が本物のCT画像かを識別 • 生成器 • を騙すような(本物のCT画像のような)画像を生成 , : 生成器が本物のような 画像を生成するための制約
  10. 関連研究:CycleGANによる画像生成[1,2] 10 [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ , : 生成器が本物のような 画像を生成するための制約 :対応付けされた画像生成を するための制約 • 識別器 • 画像が本物のCT画像かを識別 • 生成器 • を騙すような(本物のCT画像のような)画像を生成
  11. 関連研究:CycleGANによる画像生成[1,2] 11 [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ , : 生成器が本物のような 画像を生成するための制約 :対応付けされた画像生成を するための制約 • 識別器 • 画像が本物のCT画像かを識別 • 生成器 • を騙すような(本物のCT画像のような)画像を生成 生成前後で保たれるべき情報の制 約が無い
  12. • CycleGANと抽出器をEnd-to-endに学習 • 自動セグメンテーション結果と教師ラベルの一致度を考慮し た制約 をCycleGANに導入 12 関連研究:CycleGANを用いた異種モダリティ画像からのセグメンテーション[1] [1] Y. Huo, et al. "Adversarial Synthesis Learning Enables Segmentation Without Target Modality Ground Truth." arXiv preprint arXiv:1712.07695 (2017). 𝑖: 画素, 𝑡: 正解ラベル, 𝑥: 入力CT Labeled CT Unlabeled MR Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real CT Flow of real MR Real Synthesized ℒ ℒ ℒ ℒSegmenter 𝑆 ℒ
  13. • 生成前後の画像の類似度を考慮した制約 を CycleGANに導入 • 生成前後の形状の変化を制約 13 [1] Y. Hiasa, et al. "Cross-modality image synthesis from unpaired data using CycleGAN: Effects of gradient consistency loss and training data size." arXiv preprint arXiv:1803.06629 (2018). 関連研究:生成前後の類似度を考慮した制約[1] 𝐺𝐶: 2つの画像の勾配の相関 ∈ ∈ Unlabeled MR Labeled CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ ℒ ℒ
  14. 実験
  15. • 実験1 • ラベルデータによる制約と,生成前後の類似度を考慮し た制約の比較 • 実験2 • ラベルデータによる制約の汎化能力に関する調査 15 実験
  16. 実験データ 16 CT画像 MR画像 症例数 633 312 Field of view Sagittal面で骨頭中心が中心となるように320×約75×320 [mm3] Coronal面サイズ 256×256 [ピクセル] スライス間隔 1.0 [mm] 正解ラベル付き症例数 20症例 10症例 正解ラベル部位 筋肉19種(中殿筋,小殿筋等) 骨盤,大腿骨,仙骨 中殿筋,小殿筋 骨盤,大腿骨 MR画像CT画像
  17. 17 実験1:ラベルデータを用いた制約と,生成前後の類似度を考慮した制約の比較 • 各制約を用いた場合のセグメンテーション精度を比較 1. 生成前後の類似度を考慮した制約を用いたセグメンテーション 2. ラベルデータによる制約を用いたセグメンテーション • ただし,学習データ数を公平にするため,CycleGANを事前学習し,正解ラベル付 きCT画像を用いて転移学習した Unlabeled MR Labeled CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ ℒ ℒ Reconstructed MR Segmenter 𝑆 Label CycleGANの学習 抽出器の学習 Labeled CT Unlabeled MR Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real CT Flow of real MR Real Synthesized ℒ ℒ ℒ ℒSegmenter 𝑆 ℒ 学習
  18. 18 実験1:ラベルデータによる制約と,生成前後の類似度を考慮した制約の比較 • 各制約を用いた場合のセグメンテーション精度を比較 • 評価用データ:正解ラベル付きMR画像10症例 • Dice係数を用いて定量評価 • ネットワークの入出力は2Dのcoronal面
  19. 19 • 中殿筋のみ,ラベルデータによる制約を用いた場合が 高精度であった. 実験1:ラベルデータによる制約と,生成前後の類似度を考慮した制約の比較 類似度 ラベル類似度 ラベル ラベル類似度 骨盤 大腿骨 中殿筋 ラベル類似度 ラベル類似度 ラベル類似度 小殿筋 DICE
  20. 20 • 典型例(4部位の平均Dice係数が中央値の症例) 症例#4 (骨盤:0.763 ,大腿骨:0.885,中殿筋:0.811,小殿筋:0.609) 実験1:ラベルデータによる制約と,生成前後の類似度を考慮した制約の比較 ラベルデータによる制約 症例#4 (骨盤:0.762,大腿骨:0.841,中殿筋:0.793,小殿筋:0.608) 入力MRI 生成CT 推定ラベル 正解ラベル 推定ラベル + MRI 正解ラベル + MRI 類似度を考慮した制約
  21. 21 • 考察 • 中殿筋のみ,ラベルデータによる制約を用いた場合が高 精度であった. • ラベルデータによる制約を用いたセグメンテーションは, 元論文においても一つの領域の抽出精度しか報告されて おらず,この制約においてすべての領域において精度が 向上する可能性は低いと考えられる. 実験1:ラベルデータによる制約と,生成前後の類似度を考慮した制約の比較
  22. • ラベルデータによる制約を用いて学習し,生成MR画像と本物の MR画像からのセグメンテーション精度を比較 • ただし,CycleGANを事前学習し,正解ラベル付きCT画像を用いて転移学 習した 実験2:ラベルデータによる制約の汎化能力に関する調査 22 Labeled CT Unlabeled MR Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real CT Flow of real MR Real Synthesized ℒ ℒ ℒ ℒSegmenter 𝑆 ℒ 学習 生成MR画像からのセグメンテーション CT MR Generator 𝐺 Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 MR Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 本物のMR画像からのセグメンテーション
  23. • ラベルデータによる制約を用いて学習し,生成MR画像と本物の MR画像からのセグメンテーション精度を比較 • ネットワークの入出力は2Dのcoronal面 • Dice係数を用いて定量評価 • 評価用データ • 生成MR画像からのセグメンテーション:正解ラベル付きCT20症例で2-fold交差検証 • 本物のMR画像からのセグメンテーション:正解ラベル付きMR10症例 実験2:ラベルデータによる制約の汎化能力に関する調査 23 生成MR画像からのセグメンテーション CT MR Generator 𝐺 Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 MR Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 本物のMR画像からのセグメンテーション
  24. 24 • 生成MR画像と本物のMR画像で抽出精度に差がある 実験2:ラベルデータによる制約の汎化能力に関する調査 中殿筋骨盤 小殿筋大腿骨 DICE 本物MR生成MR 本物MR生成MR 本物MR生成MR 本物MR生成MR
  25. 25 • 典型例(4部位の平均Dice係数が中央値の症例) 生成MRI 推定ラベル 正解ラベル推定ラベル+MRI 症例#8’ (骨盤:0.919,大腿骨:0.950,中殿筋:0.891,小殿筋:0.733) 症例#4 (骨盤:0.763 ,大腿骨:0.885,中殿筋:0.811,小殿筋:0.609) 入力MRI 推定ラベル 正解ラベル推定ラベル+MRI 正解ラベル+MRI 正解ラベル+MRI 実験2:ラベルデータによる制約の汎化能力に関する調査 生成MR画像からのセグメンテーション 本物のMR画像からのセグメンテーション 入力MRI
  26. 26 • 考察 • 生成MR画像と本物のMR画像で抽出精度に差がある • 生成MR画像は元のCT画像の大まかな形状を保っている が,本物のMR画像に含まれるテクスチャや空間周波数 が表現できていない可能性がある 実験2:ラベルデータによる制約の汎化能力に関する調査
  27. まとめ・今後の予定
  28. • 生成前後の画像の類似度を考慮した制約とラベルデー タによる制約の比較を行った.類似度を考慮した制約を 用いた場合のほうが高精度なセグメンテーション結果が 得られた. • ラベルデータによる制約を用いた場合,本物のMR画像 と生成MR画像に差があるため汎化能力が低下する可 能性を示した. まとめ 28
  29. • ラベルデータによる制約を用いた転移学習に利用したラ ベル付きCT画像が20症例のみであったため,精度が低 下したと考えられる.今後,自動セグメンテーションした 300症例を加えるなど,学習データのバリエーションを増 やす必要があると考えられる. • End-to-endの学習において,生成MR画像と本物のMR 画像の差を軽減するアプローチ[1]を取り入れることを検 討したいと考えている. 今後の予定 29 [1] S. Sankaranarayanan, et. al, “Learning from Synthetic Data: Addressing Domain Shift for Semantic Segmentation”, arXiv:1711.06969 (2017)
Advertisement