Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション

15,995 views

Published on

医用画像からのセグメンテーションは、定量的な診断や患者個別のシミュレーションのため重要である。医用画像は、その撮像モダリティにより異なる特徴をもつ。CTは骨の構造を明瞭に撮影することができるのに対して、MRは軟組織の構造を明瞭に撮影することができる。このような違いはセグメンテーションにおいても考慮する必要がある。そこで本研究では、CycleGANを用いてMRIから同患者同姿勢のCT画像を生成することにより、セグメンテーションに活用する手法を提案した。

Published in: Science
  • Be the first to comment

  • Be the first to like this

CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション

  1. 1. Imaging-based Computational Biomedicine Lab CycleGANによる異種モダリティ画像生成を用いた 股関節MRIの筋骨格セグメンテーション 松岡拓未*1 日朝 祐太*1 大竹 義人*1 高尾 正樹*2 高嶋和磨*2 Jerry L. Prince *3 菅野 伸彦*2 佐藤 嘉伸*1 *1 奈良先端科学技術大学院 先端科学技術研究科 情報科学領域 *2 大阪大学大学院 医学系研究科 *3 Department of Electrical and Computer Engineering, Johns Hopkins University 2018/7/25 JAMIT@筑波
  2. 2. 研究背景・目的
  3. 3. [1] J. D. Webb, Comput. Methods Biomech. Biomed. Engin., 2014. [2] H. F. Choi, Vis. Comput., 2014. 背景 3 CT画像 筋骨格モデル 筋骨格領域の自動抽出 患者固有の解析[1,2] • 筋骨格機能解析は動態シミュレーションや治療計画の ため重要 • 患者固有の機能解析のためには,医用画像からの筋骨 格領域の抽出が必要[1, 2] • 手動での筋骨格領域の抽出は一症例当たり専門医で 数十時間を要する
  4. 4. 4 • これまでに,CNNを用いたCTからの筋骨格セグメンテー ション手法を提案[1] • 高速かつ高精度な抽出が可能 • 不確実性の推定が可能 [1] Y. Hiasa, MI研究会, 2017 CNN Post processing テスト 3D CT 2D slice 2D label 学習 Skin ROI Data augmentation Conv. Deconv. 3D label Uncertainty 背景
  5. 5. 背景 5 • モダリティによる画像の特徴の違いはセグメンテーショ ンに影響を及ぼす • 他のモダリティから自動セグメンテーションを行うには, 十分に位置合わせされた同患者の(ペアの)画像やモダ リティ毎のラベル作成が必要 位置合わせされた(ペアの)MR画像とCT画像
  6. 6. • 教師ラベル付きCTデータセットを転用し,ラベル無しMRI データセットからの自動セグメンテーションを行う • データセット間でペアの画像なし • ある種の半教師付き学習 目的 6 ラベルなしMRIデータセットラベル付きCTデータセット
  7. 7. 関連研究
  8. 8. 関連研究:CycleGANによる画像生成[1,2] 8 • 識別器が各ドメインの分布を学習し,生成器がドメイン 間の写像を学習 • ペアの学習データを必要としない シマウマ↔馬[1] 夏↔冬[1] MR ↔ CT [2] [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ
  9. 9. 関連研究:CycleGANによる画像生成[1,2] 9 [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ • 識別器 • 画像が本物のCT画像かを識別 • 生成器 • を騙すような(本物のCT画像のような)画像を生成 , : 生成器が本物のような 画像を生成するための制約
  10. 10. 関連研究:CycleGANによる画像生成[1,2] 10 [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ , : 生成器が本物のような 画像を生成するための制約 :対応付けされた画像生成を するための制約 • 識別器 • 画像が本物のCT画像かを識別 • 生成器 • を騙すような(本物のCT画像のような)画像を生成
  11. 11. 関連研究:CycleGANによる画像生成[1,2] 11 [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ , : 生成器が本物のような 画像を生成するための制約 :対応付けされた画像生成を するための制約 • 識別器 • 画像が本物のCT画像かを識別 • 生成器 • を騙すような(本物のCT画像のような)画像を生成 生成前後で保たれるべき情報の制 約が無い
  12. 12. • CycleGANと抽出器をEnd-to-endに学習 • 自動セグメンテーション結果と教師ラベルの一致度を考慮し た制約 をCycleGANに導入 12 関連研究:CycleGANを用いた異種モダリティ画像からのセグメンテーション[1] [1] Y. Huo, et al. "Adversarial Synthesis Learning Enables Segmentation Without Target Modality Ground Truth." arXiv preprint arXiv:1712.07695 (2017). 𝑖: 画素, 𝑡: 正解ラベル, 𝑥: 入力CT Labeled CT Unlabeled MR Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real CT Flow of real MR Real Synthesized ℒ ℒ ℒ ℒSegmenter 𝑆 ℒ
  13. 13. • 生成前後の画像の類似度を考慮した制約 を CycleGANに導入 • 生成前後の形状の変化を制約 13 [1] Y. Hiasa, et al. "Cross-modality image synthesis from unpaired data using CycleGAN: Effects of gradient consistency loss and training data size." arXiv preprint arXiv:1803.06629 (2018). 関連研究:生成前後の類似度を考慮した制約[1] 𝐺𝐶: 2つの画像の勾配の相関 ∈ ∈ Unlabeled MR Labeled CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ ℒ ℒ
  14. 14. 実験
  15. 15. • 実験1 • ラベルデータによる制約と,生成前後の類似度を考慮し た制約の比較 • 実験2 • ラベルデータによる制約の汎化能力に関する調査 15 実験
  16. 16. 実験データ 16 CT画像 MR画像 症例数 633 312 Field of view Sagittal面で骨頭中心が中心となるように320×約75×320 [mm3] Coronal面サイズ 256×256 [ピクセル] スライス間隔 1.0 [mm] 正解ラベル付き症例数 20症例 10症例 正解ラベル部位 筋肉19種(中殿筋,小殿筋等) 骨盤,大腿骨,仙骨 中殿筋,小殿筋 骨盤,大腿骨 MR画像CT画像
  17. 17. 17 実験1:ラベルデータを用いた制約と,生成前後の類似度を考慮した制約の比較 • 各制約を用いた場合のセグメンテーション精度を比較 1. 生成前後の類似度を考慮した制約を用いたセグメンテーション 2. ラベルデータによる制約を用いたセグメンテーション • ただし,学習データ数を公平にするため,CycleGANを事前学習し,正解ラベル付 きCT画像を用いて転移学習した Unlabeled MR Labeled CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ ℒ ℒ Reconstructed MR Segmenter 𝑆 Label CycleGANの学習 抽出器の学習 Labeled CT Unlabeled MR Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real CT Flow of real MR Real Synthesized ℒ ℒ ℒ ℒSegmenter 𝑆 ℒ 学習
  18. 18. 18 実験1:ラベルデータによる制約と,生成前後の類似度を考慮した制約の比較 • 各制約を用いた場合のセグメンテーション精度を比較 • 評価用データ:正解ラベル付きMR画像10症例 • Dice係数を用いて定量評価 • ネットワークの入出力は2Dのcoronal面
  19. 19. 19 • 中殿筋のみ,ラベルデータによる制約を用いた場合が 高精度であった. 実験1:ラベルデータによる制約と,生成前後の類似度を考慮した制約の比較 類似度 ラベル類似度 ラベル ラベル類似度 骨盤 大腿骨 中殿筋 ラベル類似度 ラベル類似度 ラベル類似度 小殿筋 DICE
  20. 20. 20 • 典型例(4部位の平均Dice係数が中央値の症例) 症例#4 (骨盤:0.763 ,大腿骨:0.885,中殿筋:0.811,小殿筋:0.609) 実験1:ラベルデータによる制約と,生成前後の類似度を考慮した制約の比較 ラベルデータによる制約 症例#4 (骨盤:0.762,大腿骨:0.841,中殿筋:0.793,小殿筋:0.608) 入力MRI 生成CT 推定ラベル 正解ラベル 推定ラベル + MRI 正解ラベル + MRI 類似度を考慮した制約
  21. 21. 21 • 考察 • 中殿筋のみ,ラベルデータによる制約を用いた場合が高 精度であった. • ラベルデータによる制約を用いたセグメンテーションは, 元論文においても一つの領域の抽出精度しか報告されて おらず,この制約においてすべての領域において精度が 向上する可能性は低いと考えられる. 実験1:ラベルデータによる制約と,生成前後の類似度を考慮した制約の比較
  22. 22. • ラベルデータによる制約を用いて学習し,生成MR画像と本物の MR画像からのセグメンテーション精度を比較 • ただし,CycleGANを事前学習し,正解ラベル付きCT画像を用いて転移学 習した 実験2:ラベルデータによる制約の汎化能力に関する調査 22 Labeled CT Unlabeled MR Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real CT Flow of real MR Real Synthesized ℒ ℒ ℒ ℒSegmenter 𝑆 ℒ 学習 生成MR画像からのセグメンテーション CT MR Generator 𝐺 Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 MR Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 本物のMR画像からのセグメンテーション
  23. 23. • ラベルデータによる制約を用いて学習し,生成MR画像と本物の MR画像からのセグメンテーション精度を比較 • ネットワークの入出力は2Dのcoronal面 • Dice係数を用いて定量評価 • 評価用データ • 生成MR画像からのセグメンテーション:正解ラベル付きCT20症例で2-fold交差検証 • 本物のMR画像からのセグメンテーション:正解ラベル付きMR10症例 実験2:ラベルデータによる制約の汎化能力に関する調査 23 生成MR画像からのセグメンテーション CT MR Generator 𝐺 Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 MR Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 本物のMR画像からのセグメンテーション
  24. 24. 24 • 生成MR画像と本物のMR画像で抽出精度に差がある 実験2:ラベルデータによる制約の汎化能力に関する調査 中殿筋骨盤 小殿筋大腿骨 DICE 本物MR生成MR 本物MR生成MR 本物MR生成MR 本物MR生成MR
  25. 25. 25 • 典型例(4部位の平均Dice係数が中央値の症例) 生成MRI 推定ラベル 正解ラベル推定ラベル+MRI 症例#8’ (骨盤:0.919,大腿骨:0.950,中殿筋:0.891,小殿筋:0.733) 症例#4 (骨盤:0.763 ,大腿骨:0.885,中殿筋:0.811,小殿筋:0.609) 入力MRI 推定ラベル 正解ラベル推定ラベル+MRI 正解ラベル+MRI 正解ラベル+MRI 実験2:ラベルデータによる制約の汎化能力に関する調査 生成MR画像からのセグメンテーション 本物のMR画像からのセグメンテーション 入力MRI
  26. 26. 26 • 考察 • 生成MR画像と本物のMR画像で抽出精度に差がある • 生成MR画像は元のCT画像の大まかな形状を保っている が,本物のMR画像に含まれるテクスチャや空間周波数 が表現できていない可能性がある 実験2:ラベルデータによる制約の汎化能力に関する調査
  27. 27. まとめ・今後の予定
  28. 28. • 生成前後の画像の類似度を考慮した制約とラベルデー タによる制約の比較を行った.類似度を考慮した制約を 用いた場合のほうが高精度なセグメンテーション結果が 得られた. • ラベルデータによる制約を用いた場合,本物のMR画像 と生成MR画像に差があるため汎化能力が低下する可 能性を示した. まとめ 28
  29. 29. • ラベルデータによる制約を用いた転移学習に利用したラ ベル付きCT画像が20症例のみであったため,精度が低 下したと考えられる.今後,自動セグメンテーションした 300症例を加えるなど,学習データのバリエーションを増 やす必要があると考えられる. • End-to-endの学習において,生成MR画像と本物のMR 画像の差を軽減するアプローチ[1]を取り入れることを検 討したいと考えている. 今後の予定 29 [1] S. Sankaranarayanan, et. al, “Learning from Synthetic Data: Addressing Domain Shift for Semantic Segmentation”, arXiv:1711.06969 (2017)

×