CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション

CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション
Imaging-based Computational Biomedicine Lab CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション松岡拓未*1 日朝祐太*1 大竹義人*1 高尾正樹*2 高嶋和磨*2 Jerry L. Prince *3 菅野伸彦*2 佐藤嘉伸*1 *1 奈良先端科学技術大学院先端科学技術研究科情報科学領域 *2 大阪大学大学院医学系研究科 *3 Department of Electrical and Computer Engineering, Johns Hopkins University 2018/7/25 JAMIT@筑波
研究背景・目的
[1] J. D. Webb, Comput. Methods Biomech. Biomed. Engin., 2014. [2] H. F. Choi, Vis. Comput., 2014. 背景 3 CT画像筋骨格モデル筋骨格領域の自動抽出患者固有の解析[1,2] • 筋骨格機能解析は動態シミュレーションや治療計画のため重要 • 患者固有の機能解析のためには，医用画像からの筋骨格領域の抽出が必要[1, 2] • 手動での筋骨格領域の抽出は一症例当たり専門医で数十時間を要する
4 • これまでに，CNNを用いたCTからの筋骨格セグメンテーション手法を提案[1] • 高速かつ高精度な抽出が可能 • 不確実性の推定が可能 [1] Y. Hiasa, MI研究会, 2017 CNN Post processing テスト 3D CT 2D slice 2D label 学習 Skin ROI Data augmentation Conv. Deconv. 3D label Uncertainty 背景
背景 5 • モダリティによる画像の特徴の違いはセグメンテーションに影響を及ぼす • 他のモダリティから自動セグメンテーションを行うには，十分に位置合わせされた同患者の（ペアの）画像やモダリティ毎のラベル作成が必要位置合わせされた（ペアの）MR画像とCT画像
• 教師ラベル付きCTデータセットを転用し，ラベル無しMRI データセットからの自動セグメンテーションを行う • データセット間でペアの画像なし • ある種の半教師付き学習目的 6 ラベルなしMRIデータセットラベル付きCTデータセット
関連研究
関連研究:CycleGANによる画像生成[1,2] 8 • 識別器が各ドメインの分布を学習し，生成器がドメイン間の写像を学習 • ペアの学習データを必要としないシマウマ↔馬[1] 夏↔冬[1] MR ↔ CT [2] [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ
関連研究:CycleGANによる画像生成[1,2] 9 [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ • 識別器 • 画像が本物のCT画像かを識別 • 生成器 • を騙すような（本物のCT画像のような）画像を生成 , ：生成器が本物のような画像を生成するための制約
関連研究:CycleGANによる画像生成[1,2] 10 [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ , ：生成器が本物のような画像を生成するための制約：対応付けされた画像生成をするための制約 • 識別器 • 画像が本物のCT画像かを識別 • 生成器 • を騙すような（本物のCT画像のような）画像を生成
関連研究:CycleGANによる画像生成[1,2] 11 [1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017 [2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017 CycleGAN MR CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ , ：生成器が本物のような画像を生成するための制約：対応付けされた画像生成をするための制約 • 識別器 • 画像が本物のCT画像かを識別 • 生成器 • を騙すような（本物のCT画像のような）画像を生成生成前後で保たれるべき情報の制約が無い
• CycleGANと抽出器をEnd-to-endに学習 • 自動セグメンテーション結果と教師ラベルの一致度を考慮した制約をCycleGANに導入 12 関連研究:CycleGANを用いた異種モダリティ画像からのセグメンテーション[1] [1] Y. Huo, et al. "Adversarial Synthesis Learning Enables Segmentation Without Target Modality Ground Truth." arXiv preprint arXiv:1712.07695 (2017). 𝑖: 画素， 𝑡: 正解ラベル， 𝑥: 入力CT Labeled CT Unlabeled MR Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real CT Flow of real MR Real Synthesized ℒ ℒ ℒ ℒSegmenter 𝑆 ℒ
• 生成前後の画像の類似度を考慮した制約を CycleGANに導入 • 生成前後の形状の変化を制約 13 [1] Y. Hiasa, et al. "Cross-modality image synthesis from unpaired data using CycleGAN: Effects of gradient consistency loss and training data size." arXiv preprint arXiv:1803.06629 (2018). 関連研究：生成前後の類似度を考慮した制約[1] 𝐺𝐶: ２つの画像の勾配の相関 ∈ ∈ Unlabeled MR Labeled CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ ℒ ℒ
実験
• 実験１ • ラベルデータによる制約と，生成前後の類似度を考慮した制約の比較 • 実験２ • ラベルデータによる制約の汎化能力に関する調査 15 実験
実験データ 16 CT画像 MR画像症例数 633 312 Field of view Sagittal面で骨頭中心が中心となるように320×約75×320 [mm3] Coronal面サイズ 256×256 [ピクセル] スライス間隔 1.0 [mm] 正解ラベル付き症例数 20症例 10症例正解ラベル部位筋肉19種（中殿筋，小殿筋等）骨盤，大腿骨，仙骨中殿筋，小殿筋骨盤，大腿骨 MR画像CT画像
17 実験１：ラベルデータを用いた制約と，生成前後の類似度を考慮した制約の比較 • 各制約を用いた場合のセグメンテーション精度を比較 1. 生成前後の類似度を考慮した制約を用いたセグメンテーション 2. ラベルデータによる制約を用いたセグメンテーション • ただし，学習データ数を公平にするため，CycleGANを事前学習し，正解ラベル付きCT画像を用いて転移学習した Unlabeled MR Labeled CT Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real MR Flow of real CT Real Synthesized ℒ ℒ ℒ ℒ ℒ ℒ Reconstructed MR Segmenter 𝑆 Label CycleGANの学習抽出器の学習 Labeled CT Unlabeled MR Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real CT Flow of real MR Real Synthesized ℒ ℒ ℒ ℒSegmenter 𝑆 ℒ 学習
18 実験１：ラベルデータによる制約と，生成前後の類似度を考慮した制約の比較 • 各制約を用いた場合のセグメンテーション精度を比較 • 評価用データ：正解ラベル付きMR画像10症例 • Dice係数を用いて定量評価 • ネットワークの入出力は2Dのcoronal面
19 • 中殿筋のみ，ラベルデータによる制約を用いた場合が高精度であった．実験１：ラベルデータによる制約と，生成前後の類似度を考慮した制約の比較類似度ラベル類似度ラベルラベル類似度骨盤大腿骨中殿筋ラベル類似度ラベル類似度ラベル類似度小殿筋 DICE
20 • 典型例（４部位の平均Dice係数が中央値の症例）症例#4 （骨盤：0.763 ，大腿骨：0.885，中殿筋：0.811，小殿筋：0.609）実験１：ラベルデータによる制約と，生成前後の類似度を考慮した制約の比較ラベルデータによる制約症例#4 （骨盤：0.762，大腿骨：0.841，中殿筋：0.793，小殿筋：0.608）入力MRI 生成CT 推定ラベル正解ラベル推定ラベル + MRI 正解ラベル + MRI 類似度を考慮した制約
21 • 考察 • 中殿筋のみ，ラベルデータによる制約を用いた場合が高精度であった． • ラベルデータによる制約を用いたセグメンテーションは，元論文においても一つの領域の抽出精度しか報告されておらず，この制約においてすべての領域において精度が向上する可能性は低いと考えられる．実験１：ラベルデータによる制約と，生成前後の類似度を考慮した制約の比較
• ラベルデータによる制約を用いて学習し，生成MR画像と本物の MR画像からのセグメンテーション精度を比較 • ただし，CycleGANを事前学習し，正解ラベル付きCT画像を用いて転移学習した実験２：ラベルデータによる制約の汎化能力に関する調査 22 Labeled CT Unlabeled MR Generator 𝐺 Generator 𝐺 Discriminator 𝐷 Discriminator 𝐷 Flow of real CT Flow of real MR Real Synthesized ℒ ℒ ℒ ℒSegmenter 𝑆 ℒ 学習生成MR画像からのセグメンテーション CT MR Generator 𝐺 Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 MR Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 本物のMR画像からのセグメンテーション
• ラベルデータによる制約を用いて学習し，生成MR画像と本物の MR画像からのセグメンテーション精度を比較 • ネットワークの入出力は2Dのcoronal面 • Dice係数を用いて定量評価 • 評価用データ • 生成MR画像からのセグメンテーション：正解ラベル付きCT20症例で2-fold交差検証 • 本物のMR画像からのセグメンテーション：正解ラベル付きMR10症例実験２：ラベルデータによる制約の汎化能力に関する調査 23 生成MR画像からのセグメンテーション CT MR Generator 𝐺 Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 MR Flow of real CT Flow of real MR Real Synthesized Segmenter 𝑆 本物のMR画像からのセグメンテーション
24 • 生成MR画像と本物のMR画像で抽出精度に差がある実験２：ラベルデータによる制約の汎化能力に関する調査中殿筋骨盤小殿筋大腿骨 DICE 本物MR生成MR 本物MR生成MR 本物MR生成MR 本物MR生成MR
25 • 典型例（４部位の平均Dice係数が中央値の症例）生成MRI 推定ラベル正解ラベル推定ラベル+MRI 症例#8’ （骨盤：0.919，大腿骨：0.950，中殿筋：0.891，小殿筋：0.733）症例#4 （骨盤：0.763 ，大腿骨：0.885，中殿筋：0.811，小殿筋：0.609）入力MRI 推定ラベル正解ラベル推定ラベル+MRI 正解ラベル+MRI 正解ラベル+MRI 実験２：ラベルデータによる制約の汎化能力に関する調査生成MR画像からのセグメンテーション本物のMR画像からのセグメンテーション入力MRI
26 • 考察 • 生成MR画像と本物のMR画像で抽出精度に差がある • 生成MR画像は元のCT画像の大まかな形状を保っているが，本物のMR画像に含まれるテクスチャや空間周波数が表現できていない可能性がある実験２：ラベルデータによる制約の汎化能力に関する調査
まとめ・今後の予定
• 生成前後の画像の類似度を考慮した制約とラベルデータによる制約の比較を行った．類似度を考慮した制約を用いた場合のほうが高精度なセグメンテーション結果が得られた． • ラベルデータによる制約を用いた場合，本物のMR画像と生成MR画像に差があるため汎化能力が低下する可能性を示した．まとめ 28
• ラベルデータによる制約を用いた転移学習に利用したラベル付きCT画像が20症例のみであったため，精度が低下したと考えられる．今後，自動セグメンテーションした 300症例を加えるなど，学習データのバリエーションを増やす必要があると考えられる． • End-to-endの学習において，生成MR画像と本物のMR 画像の差を軽減するアプローチ[1]を取り入れることを検討したいと考えている．今後の予定 29 [1] S. Sankaranarayanan, et. al, “Learning from Synthetic Data: Addressing Domain Shift for Semantic Segmentation”, arXiv:1711.06969 (2017)

Check these out next

CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション

Recommended

More Related Content

Slideshows for you(20)

Similar to CycleGANによる異種モダリティ画像生成を用いた股関節MRIの筋骨格セグメンテーション(20)

More from 奈良先端大情報科学研究科(20)

Recently uploaded(20)