関連研究:CycleGANによる画像生成[1,2]
8
• 識別器が各ドメインの分布を学習し,生成器がドメイン
間の写像を学習
• ペアの学習データを必要としない
シマウマ↔馬[1] 夏↔冬[1] MR ↔ CT [2]
[1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017
[2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017
CycleGAN
MR CT
Generator
𝐺
Generator
𝐺
Discriminator
𝐷
Discriminator
𝐷
Flow of real MR
Flow of real CT
Real
Synthesized
ℒ
ℒ
ℒ
ℒ
関連研究:CycleGANによる画像生成[1,2]
9
[1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017
[2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017
CycleGAN
MR CT
Generator
𝐺
Generator
𝐺
Discriminator
𝐷
Discriminator
𝐷
Flow of real MR
Flow of real CT
Real
Synthesized
ℒ
ℒ
ℒ
ℒ
• 識別器
• 画像が本物のCT画像かを識別
• 生成器
• を騙すような(本物のCT画像のような)画像を生成
, : 生成器が本物のような
画像を生成するための制約
関連研究:CycleGANによる画像生成[1,2]
10
[1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017
[2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017
CycleGAN
MR CT
Generator
𝐺
Generator
𝐺
Discriminator
𝐷
Discriminator
𝐷
Flow of real MR
Flow of real CT
Real
Synthesized
ℒ
ℒ
ℒ
ℒ
, : 生成器が本物のような
画像を生成するための制約
:対応付けされた画像生成を
するための制約
• 識別器
• 画像が本物のCT画像かを識別
• 生成器
• を騙すような(本物のCT画像のような)画像を生成
関連研究:CycleGANによる画像生成[1,2]
11
[1] Jun-Yan Zhu, “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,” 2017
[2] Wolterink J. M., “Deep MR to CT Synthesis Using Unpaired Data,” Simulation and Synthesis in Medical Imaging, 2017
CycleGAN
MR CT
Generator
𝐺
Generator
𝐺
Discriminator
𝐷
Discriminator
𝐷
Flow of real MR
Flow of real CT
Real
Synthesized
ℒ
ℒ
ℒ
ℒ
, : 生成器が本物のような
画像を生成するための制約
:対応付けされた画像生成を
するための制約
• 識別器
• 画像が本物のCT画像かを識別
• 生成器
• を騙すような(本物のCT画像のような)画像を生成
生成前後で保たれるべき情報の制
約が無い
• CycleGANと抽出器をEnd-to-endに学習
• 自動セグメンテーション結果と教師ラベルの一致度を考慮し
た制約 をCycleGANに導入
12
関連研究:CycleGANを用いた異種モダリティ画像からのセグメンテーション[1]
[1] Y. Huo, et al. "Adversarial Synthesis Learning Enables Segmentation Without Target Modality Ground Truth." arXiv
preprint arXiv:1712.07695 (2017).
𝑖: 画素, 𝑡: 正解ラベル, 𝑥: 入力CT
Labeled
CT
Unlabeled
MR
Generator
𝐺
Generator
𝐺
Discriminator
𝐷
Discriminator
𝐷
Flow of real CT
Flow of real MR
Real
Synthesized
ℒ
ℒ
ℒ
ℒSegmenter
𝑆
ℒ
• 生成前後の画像の類似度を考慮した制約 を
CycleGANに導入
• 生成前後の形状の変化を制約
13
[1] Y. Hiasa, et al. "Cross-modality image synthesis from unpaired data using CycleGAN: Effects of gradient
consistency loss and training data size." arXiv preprint arXiv:1803.06629 (2018).
関連研究:生成前後の類似度を考慮した制約[1]
𝐺𝐶: 2つの画像の勾配の相関
∈
∈
Unlabeled
MR
Labeled
CT
Generator
𝐺
Generator
𝐺
Discriminator
𝐷
Discriminator
𝐷
Flow of real MR
Flow of real CT
Real
Synthesized
ℒ
ℒ
ℒ
ℒ
ℒ
ℒ
• ラベルデータによる制約を用いて学習し,生成MR画像と本物の
MR画像からのセグメンテーション精度を比較
• ネットワークの入出力は2Dのcoronal面
• Dice係数を用いて定量評価
• 評価用データ
• 生成MR画像からのセグメンテーション:正解ラベル付きCT20症例で2-fold交差検証
• 本物のMR画像からのセグメンテーション:正解ラベル付きMR10症例
実験2:ラベルデータによる制約の汎化能力に関する調査
23
生成MR画像からのセグメンテーション
CT MR
Generator
𝐺
Flow of real CT
Flow of real MR
Real
Synthesized
Segmenter
𝑆
MR
Flow of real CT
Flow of real MR
Real
Synthesized
Segmenter
𝑆
本物のMR画像からのセグメンテーション