VAEやAAEを用いた病変の異常検知

1. Unsupervised Detection of Lesions in Brain MRI using
constrained adversarial auto-encoders
Masataka Nishimori
2018-11-05

2. 紹介論文
- Title: Unsupervised Detection of Lesions in Brain MRI using constrained adversarial auto-encoders
- Authors: Xiaoran Chen, Ender Konukoglu
- Submitted on: 13 Jun 2018

3. どんな論文？
- VAEやAAEを利用し教師なし学習で頭部MRから病変を検出

4. はじめに(研究の目的/背景)
- 健常者のMRIやCTデータは非常に量が多いが，病変のあるデータは量が少ない．
- さらに進行度合いまで入れると，全部で数例しかない場合もある．
- 健常者のデータの数 >> 対象の症例の数
- また量があったとしても，正解データとして利用可能なデータになっていない場合が多い．

5. はじめに(研究の目的/背景)
研究のアイデアとしては，正常な症例をいくつか見せると，人間だと専門家じゃなくても，異常な症例
を見せたときに，どこらへんが異常か大体分かる．
右端の画像の色のついた領域が脳腫瘍箇所

6. はじめに(研究の背景/目的)
ということは，潜在的な空間が正常と異常は違うのでは？という仮説のもとで，VAEやAAEを使って画
像を再構成させて，教師なし学習で元画像とのズレから異常な領域を抽出してみたのがこの論文．

7. 余談: CNNで病変抽出
- BRATSやISLESといった脳腫瘍の領域抽出データセットが存在．
- CNNを利用して良い性能を出す研究はすでに存在．
- しかしながら，データセットを作るコストが非常に高い

8. CNNを利用した論文[Pereira et al., 2016]
Sérgio Pereira, Adriano Pinto, Victor Alves, and Carlos A Silva. Brain tumor segmentation using convolutional neural networks in mri images. IEEE transactions on
medical imaging, 35(5):1240–1251, 2016.

9. CNNを利用した論文[Pereira et al., 2016]
Sérgio Pereira, Adriano Pinto, Victor Alves, and Carlos A Silva. Brain tumor segmentation using convolutional neural networks in mri images. IEEE transactions on
medical imaging, 35(5):1240–1251, 2016.

10. CNNを利用した論文[Kamnitsas et al., 2017]
Konstantinos Kamnitsas, Christian Ledig, Virginia FJ Newcombe, Joanna P Simpson, Andrew D Kane, David K Menon, Daniel Rueckert, and Ben Glocker. Efficient
multi-scale 3d cnn with fully connected crf for accurate brain lesion segmentation. Medical image analysis, 36:61–78, 2017.

11. CNNを利用した論文[Kamnitsas et al., 2017]
Konstantinos Kamnitsas, Christian Ledig, Virginia FJ Newcombe, Joanna P Simpson, Andrew D Kane, David K Menon, Daniel Rueckert, and Ben Glocker. Efficient
multi-scale 3d cnn with fully connected crf for accurate brain lesion segmentation. Medical image analysis, 36:61–78, 2017.

12. 先行研究

13. AnoGAN
- 多分最初のGANによる異常検知手法
## 応用先
- 医療用画像における疾患の発見
- マルウェア検知（時系列データは1次元の画像データと考える）

14. AnoGAN
- 画像の再構成可能性に基づいて異常度を定義する手法
- 健常者のデータをもとにモデルを学習
医療用画像にanoGANを適用し、異常部位検出（病変マーカー）を可視化した様子

15. AnoGAN
- GANで生成した画像とAccuracy Scoreから異常度(Accuracy Score)を算出

16. 提案手法

17. 提案手法
1. 健常者の各スライス画像をVAEやAAEで学ばせる．
2. 何かしら異常のある症例をそのモデルに入力として画像を再構成する．
3. 再構成した画像と元画像との差分を取ることで，異常な領域を抽出する．
VAE
AAE
元画像 再構成画像

18. 提案手法
1. 健常者の各スライス画像をVAEやAAEで学ばせる．
2. 何かしら異常のある症例をそのモデルに入力として画像を再構成する．
3. 再構成した画像と元画像との差分を取ることで，異常な領域を抽出する．
VAE
AAE
元画像 再構成画像

19. 提案手法
1. 健常者の各スライス画像をVAEやAAEで学ばせる．
2. 何かしら異常のある症例をそのモデルに入力として画像を再構成する．
3. 再構成した画像と元画像との差分の絶対値を取ることで，異常な領域を抽出する．
元画像 再構成画像 画像差分の絶対値

20. 実験方法

21. 実験で使うモデル
- VAEとAAEを利用
- AAE: VAEのJSダイバージェンス版
- VAEよりAAEのほうが潜在空間の網羅率が高いらしい
- GANの代わりにWasserStein GANを利用
- GPを利用
- VAEとAAE(λ=0, 0.5, 1.0)の計4パターンで実験
- λは損失関数の正則化用のパラメータ

22. 実験結果

23. 訓練/テストデータ
- 訓練データ
- HCP(Human Connectome Project)のT2強調画像
- 35症例
- テストデータ
- BRATS(the Multimodal Brain Tumor Segmentation) Challenge 2015
- 42症例

24. 実験結果 - 健常者の画像再構成
図2：健全な画像の再構成
列（a）は、HCPデータセットからの被験者からのT2強調画像
列（b）〜（e）は、VAE、AAE、λ = 0.5の AAE、λ = 1.0の AAEによる再構成

25. 正常と異常での分布の差
- 再構成後と元画像とのピクセルごとの差を取ってみて，誤差の分布を測定
- どの手法でも，異常と正常では明らかに異なる分布．

26. 正常と異常での分布の差

27. 性能
- ピクセル単位でのROC曲線
- 潜在空間の重みを重要視したAAE(λ=1)が一番性能良かった．
- これ(λ=5)とかやったらどうなんでしょ．

28. 今後の課題
- 肝心のAnoGANとの比較実験がない
- 著者によるとAnoGANは良い結果が出なかったので，比較実験から外したとのこと．

29. 最近の動向

30. Mondal et al., 2018
- Title: Few-shot 3D Multi-modal Medical Image Segmentation using Generative Adversarial Learning
- Authors: Arnab Kumar Mondal, Jose Dolz and Christian Desrosiers
- Submitted on 29 Oct 2018

31. Mondal et al., 2018
- 数症例のラベルしかない状態でもGANで正解パッチを大量作成

32. まとめ
- VAEやAAEを利用した異常検知(病変検出)手法を紹介
- 健常者の症例をVAEに学ばせることで，頭部MRから脳腫瘍の検出に成功
- 何かしら疾患を抱えている場合は，画像再構成時の画像と元画像に差がでることがわかった．
- GANによるラベルデータの作成など，今後も研究されそうな分野

33. References
Papers
- Sun, Liyan, et al. "An Adversarial Learning Approach to Medical Image Synthesis for Lesion Removal." arXiv preprint arXiv:1810.10850 (2018).
- Schlegl, Thomas, et al. "Unsupervised anomaly detection with generative adversarial networks to guide marker discovery." International Conference on
Information Processing in Medical Imaging. Springer, Cham, 2017.
- AnoGANの元論文
- Frid-Adar, Maayan, et al. "GAN-based Synthetic Medical Image Augmentation for increased CNN Performance in Liver Lesion Classification." arXiv preprint
arXiv:1803.01229 (2018).
- 腹部CTからGANで病変検出
- Tang, Youbao, et al. "CT Image Enhancement Using Stacked Generative Adversarial Networks and Transfer Learning for Lesion Segmentation
Improvement." International Workshop on Machine Learning in Medical Imaging. Springer, Cham, 2018.
- Ben-Cohen, Avi, et al. "Cross-Modality Synthesis from CT to PET using FCN and GAN Networks for Improved Automated Lesion Detection." arXiv preprint
arXiv:1802.07846 (2018).

34. References
Datasets
- BRATS: Multimodal Brain Tumor Segmentation Challenge 2018
- ISLES: Ischemic Stroke Lesion Segmentation
- HCP: Human Connectome Project

35. References
Blogs
- habakan6.【論文読み】GANを利用した異常検知まとめ. Hatena Blog.
- https://openreview.net/forum?id=H1nGLZ2oG, OpenReview.net.
- 査読者の意見が載っていて，参考になる．
- GANによる異常検知手法 anoGAN の紹介
- https://www.renom.jp/ja/notebooks/tutorial/generative-model/anoGAN/notebook.html