「CVPR 2020 網羅的サーベイ」により作成された Medical, Biological and Cell Microscopy エリアのメタサーベイ資料です。 CVPR 2020 網羅的サーベイ: http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/listall/ cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議に30+本投稿」することです。 http://xpaperchallenge.org/cv/

1. CVPR 2020の動向・気付き・メタサーベイ
1
藤中彩乃（筑波大学大学院）
中村優太（東京大学大学院医学系研究科）
Group 11: Medical, Biological and Cell Microscopy

2. 2
全体を通して
まとめ
● 生物医学領域に対する画像処理は応用研究であるため，
単純な従来手法を適用してclassification, segmentationなどを行うだけでも
論文になる
● しかし，CVPRに通すためには相当な努力が必要
● CVPRの医用画像処理研究では純粋なclassification, segmentationの
新規手法の提案が少ない印象であった
● つまり，生物医学領域の応用研究であっても
CVPRのレベルは相当に高く，何かしら工夫をしてはじめてCVPRに通る

3. 3
技術・問題設定からみた動向

4. 4
未知のデータにどう対処するか？①
【Domain adaptation】What Can Be Transferred: Unsupervised Domain
Adaptation for Endoscopic Lesions Segmentation
● 上部消化管内視鏡 ⇆ 下部消化管内視鏡間での domain adaptation
【Domain adaptation】Unsupervised Instance Segmentation in Microscopy
Images via Panoptic Domain Adaptation and Task Re-weighting
● 蛍光顕微鏡画像 → HE染色画像への domain adaptation を利用して
細胞核に対する segmentation を教師なしで実現
● CyCADA [Hoffman et al., 2018] にもとづく

5. 5
未知のデータにどう対処するか？②
ADINet: Attribute driven incremental network for retinal image classification
● 眼底写真の Classification task に対して
増分学習フレームワークを利用
→将来未知の疾患クラスを追加する際，
モデルの忘却・再学習が不要に
【半教師あり学習】FocalMix: Semi-Supervised Learning for 3D Medical Image
Detection
● 肺CTに対する結節検出
● MixMatch [NeurIPS, 2019] を利用できるような Soft target focal lossを提案
⇨未知のデータセットに対する性能が向上
【メタ学習】FOAL: Fast Online Adaptive Learning for Cardiac Motion Estimation
● 心臓MRIに対するmotion estimation
● メタ学習により，学習データにない心疾患が撮像された場合にも対応

6. Instance Segmentation of Biological Images Using
Harmonic Embeddings
● 領域が重なっている対象物に対するsegmentation
Structure Boundary Preserving Segmentation for
Medical Image With Ambiguous Boundary
● 境界が明確でない対象物に対する segmentation
● 経膣超音波における子宮内膜，皮膚病変写真
● 対象物の解剖学的特徴を考慮するモジュールを
組み込むことにより実現
C2FNAS: Coarse-to-Fine Neural Architecture
Search for 3D Medical Image Segmentation
● Neural Architecture Search を
3D医用画像 segmentation に応用
6
Segmentationの改善手法いろいろ

7. 7
個々の生物医学領域タスクに対する研究と
その工夫

8. 8
顕微鏡
MPM: Joint Representation of Motion and Position Map for Cell Tracking
● 位相差光学顕微鏡によって細胞の移動を観察する手法の改善
Gum-Net: Unsupervised Geometric Matching for Fast and Accurate 3D
Subtomogram Image Alignment and Averaging
● サブトモグラムアライメントにおいて初の教師なし再構成手法を提案

9. 9
病理組織画像① (WSIに対する効率化)
まとめ
● データ量の大きい病理標本スライド全体 (Whole Slide Image (WSI)) を
効率的に扱うための手法がいくつか提案されている
● 1つ目は弱教師あり学習の利用
Multi-scale Domain-adversarial Multiple-instance CNN for Cancer Subtype
Classification with Unannotated Histopathological Images
● 悪性リンパ腫のサブタイプ分類
● Multiple instance learning + Domain adversarial +
Multi-scale learning
Predicting Lymph Node Metastasis Using Histopathological
Images Based on Multiple Instance Learning With Deep
Graph Convolution
● 大腸癌原発巣のみ標本画像からリンパ節転移の有無を retrospective に予測
● VAE + 弱教師あり学習 + GCN

10. 10
まとめ
● データ量の大きい病理標本スライド全体 (Whole Slide Image (WSI)) を
効率的に扱うための手法がいくつか提案されている
● 2つ目は低解像度データと高解像度データの利用
SOS: Selective Objective Switch for Rapid Immunofluorescence Whole Slide
Image Classification
● 自己免疫性肝疾患のスクリーニング検査に使用された免疫染色画像からなる
データセットを作成 → classification task
(対象: 抗ミトコンドリア抗体(AMA)，抗平滑筋抗体(SMA-V, SMA-T))
● 低解像度用ネットワークで WSI をスクリーニングし，
所見が不明な箇所のみを高解像度用ネットワークで精査することにより
性能を保ったまま計算リソースの節約に成功
病理組織画像② (WSIに対する効率化)

11. 11
マンモグラフィ (病変検出)
Cross-view Correspondence Reasoning based on Bipartite Graph
Convolutional Network for Mammogram Mass Detection
● Bipartite GCN を用いて
マンモグラフィの2方向の撮像を同時に考慮することにより
病変検出性能を改善

12. 12
腹部CT (病変検出)
まとめ
● ドメイン知識から得た発想を活かしている研究もみられる
Deep Distance Transform for Tubular Structure Segment
● Distance Transformation を用いて
管状構造物に対する segmentation の性能を改善
● 腹部CTにおいて，膵癌の随伴所見である膵管拡張を捉えることにより
膵癌をより高い精度で検出

13. 13
冠動脈CT
CPR-GCN: Conditional Partial-Residual Graph Convolutional Network in
Automated Anatomical Labeling of Coronary Arteries
● 冠動脈CTの3次元画像から3本の冠動脈を正しく分離し (RCA/LMT/LAD/LCX),
あわせて主要な分枝も同定するタスク
● 3D CNN + Bi-LSTM により位置情報と画像情報の両方を考慮できる Conditions
Extractor を，Partial-Residual GCNと組み合わせ，end-to-end にラベリング

14. 14
心臓MRI
まとめ
● 心臓MRIは3D volume dataの動画であり，4D imageに対する処理が必要
A Spatiotemporal Volumetric Interpolation Network for 4D Dynamic Medical
Image
● 4Dでの医用動画補完を行う世界初のnetworkを
提案
FOAL: Fast Online Adaptive Learning for Cardiac Motion Estimation
● motion estimation を
正常, 拡張型心筋症, 肥大型心筋症,
心筋梗塞後の収縮不全, 右心室収縮不全のうち
4疾患で学習 → 残り1疾患でテスト
● segmentation と教師なしmotion estimation の
multi-task learning [Qin et al., 2018] にメタ学習を
併用し，未知の疾患に対する汎化性能を向上

15. 15
MRI (高速撮像法)
まとめ
● MRI高速撮像は医療現場での実務に関わるきわめて専門性の高い領域であり，ここ
にまで研究が進出していることは驚き
● 画像領域のデータだけでなく空間周波数領域 (k-space) もあわせて直接扱う
手法は以前から存在しているが，さらに洗練されてきている
DuDoRNet: Learning a Dual-Domain Recurrent Network for Fast MRI
Reconstruction With Deep T1 Prior
● 圧縮センシングの研究
● 従来: 画像領域補完 + k-space補助利用
⇨ 画像領域もk-spaceも同様に補完
GrappaNet: Combining Parallel Imaging With Deep Learning for Multi-Coil MRI
Reconstruction
● パラレルイメージングの研究
● マルチコイルのデータの扱い方の
工夫による補完性能向上

16. 16
MRI (registration)
まとめ
● Registration の技術は，病変を経時的に比較するうえで重要
Fast Symmetric Diffeomorphic Image Registration
with Convolutional Neural Networks
● 逆変換が可能な教師なし image registration
DeepFLASH: An Efficient Network for
Learning-based Medical Image Registration
● MRI画像に対する Image registration に
複素数畳み込み，複素数損失関数などを利用
→性能を維持したまま計算時間を大幅に短縮

17. 17
ほか: 内視鏡
What Can Be Transferred: Unsupervised Domain Adaptation for Endoscopic
Lesions Segmentation
● 癌，ポリープ，炎症，出血などの
segmentation における上部消化管内視鏡
⇆ 下部消化管内視鏡の domain adapation
● Transferrable な特徴量を選別する機構を使用
Augmenting Colonoscopy using Extended and Directional CycleGAN for
Lossy Image Translation
● 現実の大腸内視鏡画像 (OC) ⇆ 仮想大腸内視鏡 (VC) の image translation
● OCのテクスチャ情報を取り込むことで，VCからよりOCに近いリアルな画像への変
換に成功
● VCの幾何学的情報を取り込むことで，OCから深度マップへの変換に成功
● VC→OCは教育目的，OC→VCは内視鏡の探索カバー率測定などに応用可能