CVPR2019からSemantic SegmentationタスクでDomain Adaptationを試みた論文を抽出してまとめました。 あわせて、Semantic SegmentationタスクでポピュラーなMask-R-CNNとRoI-Align手法も解説しています。

1. 岡本大和
CVPR’19 SURVEY
Domain Adaptation
on Segmentation Task

2. 自己紹介 岡本大和（おかもとやまと）
 京都大学でパターン認識を研究して修士課程修了
 オムロンで技術起点のBusiness Developmentを担当
 夢は京都をポスト・シリコンバレーにすること
⇒ 京都の学生と変人が持つパワーを世界に知らしめたい
@ICDM’18
Banquet
Twitter : RoadRoller_DESU

3. 調査方針
CVPR’19の論文を対象に
Domain Adaptation を Segmentation Task に適用した論文を抽出
・Strong-Weak Distribution Alignment for Adaptive Object Detection
・Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation
・Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation
巻末では、
予備知識として近年ポピュラーなMask-R-CNNとRoI-Alignを解説
所感：
・segmentationタスクはpixel単位でClassificationする点が特徴的
・Domain-LOSSをどの段階で,どの部分に,どの強度でかけるかが主要論点

4. Strong-Weak Distribution Alignment for Adaptive Object Detection
Kuniaki Saito, Yoshitaka Ushiku, Tatsuya Harada, Kate Saenko
Boston University, The University of Tokyo, RIKEN
pdf： https://arxiv.org/pdf/1812.04798.pdf (CVPR’2019)
Git： https://github.com/VisionLearningGroup/DA_Detection
Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation
Chen-Yu Lee, Tanmay Batra, Mohammad Haris Baig, Daniel Ulbricht
Apple Inc
pdf： ttps://arxiv.org/pdf/1903.04064.pdf (CVPR’2019)
Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation
Yawei Luo, Liang Zheng, Tao Guan, Junqing Yu, Yi Yang
Huazhong University, Baidu Research, Australian National University
pdf： https://arxiv.org/pdf/1809.09478.pdf (CVPR’2019)
Git： https://github.com/RoyalVane/CLAN (Coming soon....)
（巻末付録）CyCADA: Cycle-Consistent Adversarial Domain Adaptation
Judy Hoffman, Eric Tzeng, Taesung Park, Jun-Yan Zhu, Phillip Isola, Kate Saenko, Alexei A. Efros, Trevor Darrell
EECS and BAIR, UC Berkeley, Openai, Boston University
pdf： http://proceedings.mlr.press/v80/hoffman18a/hoffman18a.pdf (ICML’2018)
Git： https://github.com/jhoffman/cycada_release
（巻末付録）Mask R-CNN、RoI-Align
Kaiming He Georgia Gkioxari Piotr Dollar Ross Girshick
Facebook AI Research
pdf: https://arxiv.org/pdf/1703.06870.pdf
Git: https://github.com/matterport/Mask_RCNN

5. Strong-Weak Distribution Alignment
for Adaptive Object Detection (CVPR’19)
Experiment:
Task Domain Adaptation on Semantic Segmentation
Model Faster RCNN + ROI-alignment + Domain Prediction Brunch
DataSet ・Adaptation between dissimilar domain（PASCAL⇒Clipart, Watercolor）
・Adaptation between similar domain（Cityscapes⇒Foggy Cityscapes）
・Adaptation from synthetic to real images（GTA ⇒ Cityscapes）
Key Idea:
• Feature MapのH*W個の局所特徴それぞれに強めのAdversarial lossをかける
• Feature Mapの全体に対しては弱めのAdversarial lossをかける

6. Sliced Wasserstein Discrepancy
for Unsupervised Domain Adaptation (CVPR’19)
Experiment:
Task Domain Adaptation on
Image Classification, Semantic Segmentation and Object Detection
Model VGG-16 + PSPNet, ResNet-101 + PSPNet (*for segmentation task)
DataSet GTA5 -> Cityscape, Synthia -> Cityscape (*for segmentation task)
Key Idea:
• 2つのClassifierでXtargetの予測結果が異なるようにClassifierを学習、重なるようにGeneratorを学習
• このとき予測結果の相違尺度にWasserstein-Distanceを用いるよう改良した
• 距離計算を簡易化するためにradial projectionとlinear projectionを導入したらしいが理解追い付かず
余談ですが Future Workに
・domain randomization
・open set adaptation
・zero-shot domain adaptation
とありました、期待！

7. Taking A Closer Look at Domain Shift: Category-level Adversaries for
Semantics Consistent Domain Adaptation (CVPR’19)
Experiment:
Task Domain Adaptation on Semantic Segmentation
Model DeepLab-v2 with ResNet-101
DataSet GTA5 -> Cityscape, Synthia -> Cityscape
Key Idea:
• Source-Dataにて、識別器C1とC2の判定結果の和が正しいSegmentationとなるようにLOSSをかける
• 識別器C1とC2が異なる観点を持つ（特徴量の多様性を確保する）ようにLOSSをかける
• 識別器C1とC2の出力から、Discriminatorがドメイン識別できないようにAdversarial-LOSSをかける
• Adversarial-LOSSは判定不一致度合（C1とC2の出力のコサイン距離平均）で重み付けする

8. （巻末付録）2018年の関連論文
CyCADA: Cycle-Consistent Adversarial Domain Adaptation（ICML’18）
Experiment:
Task Domain Adaptation on Semantic Segmentation
Model VGG16-FCN8s base, and DRN-26
DataSet GTA5 -> Cityscape, Cityscape -> GTA5
Key Idea:
• ドメイン変換する過程で情報損失が起きないように、Cycle lossを導入した
• S->T->Sとドメイン変換したときに元データと一致すれば、変換過程で情報損失がないという考え

9. （巻末付録）Mask R-CNN
画像中から物体を検出して識別する手法
R-CNN （CVPR’14）
・画像から物体候補領域であるRoI(Region of Interest)を抽出後、各RoIをCNNにかけて物体を検出
Faster-R-CNN （NIPS’15）
・FeatureMAPからRoIを抽出してからCNNで物体検出、R-CNNをEnd-To-Endで学習可能にした。
MASK-R-CNN（ICCV’17）
・Faster-R-CNNにmask-brunchを追加した。mask生成とClassificationのタスクを分離した点が特徴。
参考、画像引用：
・Mask R-CNN Slide Share https://www.slideshare.net/windmdk/mask-rcnn
・Fast R-CNN（Microsoft Research） https://arxiv.org/pdf/1504.08083.pdf
K種類のClassを想定してK個のmaskを出力
誤差逆伝播はClassifier-Brunchの出力クラスｋのmaskにのみ適用

10. （巻末付録）RoI-Align
検出したRoIから固定サイズのFeature MAPを取得するための手法
RoI-Pooling（ICCV’15でMicrosoft Research が提案）
・RoI座標を整数値に丸めて領域を切出す（例：[(6.4, 2.8), (9.8, 4.2)] ⇒ [(6, 2), (9, 4)] ）
・出力したいFeatureMAPサイズ(HxW)に領域分割して、それぞれでMaxやAverageでPoolingする
・整数値に丸めたり、HxWに領域分割するときに位置ずれが起きることが問題点
RoI-Align（ICCV’17でFacebook AI Research が提案）
・RoIを（整数値に丸めずに）そのまま出力したいFeatureMAPサイズ(HxW)に領域分割する
・RoIの内部にあるグリッド点の座標を（整数値に丸めずに）算出
・グリッド点の値を近傍4ピクセルからbilinear interpolationで算出
・それぞれMaxやAverageでPoolingする
参考、画像引用：
・最新の物体検出手法Mask R-CNNのRoI AlignとFast(er) R-CNNのRoI Poolingの違いを正しく理解する（@yu4u） https://qiita.com/yu4u/items/5cbe9db166a5d72f9eb8
・Mask R-CNN Slide Share https://www.slideshare.net/windmdk/mask-rcnn
RoI-Pooling RoI-Align