안녕하세요! 딥러닝 논문읽기 모임 입니다! 오늘 소개할 논문은 MIC 입니다. 발표자료 : 오늘은 비지도 도메인 적응(UDA) 분야에서의 중요한 진전을 소개하려고 합니다. UDA는 소스 데이터(예: 합성 데이터)에서 훈련된 모델을 타겟 데이터(예: 실제 세계 데이터)에 적응시키는 과정인데요, 이번에 'Masked Image Consistency (MIC)'라는 새로운 모듈이 제안되었습니다. 1. 비지도 도메인 적응의 도전 기존 UDA 방법들은 타겟 도메인에서 비슷한 시각적 외관을 가진 클래스들을 구분하는 데 어려움을 겪어왔습니다. 그 이유는 타겟 어노테이션에 대한 접근 없이 미묘한 외관 차이를 학습하기 어렵기 때문입니다. 2. MIC 모듈의 혁신 MIC 모듈은 타겟 도메인의 공간적 컨텍스트 관계를 추가 단서로 학습하여 UDA를 강화합니다. MIC는 무작위 패치가 제외된 마스크된 타겟 이미지의 예측과 완전한 이미지를 기반으로 생성된 지수 이동 평균 교사에 의한 의사 라벨 간의 일관성을 강제합니다. 3. 네트워크의 학습 방식 일관성 손실을 최소화하기 위해, 네트워크는 주변 컨텍스트에서 마스크된 영역의 예측을 추론하는 방법을 배워야 합니다. MIC의 단순하고 보편적인 개념으로 인해 다양한 UDA 방법과 시각 인식 태스크에 통합될 수 있습니다. 4. 성능 개선 MIC는 합성-실제, 낮-밤, 맑은 날씨-악천후 등 다양한 UDA 시나리오에서 기존 방법들을 크게 능가하는 성능을 보여줍니다. 예를 들어, GTA-to-Cityscapes와 VisDA-2017에서 각각 75.9 mIoU와 92.8%의 성과를 달성했으며, 이는 기존 최고 성능보다 각각 +2.1과 +3.0 퍼센트 포인트의 개선입니다. MIC의 도입은 UDA 분야에서 중요한 발전을 의미하며, 이미지 분류, 의미적 분할, 객체 탐지 등 다양한 시각 인식 작업에서의 적용 가능성을 보여줍니다. 오늘 논문 리뷰를 위해 이미지처리 안종식님이 자세한 리뷰를 도와주셨습니다 많은 관심 미리 감사드립니다! https://youtu.be/IgwpPkSpwUg

1. MIC : Masked Image Consistency for
Context-Enhanced Domain Adaptation
CVPR, 2023
이미지 처리팀
김병현 류채은 안종식

2. CONTENTS
Introduction
01
Related Works
02
Methods
03
Experiments
04
Conclusion
05

3. Introduction
01

4. 01. Introduction
1. Domain Adaptation

5. 01. Introduction
1. Domain Adaptation
시뮬레이터를 통한 데이터 확보

6. 01. Introduction
1. Domain Adaptation

7. 01. Introduction
1. Domain Adaptation
Sidewalk
Road Wall Person
Sidewalk
Road Wall Person
Domain Adaptation
Cityscape
GTA5
TridentAdapt: Learning Domain-invariance via Source-Target Confrontation and Self-induced Cross-domain Augmentation, 2021, BMVC

8. 01. Introduction
2. Unsupervised Domain Adaptation(UDA)
Categorization of Domain Adaptation by size of data (ECCV 2020 Domain Adaptation for Visual Applications Tutorial part 3, 121 page)

9. 01. Introduction
2. Unsupervised Domain Adaptation(UDA)
Reduce Cost of Labeling
Source : Simulation Target : Real

10. 01. Introduction
2. Unsupervised Domain Adaptation(UDA)
Self Training
Pretrain
Dataset
(e.g. GTA5)
데이터
확보
라벨링
Pretrain
Dataset
(e.g. GTA5)
데이터
확보

11. 01. Introduction
3. MIC (Masked Image Consistency) Method
Apply to Any UDA Method
Computer Vision Task

12. Related Works
02

13. 02. Related Works
1. Learning to adapt structured output space for semantic segmentation, 2018
Adversarial Method

14. 02. Related Works
2. DAFormer: Improving Network Architectures and Training Strategies
for Domain-Adaptive Semantic Segmentation, 2022

15. 02. Related Works
3. HRDA: Context-Aware High-Resolution Domain-Adaptive Semantic Segmentation, 2022

16. Q & A

17. Methods
03

18. 03. Methods
1. Source Image Process
1.
Source GT

19. 03. Methods
2. Target Image Process
2.
기존 UDA Method들의 Loss

20. 03. Methods
2. Target Image Process
Adversarial Loss

21. 03. Methods
2. Target Image Process
DAFormer / HRDA

22. 03. Methods
3. Target Image Process (MIC)
3.

23. 03. Methods
3. Target Image Process (MIC)
4.
Quality Weight

24. 03. Methods
3. Target Image Process (MIC)
MAE (Masked AutoEncoder) Effect
NLP의 BERT : Masking된 부분을 Reconstruction하는 SSL 방법론 → 효과
당장 이미지에 적용해보자

25. Experiments
04

26. 04. Experiments
1. Tasks
GTA -> CS (Cityscape)
CS -> ACDC
Simulation
(Synthetic)
Day / Clear
Day / Clear
Fog / Night / Rain / Snow
Day / Clear
CS -> DarkZurich
Night

27. 04. Experiments
2. Semantic Segmentation

28. 04. Experiments
2. Semantic Segmentation

29. 04. Experiments
2. Semantic Segmentation

30. 04. Experiments
3. Ablation

31. Conclusion
05

32. 05. Conclusion
UDA의 성능은 Supervised Learning에 근접해짐
UDA 기술을 활용해서 지속적으로 알아서 발전하는 형태의 기술이 곧 등장 ?!
데이터
확보
기존의 Target Domain과 같은 Class / 유사하지만 다른 Distribution의 Domain이 Target
Shape가 많이 다를 경우에 대한 연구도 진행 ?

33. Q & A

34. Thank you for your attention