<Contribution> FAS(Face Anti-Spoofing)를 일반화할 수 있는 어셈블리 네트워크(SSAN) 제안 도메인 구별이 불가능하도록 Adversarial Learning을 채택한다. Style feature의 경우, 도메인별 정보를 억제하면서 활력 관련 스타일 정보를 강조하기 위해 Contrastive Learning이 사용된다. 기존 데이터셋을 집계하여 FAS에 대한 대규모 벤치마크를 구축

1. 19
1
Reviewer: Minha Kim
Domain Generalization via Shuffled
Style Assembly for Face Anti-Spoofing

2. 19
2
CVPR’22

3. 19
3
• Shuffled Style Assembly Network (SSAN)
– Domain generalization에 효과적인 SSAN 프레임워크 제안
– SSAN : “we split the complete representation into content and style ones with various
supervision. Then, a generalized feature space is obtained by resembling features
under a contrastive learning strategy.”
– Stylized feature space를 얻기 위해 ‘Style Transfer’를 활용
– Contrastive learning을 적용하여 liveness의 분류 성능을 높이면서 domain specific하게
학습되는 현상을 억제하는 방법을 제안
Abstract

4. 19
4
• Domain Generalization
– 기존 연구들은 새로운 도메인에서 상대적으로 좋지 않은 detection 성능을 보여줌
– Unlabeled target data 를 학습하는 것은 비효과적일 수 있음
– 몇몇 도메인 일반화 연구가 진행되었지만, 대부분 BN layer을 적용하고 있음
– Batch Normalization (BN)은 global image statistics에 초점을 맞추기 때문에, local
image 속성을 무시할 수 있음
– Instance Normalization (IN)은 이미지 한장의 liveness-related texture 과 domain-
specific 정보를 추출 가능함
– Global + local 두 가지 정보들을 모두 획득하기 위해 BN + IN Normalization 을 적
용
Introduction

5. 19
5
Related Work
• Normalization and Style Transfer
Adaptive Instance Normalization (AdaIN) :
기존에 있던 Style transfer의 속도와 성능을 개선시키기 위해 등장
한 Normalization 기법으로 제안됨.
content feature과 style feature을 이용해 다양한 stylized image 생
성이 가능
• Protocols for Face Anti-Spoofing
– OCIM is used to evaluate their domain generalization
– real-world에 적합한 train & test set 구성 (i.e., attack types,
such as print, replay, mask, makeup, waxworks)

6. 19
6
Proposed Method
<Point>
1. AdaIN of StyleTransfer
2. Contrastive Learning

7. 19
7
Proposed Method
Content and Style Information Aggregation
생성된 content feature을 서로 다른 도메인에서 구분할 수 없도록 하기 위해
Adversarial
GRL (Gradient Reversion Layer) :
도메인이 달라지더라도 충분히 일반화할 수 있도록
모델을 학습하려면, domain을 구분하는 성능은 낮
아지게 훈련해야함, 즉 역전파 동안 음의 부호를 곱
하여 gradient를 역전시켜 loss값을 최대화시킴
set of domain labels
the number of different data domains

8. 19
8
Proposed Method
Shuffled Style Assembly - Combine both features
(Style Assembly Layer)
style feature
content feature affine parameters

9. 19
9
Proposed Method
Contrastive Learning for Stylized Features

10. 19
10
Proposed Method
Contrastive Learning for Stylized Features
round=domain 1,
square=domain 2
green=living,
red=spoofing

11. 19
11
Proposed Method

12. 19
12
• Data Evaluation Protocol & Metrics
Experiments
• Protocol 1. intra-dataset evaluation
all datasets are used as training and testing sets, simultaneously.
• Protocol 2. crossdomain evaluation.
P1: {D3, D4, D5, D10, D11, D12}, P2: {D1, D2, D6, D7, D8, D9}
Metrics : HTER ((FRR+FAR)/2), AUC

13. 19
13
• Experiment with Leave-One-Out (LOO) setting on OCIM
Experiments
SSAN-M : mean value of the predicted depth map is the final score
SSAN-R : The value of the sigmoid function on living is the final score
OULU-NPU [3] (O), CASIA-MFSD [64] (C), Replay-Attack [6] (I), and MSU-MFSD [50] (M)

14. 19
14
Experiments
Experiment on Limited Source Domains

15. 19
15
Experiments
The results on the large-scale FAS benchmarks

16. 19
16
Ablation Study
with stop-grad & without stop-grad

17. 19
17
Ablation Study
Results of GradCAM & t-SNE

18. 19
18
Conclusion
FAS(Face Anti-Spoofing)를 일반화할 수 있는 어셈블리 네트워크(SSAN) 제안
도메인 구별이 불가능하도록 Adversarial Learning을 채택한다.
Style feature의 경우, 도메인별 정보를 억제하면서 활력 관련 스타일 정보를 강조하기 위해
Contrastive Learning이 사용된다.
기존 데이터셋을 집계하여 FAS에 대한 대규모 벤치마크를 구축