[TIFS'22] Learning Meta Pattern for Face Anti-Spoofing
•Download as PPTX, PDF•
0 likes•8 views
Digital displays are made of glass sand have high reflection coefficients. Printed photos attacks tend to present lower image quality due to the low Dots Per Inch (DPI) and color degradation. 이전 연구에선 handcrafted features을 이용해서 spoofing attack을 탐지했음 (i.e., Local Binary Pattern (LBP), Speeded Up Robust Features (SURF), and Blurring, etc.) → 전문가들의 domain knowledge에 의존하는 문제가 있음 Only using RGB images as input → 모델이 source domain에 overfitting되는 문제 이를 극복하기 위해서, hand-crafted feature을 함께 학습시키거나 HSV 채널을 concat하는 방식이 등장 → 모델 일반화 성능을 높이기엔 충분하지 않음 본 논문에선 meta-learning을 통해 Meta Pattern (MP)를 생성할 수 있는 네트워크를 제안 생성된 MP와 RGB image를 융화시키기 위한 Hierarchical Fusion Network (HFN)을 제안
Recommended
Recommended
More Related Content
More from KIMMINHA3
More from KIMMINHA3 (12)
Recently uploaded
Recently uploaded (20)
[TIFS'22] Learning Meta Pattern for Face Anti-Spoofing
- 1. 19 1 Reviewer: Minha Kim IEEE Transactions on Information Forensics and Security 2022 Learning Meta Pattern for Face Anti-Spoofing
- 2. 19 2 • Digital displays are made of glass sand have high reflection coefficients. Printed photos attacks tend to present lower image quality due to the low Dots Per Inch (DPI) and color degradation. • 이전 연구에선 handcrafted features을 이용해서 spoofing attack을 탐지했음 (i.e., Local Binary Pattern (LBP), Speeded Up Robust Features (SURF), and Blurring, etc.) → 전문가들의 domain knowledge에 의존하는 문제가 있음 • Only using RGB images as input → 모델이 source domain에 overfitting되는 문제 • 이를 극복하기 위해서, hand-crafted feature을 함께 학습시키거나 HSV 채널을 concat하는 방식이 등장 → 모델 일반화 성능을 높이기엔 충분하지 않음 본 논문에선 meta-learning을 통해 Meta Pattern (MP)를 생성할 수 있는 네트워크를 제 안 생성된 MP와 RGB image를 융화시키기 위한 Hierarchical Fusion Network (HFN)을 제 안 Introduction
- 3. 19 3 Hybrid Methods vs. Meta Pattern
- 5. 19 5 Methodology - Meta Pattern Extractor
- 6. 19 6 Methodology - Hierarchical Fusion Module
- 7. 19 7 Methodology - Objective Loss Training Loss Score for testing
- 8. 19 8 Overall Architecture 기존 방법 : Empirical Risk Minimization (ERM) Proposed optimization
- 9. 19 9 Algorithm : Learning to extract Meta Pattern No domain overlapped Inner-level Meta-test Outer-level Meta-train Discriminator Network Meta Pattern Network
- 11. 19 11 Experiments - Handcrafted features
- 12. 19 12 Experiments - Generalization performance
- 13. 19 13 Experiments - Generalization performance
- 14. 19 14 Experiments - Source limited
- 16. 19 16 Ablation - Optimization Algorithm
- 17. 19 17 Ablation - number of layers of the Meta pattern extractor
- 18. 19 18 Ablation - different steps K
- 19. 19 19 1. Handcrafted features을 적용하는 대신 Meta Pattern을 생성하여 일 반화 성능을 높이는 방법을 제안함. 2. Hierarchical Fusion Module을 통해 RGB와 MP이미지의 정보를 융 화할 수 있는 방법을 제안함. 1. Anti-spoofing task 뿐만 아니라, Deepfake Detection에도 적용해볼 수 있음. Conclusion
Editor's Notes
- 화이팅 Why…? 중요한듯 특히,… 여태까지 사람들이 이런것을 생각했을텐데 왜 안했을거 같아? 뭐가 문제였는데 뭐가 가장 중점적이고, 다른 것들과 차별성을 가진 것 같아? 너가 앞으로 연구를 한다면, 어떤 부분을 많이 가져갈 것 같아? Structured Fashion like FP due to the randomness inside the network WP(하나하나) 정해진 모양이 없는..! 기억해야하는수! (추가적인 함수 ㅇㅇ) sparse연산.. HW/lib 희귀 2. Architecture of network & filter itself is both important 3. 이게 정말 decent한 결과인지….??? 4. 그 지그재그 그래프에서 x축, y축 정확히 5. It is worth noticing that when performing inference on the pruned network, we can not directly use the filter as a whole to perform convolution on the input feature map since the filter is broken 6. Threshold 값이 무엇일지… 이걸 어떻게 비교한다는 거지? 이게 초기 stripe 값이 1이고 이걸 점점 바꾼다는건데…! 7. 한 filter가 모두 pruning되면… 그냥 fmap이 0이 되버리는건지? 8. Floaps 란? 아마 FLOPS여서 float 연산수 인것 같은데.. 흠…….? 9. Related work가 너무 많을때 선정기준? 10. In Advances in Neural Information Processing Systems, pages 1043–1053, 2018. <- ….?? NeurIPS? 11. CVPR <> NIPS 12.
- 원하는 Contents를 담고 있는 이미지의 feature xx 에서, 이미지의 스타일을 빼주고, 내가 입히고 싶은 Style을 더해주는 방식
- 원하는 Contents를 담고 있는 이미지의 feature xx 에서, 이미지의 스타일을 빼주고, 내가 입히고 싶은 Style을 더해주는 방식
- Training Loss Score for testing
- Emperical Risk Minimization (ERM)
- Discriminator Network Meta Pattern Network