SlideShare a Scribd company logo
Soongsil Univ. DSAI Lab.
Confidence Regularizers for Robust Models
Stutz et al. (Max Planck Institute), Confidence-Calibrated
Adversarial Training: Generalizing to Unseen Attacks, ICML 2020
Qin et al. (Google Research) Improving Calibration through the Rel
ationship with Adversarial Robustness, NIPS 2021
1
지승현 발표
22.12.26.
Soongsil Univ. DSAI Lab.
목차
1. Importance of Model calibration?
2. Confidence-Calibrated Adversarial Training
3. Label smoothing using Adversarial Robustness
4. Conclusion & Opinion
5. Reference
2
Soongsil Univ. DSAI Lab.
1. Importance of Model Calibration?
– What is Model calibration?
– 사람은 어떤 추론과 결정을 할 때 그것에 대한 불확실성을 잘 조절함
– 머신러닝은 추론해낸 확률을 argmax를 취하여 one-hot vector로 결정
– 이 과정에서, 사람이 가지는 Uncertainty를 머신러닝도 동일하게 가지는지 확인할 필요가 있음.
– 모델이 overconfident (불확실한 결정을 확실하게 내리는 경우) 할 때 이를 교정할 수 있으며, 이를
Model calibration이라 지칭
– 특히 의료 관련 결정 등에서, 결정에 확실한 confidence가 필요한 경우 활용될 수 있음
– 제일 간단한 교정 방법은 로짓값에 분수를 취하여 출력을 부드럽게 만드는 것
3
Soongsil Univ. DSAI Lab.
1. Importance of Model Calibration?
– Simple metric
– Expected calibration error를 활용할 수 있음
– Model output confidence interval을 M개 구간으로 설정하고 각 구간이 B_m이라 하자.
– 즉, 모델이 0~0.1로 출력한 경우, 0.1~0.2로 출력한 경우를 count 한다.
– 이 때 정확도와 confidence의 차이를 구한다.
– 모델이 0~0.1로 출력한 경우의 정확도가 0~0.1 사이라면 차이는 0
– 해당 차이를 모든 B_m에 대해 구하여, 0에 가까우면 모델은 well calibrated
4
Soongsil Univ. DSAI Lab.
1. Importance of Model Calibration?
– Model calibration과 Robust model의 연관성은 미지의 영역
– 그간 Model calibration의 중요성에 대해서는 잘 알려지지 않음
– 특히, uncertainty를 부여하는 것과 모델이 uncertainty를 인지하는 것(Calibration)은
다른 영역이므로, 이것이 잘 연결되는 연구가 없었다.
– 그러나 최근 calibration과 confidence를 활용하여 실제로 model robustness / performance
를 향상시킨 연구가 등장
– 이하 슬라이드는 두 논문의 motivation, method, experiments를 설명
5
Soongsil Univ. DSAI Lab.
2. Confidence calibrated adversarial training
– Adversarial training (Madry et al., 2018)
– ERM을 통해서 Loss function의 Expectation을 minimize한다고 할 때 (좌),
– 입력 데이터 x에 어떤 𝝐 크기 범위 내 𝜹라는 perturbation(데이터 조작)이 있다고 한다면,
– 즉, loss를 최대화하는 𝜹를 찾고, 이 perturbation이 적용된 데이터에 대해 loss를 최소화한다.
– 이 기법은 adversarial attack (사람이 보기에 동일한 데이터이지만, 모델의 추론이 뒤바뀌게끔
데이터를 약간 조작하는 방법) 등에 robust한 모델을 학습시킨다.
– adversarial attack defense를 위한 학습은 대부분 모델 정확도를 하락시키나, 이는 상승시킴.
6
Soongsil Univ. DSAI Lab.
2. Confidence calibrated adversarial training
– Problems of adversarial training
– Adversarial training은 perturbed example에 대해 ERM을 수행하는 방법
– perturbed / interpolated data에 대해 overconfident한 모델을 만든다.
– 특히, 사람이 보기에 애매한 데이터더라도 이에 대해 overconfident하다(아래)
– 이런 경향은 unseen attack (defense하지 못한 adversarial example)에 대해 취약한
모습을 보인다.
7
Soongsil Univ. DSAI Lab.
2. Confidence calibrated adversarial training
– Proposed method
– 제안 방법은 perturbed example에 대해 label smoothing(기존은 상단)을 취하는 것
– K가 레이블 총 개수일 때,
– 𝝀(𝜹)가 기존의 [1,0]과 같은 레이블을 [1-a, a]로 스무딩한다.
– 이 때 스무딩은 𝜹의 norm을 사용하여, perturbed된 정도를 활용한다.
– 즉 많이 변형되었을 수록 레이블을 더 강하게 스무딩하여 target confidence를 lower한다.
8
Soongsil Univ. DSAI Lab.
2. Confidence calibrated adversarial training
– Proposed method (continue)
– perturbed x가 지칭하게 되는, 어떤 overconfident한 레이블에 대해서 𝜹를 탐색 (좌)
– (𝒇𝒌 는 출력 벡터에서 레이블 k에 대한 값을 의미)
– perturbed된 x가 특정 레이블의 데이터와 비슷하게 보일것 같으면, 이런 경향을 더 강화하는
adversarial example을 찾도록 한다.
– 2에 perturbation을 주었더니 8과 비슷하게 보일것 같으면, 이 경향을 더 강화하는
perturbation을 찾을 수 있다 (우)
– 본 제안 방법은 confidence를 낮추는 방법이므로, 이와 같이 overconfident하게 만드는
example을 탐색하는 방법이 학습에 효과적으로 작용한다.
9
Soongsil Univ. DSAI Lab.
2. Confidence calibrated adversarial training
– Experiments
– 제안 방법은 MNIST, SVHN, CIFAR10과 같은 image 데이터에 대해
– Adversarial attack을 기존보다 더 잘 defense, calibrated
– 일부 경우에는 vanila model보다 정확도가 향상
10
Soongsil Univ. DSAI Lab.
3. Label smoothing using Adversarial Robustness
– What is Adversarial Robustness?
– Adversarial attack 성공률을 낮추는 것을 의미.
– 즉, 데이터에 약간의 변형을 주더라도 모델이 이에 대해 robust한 정도
– adversarial robustness가 낮다는 것은, 데이터가 representation space 상에서 약간만 이동
해도 모델이 잘못 분류한다는 것이며, decision boundary를 너무 tight하게 설정했을 수 있거나,
데이터 자체가 분포에서 상당히 벗어난 경우를 의미.
– 이를 잘 갖추기 위해서는 좋은 generalization 능력이 있어야 한다.
– Arguments of paper
– 그간 calibration과 robustness / adversarial robustness는 그 연관성을 밝히기 어려웠다.
– 본 제안 방법에서 adversarial robustness가 낮은 데이터에 대해 uncertainty를 부여하자,
모델이 자연스럽게 calibrate 되었다.
11
Soongsil Univ. DSAI Lab.
3. Label smoothing using Adversarial Robustness
– Proposed method
– 아주 간단하게, r에 따른 smoothing strength를 𝝐𝒓이라고 한다면
– 기존 Label smoothing(좌)을 변형하여 (우)와 같이 smoothed label 𝒑를 만든다.
(Z는 레이블 총 개수)
– 이 때 smoothed strength를 manually 설정하는 것보다는, dataset을 adversarial
robustness에 따라 subset으로 나눈 뒤, 이에 대해 각각의 strength를 설정한다.
– model이 miss-calibrated 되었다면 confidence와 accuracy간의 차이가 크므로, 매 학습 스텝
t마다 soft label 𝒑에 반영하여 soften strength를 조정한다.
12
Soongsil Univ. DSAI Lab.
3. Label smoothing using Adversarial Robustness
– Wrap-up
– 저자는 모델은 adversarial attacked 데이터셋에 대해 less confident 해야 한다고 주장
– 이를 위해 smoothing strength를, dataset subset의 각 adversarial robustness에 맞게
조절하고, (subset에 따라 perturbed strength, difficulty가 다를 것이므로) model의
calibrated 정도에 따라 strength를 점점 낮춘다.
13
Soongsil Univ. DSAI Lab.
3. Label smoothing using Adversarial Robustness
– Experiments
– 모델이 잘못된 출력을 내기 위해 데이터를 perturb해야하는 크기(Adversarial robustness level)
에 따라 ECE와 accuracy를 측정한 결과, 제안 방법은 이를 잘 보정함
– 또한 이런 보정 효과에 더불어 정확도도 크게 감소하지 않는 모습을 보여줌. (일반적으론 감소)
14
Soongsil Univ. DSAI Lab.
4. Conclusion & Opinion
– Summary
– 기존에는 Robust한 모델이 calibrated 되었다는 연구만이 있을 뿐, model calibration
(Confidence Regularization) 이 robust한 모델과 연결되는지에 대한 연구는 없었음
– 본 제안 방법들은 dataset의 특징 혹은 task difficulty에 따라 calibration strength를 조절하고,
이를 통해 attack에 대해 robust / generalization robust한 모델을 만듦
– Opinion
– 졸업논문은 text length가 짧을수록 context information이 작아지고 이로 인해 uncertainty가
상승하므로, regularizing strength도 높혀야 한다고 주장하는 논문
– 본 발표의 논문을 관련연구로 삼아 short text의 uncertainty를 다룬 논문들을 관련연구로 삼을 수
있을 것으로 사료. 혹은 adversarial robustness를 측정해도 좋을 것으로 사료.
– Task difficulty에 따라 regularization strength등을 조절하는 Active learning method와도
연결점이 있을 것으로 사료
15
Soongsil Univ. DSAI Lab.
Reference
– Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger Proceedings of the 34th International Conference
on Machine Learning, PMLR 70:1321-1330, 2017.
– Madry, A., Makelov, A., Schmidt, L., Tsipras, D., and Vladu, A. Towards deep learning models resistant to
adversarial attacks. ICLR, 2018
16

More Related Content

Featured

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
Marius Sescu
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
Expeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
Pixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
ThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
marketingartwork
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
Skeleton Technologies
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
Kurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
SpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Lily Ray
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
Rajiv Jayarajah, MAppComm, ACC
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
Christy Abraham Joy
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
Vit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
MindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
RachelPearson36
 

Featured (20)

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 

221226 지승현 Confidence Regularizers for Robust Models.pptx

  • 1. Soongsil Univ. DSAI Lab. Confidence Regularizers for Robust Models Stutz et al. (Max Planck Institute), Confidence-Calibrated Adversarial Training: Generalizing to Unseen Attacks, ICML 2020 Qin et al. (Google Research) Improving Calibration through the Rel ationship with Adversarial Robustness, NIPS 2021 1 지승현 발표 22.12.26.
  • 2. Soongsil Univ. DSAI Lab. 목차 1. Importance of Model calibration? 2. Confidence-Calibrated Adversarial Training 3. Label smoothing using Adversarial Robustness 4. Conclusion & Opinion 5. Reference 2
  • 3. Soongsil Univ. DSAI Lab. 1. Importance of Model Calibration? – What is Model calibration? – 사람은 어떤 추론과 결정을 할 때 그것에 대한 불확실성을 잘 조절함 – 머신러닝은 추론해낸 확률을 argmax를 취하여 one-hot vector로 결정 – 이 과정에서, 사람이 가지는 Uncertainty를 머신러닝도 동일하게 가지는지 확인할 필요가 있음. – 모델이 overconfident (불확실한 결정을 확실하게 내리는 경우) 할 때 이를 교정할 수 있으며, 이를 Model calibration이라 지칭 – 특히 의료 관련 결정 등에서, 결정에 확실한 confidence가 필요한 경우 활용될 수 있음 – 제일 간단한 교정 방법은 로짓값에 분수를 취하여 출력을 부드럽게 만드는 것 3
  • 4. Soongsil Univ. DSAI Lab. 1. Importance of Model Calibration? – Simple metric – Expected calibration error를 활용할 수 있음 – Model output confidence interval을 M개 구간으로 설정하고 각 구간이 B_m이라 하자. – 즉, 모델이 0~0.1로 출력한 경우, 0.1~0.2로 출력한 경우를 count 한다. – 이 때 정확도와 confidence의 차이를 구한다. – 모델이 0~0.1로 출력한 경우의 정확도가 0~0.1 사이라면 차이는 0 – 해당 차이를 모든 B_m에 대해 구하여, 0에 가까우면 모델은 well calibrated 4
  • 5. Soongsil Univ. DSAI Lab. 1. Importance of Model Calibration? – Model calibration과 Robust model의 연관성은 미지의 영역 – 그간 Model calibration의 중요성에 대해서는 잘 알려지지 않음 – 특히, uncertainty를 부여하는 것과 모델이 uncertainty를 인지하는 것(Calibration)은 다른 영역이므로, 이것이 잘 연결되는 연구가 없었다. – 그러나 최근 calibration과 confidence를 활용하여 실제로 model robustness / performance 를 향상시킨 연구가 등장 – 이하 슬라이드는 두 논문의 motivation, method, experiments를 설명 5
  • 6. Soongsil Univ. DSAI Lab. 2. Confidence calibrated adversarial training – Adversarial training (Madry et al., 2018) – ERM을 통해서 Loss function의 Expectation을 minimize한다고 할 때 (좌), – 입력 데이터 x에 어떤 𝝐 크기 범위 내 𝜹라는 perturbation(데이터 조작)이 있다고 한다면, – 즉, loss를 최대화하는 𝜹를 찾고, 이 perturbation이 적용된 데이터에 대해 loss를 최소화한다. – 이 기법은 adversarial attack (사람이 보기에 동일한 데이터이지만, 모델의 추론이 뒤바뀌게끔 데이터를 약간 조작하는 방법) 등에 robust한 모델을 학습시킨다. – adversarial attack defense를 위한 학습은 대부분 모델 정확도를 하락시키나, 이는 상승시킴. 6
  • 7. Soongsil Univ. DSAI Lab. 2. Confidence calibrated adversarial training – Problems of adversarial training – Adversarial training은 perturbed example에 대해 ERM을 수행하는 방법 – perturbed / interpolated data에 대해 overconfident한 모델을 만든다. – 특히, 사람이 보기에 애매한 데이터더라도 이에 대해 overconfident하다(아래) – 이런 경향은 unseen attack (defense하지 못한 adversarial example)에 대해 취약한 모습을 보인다. 7
  • 8. Soongsil Univ. DSAI Lab. 2. Confidence calibrated adversarial training – Proposed method – 제안 방법은 perturbed example에 대해 label smoothing(기존은 상단)을 취하는 것 – K가 레이블 총 개수일 때, – 𝝀(𝜹)가 기존의 [1,0]과 같은 레이블을 [1-a, a]로 스무딩한다. – 이 때 스무딩은 𝜹의 norm을 사용하여, perturbed된 정도를 활용한다. – 즉 많이 변형되었을 수록 레이블을 더 강하게 스무딩하여 target confidence를 lower한다. 8
  • 9. Soongsil Univ. DSAI Lab. 2. Confidence calibrated adversarial training – Proposed method (continue) – perturbed x가 지칭하게 되는, 어떤 overconfident한 레이블에 대해서 𝜹를 탐색 (좌) – (𝒇𝒌 는 출력 벡터에서 레이블 k에 대한 값을 의미) – perturbed된 x가 특정 레이블의 데이터와 비슷하게 보일것 같으면, 이런 경향을 더 강화하는 adversarial example을 찾도록 한다. – 2에 perturbation을 주었더니 8과 비슷하게 보일것 같으면, 이 경향을 더 강화하는 perturbation을 찾을 수 있다 (우) – 본 제안 방법은 confidence를 낮추는 방법이므로, 이와 같이 overconfident하게 만드는 example을 탐색하는 방법이 학습에 효과적으로 작용한다. 9
  • 10. Soongsil Univ. DSAI Lab. 2. Confidence calibrated adversarial training – Experiments – 제안 방법은 MNIST, SVHN, CIFAR10과 같은 image 데이터에 대해 – Adversarial attack을 기존보다 더 잘 defense, calibrated – 일부 경우에는 vanila model보다 정확도가 향상 10
  • 11. Soongsil Univ. DSAI Lab. 3. Label smoothing using Adversarial Robustness – What is Adversarial Robustness? – Adversarial attack 성공률을 낮추는 것을 의미. – 즉, 데이터에 약간의 변형을 주더라도 모델이 이에 대해 robust한 정도 – adversarial robustness가 낮다는 것은, 데이터가 representation space 상에서 약간만 이동 해도 모델이 잘못 분류한다는 것이며, decision boundary를 너무 tight하게 설정했을 수 있거나, 데이터 자체가 분포에서 상당히 벗어난 경우를 의미. – 이를 잘 갖추기 위해서는 좋은 generalization 능력이 있어야 한다. – Arguments of paper – 그간 calibration과 robustness / adversarial robustness는 그 연관성을 밝히기 어려웠다. – 본 제안 방법에서 adversarial robustness가 낮은 데이터에 대해 uncertainty를 부여하자, 모델이 자연스럽게 calibrate 되었다. 11
  • 12. Soongsil Univ. DSAI Lab. 3. Label smoothing using Adversarial Robustness – Proposed method – 아주 간단하게, r에 따른 smoothing strength를 𝝐𝒓이라고 한다면 – 기존 Label smoothing(좌)을 변형하여 (우)와 같이 smoothed label 𝒑를 만든다. (Z는 레이블 총 개수) – 이 때 smoothed strength를 manually 설정하는 것보다는, dataset을 adversarial robustness에 따라 subset으로 나눈 뒤, 이에 대해 각각의 strength를 설정한다. – model이 miss-calibrated 되었다면 confidence와 accuracy간의 차이가 크므로, 매 학습 스텝 t마다 soft label 𝒑에 반영하여 soften strength를 조정한다. 12
  • 13. Soongsil Univ. DSAI Lab. 3. Label smoothing using Adversarial Robustness – Wrap-up – 저자는 모델은 adversarial attacked 데이터셋에 대해 less confident 해야 한다고 주장 – 이를 위해 smoothing strength를, dataset subset의 각 adversarial robustness에 맞게 조절하고, (subset에 따라 perturbed strength, difficulty가 다를 것이므로) model의 calibrated 정도에 따라 strength를 점점 낮춘다. 13
  • 14. Soongsil Univ. DSAI Lab. 3. Label smoothing using Adversarial Robustness – Experiments – 모델이 잘못된 출력을 내기 위해 데이터를 perturb해야하는 크기(Adversarial robustness level) 에 따라 ECE와 accuracy를 측정한 결과, 제안 방법은 이를 잘 보정함 – 또한 이런 보정 효과에 더불어 정확도도 크게 감소하지 않는 모습을 보여줌. (일반적으론 감소) 14
  • 15. Soongsil Univ. DSAI Lab. 4. Conclusion & Opinion – Summary – 기존에는 Robust한 모델이 calibrated 되었다는 연구만이 있을 뿐, model calibration (Confidence Regularization) 이 robust한 모델과 연결되는지에 대한 연구는 없었음 – 본 제안 방법들은 dataset의 특징 혹은 task difficulty에 따라 calibration strength를 조절하고, 이를 통해 attack에 대해 robust / generalization robust한 모델을 만듦 – Opinion – 졸업논문은 text length가 짧을수록 context information이 작아지고 이로 인해 uncertainty가 상승하므로, regularizing strength도 높혀야 한다고 주장하는 논문 – 본 발표의 논문을 관련연구로 삼아 short text의 uncertainty를 다룬 논문들을 관련연구로 삼을 수 있을 것으로 사료. 혹은 adversarial robustness를 측정해도 좋을 것으로 사료. – Task difficulty에 따라 regularization strength등을 조절하는 Active learning method와도 연결점이 있을 것으로 사료 15
  • 16. Soongsil Univ. DSAI Lab. Reference – Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger Proceedings of the 34th International Conference on Machine Learning, PMLR 70:1321-1330, 2017. – Madry, A., Makelov, A., Schmidt, L., Tsipras, D., and Vladu, A. Towards deep learning models resistant to adversarial attacks. ICLR, 2018 16