안녕하세요 딥러닝 논문읽기 모임 입니다. 오늘 소개 드릴 논문은 2021년 ICLR 에 억셉된 NBDT : Neural-backed Decision Tree 라는 논문 입니다 초록 : Machine learning applications such as finance and medicine demand accurate and justifiable predictions, barring most deep learning methods from use. In response, previous work combines decision trees with deep learning, yielding models that (1) sacrifice interpretability for accuracy or (2) sacrifice accuracy for interpretability. We forgo this dilemma by jointly improving accuracy and interpretability using Neural-Backed Decision Trees (NBDTs). NBDTs replace a neural network's final linear layer with a differentiable sequence of decisions and a surrogate loss. This forces the model to learn high-level concepts and lessens reliance on highly-uncertain decisions, yielding (1) accuracy: NBDTs match or outperform modern neural networks on CIFAR, ImageNet and better generalize to unseen classes by up to 16%. Furthermore, our surrogate loss improves the original model's accuracy by up to 2%. NBDTs also afford (2) interpretability: improving human trustby clearly identifying model mistakes and assisting in dataset debugging. Code and pretrained NBDTs are at this https URL. 오늘 논문 리뷰를 이미지 처리팀 안종식님이 자세하고 친절한 리뷰 도와주셨습니다. 감사합니다 문의 : tfkeras@kakao.com

1. 2021년 5월 23일
딥러닝 논문읽기 모임
이미지 처리팀 : 김병현 안종식 이찬혁 홍은기
NBDT : Neural-backed Decision Tree
Wan, Alvin et al. (UC Berkely)
ICLR 2021

2. Contents
Introduction 01
03
02
04
05
Experiments
Related Works
Method
Conclusion

3. Introduction
01

4. 01. Introduction
1. Necessity of Research
[ PCB Inspection System ]
Open Defect Image Traditional Image Processing
Post-Processing
Thresholding
Find Condition
Open Defect !

5. 01. Introduction
1. Necessity of Research
[ PCB Inspection System ]
Open Defect Image Deep Learning Based
Model Probability of “open” : 99%
Probability of “Short” : 1%
Probability of “Particle” : 5%
Deep Learning is Black Box !

6. 01. Introduction
1. Necessity of Research

7. 01. Introduction
2. Interpretability
1) Manipulating and Measuring Model Interpretability, Microsoft, 2021
Able to debug Model or Dataset Improving human trust

8. Related Works
02

9. 02. Related Works
1. Saliency Map
1) Grad-CAM : Visual Explanations from Deep Networks via Gradient-based Localization
Input Image Saliency map Guided Backpropagation

10. 02. Related Works
1. Saliency Map
1) Grad-CAM : Visual Explanations from Deep Networks via Gradient-based Localization
- Output을 도출할 때, Input의 어느 부분이 영향을 얼마나 주는가 ?
검은목논병아리 귀뿔논병아리
Not enough to explain “Why?”

11. 02. Related Works
2. Sequential Decision Processes
1) Decision Tree
- Rule Base Model과 같이 의사결정 단계를 작게 쪼게 확인 가능
Oblique Decision Tree
Decision Tree

12. Q & A

13. Method
03

14. 03. Method
1. Architecture
- Classification Head의 마지막 FCN Layer 뒤에 Oblique Decision Tree가 추가적으로 Attach
Feature Extractor
Classification Head
(FCN)
Can Apply to Any Classification Models!
Induced Hierarchies

15. 03. Method
2. Build Induced Hierarchies
1) Pre-train Model
- NBDTs는 Pre-train Model이 필요 : Pretrain Model의 마지막 FCN Layer Weight를 이용해 Hierarchies 구성
Build
Hierarchies
Inference

16. 03. Method
2. Build Induced Hierarchies
2) Agglomerative Clustering
- build Hierarchies

17. 03. Method
2. Build Induced Hierarchies
2) Agglomerative Clustering
- build Hierarchies
k
Weight Space
Clustering Repeat

18. 03. Method
2. Build Induced Hierarchies
2) Agglomerative Clustering
- build Hierarchies
Problem 1. Problem 2.
?
?

19. 03. Method
2. Build Induced Hierarchies
3) WordNet : 단어들을 계층적으로 구조화 해 놓은 것
- Clustering 된 두 Class들의 공통 조상을 WordNet에서 찾음
[ WordNet ]
CIFAR-100

20. 03. Method
2. Build Induced Hierarchies
4) Set Weight of Induced Hierarchies
Step A,B) Load Pretrain Model’s Weight & Allocate Weight to each Leaf Nodes
Step C) Set Parent Vector : Average of Child Node
Step D) Repeat Until Set all node’s weight
𝑣𝑒𝑐𝑡𝑜𝑟 𝑛1
d
k
Average

21. 03. Method
3. Inference
1) Soft Decision Tree vs Hard Decision Tree
Inner
Product
- Probability of class K - Final Prediction
“분기” 개념보다
“Path” 개념에 가깝다!
Softmax

22. 03. Method
4. Loss
1) Tree Supervision Loss

23. 03. Method
4. Loss
1) Tree Supervision Loss
Feature Extractor
Classification Head
(FCN)
Induced Hierarchies
0  0.5 1  0

24. Q & A

25. EXPERIMENTS
04

26. 04. Experiments
1. Accuracy
1) Small-scale Datasets

27. 04. Experiments
1. Accuracy
2) Large-scale Datasets

28. 04. Experiments
2. Ablation Study
1) Hierarchies

29. 04. Experiments
2. Ablation Study
2) Losses

30. 04. Experiments
3. Interpretability : Survey
1) 방법 : Saliency Map과 NBDT 설명이 주어졌을 때, 어느 것이 더 옳게 찾는지 Survey
2) 종류
a) 주어진 설명을 통해서 Model의 오탐지를 찾을 수 있는가?
- 결과 : 600개의 응답 중 Saliency Map은 87개 정답 / NBDT는 237개 정답
b) 어떤 모델의 판단을 더 신뢰하는가?
- 결과 : 374개의 응답 중 65.9%가 NBDT를 더 신뢰함

31. 04. Experiments
3. Interpretability : Survey
c) 판단이 어려운 상황에서 모델의 예측을 신뢰할 수 있는가?
- 매우 Blur한 이미지와 각 모델이 예측한 결과를 제시
> 이때, Prediction의 결과는 다름 (NBDT가 정답 : Saliency Map가 정답 : 둘 다 틀림 = 3 : 3 : 4)
- 결과 : 600개의 응답 중 167개 Saliency Map의 결과에 동의, 312개 NBDT의 결과에 동의, 나머지는 둘다 반대
> 600개의 결과 중 255개의 응답이 정답을 맞춤

32. 04. Experiments
3. Interpretability : Analysis
2) Model이 헷갈리는 이미지를 찾는데 사용될 수 있는 가?
- 헷갈리는 문제에서, 확실한 부분은 높은 Probability를, 헷갈리는 부분에서는 낮은 Probability를 보인다
- 위를 이용하여 “Path Entropy”를 계산하여 헷갈리는 Image를 구분해낼 수 있다.

33. 04. Experiments
3. Interpretability : Analysis
3) Model이 헷갈리는 이미지를 찾는데 사용될 수 있는 가?
- ImageNet 내의 Multi Target Image를 분류하는데 사용 가능

34. Conclusion
05

35. 05. Conclusion
1. Contribution
1) Accuracy를 유지하며 Interpretability를 향상
2) Grad-CAM 기법에 비해 Interpretability가 높음
3) 모든 Model에 적용 가능
2. Discussion
1) Good
- Survey 기반으로 Human Trust를 수치화 한 것은 인상적
- ImageNet의 잘못된 Image를 분리해 낼 수 있다 : Sub-Result
2) Bad
- 논문 전반적으로 혼동이 올 수 있는 언어 사용 / 설명 Skip이 많음

36. Q & A

37. THANK YOU
for Watching