wooribank PoC Group Week3

1. XAI - Week 3
(Explainable Artificial Intelligence)

2. Contents
1. Model agnostic techniques Intro
2. Model agnostic techniques
2.1) LIME
2.2) SHARP

3. 1. Model agnostic techniques Intro

4. What is Model Agnostic
Model Agnostic 은 선행된 학습모델과 상관없이 독립적으로 진행된다는 의미임.
이러한 기법들 중 최근 많이 사용되는 방법이 LIME 같은 대리분석(Surrogate Analysis)임
X1
X2
Xn
Blackbox
Interpretable1 - LIME
Interpretable2 - SHAP
표1. Model Agnostic 예시 도식화
Model Agnostic Technique 3가지 요소
1. Explanation by simplification (i.e LIME, G-REX, CNF, DNF 등)
2. Feature relevance explanation (i.e SHAP, QII등)
3. Visual explanation (i.e Sensitivity Analysis, ICE plots 등)

5. 2.1 Model agnostic techniques - LIME

6. 논문에서 이상적인 Explainable model은 interpretabie, local fidelity, model-agnostic, global
perspective 4가지의 특성을 가지고 있어야 한다고 함. Vanila LIME은 3가지를 만족, SP-LIME은 4가지를
만족함.
What is LIME?
LIME(Local Interpretable Model-agnostic Explanations)은 Local Surrogate1) 분석기법으로 데이터 하나
에 대해 black-box model의 학습방식을 모사하는 Explainable model의 변수 가중치를 통해 해석가능한
locally-faithful 모델
1) Surrogate 분석은 전체 데이터셋 혹은 하나의 데이터를 활용하여 블랙박스 모형을 해석하는 것을 기준으로 Global Surrogate와 Local Surrogate로 나뉨,
Ref : https://arxiv.org/pdf/1602.04938.pdf?ref=morioh.com - “Why Should I Trust You?” Explaining the Predictions of Any Classifier
증상 및 환자정보
-> 감기로 예측(분류)
유사모델을 통한 증상 및 환자정보
(Super pixel 조합) 중요도 설명

7. ● Interpretable Data Representations
black-box model에서 사용한 Feature 와 달리 LIME은 해당피쳐의 존재유무 로 표현
● Fidelity-Interpretablility Trade-off
black-box model을 explainable model을 로 정의, g는 해석가능한 어떤 모델이든 가능
(i.e linear models)하며 input으로 을 받음, g의 complexity는 로 정의 (i.e depth of tree,
number of non-zero weight), 기준데이터와 sample간 거리(locality)를 로 정의
위 4가지 요소를 포함하여 loss function을 설계하면
● Sampling for Local Exploration
위 Loss를 최소화하는 방향으로 g가 f에 대한 결과를 label삼아 최대한 낮은 complexity로 학습함
1) data는 x(설명할 관찰치)를 기준 를 통해 weighted sampling -> ※정의
※ feature개수(d’)만큼 길이의 one-hot vector, 해당 피쳐 존재 여부
2) g(z`)와 f(z), 의 loss를 낮추면서, g가 최대한 낮은 complexity갖게 학습
3) f와 g의 로스가 최소가 되면 g의 weigh값을 통해 x 샘플을 설명
How it works
Locally weighted Square loss
D는 text일때 cosine, image일때 l2norm

8. Pros and cons
● Pros
1) 입력 데이터를 변형해서 설명력을 구하기 때문에 Model Agnostic 함.
2) 매트릭스로 표현이 가능한 데이터라면 domai에 상관없이 모두 적용할 수 있음.
3) 다른 XAI 기법과 비교시 매우 가벼움
4) sub-moduler를 찾고 설명을 하기 때문에 결과가 직관적임.
● Cons
1) 불확실성 : 슈퍼 픽셀을 구하는 알고리즘과 모델 g의 결정경계 확정방식이 non-deterministic임.
-> 슈퍼 픽셀 알고리즘에 따라 마스킹 데이터가 달라짐
-> 샘플링 위치에 따라 다른 결과가 나올 수 있음
2) global 설명력에 대한 부분은 고려가 되지 않음 (Submodular pick 알고리즘으로 보완)

9. Submodular Pick LIME
기존 LIME에 없던 global 설명부분을 보완하기 위해 단 1
개의 sub-module을 만드는 것이 아닌 복수개의 sub-
module을 만들어 가장 높은 weigh를 가진 feature를 포함
하면서 feature를 가장 많이 cover할 수 있는 sub-module
최소조합을 pick하는 알고리즘을 추가함.

10. 2.2 Model agnostic techniques - SHAP

11. What is SHAP?
SHAP(Shapley Additive exPlanations)은 변수간 독립성을 가정하고 각 피처가 얼마나 예측에 기여를 하
는지를 1)Shaply값으로 추론하는 Model Agonistic 방식
1) 각 사람의 기여도는 그 사람의 기여도를 제외했을때 전체 성과의 변화 정도로 나타낼 수 있다는 협조적 게임이론(cooperative game theory)
Shaply value
I번째를 포함한 전체 기여도
I번째를 제외한 나머지 피처들이 공헌한 기여도
M은 전체 피처수, S는 I 번째 피처를 제외한 나머지 피처수
전체 피처의 측정치에서 I 번째 피처가 제외된 측정치의 차이를 모델 성능 기여도라고 보며, 다른변수
들과의 조합을 가중 평균하여 구하기 때문에 위 그림과 같이 변수별로 양/음 의 기여측정이 가능해 짐
Ref : https://arxiv.org/abs/1802.03888 - “Consistent Individualized Feature Attribution for Tree Ensembles”

12. Pros and cons
● Pros
1) 기존 Feature Importance 방식과 달리 피처간 의존성까지 고려하여 양/음 방향 영향도를 계산
2) SHAP의 변수별 영향도의 합은 1로서 다른 모델 간 변수 영향도 비교 가능해 짐.
3) PDP는 표현할 수 있는 최대 차원이 3차원이나 SHAP는 상관없음.
● Cons
1) 피처별 결측을 시뮬레이션 해야하기 때문에 계산량이 제곱으로 늘어 느림.
2) 기존 데이터를 빋고 해석하기 때문에 아웃라이어 데이터에 취약

13. Next Study
2-3. Model agnostic techniques
- Explanation by simplification (G-REX)
- Feature relevance explanation (PDP, Feature Importance)