Explanation methods for Artificial Intelligence Models

1. Explanation Methods for
Artificial Intelligence
Models
Carlo Metta, KDD Lab - CNR-ISTI Pisa
24 Maggio 2021

2. Sommario del Talk
Breve sommario degli argomenti presentati:
1. Introduzione all’ Explainable Artificial Intelligence (XAI)
2. Modelli Interpretabili, Spiegabili e Comprensibili
3. Open the Black Box: Formulazione del Problema
4. Classificazione modelli e tecniche XAI
5. Alcuni modelli :
1. LIME: Local Interpretable Model-Agnostic Explanations
2. LORE: Local Rule-Based Explanations
3. SHAP: Shapley Additive Explanations

3. Enorme quantità di Dati
I dati sono prodotti da attività umane,
contengono pertanto bias, pregiudizi,
alterazioni che alterano e indirizzano il
processo di apprendimento
Crescente complessità delle
architetture
Abbiamo da tempo superato il limite di comprensione
umana della quantità di informazione manipolabile e
producibile da un intelligenza artificiale
GDPR
E’ diritto dell’individuo ottenere
spiegazioni soddisfacenti e comprensibili
derivate da processi decisionali artificiali
Enormi rischi sulla qualità
delle decisioni prese
Perdendo il controllo dell’informazione
abbiamo perso il controllo sulla sua qualità,
accuratezza, consistenza e di conseguenza è
messa a rischio la fiducia nell’informazione
stessa
02
01
04
03
Why Explainable Artificial Intelligence ?

4. In cosa consiste l’Explainability ?
L’abilità (passiva) di un modello
che quantifica quanto esso
appartenga ad un dominio
comprensibile dagli umani
L’abilità (passiva) di un
modello di presentarsi in
modo comprensibile dagli
umani
L’abilità (attiva) di un modello
di fornire spiegazioni sul suo
processo decisionale interno
Interpretability Comprehensibility
Explainability
Black Box Predictor
E’ un modello basato su metodi e tecniche di intelligenza artificiale le cui dinamiche e processi
decisionali sono sconosciuti oppure sono conosciuti ma non comprensibili da parte di un essere umano
Explanation
Una interfaccia fra l’umano e il decisore che è simultaneamente un proxy (accurato) del
decisore ed è comprensibile dagli umani

5. Interpretability Locale
e Globale
Complessità e Time
Limitation
Accuratezza e Fedeltà User Expertise
Le qualità di un Modello Interpretabile

6. Albero Decisionale Regola Decisionale
Modello Lineare
Modelli Interpretabili di base
Una funzione che mappa l’insieme delle osservazioni nell’insieme delle
decisioni
1. If-then rules: if condition_1 ∧ condition_2 then outcome.
2. M-of-n-rules: dato un insieme di n regole, se almeno m sono
soddisfatte allora la vale una conseguenza.
3. List of rules: lista di regole ordinate, dove si considera come
verificata la conseguenza della regola che per prima è soddisfatta
4. Falling rules list: lista di regole ordinate rispetto alla probabilità di
una specifica conseguenza
5. Decision sets: insieme non ordinato di regole indipendenti
Nei modelli lineari l’analisi della feature importance è immediata: dipende esclusivamente dal segno e dalla
magnitudine del coefficiente relativo a ciascuna feature.

7. Model Explanation
Transparent Box Design
Outcome Explanation Model Inspection
Opening the Black Box
Black Box Explanation

8. Def: Una Black Box è una funzione b: X^m → Y
che mappa lo spazio delle feature in quello dei
target
Def: Indichiamo invece con c un modello
interpretabile che fornisce una predizione c(x)
comprensibile dagli umani (localmente o globalmente)
(Problem) Data una black box b, un dataset X, il problema consiste nel trovare una spiegazione E ∈ 𝞢
appartenente ad un dominio interpretabile dagli umani 𝞢, attraverso un modello interpretabile c = f (b, X)
derivato da b e da X.
Model Explanation
Il problema consiste nel fornire una spiegazione (globale) attraverso un modello
interpretabile e trasparente
(Explanation) Una spiegazione E ∈ 𝞢 è ottenuta tramite c se E = g (c, X) per qualche logica g con variabili c ed X.

9. Assumiamo che sia dato un modello
interpretabile locale c rispetto a b ed x ∈ X.
(Problem) Data una black box b, una istanza x ∈ X , il problema consiste nel trovare una spiegazione e ∈ 𝞢
appartenente ad un dominio interpretabile dagli umani 𝞢, attraverso un modello locale interpretabile c = f
(b, x) derivato da b e da x.
Outcome Explanation
Il problema consiste nel fornire una spiegazione sull’outcome del modello rispetto ad
una particolare istanza
(Explanation) Una spiegazione e ∈ 𝞢 è ottenuta tramite c se e = g (c, X) per qualche logica g con variabili c
ed X.

10. (Problem ) Data una black box b, un dataset X, il problema consiste nel trovare una rappresentazione
(grafica o testuale) r = f ( b, X) di una proprietà di b.
Model Inspection
Il problema consiste nel fornire una rappresentazione di qualche proprietà della black
box o di una sua predizione
Inspection / Explanation: La seconda richiede l’estrazione di un modello interpretabile mentre la prima si
concentra su specifiche caratteristiche della black box senza richiedere alcuna comprensione.

11. (Problem) Dato un dataset D = (X, Y) il problema consiste nell’apprendimento di un modello interpretabile c
(a partire da D), ossia un modello dotato di una logica g da cui è possibile derivare una spiegazione e = g (c,
X)
Transparent Box Design
Il problema consiste nel costruire direttamente un modello interpretabile (localmente
o globalmente)
Open the Black Box
Un metodo è capace di aprire la black box se si riferisce ad una o più delle seguenti tecniche: (i) spiegazione
del modello, (ii) spiegazione di una predizione del modello, (iii) ispezione delle caratteristiche del modello,
(iv) costruzione modello trasparente.
Ci si riferisce a (i), (ii), (iii) come post-hoc explainability.

12. Principali Tecniche XAI
Decision Tree Decision Rules
Feature
Importance
Saliency Mask
Sensitivity
Analysis
Partial
Dependence Plot
Prototype
Selection
Activation
Maximization

13. LIME
Ribeiro, Singh,
Guestrin, 2016
Local
Interpretable
Model-Agnostic
Explanations
- Model Agnostic: LIME non è dipendente dal modello,
ovvero fornisce spiegazioni per qualsiasi tipo di black
box
- Local Explanations: LIME fornisce spiegazioni che
sono localmente fedeli in un intorno del dato che si
vuole spiegare
- Al momento LIME è limitato a modelli di ML e DL di tipo
supervised
- https://github.com/marcotcr/lime
Repository con +2k forks

14. Dato un modello predittivo (black box) B ed un dato X, LIME fornisce una
spiegazione locale e fedele di B attorno ad X:
- Sampling and obtaining a surrogate dataset: LIME produce un
intorno locale centrato in X (normale standard, 5000 samples) del
vettore delle features; successivamente classifica tale intorno con
il predittore B. Tale intorno è a tutti gli effetti un dataset surrogato
attorno ad X rispetto a B.
- Feature Selection from the surrogate dataset: una volta ottenuto il
dataset surrogato, pesa i differenti punti del dataset a seconda
della loro distanza da X. Successivamente utilizza delle tecniche di
feature selection (LASSO) per estrarre le feature più importanti, e
da queste apprendere un modello lineare localmente fedele.
Come funziona LIME?

15. LORE
Guidotti, Monreale,
Ruggieri, Pedreschi,
Turini, Giannotti, 2018
Local Rule-Based
Explanations
- Rule-Based: LORE fornisce spiegazioni sotto forma di
decision rules
- Local Explanations: LORE fornisce spiegazioni che
sono localmente fedeli in un intorno del dato che si
vuole spiegare
- Non genera l’intorno di un dato in modo random bensì
con algoritmo genetico
- https://github.com/riccotti/LORE

16. Dato un classificatore binario (black box) B ed un dato X, LORE
fornisce una spiegazione locale e fedele di B attorno ad X:
- Genetic sampling of a surrogate dataset: LORE produce due
intorni locali di X del vettore delle features tramite
iterazioni di un algoritmo genetico rispetto ad una data
funzione di fitness, un intorno di classe positiva Z+ ed uno
di classe negativa Z- rispetto ad X.
- Rule extraction: una volta ottenuto il dataset surrogato Z =
Z+ U Z-, costruisce un albero decisionale su Z da cui estrae
regole e controfattuali.
Come funziona LORE?

17. A partire da un albero decisionale è possibile estrarre regole e controfattuali seguendo i sentieri dalla radice fino
alle foglie.
La generazione genetica del dataset surrogato locale permette a LORE di performare meglio ed essere più fedele
rispetto a LIME.

18. SHAP
Scott, Lundberg, Su-In
Lee, 2017
Shapley Additive
Explanations
- Feature Importance: SHAP attribuisce un’importanza
(un peso) a ciascuna feature
- Model Agnostic: crea spiegazioni per ogni possibile
black box senza utilizzare la particolare struttura
interna
- Prende spunto dalla teoria di Shapley in teoria dei
giochi collaborativa. E’ computazionalmente costoso ma
molto accurato
- https://github.com/slundberg/shap
Repository with +2k forks

19. Dato un gioco cooperativo, ovvero un insieme di N giocatori ed
una funzione caratteristica v: 2^N → R:
- Data una coalizione S, v(S) rappresenta la reward
associata alla coalizione S, in particolare v(0)=0 e v è una
funzione super additiva.
- Il valore di Shapley rappresenta una fair share della
reward fra i diversi componenti del gioco.
Cosa sono i valori di Shapley?
Proprietà dei valori di Shapley:
- Simmetria: giocatori con ruolo scambiabile devono
ricevere la stessa ricompensa
- Giocatori inutili: giocatori il cui contributo è nullo
devono ottenere ricompensa nulla
- Additività: la somma dei valori di Shapley di tutti i
giocatori equivale alla reward della coalizione totale
- Linearità: i valori di Shapley di più giochi cooperativi
sullo stesso insieme di giocatori sono una funzione
lineare

20. Come funziona SHAP?
IDEA - Prendiamo il gioco cooperativo (N,v): dove N è l’insieme delle feature mentre v è una
opportuna misura che associa a ciascun sottoinsieme di feature la sua influenza sulla
classificazione che il modello fornisce su un sample.
Domanda - Qual è la scelta corretta per v che soddisfa le buone proprietà della teoria si Shapley?

21. THANKS!
carlo.metta@isti.cnr.it
carlometta@gmail.com