Yurii Gavrilin, Provectus Тopic: ML Interpretability: From A to Z

1. Что делать, если у вас черная
коробка, нуждающаяся в
интерпретации?
Юрий Гаврилин,
ML Engineer @ Provectus

2. 2

3. 3
предсказаниефичи

4. Таксономия методов
● Ad-Hoc vs Post-Hoc
● Model-specific or model-agnostic
● Local or global
4

5. Таксономия моделей
● Ad-Hoc vs Post-Hoc
● Model-specific or model-agnostic
● Local or global
5

6. Уровни интерпретируемости
“Прозрачный” алгоритм
Глобальное понимание модели
Глобальное понимание модулей
Локальное понимание группы предсказаний
Локальное понимание предсказания
6

7. Уровни интерпретируемости
“Прозрачный” алгоритм
Глобальное понимание модели
Глобальное понимание модулей
Локальное понимание группы предсказаний
Локальное понимание предсказания
7

8. Свойства предсказаний
● Точность
● Верность
● Консистентность
● Стабильность
● Легкость понимания
● Степень уверенности модели
● Степени важности
● Новизна
● Репрезентативность
8

9. Методы
9

10. Partial Dependence Plot
10

11. PDP available in sklearn
# Example on PD plot in sklearn library
from sklearn.ensemble.partial_dependence import partial_dependence
X_train, X_test, y_train, y_test = train_test_split(...)
features = [0, 5, 1, 2, (5, 1)]
clf = Regressor(...)
clf.fit(X_train, y_train)
fig, axs = plot_partial_dependence(clf, X_train, features)
plt.show()
11

12. Partial Dependence Plot
12

13. Permutation Importance / MDA
13

14. Permutation importance from eli5 library
from eli5.sklearn import PermutationImportance
import sklearn
X_train, X_test, y_train, y_test = train_test_split(..)
model = sklearn.some_odel().fit(X_train, y_train)
perm = PermutationImportance(model).fit(X_test, y_test)
eli5.show_weights(perm)
14

15. SHAP
Что это такое?
Как это работает?
Как пощупать?
15

16. Шәп
Что это такое?
Как это работает?
Как пощупать?
16

17. SHAP
Что это такое?
Как это работает?
Как пощупать?
17

18. 18

19. 19

20. 20

21. 21

22. 22

23. import shap
# train XGBoost model
X,y = shap.datasets.boston()
model = xgboost.train(...)
# explain the model's predictions using SHAP values
# (same syntax works for LightGBM, CatBoost, and scikit-learn models)
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X)
shap.force_plot(explainer.expected_value, shap_values[0,:], X.iloc[0,:])
Пример использования библиотеки shap для объяснения xgboost.XGBClassifier 23

24. Пример использования библиотеки shap для объяснения black box
import sklearn, shap
X_train,X_test,Y_train,Y_test = ... # load iris data
svm = sklearn.svm.SVC(kernel='rbf', probability=True)
svm.fit(X_train, Y_train)
# use Kernel SHAP to explain test set predictions
explainer = shap.KernelExplainer(svm.predict_proba, X_train,
link="logit")
shap_values = explainer.shap_values(X_test, nsamples=100)
# plot the SHAP values for the Setosa output of the first instance
shap.force_plot(explainer.expected_value[0],
shap_values[0][0,:],
X_test.iloc[0,:],
link="logit")
24

25. SHAP Force Plot 25

26. Stacked SHAP Force Plot 26

27. LIME
Что это такое?
Как это работает?
Как пощупать?
27

28. 1. Выбери пример
2. Perturb данные и получи для них
предсказания
3. Взвесь оставшуюся выборку
относительно близости к этому
примеру
4. Выбери интерпретируемую модель
которую можно натренировать на
этих данных
5. Натренируй эту модель на
взвешенных данных
6. Объясни пример, используя эту
интерпретируемую модель
28

29. 29

30. 30

31. 31

32. 32

33. 33

34. 34

35. 35

36. 36

37. 37

38. Superpixels 38

39. Lime Image Explanation 39

40. Lime Image Explanation 40

41. Пример использования библиотеки lime для объяснения sklearn.ensemble.RandomForestClassifier
import lime
import sklearn
data = # load adult dataset
categorical_features = [1,3,5,6,7,8,9,13]
categorical_names = {}
for feature in categorical_features:
le = sklearn.preprocessing.LabelEncoder()
le.fit(data[:, feature])
data[:, feature] = le.transform(data[:, feature])
categorical_names[feature] = le.classes_
X_train, X_test, y_train, y_test = train_test_split(data)
rf = sklearn.ensemble.RandomForestClassifier().fit(X_train, y_train)
explainer = lime.lime_tabular.LimeTabularExplainer(X_test,
feature_names,
class_names,
categorical_features,
categorical_names,
kernel_width=3)
explainer.explain_instance(test[0], rf.predict, num_features=5)
41

42. Anchor
Что это такое?
Как это работает?
Как пощупать?
Зачем он нужен, если у нас есть лайм и шап?
42

43. 43

44. 44

45. 45

46. 46

47. 47

48. 48

49. 49

50. Как строить якоря?
Greedy Beam
Search
50

51. 51

52. 52

53. 53

54. 54

55. 55

56. 56

57. Precision
57

58. Coverage
58

59. 59

60. 60

61. 61

62. 62

63. Как оценивать якоря?
63

64. Как оценивать якоря?
64

65. Как оценивать якоря?
65

66. 66

67. Как выбрать лучший якорь из
сета якорей?
67

68. Как выбрать лучший якорь из сета
якорей?
1. Представьте каждый якорь как рычаг многорукого бандита с
распределением Бернулли
2. Каждый вызов рычага оценивает часть данных
3. Лучший якорь выбирается с помощью алгоритма KL-LUCB
68

69. 69
Способы применение

70. 70

71. 71

72. 72

73. Submodular
Pick
73

74. Some complex math
Submodular set function
74

75. Anchor-SP & Lime-SP
75

76. Anchor-SP
76

77. Materials used:
https://github.com/eclique/RISE
https://github.com/marcotcr/lime
https://github.com/slundberg/shap
https://github.com/marcotcr/anchor
https://christophm.github.io/interpretabl
e-ml-book/
https://www.oreilly.com/learning/introduction-to-local-interpr
etable-model-agnostic-explanations-lime
77