Тестирование искусственного интеллекта: с какой стороны подступиться?

1. Тестирование искусственного
интеллекта: с какой стороны
подступиться?
Игорь Хрол, Минск

2. Кто перед вами?
● Игорь Хрол
● 12 лет в отрасли
● Инженер, тимлид, менеджер, тренер,
консультант
● Python, Scala, C#, Java и другое
● www.khroliz.com
2

3. 3

4. 4

5. 7

6. 8

7. 9
Предсказание выживаемости
Обученная
Модель
Информация
о пассажире

8. Логистическая регрессия
10

9. 11
Информация
о пассажире
Признаки Умножаем
на веса
Применяем
логистическую
функцию

10. 12
Информация
о пассажире
Признаки Умножаем
на веса
Применяем
логистическую
функцию

11. 13
Информация
о пассажире
Признаки Умножаем
на веса
Применяем
логистическую
функцию

12. 14
Информация
о пассажире
Признаки Умножаем
на веса
Применяем
логистическую
функцию

13. 15
Информация
о пассажире
Признаки Умножаем
на веса
Применяем
логистическую
функцию

14. 16
Информация
о пассажире
Признаки Умножаем
на веса
Применяем
логистическую
функцию

15. Как тестировать?
17

16. Неясен ожидаемый результат
18

17. Подбор весовых коэффициентов
19
или

18. Функция ошибок
20

19. Средняя ошибка
21

20. Поиск лучших коэффициентов
22

21. 23

22. 24

23. Решена ли задача?
25

24. 26

25. 27
Результат на всех данных

26. Обучающая и тестовая выборки
28

27. Обучаем на ⅔ данных
29

28. 30

29. 31
Можно ли лучше?

30. 32

31. 33

32. 34
78.3% вместо 77.6% ранее

33. 35
Улучшаем дальше?..

34. 36

35. 37

36. Две проблемы в машинном обучении
Недообучили Переобучили
38
Ok

37. Регуляризация
39

38. Как выбрать параметр С?
40

39. Validation выборка
41
train test
train validation

40. Cross-validation
42
train test
train validation
train
validation
validation
traintrain

41. 43

42. 44

43. 45

44. 46
В чём проблема?
● 0 - хорошая банка, 1 - плохая
● Процент брака - 0.01%
● Классификатор всегда отдаёт 0
Точность - 99.99%!

45. Precision & Recall
47

46. Precision & Recall
100000 банок из них 10 брака (0.01%).
Классификатор определил 20 банок в брак.
48
# tp fp fn precision recall
1 1 19 9 1/20=0.05 1/10=0.1
2 5 15 5 5/20=0.25 5/10=0.5
3 10 10 0 10/20=0.5 10/10=1

47. Precision & Recall
100000 банок из них 10 брака (0.01%).
49
# tp fp fn precision recall
2 5 15 5 5/20=0.25 5/10=0.5
4 6 19 4 6/25=0.24 6/10=0.6

48. F1 score
50
# tp fp fn precision recall F1 score
2 5 15 5 5/20=0.25 5/10=0.5 0.333333
4 6 19 4 6/25=0.24 6/10=0.6 0.342857

49. F1 score
51
# tp fp fn precision recall F1 score F0.5 score F2 score
2 5 15 5 5/20=0.25 5/10=0.5 0.333333 0.277778 0.416667
4 6 19 4 6/25=0.24 6/10=0.6 0.342857 0.272727 0.461538

50. Напоследок… Что почитать?
● www.coursera.org/learn/machine-learning/home/welcome
● www.youtube.com/watch?v=T_YWBGApUgs&t=21524s
● www.eecs.tufts.edu/~dsculley/papers/ml_test_score.pdf
● kaggle.com
● ods.ai
59

51. Спасибо!
Вопросы?
60
Игорь Хрол
khroliz@gmail.com
www.khroliz.com