https://ek.biem.sumdu.edu.ua/

1. 1
1
Застосування прогнозних моделей
Маркетинг на основі баз даних
Управління фінансовими ризиками
Виявлення шахрайства
Моніторинг процесу

2. 2
2
Приклад з прямою почтовою розсилкою про
благодійність
Ціль аналізу:
Організація ветеранів прагне
продовжувати отримувати пожертви від
колишніх благодійників. Використовуйте
відгук благодійників під час попередньої
кампанії, щоб спрогнозувати майбутній
відгук благодійників.
План аналізу:
• Задати дані для моделювання.
• Побудувати і порівняти прогнозні моделі.

3. 3
3
Скорингові дані для прогнозної моделі
Відомі тільки вхідні значення
?
?
?
?
?
спост. 1: входи
спост. 2: входи
спост. 3: входи
спост. 4: входи
спост. 5: входи
Навчальний набір даних
Скоринговий набір даних
Чисельні, номінальні чи бінарні
значення
спост. 1: входи
спост. 2: входи
спост. 3: входи
спост. 4: входи
спост. 5: входи
цільова
цільова
цільова
цільова
цільова

4. 7
7

5. 8
8

6. 9
9

7. 10
10

8. 11
11

9. 12
12

10. 13
13

11. 14
14

12. 15
15

13. 16
16

14. 17
17

15. 18
18

16. 19
19

17. 20
20

18. 21
21

19. 22
22
Важливі елементи прогнозних моделей
Спрогнозувати нові спостереження.
Обрати важливі вхідні змінні.
Оптимізувати складність.
нові
спост.
x1 x2 x3 x4

20. 23
23
Важливі елементи прогнозних моделей
Спрогнозувати нові спостереження.
Обрати важливі вхідні змінні.
Оптимізувати складність.
нов.
спост.
x1 x2 x3 x4

21. 24
24
прогноз
прогноз
прогноз
прогноз
прогноз
Три типи прогнозування
цільова
цільова
цільова
цільова
цільова
спост. 1: входи
спост. 2: входи
спост. 3: входи
спост. 4: входи
спост. 5: входи
Навчальний набір даних Прогнози
• Рішення
• Рейтинги
• Оцінки

22. 25
25
Прогнози-рішення
спост. 1: входи
спост. 2: входи
спост. 3: входи
спост. 4: входи
спост. 5: входи
Навчальний набір даних Рішення
Модель використовує
вхідні вимірювання
для прийняття
найкращого рішення
для кожного
спостереження.
основне
вторинне
третинне
основне
вторинне
цільова
цільова
цільова
цільова
цільова

23. 26
26
Прогнози-рейтинги
prediction
prediction
prediction
prediction
prediction
спост. 1: входи
спост. 2: входи
спост. 3: входи
спост. 4: входи
спост. 5: входи
Навчальний набір даних Рейтинги
Модель використовує
вхідні вимірювання
для знаходження
оптимального
рейтингу для кожного
спостереження.
720
520
620
580
470
цільова
цільова
цільова
цільова
цільова

24. 27
27
Прогнози-оцінки
prediction
prediction
prediction
prediction
prediction
спост. 1: входи
спост. 2: входи
спост. 3: входи
спост. 4: входи
спост. 5: входи
Навчальний набір даних Оцінки
Модель використовує
вхідні вимірювання
для отримання
оптимальної оцінки
цільового значення.
0,65
0,33
0,54
0,47
0,28
цільова
цільова
цільова
цільова
цільова

25. 28
28
Важливі елементи моделі – обзор
прогнозування
Спрогнозувати нові
спостереження.
Обрати важливі вхідні змінні.
Оптимізувати складність.
нов.
набл.
Вирішити,
ранжувати,
оцінити
x1 x2 x3 x4

26. 29
29
Важливі елементи моделі – огляд вибору
Спрогнозувати нові спостереження.
Обрати важливі вхідні змінні.
Оптимізувати складність.
x1 x2 x3 x4
нов.
набл.

27. 30
30
“Прокляття розмірності”
1–D
2–D
3–D

28. 31
31
Вибір вхідних змінних
Надлишковість Недоречність

29. 32
32
Важливі елементи моделі – обзор вибору
Спрогнозувати нові
спостереження.
Обрати важливі вхідні
змінні.
Оптимізувати складність.
x1 x2 x3 x4
нов.
набл.
Видалити
надлишковість,
недоречність
Вирішити,
ранжувати,
оцінити

30. 33
33
Важливі елементи моделі – оптимізація
Спрогнозувати нові спостереження.
Обрати важливі вхідні змінні.
Оптимізувати складність.
нов.
набл.
x1 x2 x3 x4

31. 34
34
“Золото дурака”
Моя модель ідеально
підходить до навчальної
вибірки даних...
Я знайшов золоту жилу!

32. 35
35
Складність моделі
Занадто
гнучка
Недостатньо
гнучка

33. 36
36
Поділ даних

34. 37
37
Роль навчальних даних
спост. 1: входи
спост. 2: входи
спост. 3: входи
спост. 4: входи
спост. 5: входи
спост. 1: входи
спост. 2: входи
спост. 3: входи
спост. 4: входи
спост. 5: входи
Навчальні дані
Перевірочні дані
Навчальні дані дають
последпослідовність
прогнозних моделей
зі складністю, що зростає.
цільова
цільова
цільова
цільова
цільова
цільова
цільова
цільова
цільова
цільова

35. 38
38
Роль перевірочних даних
спост. 1: входи
спост. 2: входи
спост. 3: входи
спост. 4: входи
спост. 5: входи
спост. 1: входи
спост. 2: входи
спост. 3: входи
спост. 4: входи
спост. 5: входи
Навчальні дані
Перевірочні дані
цільова
цільова
цільова
цільова
цільова
Перевірочні дані
допомогають обрати
найкращу модель із
послідовності
цільова
цільова
цільова
цільова
цільова
...

36. 39
39
Важливі елементи моделі - оптимізація
Спрогнозувати нові
спостереження.
Обрати важливі
вхідні змінні.
Оптимізувати
складність.
нов.
набл.
x1 x2 x3 x4
Видалити
надлишковість,
недоречність
Вирішити,
ранжувати,
оцінити
Налаштувати моделі
за допомогою
перевірочних даних

37. 40
40

38. 41
41

39. 42
42

40. 43
43

41. 44
44
Важливі елементи моделі – дерева рішень
Спрогнозувати нові
спостереження.
Обрати важливі вхідні
змінні.
Оптимізувати
складність.
x1 x2 x3 x4
нов.
набл.
Правила
прогнозування
Пошук
розгалужень
Скорочення

42. 45
45
Демонстрація простого прогнозу
Ціль аналізу:
Спрогнозувати
колір точки на
основі її положення
на діаграмі
розсіювання.
0.0 0.5
0.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x1
x2

43. 46
46
Важливі елементи моделі – дерева рішень
Спрогнозувати нові
спостереження.
Обрати важливі
вхідні змінні.
Оптимізувати
складність.
нов.
набл.
Правила
прогнозування
Пошук розгалужень
Скорочення
x1 x2 x3 x4

44. 47
47
Правила прогнозування дерева рішень
0.0 0.5
0.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x1
x2
40%
60%
55%
70%
x1
<0,52 ≥0,52 <0,51 ≥0,51
x1
x2
<0,63 ≥0,63
кореневий вузол
внутрішній вузол
лист

45. 48
48
Правила прогнозування дерева рішень
0.0 0.5
0.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x1
x2
40%
60%
55%
70%
x1
<0,52 ≥0,52 <0,51 ≥0,51
x1
x2
<0,63 ≥0,63
нов.
набл.

46. 49
49
Правила прогнозування дерева рішень
0.0 0.5
0.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x1
x2
Рішення =
Оцінка = 0,70
40%
60%
55%
70%
x1
<0,52 ≥0,52 <0,51 ≥0,51
x1
x2
<0,63 ≥0,63
нов.
набл.

47. 50
50
Важливі елементи моделі– дерева рішень
Спрогнозувати нові
спостереження.
Обрати важливі
вхідні змінні.
Оптимізувати
складність.
x1 x2 x3 x4
нов.
набл.
Правила
прогнозування
Пошук
розгалужень
Скорочення

48. 51
51

49. 52
52
 




n
k ected
ected
observed
1
2
2
exp
exp

    4
,
3
1
5
4
5
5
1
2
2
2







50. 53
53
http://www.danielsoper.com/statcalc3/calc.aspx?id=11

51. 54
54
1858
,
1
)
06519
,
0
log(
)
(
log
log 2
10 




 value
p
for
worth 

52. 55
55
Пошук розгалужень в дереві рішень
0.0 0.5
0.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
x1
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x2
Обчисліть значення
logworth=-log10(p-value)
кожного розподілу по
вхідній змінній x1.
ліва права
...

53. 56
56
)
log(
log значення
р
worth 


)
2
,
0
log(
7
,
0
log 


worth

54. 57
57
Пошук розгалужень в дереві рішень
0.0 0.5
0.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x1
x2
53% 42%
47% 58%
ліва права
Макс.
logworth(x1)
0,95
0,52
Оберіть розподіл з
найбільшим
значенням logworth.

55. 58
58
Пошук розгалужень в дереві рішень
0.0 0.5
0.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x1
x2
53% 42%
47% 58%
ліва права
Макс.
logworth(x1)
0,95
Повторіть процес для
вхідної змінної x2.

56. 59
59
Пошук розгалужень в дереві рішень
0.0 0.5
0.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x1
x2
54% 35%
46% 65%
нижня верхня
Макс.
logworth(x2)
4,92
53% 42%
47% 58%
ліва права
Макс.
logworth(x1)
0,95
0,63

57. 60
60
Пошук розгалужень в дереві рішень
0.0 0.5
0.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x1
x2
0,63
x2
<0,63 ≥0,63
Створіть правило
розгалуження на
основі найкращого
поділу серед всіх
вхідних змінних.

58. 61
61
Пошук розгалужень в дереві рішень
0.0 0.5
0.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x1
x2
x2
<0,63 ≥0,63
Повторіть процес для
кожної підмножини.

59. 62
62
Пошук розгалужень в дереві рішень
0.0 0.5
0.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x1
x2
61% 40%
39% 60%
ліва права
logworth(x1)
5,72
Оберіть розгалуження з
максимальним
значенням logworth по
вхідній змінній x1.
0.52

60. 63
63
Пошук розгалужень в дереві рішень
0.0 0.5
0.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x1
x2
61% 40%
39% 60%
ліва права
logworth(x1)
5,72
38% 55%
62% 45%
нижня верхня
logworth(x2)
-2,01
0,02
Повторіть процес для
вхідної змінної x2.

61. 64
64
Пошук розгалужень в дереві рішень
0.0 0.5
0.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x1
x2
x2
x1
<0,63 ≥0,63
<0,52 ≥0,52
Створіть друге
правило
розгалуження.

62. 65
65
Пошук розгалужень в дереві рішень
0.0 0.5
0.1 0.2 0.3 0.4 0.6 0.7 0.8 0.9 1.0
0.0
0.5
0.1
0.2
0.3
0.4
0.6
0.7
0.8
0.9
1.0
x1
x2
Повторіть вищеописані кроки до
формування максимального дерева.

63. 66
66

64. 67
67

65. 68
68

66. 69
69

67. 70
70

68. 71
71

69. 72
72

70. 73
73

71. 74
74

72. 75
75

73. 76
76

74. 77
77

75. 78
78

76. 79
79
Важливі елементи моделі – дерева рішень
Спрогнозувати нові
спостереження.
Обрати важливі
вхідні змінні.
Оптимізувати
складність.
Правила
прогнозування
Пошук розгалужень
Скорочення
нов.
набл.
x1 x2 x3 x4

77. 80
80
Оцінки прогнозних моделей
Рішення
Рейтинги
Оцінки
Средньоквадрати
чна похибка
Точність
Помилкова
класифікація
Узгодженість
Неузгодженість
 D1
 D0
 R
 r
 p1
 




N
t
i
i y
y
N
помилка
адратична
Середньокв
1
2
ˆ
1

78. 81
81
Квадратична помилка
Неузгодженість
Помилкова класифікація
Оптимістична оцінка, песимістичні
статистики
40%
38%
42%
40%
35%
45%
0.24
0.22
0.26
Збільшення кількості листів
покращує оцінки на
навчальних даних.

79. 82
82
Незміщена оцінка
Квадратична помилка
Неузгодженість
Помилкова класифікація
40%
38%
42%
40%
35%
45%
0.24
0.22
0.26
Збільшення кількості листів
може погіршити оцінки на
перевірочних даних.

80. 83
83
Стратегія скорочення
Створити
максимальне дерево.
Знайти оптимальні
піддерева.
Обрати найкраще
піддерево.

81. 84
84
Стратегія скорочення
Створити
максимальне дерево.
Знайти оптимальні
піддерева.
Обрати найкраще
піддерево.
...

82. 85
85
Стратегія скорочення
Створити
максимальне дерево.
Знайти оптимальні
піддерева.
Обрати найкраще
піддерево.

83. 86
86

84. 87
87

85. 88
88

86. 89
89

87. 90
90

88. 91
91

89. 92
92

90. 93
93

91. 94
94

92. 95
95
Налаштування за замовчуванням
автономного дерева рішень
Максимальна кількість
гілок
Значення для критерію
розподілу
Опції зупинки
Метод скорочення
Метод заповнення
Пропущених значень
…
?
Logworth
Середній прибуток
Кращий лист
Пороговий logworth
Налаштування глибини
Макс. глибина, мін. розмір листа
2
...

93. 96
96
Різновиди дерев: множинні розгалуження
Замінюють висоту на
ширину
Ускладнюють пошук
розгалужень
Використовують
евристичні швидкі
методи

94. 97
97
Різновиди дерев: значення для критерію
розгалуження
Призводять до тих же
розгалужень
Вирощують
величезні дерева
Підходять для багаторівневих
вхідних змінних

95. 98
98
Різновиди дерев: значення для критерію розгалуження
Корегування значення logworth
Критерій
розгалуження:
Chi-sq logworth
Entropy
Gini
Variance
ProbF logworth

96. 99
99
Разновидности деревьев: правила
остановки
Избегают
изолированных узлов
Управляют
чувствительностью
Выращивают большие
деревья

97. 100
100
Разновидности деревьев: правила остановки
Минимальный размер листа
Пороговый logworth
Максимальная глубина дерева
Настройка пороговой глубины

98. 101
101
Разновидности деревьев: сокращение и
пропущенные значения
Управляют
чувствительностью
Помогают при выборе
входных переменных
?

99. 102
102
Разновидности деревьев: сокращение
Метрика
сокращения:
Decision (profit)
Avg. Square Error
Misclassification
Lift
Опции
сокращения:
Assessment
Do not prune
Prune to size

100. 103
103
Разновидности деревьев: пропущенные значения
Суррогатные правила