Лекция 3

1. Лекция 3. Линейная регрессия
Авдеенко Татьяна Владимировна,
Новосибирский государственный
технический университет,
Факультет бизнеса,
Кафедра экономической информатики

2. Две основные задачи анализа данных
• Классификация.
Отнесение объекта к тому или иному классу.
Зависимая переменная принимает
дискретные значения {0,1,…}. Например,
предсказание банкротства предприятия.
• Регрессия.
Предсказание количественных свойств
объектов. Зависимая переменная принимает
непрерывные значения. Например,
предсказание объема продаж.

3. Две основные задачи анализа данных
Предсказание цены дома в зависимости от его площади

4. Две основные задачи анализа данных
Предсказание цены дома в зависимости от его площади
Задача регрессии

5. Две основные задачи анализа данных
Предсказание злокачественности опухоли в
зависимости от ее размера
Tumor SizeTumor Size
(Yes) 1
(No) 0

6. Две основные задачи анализа данных
Предсказание злокачественности опухоли в
зависимости от ее размера
Задача классификации
Tumor SizeTumor Size
(Yes) 1
(No) 0

7. Задача регрессии. Различие между
регрессией и корреляцией
В обоих случаях речь идет о статистической взаимозависимости
между переменными. Однако имеются существенные различия:
- коэффициент корреляции измеряет степень статистической
линейной связи между переменными, но ничего не говорит о
нелинейной. Низкий коэффициент корреляции не исключает
сильную нелинейную связь между переменными;
- корреляция ничего не говорит о причинной зависимости между
переменными. Если установлено наличие корреляции между X
и Y, то X не обуславливает изменение Y, и наоборот. Часто
бывает, что высокий коэффициент корреляции ничего не
значит (пример – коэффициент корреляции между смертностью
в Англии и количеством зарегистрированных браков за
некоторый период, составил 0,95).

8. Выдвижение гипотезы в задачах регрессии
Набор данных
Выдвижение гипотезы
h
X1
X2
…
Xk
h(x)

9. Множественная регрессия
Уравнение регрессии
Гипотеза
Матричный вид уравнения регрессии
y X β ε= +
( ) ,y h xβ ε= +
0 1 1( ) ... k kh x x xβ β β β= + + +

10. Множественная регрессия (матричный вид)
Size (feet2
) Number of
bedrooms
Number of
floors
Age of home
(years)
Price ($1000)
1 2104 5 1 45 460
1 1416 3 2 40 232
1 1534 3 2 30 315
1 852 2 1 36 178
0
1
2
3
4
β
β
β β
β
β
 
 
 
 =
 
 
 
 y X β ε= +

11. Допущения, лежащие в основе
линейной регрессии
• Истинная форма связи между эндогенной и
объясняющими переменными является линейной.
• M(ε)=0. Ошибки удовлетворяют нормальному
распределению с нулевым математическим ожиданием.
• D(ε)=σ2
=const. Ошибки должны иметь постоянную
дисперсию.
• Ошибки являются некоррелированными друг с другом.
• Ошибки не коррелированны со всеми объясняющими
переменными.
• Независимые переменные не являются зависимыми
друг с другом (отсутствует совершенная
мультиколлинеарность)

12. Множественная регрессия.
Класс линейных регрессионных моделей
Критерий качества модели (метод наименьших
квадратов)
Система нормальных уравнений
y X β ε= +
2
1
( ) ( ) min
n
T T
i
i
y X y Xε ε ε β β
=
= = − − →∑
1ˆ ( )T T
X X X yβ −
=

13. Диагностика модели
1. Коэффициент детерминации R2
– величина,
характеризующая точностные характеристики уравнения
регрессии в целом. Значение коэффициента детерминации R2
позволяет понять, насколько вариация зависимой переменной
y объясняется изменением независимой переменной x.
приемлемая модель
2
2 1
2
1
ˆ( )
,
( )
n
i
i
n
i
i
y y
SSR SSR
R
SSO SSR SSE
y y
=
=
−
= = =
+
−
∑
∑
2
1
ˆ( )
n
i i
i
SSE y y
=
= −∑
2
0 1R≤ ≤
2
0.75R ≥

14. Диагностика модели
1. Коэффициент детерминации R2
. Проблемы, связанные
с вычислением коэффициента детерминации:
- Нельзя сравнивать величины R2
для моделей с
различными независимыми переменными;
- R2
никогда не уменьшается при добавлении в модель
новых объясняющих переменных. Эта проблема
решается использованием скорректированного
коэффициента детерминации:
- R2
малопригоден для оценки качества временных рядов.
Значение становится очень близким к 1, что затрудняет
сравнение моделей.
2 2
1 (1 )
1
n
R R
n k
= − −
− −

15. Диагностика модели
2. Проверка значимости коэффициентов регрессии
Гипотеза
Для проверки этой гипотезы используется t- критерий с
(n-k-1) степенями свободы
- стандартная ошибка оценки
гипотеза отвергается
0 : 0iH β = 1 : 0iH β ≠
ˆ
i
i
i
t
SE
β
β
β
= i
SEβ
,( 1)i n kt tβ α − −>

16. Диагностика модели
3. Проверка значимости уравнения регрессии
Гипотеза
Для проверки этой гипотезы используется F- критерий с
k, (n-k-1) степенями свободы
- гипотеза о незначимости
регрессии отвергается
0 1 2: ... 0kH β β β= = = = 1 : 0 0iH äëÿ iβ ≠ ≠
2
2
/ 1
/( 1) 1
SSR k R n k
F
SSE n k R k
− −
= =
− − −
, , 1k n kF Fα − −>

17. Диагностика модели
4. Проверка допущений линейного регрессионного
анализа. Для проверки допущений регрессии используется
анализ остатков
 проверка допущений о линейности и гомоскедастичности
(графический анализ остатков);
 проверка соответствия остатков нормальному распределению
(гистограмма);
 проверка избыточности переменных (толерантность)
 проверка независимости (некоррелированности) остатков.
 График остатков в зависимости от предикторных
переменных;
 Тест серий. При наличии очень большого или очень
малого количества серий (групп одинакового знака) можно
заподозрить независимость остатков.
 Тест Дарбина-Уотсона
DW ≈ 2 остатки независимы
0 1 1
ˆ ˆ ˆˆ ... k ky x xε β β β= − − − −
2
1
2
2
1
ˆ ˆ( )
ˆ
n
i i
i
n
i
i
DW
ε ε
ε
−
=
=
−
=
∑
∑