Эконометрика: тема 1

Лекции по Эконометрике.
Линейная регрессия
Н. В. Артамонов
МГИМО МИД России
18 октября 2017 г.
Н. В. Артамонов (МГИМО) Эконометрика I 18 октября 2017 г. 1 / 124

Содержание
1 Стандартная линейная модель регрессии
Основные предположения
Интерпретация коэффициентов
Метод наименьших квадратов
Теорема Гаусса – Маркова
«Качество подгонки» регрессии
Статистические выводы для линейной регрессии
Тестирование гипотез о коэффициентах
Доверительные интервалы для коэффициентов
Состоятельность
Прогнозирование
Регрессия без константы
Прикладные вопросы

Стандартная линейная модель регрессии CLRM
(Classical Linear Regression Model)

y – зависимая переменная (dependent variable);
x1, . . . , xk – объясняющие переменные, влияющие
переменные, регрессоры.

По каждому из факторов имеем выборочные наблюдения
yi , xi1, . . . , xik i = 1, . . . , n

По каждому из факторов имеем выборочные наблюдения
yi , xi1, . . . , xik i = 1, . . . , n
Далее всегда
n – объём выборки,
k – число объясняющих переменных.

Линейная модель регрессии
yi = β0 + β1xi1 + · · · + βkxik + ui , i = 1, . . . , n (1)
где
ui – ошибка (error) модели регрессии.
β0, β1, . . . , βk – коэффициенты регрессии (в генеральной
совокупности).

Линейная модель регрессии
yi = β0 + β1xi1 + · · · + βkxik + ui , i = 1, . . . , n (1)
где
ui – ошибка (error) модели регрессии.
β0, β1, . . . , βk – коэффициенты регрессии (в генеральной
совокупности).
Линейную регрессию будем рассматривать как систему
уравнений. Это связано с возможной “неоднородностью” данных,
что отличает эконометрику от мат.статистики (где выборка
“однородна”).

Зависимая и объясняющие переменные:
y – эндогенный количественный фактор;

x1, . . . , xk – экзогенные факторы, как количественные, так и
качественные;

y, x1, . . . , xk наблюдаемы и рассматриваются как случайные
или детерминированные (регрессоры) величины.

Ошибка модели регрессии:
u – случайная величина, моделирует влияние неучтённых
факторов (вводится из-за недостатка информации);

Ошибка модели регрессии:
u – случайная величина, моделирует влияние неучтённых
факторов (вводится из-за недостатка информации);
ошибка u ненаблюдаема.

Матричные обозначения
Линейную регрессию, для сокращения записи, удобно записать в
матричном виде.

Матричные обозначения
Линейную регрессию, для сокращения записи, удобно записать в
матричном виде.
Введем обозначения
β =





β0
β1
...
βk





xi =





1
xi1
...
xik





(k + 1) × 1 вектор коэффициентов и (k + 1) × 1 вектор i-го
наблюдения регрессоров.

Матричная запись уравнения регрессии
Тогда (в эконометрике символ обозначает операцию
транспонирования)
xi β = β0 + β1xi1 + · · · + βkxik

Матричная запись уравнения регрессии
Тогда (в эконометрике символ обозначает операцию
транспонирования)
xi β = β0 + β1xi1 + · · · + βkxik
и линейную регрессию (1) можно записать
yi = xi β + ui

Ещё матричные обозначения
Обозначим
y =



y1
...
yn


 u =



u1
...
un



(n × 1) вектор наблюдений зависимой переменной и n × 1 вектор
ошибок.

Матричная запись линейной регрессии
Определим n × (k + 1) матрицу
X =





1 x11 · · · x1k
1 x21 · · · x2k
...
...
...
...
1 xn1 · · · xnk





=





x1
x2
...
xn





Столбцы – выборочные значения объясняющих переменных.

Матричная запись линейной регрессии
Определим n × (k + 1) матрицу
X =





1 x11 · · · x1k
1 x21 · · · x2k
...
...
...
...
1 xn1 · · · xnk





=





x1
x2
...
xn





Столбцы – выборочные значения объясняющих переменных.
Линейную модель регрессии (1) как систему можно записать в
матричном виде
y = Xβ + u

Немного линейной алгебры
В самом деле,
Xβ =





1 x11 · · · x1k
1 x21 · · · x2k
...
...
...
...
1 xn1 · · · xnk





·





β0
β1
...
βk





=





β0 + β1x11 + · · · + βkx1k
β0 + β1x21 + · · · + βkx2k
...
β0 + β1xn1 + · · · + βkxnk





=





x1β
x2β
...
xnβ






Тогда
y =





y1
y2
...
yn





=





x1β + u1
x2β + u2
...
xnβ + un





=





x1β
x2β
...
xnβ





+





u1
u2
...
un





= Xβ + u

Ошибка линейной регрессии
Условия на ошибку регрессии:
1 E(ui |X) = 0 (условие экзогенности регрессоров);

2 Var(ui |X) ≡ σ2
(условие однородности или
гомоскедастичности);

3 cov(ui , uj |X) = 0 при i = j (отсутствие серийной корреляции
или независимость наблюдений)

3 cov(ui , uj |X) = 0 при i = j (отсутствие серийной корреляции
или независимость наблюдений)
Второе и третье условия можно записать как
E(u2
i |X) ≡ σ2
, E(ui uj |X) = 0 (i = j)

Гомоскедастичность ошибки регрессии
Интерпретация
Условие гомоскедастичности (homoskedasticity) Var(ui |X) ≡ σ2
неформально означает, что во всех наблюдениях “степень
влияния” неучтённых факторов (а именно их влияние
моделирует ошибка ui ) одинакова.

Интерпретация
Условие гомоскедастичности (homoskedasticity) Var(ui |X) ≡ σ2
неформально означает, что во всех наблюдениях “степень
влияния” неучтённых факторов (а именно их влияние
моделирует ошибка ui ) одинакова.
Условие гомоскедастичности является сильным предположением
и во многих прикладных задачах неадекватно. В этом случаем
говорят о гетероскедастичной ошибке (heteroskedasticity).

Пример (Неоднородные данные)
Пусть wage – месячная зарплата, N – размер фирмы (например,
число сотрудников). Рассмотрим регрессию
wage = β0 + β1N + (другие регрессоры) + u
Тогда можно ожидать, что Var(u|N) ∼ N.

Серийная корреляция
Отсутствие серийной корреляции cov(ui , uj |X) = 0 при i = j для
пространственных данных считается выполненным, так как
имеем серию независимых наблюдений.

Серийная корреляция
Отсутствие серийной корреляции cov(ui , uj |X) = 0 при i = j для
пространственных данных считается выполненным, так как
имеем серию независимых наблюдений.
Это условия может нарушаться для временных рядов и
панельных данных (“эффект памяти”).

Матричная запись ошибки
Условия на ошибку можно записать в матричном виде
1 E(u|X) = 0
2 Var(u|X) = E(uu |X) = σ2
In.
Здесь In – единичная n × n матрица и Var – матрица
вариации-ковариации вектора ошибки.

Коэффициенты регрессии
Коэффициенты β0, β1, . . . , βk линейной регрессии (1):
показывают (количественно) как регрессоры влияют на
зависимую переменную;
a priori неизвестны, необходимо оценить по выборочным
данным.

Коэффициенты регрессии. Интерпретация
Из первого условия на ошибку следует, что1
E(y|X) = β0 + β1x1 + · · · + βkxk,
т.е. y в среднем линейно зависит от регрессоров.
1
опустим номер наблюдения i

Из первого условия на ошибку следует, что1
E(y|X) = β0 + β1x1 + · · · + βkxk,
т.е. y в среднем линейно зависит от регрессоров.
Пусть x1 – количественный фактор. Тогда при изменении
фактора x1 на ∆x (при прочих неизменных), то зависимая
переменная в среднем изменится на β1∆x.
1
опустим номер наблюдения i

Коэффициенты в линейной регрессии (1) при количественном
факторе имеют смысл средних предельных значений:
На сколько в среднем изменится зависимая переменная при
увеличении объясняющей переменной на единицу (при прочих
равных, сeteris paribus).
Замечание
Константа β0 в общем случае не интерпретируется.

Пример (Продолжительность сна)
sleep – недельная продолжительность сна (мин), totwrk –
недельная занятость (мин), age – возраст.

Пример (Продолжительность сна)
sleep – недельная продолжительность сна (мин), totwrk –
недельная занятость (мин), age – возраст.
Рассмотрим регрессию
sleep = β0 + β1totwrk + β2age + u.
Как интерпретировать коэффициенты?

Пример (Зарплатное уравнение)
wage – почасовая оплата, educ – уровень образования (в годах),
age – возраст, iqscores – результаты IQ-теста.

wage – почасовая оплата, educ – уровень образования (в годах),
age – возраст, iqscores – результаты IQ-теста.
wage = β0 + β1educ + β2age + β3iqscores + u.

Пример (Модель ценообразования для загородных
домов)
price – цена дома (в $1000), area – площадь дома (в м2
), bath –
число ванных, lotsize – площадь участка (в 100м2
).

домов)
), bath –
). Рассмотрим
регрессию
price = β0 + β1area + β2lotsize + β3bath + u.

домов)
), bath –
регрессию
Замечание к примеру
β1 можно интерпретировать как стоимость (дополнительного) м2
площади дома.

домов)
), bath –
регрессию
площади дома. β3 – стоимость (дополнительной) ванной.

домов)
), bath –
регрессию
площади дома. β3 – стоимость (дополнительной) ванной. β2 –
стоимость (дополнительных) 100м2
площади участка.

Качественные регрессоры
Для учёта качественных факторов используем бинарные
регрессоры (dummy, binary variable).

Пример
Гендерный фактор
gender =
1
0

Пример
Гендерный фактор
gender =
1
0
Тогда коэффициент при бинарной переменной – “отдача” (в
среднем) от “обладания” качественным признаком.

wage – зарплата, age – возраст, male – гендерный фактор.

wage = β0 + β1age + β2male + u.

Тогда β2 – средняя разница в оплате между М и Ж (измеряет
“дискриминацию” по гендерному фактору).

Тогда β2 – средняя разница в оплате между М и Ж (измеряет
“дискриминацию” по гендерному фактору).
В самом деле,
E(wage|age, male = 0) = β0 + β1age
E(wage|age, male = 1) = β0 + β1age + β2

Наряду с линейной регрессией рассмотрим регрессию
ln y = β0 + β1x1 + · · · + u

Наряду с линейной регрессией рассмотрим регрессию
ln y = β0 + β1x1 + · · · + u
При увеличении фактора x1 на единицу (при прочих равных,
сeteris paribus), зависимая переменная y в среднем изменяется на
β1 · 100%.

Рассмотрим также регрессию
ln y = β0 + β1ln x1 + · · · + u

ln y = β0 + β1ln x1 + · · · + u
При увеличении фактора x1 на 1% (при прочих равных, сeteris
paribus), зависимая переменная y в среднем изменяется на β1%.
Замечание
Коэффициент β1 имеет смысл коэффициента эластичности.

Пример (Производственная функция Кобба-Дугласа)
Q = cKβ1
Lβ2
=⇒
ln
ln Q = β0 + β1 ln K + β2 ln L
и получаем регрессию (как интерпретировать коэффициенты?)
ln Q = β0 + β1 ln K + β2 ln L + u.

Q = cKβ1
Lβ2
=⇒
ln
ln Q = β0 + β1 ln K + β2 ln L + u.
Пример
Пусть salary – месячный оклад CEO, sales – объем продаж
фирмы, age – возраст, roe – доходность на собственный капитал.

Q = cKβ1
Lβ2
=⇒
ln
ln Q = β0 + β1 ln K + β2 ln L + u.
Пример
Пусть salary – месячный оклад CEO, sales – объем продаж
фирмы, age – возраст, roe – доходность на собственный капитал.
ln salary = β0 + β1 ln sales + β2age + β3roe + error .

y = β0 + β1ln x1 + · · · + u
Интерпретация коэффициента
При увеличении фактора x1 на 1% (при прочих равных, сeteris
paribus), зависимая переменная y в среднем изменяется на
β1/100.

Как оценить модель?
Задача
Как оценить модель на статистических данных? Т.е. как оценить
параметры модели β и σ2
?

Задача
?
Необходимые условия на оценку:
состоятельность.

Задача
?
Необходимые условия на оценку:
состоятельность.
“Хорошие” свойства оценки:
несмещённость,
“эффективность” или “оптимальность”.

Основной метод оценивания: Метод Наименьших Квадратов или
OLS-метод (OLS = Ordinary Least Squares)
Рассмотрим два случая:
2D с одной объясняющей переменной (простая
геометрическая интерпретация);
общий случай.

OLS: случай 2D
Регрессия с одной объясняющей переменной
yi = β0 + β1xi + ui

Регрессия с одной объясняющей переменной
yi = β0 + β1xi + ui
Имеем наблюдения {xi , yi }n
i=1, их можно рассматривать как n
точек на плоскости (диаграмма рассеяния или корреляционное
поле, точечная диаграмма в MS Excel).

Идея метода
Найти прямую y = β0 + β1x “наименее отклоняющуюся” от всех
точек {(xi , yi )}n
i=1 в смысле суммы квадратов (вертикальных)
отклонений для каждой точки (“подогнать” прямую под данные):
SS = SS(β0, β1) =
n
i=1
(yi − β0 − β1xi )2

Идея метода
Найти прямую y = β0 + β1x “наименее отклоняющуюся” от всех
точек {(xi , yi )}n
i=1 в смысле суммы квадратов (вертикальных)
отклонений для каждой точки (“подогнать” прямую под данные):
SS = SS(β0, β1) =
n
i=1
(yi − β0 − β1xi )2
Тогда параметры оптимальной прямой есть решение
оптимальной задачи (при заданных {xi , yi }n
i=1)
min
β0,β1
SS = min
β0,β1
n
i=1
(yi − β0 − β1xi )2

Необходимые условия экстремума:
SSβ0
= 0
SSβ1
= 0
⇐⇒
β0 + β1 ¯x = ¯y
β0 ¯x + β1x2 = xy
2
cov(x, y) = xy − ¯x · ¯y, Var(x) = x2 − (¯x)2

SSβ0
= 0
SSβ1
= 0
⇐⇒
β0 + β1 ¯x = ¯y
β0 ¯x + β1x2 = xy
Это (линейная) система нормальных уравнений.
2

SSβ0
= 0
SSβ1
= 0
⇐⇒
β0 + β1 ¯x = ¯y
β0 ¯x + β1x2 = xy
Это (линейная) система нормальных уравнений.
Параметры оптимальной прямой2
ˆβ1 =
cov(x, y)
Var(x)
, ˆβ0 = ¯y − ˆβ1 ¯x
2

Достаточные условия: так как SS(β0, β1) выпукла, то решение
системы нормальных уравнений даёт глобальный минимум
Отметим, что оптимальная прямая проходит через точку (¯x, ¯y).

1000
2000
3000
4000
0 2000 4000 6000
Занятость, мин/нед
Продолжиельностьсна,мин/нед

5
6
7
8
50 75 100 125
IQ
ln(wage)

OLS: общий случай
В общем случае
SS =
n
i=1
(yi − β0 − β1xi1 − . . . − βkxik)2
=
n
i=1
(yi − xi β)2
= (y − Xβ) (y − Xβ)

В общем случае
SS =
n
i=1
(yi − β0 − β1xi1 − . . . − βkxik)2
=
n
i=1
(yi − xi β)2
= (y − Xβ) (y − Xβ)
и оценки коэффициентов есть решение оптимальной задачи
min
β
SS = min
β
n
i=1
(yi − xi β)2
= min
β
(y − Xβ) (y − Xβ)

Необходимые условия:
∂SS
∂β
= 0 ⇐⇒ (X X)β = X y

∂SS
∂β
= 0 ⇐⇒ (X X)β = X y
Если det(X X) = 0, то OLS-оценки коэффициентов регрессии
ˆβOLS = (X X)−1
X y
(очевидно, оценка ˆβOLS линейна по y).

∂SS
∂β
= 0 ⇐⇒ (X X)β = X y
Если det(X X) = 0, то OLS-оценки коэффициентов регрессии
ˆβOLS = (X X)−1
X y
(очевидно, оценка ˆβOLS линейна по y).
Достаточные условия: SS(β) выпукла ⇒ ˆβOLS – глобальный
минимум.

Далее оценки коэффициентов будем обозначать через βj
(j = 0, . . . , k).
Важно!
Различаем два понятия
βj – коэффициент регрессии в генеральной совокупности
(ненаблюдаем!);
βj – оценка коэффициента регрессии по статистическим
данным.

Матрица X y
X y =





1 1 · · · 1
x11 x21 · · · xn1
...
...
...
...
x1k x2k · · · xnk





·





y1
y2
...
yn





=





i yi
i xi1yi
...
i xikyi





= n





¯y
x1y
...
xky






Матрица X X
Имеем
X X =





1 1 · · · 1
x11 x21 · · · xn1
...
...
...
...
x1k x2k · · · xnk





·





1 x11 x12 · · · x1k
1 x21 x22 · · · x2k
...
...
...
...
...
1 xn1 xn2 · · · xnk





=
n







1 ¯x1 ¯x2 · · · ¯xk
¯x1 x2
1 x1x2 · · · x1xk
¯x2 x2x1 x2
2 · · · x2xk
...
...
...
...
...
¯xk xkx1 xkx2 · · · x2
k








Теорема (Гаусса – Маркова)
Пусть для ошибки линейной регрессии
yi = xi β + ui
выполнены условия
1 E(ui |X) = 0,
,
3 cov(ui , uj |X) = 0 при i = j.

Теорема (Гаусса – Маркова)
Пусть для ошибки линейной регрессии
yi = xi β + ui
выполнены условия
1 E(ui |X) = 0,
,
3 cov(ui , uj |X) = 0 при i = j.
Тогда ˆβOLS – несмещённая, эффективная (оптимальная) оценка
коэффициентов β.

Замечание
Несмещённость означает E(ˆβOLS |X) = β

Замечание
Замечание
Эффективность означает:
Среди несмещенных оценок коэффициентов, линейных по y,
OLS-оценка имеет минимальную дисперсию

Замечание
Замечание
Эффективность означает:
Среди несмещенных оценок коэффициентов, линейных по y,
OLS-оценка имеет минимальную дисперсию
Иногда используется аббревиатура BLUE = Best Linear Unbiased
Estimator.
Замечание
Оценку для σ2
получим ниже.

Для линейной регрессии на выборочных данных определим
Предсказанные значения (predicted values)
ˆyi = xi βOLS = ˆβ0 + ˆβ1xi1 + . . . + ˆβkxik i = 1, . . . , n
Остатки (residuals)
ˆui = ei = yi − ˆyi i = 1, . . . , n

Оценка σ2
Обозначим
s2
=
n
i=1 ˆu2
i
n − k − 1

Оценка σ2
Обозначим
s2
=
n
i=1 ˆu2
i
n − k − 1
Утверждение
При выполнении условий теоремы Гаусса-Маркова s2
–
несмещенная оценка дисперсии ошибки σ2
.

Оценка σ2
Обозначим
s2
=
n
i=1 ˆu2
i
n − k − 1
Утверждение
При выполнении условий теоремы Гаусса-Маркова s2
–
несмещенная оценка дисперсии ошибки σ2
.
s =
√
s2 – стандартная ошибка регрессии (SER = Standart Error
of Regression)

Стандартные ошибки коэффициентов
Определим s2
j (j = 0, 1, . . . , k) как диагональные элементы
матрицы:
s2
(X X)−1
=







s2
0 · · ·
s2
1 · · ·
s2
2 · · ·
...
...
...
...
...
· · · s2
k







Определение
sj = s. e.(βj ) = s2
j – стандартная ошибка коэффициента βj .

Важно!
Результат теоремы Гаусса – Маркова “свободен от
распределения” (distribution-free). Для доказательства
оптимальности OLS-оценки (среди несмещённых и линейных по
y оценок) распределение ошибки неважно.

Важно!
Результат теоремы Гаусса – Маркова “свободен от
распределения” (distribution-free). Для доказательства
оптимальности OLS-оценки (среди несмещённых и линейных по
y оценок) распределение ошибки неважно.
Замечание
Если распределение ошибки u|X известно и негауссово, то можно
получить более точные оценки коэффициентов, но, возможно,
сильно нелинейные.

Важно!
Для каждой регрессии, наряду с оценками коэффициентов,
вычисляется (относительный) показатель “качества подгонки”
модели под данные со значениями от 0 до 1.

Важно!
Определим
TSS = n
i=1(yi − ¯y)2
– общая сумма квадратов зависимой
переменной;

Важно!
Определим
TSS = n
i=1(yi − ¯y)2
ESS = n
i=1(ˆyi − ¯y)2
– объяснённая сумма квадратов;

Важно!
Определим
TSS = n
i=1(yi − ¯y)2
ESS = n
i=1(ˆyi − ¯y)2
RSS = n
i=1 ˆu2
i = n
i=1(yi − ˆyi )2
– остаточная сумма
квадратов.

Важно!
Определим
TSS = n
i=1(yi − ¯y)2
ESS = n
i=1(ˆyi − ¯y)2
RSS = n
i=1 ˆu2
i = n
i=1(yi − ˆyi )2
квадратов.
Важно!
Величина TSS не зависит от объясняющих переменных.

Важно!
Определим
TSS = n
i=1(yi − ¯y)2
ESS = n
i=1(ˆyi − ¯y)2
RSS = n
i=1 ˆu2
i = n
i=1(yi − ˆyi )2
квадратов.
Важно!
Величина TSS не зависит от объясняющих переменных.
Очевидно, s2
= RSS /(n − k − 1).

Коэффициент R2
Так как модель регрессии с константой β0, то верно равенство3
TSS = ESS + RSS .
3
На самом деле это Теорема Пифагра

TSS = ESS + RSS .
или коэффициент детерминации определяется
как
R2
=
ESS
TSS
= 1 −
RSS
TSS
0 ≤ R2
≤ 1.
3

TSS = ESS + RSS .
или коэффициент детерминации определяется
как
R2
=
ESS
TSS
= 1 −
RSS
TSS
0 ≤ R2
≤ 1.
R =
√
R2 – коэффициент множественной корреляции y на
регрессоры.
3

Из определения
R2
= 0 ⇐⇒ ˆyi = ¯y ⇐⇒ ˆβ1 = · · · = ˆβk = 0 (“плохая подгонка”
регрессии под данные, модель “ничего не объясняет”).

R2
R2
= 1 ⇐⇒ yi = ˆyi , (i = 1, . . . , n) (“идеальная подгонка”
регрессии под данные)

R2
R2
= 1 ⇐⇒ yi = ˆyi , (i = 1, . . . , n) (“идеальная подгонка”
регрессии под данные)
Очевидно, что на реальных данных будет 0 < R2
< 1.

можно рассматривать как показатель
«качества подгонки» (goodness-of-ﬁt) линейной регрессии под
статистические данные.

Интерпретация R2
Какая доля изменения зависимой переменной (на выборочных
данных) определяется объясняющими переменными
(объясняется регрессией).

Интерпретация R2
Какая доля изменения зависимой переменной (на выборочных
данных) определяется объясняющими переменными
(объясняется регрессией).
Важно!
При добавлении в модель новых объясняющих переменных
коэффициент R2
может только увеличиться (так как возрастает
количество степеней свободы для подгонки модели под данные).

Скорректированный коэффициент R2
Скорректированный R2
Скорректированный (adjusted) на число степеней свободы или
исправленный коэффициент R2
R2
adj = ¯R2
= 1 −
RSS /(n − k − 1)
TSS /(n − 1)
= 1 − (1 − R2
)
n − 1
n − k − 1
k – число регрессоров, n – объем выборки.

Свойства:
R2
adj ≤ R2
м.б. отрицательным
не интерпретируется!

Свойства:
R2
adj ≤ R2
м.б. отрицательным
не интерпретируется!
Использование: сравнение моделей с одинаковой зависимой
переменной (но с разными наборами регрессоров), критерий
max ¯R2
.

Статистические выводы (inferences) для оценённой модели
регрессии. Зачем это нужно? Почему это важно?

Формальные количественные выводы зависят от выборки.

Формальные количественные выводы зависят от выборки.
Хотим сделать выводы о коэффициентах генеральной
совокупности, которые максимально (насколько возможно) не
зависили от выборочных данных.

Inferences
Под статистические выводами будем понимать:
Тестирование статистических гипотез о коэффициентах
(«простые» и «сложные» гипотезы).
Доверительные интервалы для коэффициентов.

Inferences
Для содержательных выводов необходимо дополнительно
наложить условие нормальной распределённости ошибки
ui |X ∼ N(0, σ2
)

Inferences
Для содержательных выводов необходимо дополнительно
наложить условие нормальной распределённости ошибки
ui |X ∼ N(0, σ2
)
Два базовых понятия: уровень значимости α и доверительная
вероятность γ.

Inferences: значимость коэффициента
Проверка значимости коэффициента регрессии: на данных
теструем («простую») гипотезу
H0 : βj = 0 vs H1 : βj = 0
Смысл
Тестируем гипотезу, что в генеральной совокупности фактор xj
не влияет на зависимую переменную.

Inferences: значимость коэффициента
На основе статистических данных нужно
либо отвергнуть нулевую гипотезу (коэффициент значим,
данные противоречат гипотезе).
либо неотвергать нулевую гипотезу (коэффициент незначим,
данные не противоречат гипотезе)

Inferences: уровень значимости
Уровень значимости α (вероятность ошибки первого рода) –
вероятность неверно отвергнуть нулевую гипотезу (иногда удобно
понимать как «риск»).

Inferences: уровень значимости
Уровень значимости α (вероятность ошибки первого рода) –
вероятность неверно отвергнуть нулевую гипотезу (иногда удобно
понимать как «риск»).
В прикладных исследованиях как правило выбирается
α = 1%, 5%, 10%.
Важно!
Уровень значимость фиксируется заранее и выбирается a priori.

Inferences: как тестировать?
Два способа тестирования гипотезы:
с использованием P-значения;
с использованием тестовой статистики.
Важно!
Оба подхода равносильны, но в научных публикациях
использование P-значений считается «плохим тоном»!

1-й способ: для коэффициентов эконометрические программы
вычисляют т.н. P-значения.
Статистическое правило (универсальное!)
Нулевую гипотезу отвергаем (коэффициент значим) при
P < α.
Нулевую гипотезу не отвергаем (коэффициент незначим)
при P > α.
Неформальное статистическое правило
Нулевую гипотезу отвергаем, если P-значение «маленькое»
(относительно уровня значимости)

2-й способ: тестовая статистика (t-статистика) для проверки
значимости коэффициента:
t =
ˆβj
s. e.(βj )
где ˆβj – оценка коэффициента, s. e.(βj ) – стандартная ошибка
коэффициента (всё автоматически вычисляется программами).

2-й способ: тестовая статистика (t-статистика) для проверки
значимости коэффициента:
t =
ˆβj
s. e.(βj )
где ˆβj – оценка коэффициента, s. e.(βj ) – стандартная ошибка
коэффициента (всё автоматически вычисляется программами).
Критическое значение: распределения Стьюдента или
t-распределения
tcr = tn−k−1(α),
(df = n − k − 1) – число степеней свободы.

Статистическое правило
Отвергаем H0 при |t| > tcr , коэффициент значим (тестовая
статистика «большая» по модулю).
Не отвергаем H0 при |t| < tcr , коэффициент незначим
(тестовая статистика «маленькая» по модулю).
Нулевую гипотезу отвергаем, если тестовая t-статистика
«большая» по модулю (относительно критического значения).

Где взять критическое значение?
Специальные статистические таблицы.

Табличные процессоры
MS Excel 2007 RUS СТЬЮДРАСПОБР
MS Excel 2007 ENG tinv
MS Excel 2010 RUS СТЬЮДЕНТ.ОБР.2Х
MS Excel 2010 ENG T.INV.2T
Google Таблицы T.INV.2T & TINV
Libre Oﬃce tinv

MS Excel 2007 RUS СТЬЮДРАСПОБР
MS Excel 2007 ENG tinv
MS Excel 2010 RUS СТЬЮДЕНТ.ОБР.2Х
MS Excel 2010 ENG T.INV.2T
Google Таблицы T.INV.2T & TINV
Libre Oﬃce tinv
функция R (p = 1 − α/2):
qt (p , df )

Inferences: гипотеза о коэффициенте
Общий случай «простой» гипотезы
H0 : βj = θ vs H1 : βj = θ
где θ – заданное число.

Общий случай «простой» гипотезы
H0 : βj = θ vs H1 : βj = θ
где θ – заданное число.
Тестовая t-статистика
t =
ˆβj − θ
s. e.(βj )
.
Критическое значение Стьюдента tcr = tn−k−1(α).

Отвергаем H0 при |t| > tcr , коэффициент значимо
отличается от числа;
Не отвергаем H0 при |t| < tcr , коэффициент незначимо
отличается от числа.
Альтернативно: используем P-значение

Inferences: односторонняя альтернатива
Рассмотрим гипотезу с односторонней альтернативой
H0 : βj = θ vs H1 : βj > θ

H0 : βj = θ vs H1 : βj > θ
В чём отличие от предыдущего?

H0 : βj = θ vs H1 : βj > θ
В чём отличие от предыдущего?
Односторонняя альтернатива применяется когда a priori
известно, что всегда βj ≥ θ (например экономически).

В модели
wage = β0 + β1educ + · · · + u
Очевидно должно быть β1 ≥ 0.

В модели
wage = β0 + β1educ + · · · + u
Очевидно должно быть β1 ≥ 0.
Пример (Производственная функция)
В модели Кобба-Дугласа
ln Q = β0 + β1 ln K + β2 ln L + u
Очевидно должно быть β1, β2 ≥ 0.

Как тестировать?
H0 : βj = θ vs H1 : βj > θ
4
СТЬЮДЕНТ.ОБР в MS Excel 2010

H0 : βj = θ vs H1 : βj > θ
Тестовая статистика как раньше t =
ˆβj − θ
s. e.(βj )
. Но критическое
значение одностороннее4
tcr = tn−k−1(2α).
4

H0 : βj = θ vs H1 : βj > θ
Тестовая статистика как раньше t =
ˆβj − θ
s. e.(βj )
. Но критическое
значение одностороннее4
tcr = tn−k−1(2α).
Статистическое правило (тестовая статистика без
модуля!)
Отвергаем H0 при t > tcr .
Не отвергаем H0 при t < tcr .
4

Для гипотезы
H0 : βj = θ vs H1 : βj < θ
тестовая статистика и критическое значение такие же.

Для гипотезы
H0 : βj = θ vs H1 : βj < θ
тестовая статистика и критическое значение такие же.
Статистическое правило (тестовая статистика без
модуля!)
Отвергаем H0 при t < −tcr .
Не отвергаем H0 при t > −tcr .

Inferences: значимость регрессии «в целом»
Проверка значимости регрессии «в целом»: тестируем гипотезу
H0 : β1 = · · · = βk = 0
Смысл
Все объясняющие переменные в совокупности не влияют на
зависимую переменную (регрессоры «ничего не объясняют»).

Тестовая F-статистика для проверки значимости «в целом»
(автоматические вычисляется программами)
F =
R2
1 − R2
·
n − k − 1
k
=
ESS
RSS
·
n − k − 1
k

Тестовая F-статистика для проверки значимости «в целом»
(автоматические вычисляется программами)
F =
R2
1 − R2
·
n − k − 1
k
=
ESS
RSS
·
n − k − 1
k
Критическое значение: распределения Фишера или
F-распределения
Fcr = Fk,n−k−1(α).
(df1 = k, df2 = n − k − 1) – степени свободы.

Отвергаем H0 при F > Fcr , регрессия «в целом» значима.
Не отвергаем H0 при F < Fcr , регрессия «в целом»
незначима.
Нулевую гипотезу отвергаем, если тестовая F-статистика
большая (относительно критического значения).

Где взять критическое значение Fcr ?

MS Excel 2007 RUS FРАСПОБР
MS Excel 2007 ENG Finv
MS Excel 2010 RUS F.ОБР.ПХ
MS Excel 2010 ENG F.INV.RT
Google Таблицы F.INV.RT & FINV
Libre Oﬃce Finv

MS Excel 2007 RUS FРАСПОБР
MS Excel 2007 ENG Finv
MS Excel 2010 RUS F.ОБР.ПХ
MS Excel 2010 ENG F.INV.RT
Google Таблицы F.INV.RT & FINV
Libre Oﬃce Finv
функция R (p = 1 − α)
qf (p , df1 , df2 )

Пример оценки модели в gretl
Модель 1: МНК, использованы наблюдения 1–706
Зависимая переменная: sleep
Коэффициент Ст. ошибка t-статистика P-значение
const 3470.46 69.3769 50.0233 0.0000 ***
totwrk −0.170220 0.0179310 −9.4931 0.0000 ***
age 2.83141 1.38501 2.0443 0.0413 **
male 91.2572 34.2003 2.6683 0.0078 ***
smsa −56.7592 32.9230 −1.7240 0.0851 *
south 99.5086 41.6778 2.3876 0.0172 **
Среднее зав. перемен 3266.356 Ст. откл. зав. перемен 444.4134
Сумма кв. остатков 1.21e+08 Ст. ошибка модели 415.8735
R2
0.130525 Исправленный R2
0.124314
F(5, 700) 21.01671 Р-значение(F) 1.32e–19
Лог. правдоподобие −5256.207 Крит. Акаике 10524.41
Крит. Шварца 10551.77 Hannan–Quinn 10534.98

Inferences: совместная значимость
Проверка совместной значимости нескольких коэффициентов:
тестируем гипотезу
H0 : β1 = . . . = βJ = 0 (1 < J < k)
(в генеральной совокупности первые J коэффициентов равны
нулю).
Смысл
В генеральной совокупности объясняющие переменные x1, . . . , xJ
не влияют на зависимую переменную.

Для вычисления тестовой статистики нужно оценить две
(«вложенные») регрессии:
«длинную» (со всеми факторами, unrestricted)
y = β0 + β1x1 + · · · + βkxk + error, R2
, RSS
«короткую» (без учёта факторов из H0, restricted)
y = β0 + βJ+1xJ+1 + · · · + βkxk + error, R2
restr , RSSrestr
Очевидно R2
restr ≤ R2
и RSSrestr ≥ RSS.

Тестовая F-статистика
F =
R2
− R2
restr
1 − R2
·
n − k − 1
J
=
RSSrestr − RSS
RSS
·
n − k − 1
J
,
n – объем выборки, k – общее число факторов, J – число
коэффициентов, совместную значимость которых тестируем.

Тестовая F-статистика
F =
R2
− R2
restr
1 − R2
·
n − k − 1
J
=
RSSrestr − RSS
RSS
·
n − k − 1
J
,
n – объем выборки, k – общее число факторов, J – число
коэффициентов, совместную значимость которых тестируем.
Критическое значение: распределения Фишера или
F-распределения
Fcr = FJ,n−k−1(α).
(df1 = J, df2 = n − k − 1) – степени свободы.

Отвергаем H0 при F > Fcr , совместное влияние факторов
значимо;
Не отвергаем H0 при F < Fcr , совместное влияние факторов
незначимо.

Пусть wage – почасовая оплата, age – возраст, gender – гендерный
фактор, meduc, feduc – уровень образования родителей
ln(wage) = β0 + β1age + β2gender+
β3meduc + β4feduc + error
Тестируем гипотезу H0 : β3 = β4 = 0.

Пусть wage – почасовая оплата, age – возраст, gender – гендерный
фактор, meduc, feduc – уровень образования родителей
Тестируем гипотезу H0 : β3 = β4 = 0.
Смысл: уровень образования родителей не влияет на зарплату.

Пример (Зарплатное уравнение. Продолжение)
Нужно оценить две регрессии:
“длинная”
“короткая”
ln(wage) = β0 + β1age + β2gender + error
В этом примере k = 4, J = 2.

Inferences: структурные ограничения
Тест Вальда о «линейных структурных ограничениях» на
коэффициенты (матричная запись):
H0 : Rβ = q vs H1 : Rβ = q
где
R: J × (k + 1) матрица,
q: J × 1 вектор правых частей ограничений,
J: число структурных ограничений.
Считаем, что ограничения линейно независимы, т.е. rank R = J.

Пример (Производственная функция Кобба – Дугласа)
ln Q = β0 + β1 ln K + β2 ln L + error
Тогда тестирование гипотезы
H0 : β1 + β2 = 1
означает тестирование на постоянную отдачу от масштаба.
В этом случае J = 1 и k = 2.

Пример (Производственная функция К-Д.
Продолжение)
Матричная запись структурного ограничения (J = 1):
β =


β0
β1
β2


(k+1)×1
R = 0 1 1
J×(k+1)
q = 1
J×1
Тогда
Rβ = β1 + β2 = 1 = q

Оцениваем регрессию
ln Q = β0 + β1 ln K + β2 ln L + β3 ln H + error
Тестируем гипотезу
H0 : β1 = β2

H0 : β1 = β2
Смысл: отдача от капитала и отдача от труда равны.

H0 : β1 = β2
Смысл: отдача от капитала и отдача от труда равны.
Перепишем гипотезу в виде
H0 : β1 − β2 = 0.

β =




β0
β1
β2
β3




(k+1)×1
R = 0 1 −1 0
J×(k+1)
q = 0
J×1
Тогда
Rβ = β1 − β2 = 0 = q

H0 : β1 = β2, β1 + β2 + β3 = 1

H0 : β1 = β2, β1 + β2 + β3 = 1
Смысл: отдача от капитала и отдача от труда равны +
постоянная отдача от масштаба.
Очевидно J = 2.

β =




β0
β1
β2
β3




(k+1)×1
R =
0 1 −1 0
0 1 1 1
J×(k+1)
q =
0
1
J×1
Тогда
Rβ =
β1 − β2
β1 + β2 + β3
=
0
1
= q

Тестовая F-статистика (статистика Вальда) для гипотезы о
линейных структурных ограничениях
F =
1
J · s2
(Rβ − q) R(X X)−1
R
−1
(Rβ − q) (2)
(автоматически вычисляется в эконометрических программах)

Тестовая F-статистика (статистика Вальда) для гипотезы о
линейных структурных ограничениях
F =
1
J · s2
(Rβ − q) R(X X)−1
R
−1
(Rβ − q) (2)
(автоматически вычисляется в эконометрических программах)
Критическое значение: Fcr = FJ,n−k−1(α), где J – число
структурных ограничений на коэффициенты.

отвергаем H0 при F > Fcr .
не отвергаем H0 при F < Fcr .

Inferences: структурные изменения (Chow’s test)
Две выборки для одних и тех же факторов объема nI и nII :
(I) : yi = xi β + ui i = 1, . . . , nI
(II) : yj = xj γ + vj j = 1, . . . , nII

Две выборки для одних и тех же факторов объема nI и nII :
(I) : yi = xi β + ui i = 1, . . . , nI
(II) : yj = xj γ + vj j = 1, . . . , nII
Тест на однородность выборок (тест на отсутствие структурных
изменений)
H0 : β = γ, σ2
u = σ2
v

Смысл: в обеих выборках коэффициенты в генеральной
совокупности равны, модель зависимость одна и та же

Смысл: в обеих выборках коэффициенты в генеральной
совокупности равны, модель зависимость одна и та же
Если H0 отвергается, то можно говорить о структурных
изменениях в модели зависимости y от x при переходе от одной
выборке к другой (изменяются коэффициенты модели,
изменяется структура зависимости).

Пример (“Дискриминация”)
Зарплатное уравнение
wage = β0 + β1age + β2IQ + u
Оцениваем отдельно для М и для Ж (первая и вторая выборка).

Пример (“Дискриминация”)
Зарплатное уравнение
wage = β0 + β1age + β2IQ + u
Оцениваем отдельно для М и для Ж (первая и вторая выборка).
Тестирование гипотезы означает проверку значимости
“дискриминации” по гендерному фактору.
А также наличие структурных различий в зарплатном уравнении
между М и Ж.

Эконометрика: тема 1

Эконометрика: тема 1

Recommended

Recommended

More Related Content

What's hot

What's hot (6)

Эконометрика: тема 1