Гетероскедастичность

1. Лекции по Эконометрике.
Гетероскедастичность
Н. В. Артамонов
МГИМО (У) МИД России
6 ноября 2017 г.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 1 / 65

2. Содержание
1 Гетероскедастичность (Heteroskedasticity)
Что это такое?
Проблемы оценивания модели регрессии
Тесты на гетероскедастичность
Оценка модели и тестирование гипотез
OLS при гетероскедастичности
Взвешенный метод наименьших квадратов WLS
Доступный взвешенный метод наименьших квадратов FWLS
Выводы
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 2 / 65

3. CLRM-модель
Стандартная линейная регрессия CLRM: линейная спецификация
yi = xi β + ui
с условиями на ошибку (условия Гаусса-Маркова)
1 E(ui |X) = 0
2 Var(ui |X) ≡ σ2
, i = 1, . . . , n
3 cov(ui , uj |X) = 0 при i = j.
Второе условие – это условие однородности ошибки или условие
гомоскедастичности.
Homoskedasticity (греч.) = однородное рассеивание
(относительно линии регрессии).
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 3 / 65

4. Понятие гетероскедастичности
Важно!
Условие Var(ui |X) ≡ σ2
на ошибку модели достаточно “сильное”
и во многих прикладных задачах “неадекватно” и должно быть
ослаблено.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 4 / 65

5. Понятие гетероскедастичности
Важно!
Условие Var(ui |X) ≡ σ2
на ошибку модели достаточно “сильное”
и во многих прикладных задачах “неадекватно” и должно быть
ослаблено.
Определение
Если условие постоянства дисперсии (разброса) “неадекватно”, то
говорят, что ошибка гетероскедастична.
Heteroskedasticity (греч.) = неоднородное рассеивание
(относительно линии регрессии)
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 4 / 65

6. Причины гетероскедастичности
Идея гетероскедастичности (неформально)
В разных наблюдениях “степень влияния неучтённых факторов”
может различаться.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 5 / 65

7. Причины гетероскедастичности
Идея гетероскедастичности (неформально)
В разных наблюдениях “степень влияния неучтённых факторов”
может различаться.
Вопрос: Почему условие гомоскедастичности не всегда
“адекватно”?
Ответ: Это, например, связанно с неоднородностью данных
(например, данные разного масштаба).
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 5 / 65

8. Причины гетероскедастичности
Идея гетероскедастичности (неформально)
В разных наблюдениях “степень влияния неучтённых факторов”
может различаться.
Вопрос: Почему условие гомоскедастичности не всегда
“адекватно”?
Ответ: Это, например, связанно с неоднородностью данных
(например, данные разного масштаба).
Важно!
Явление гетероскедастичности не является “экзотикой” и
достаточно часто встречается в реальных данных.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 5 / 65

9. 10
20
30
40
50
5 10 15
x1
y1
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 6 / 65

10. 0
20
40
60
80
5 10 15
x1
y
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 7 / 65

11. 0
100
200
300
0 20000 40000 60000
Output
Cost
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 8 / 65

12. Линейная регрессия с гетероскедатичной
ошибкой
Линейная спецификация
yi = β0 + β1xi1 + · · · + βkxik + ui = xi β + ui
с условием на ошибку
1 E(ui |X) = 0
2 cov(ui , uj |X) = 0 при i = j.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 9 / 65

13. Линейная регрессия с гетероскедатичной
ошибкой
Линейная спецификация
yi = β0 + β1xi1 + · · · + βkxik + ui = xi β + ui
с условием на ошибку
1 E(ui |X) = 0
2 cov(ui , uj |X) = 0 при i = j.
Допускается что Var(ui |X) ≡ σ2
. Например
Var(ui |X) = σ2
i Var(ui |X) = σ(xi ) Var(ui |X) = f (zi )
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 9 / 65

14. Что нас будет интересовать
С прикладной точки зрения важно следующее:
Тесты на гетероскедастичность ошибки (homo- vs hetero-).
Какая модель «более адекватна»: с однородной или
неоднородной ошибкой?
Как (состоятельно) оценить модель с гетероскедастичной
ошибкой? (в идеале получить эффективные оценки).
Как тестировать гипотезы (о коэффициентах) в модели с
гетероскедастичностью? (например, как проверять
значимость)
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 10 / 65

15. 1 Гетероскедастичность (Heteroskedasticity)
Что это такое?
Проблемы оценивания модели регрессии
Тесты на гетероскедастичность
Оценка модели и тестирование гипотез
OLS при гетероскедастичности
Взвешенный метод наименьших квадратов WLS
Доступный взвешенный метод наименьших квадратов FWLS
Выводы
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 11 / 65

16. Проблема оценивания модели
Вопрос
Можно ли применить метод наименьших квадратов к
оцениванию регрессии с гетероскедастичной ошибкой?
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 12 / 65

17. Проблема оценивания модели
Вопрос
Можно ли применить метод наименьших квадратов к
оцениванию регрессии с гетероскедастичной ошибкой?
Хорошая новость
Метод наименьших квадратов даёт состоятельные оценки
(можно прогнозировать и интерпретировать обычным образом),
но неэффективные.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 12 / 65

18. Проблема оценивания модели
Вопрос
Можно ли применить метод наименьших квадратов к
оцениванию регрессии с гетероскедастичной ошибкой?
Хорошая новость
Метод наименьших квадратов даёт состоятельные оценки
(можно прогнозировать и интерпретировать обычным образом),
но неэффективные.
Плохая новость
Стандартныe OLS-тестовые статистики не работают (могут
привести к неверным выводам).
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 12 / 65

19. 1 Гетероскедастичность (Heteroskedasticity)
Что это такое?
Проблемы оценивания модели регрессии
Тесты на гетероскедастичность
Оценка модели и тестирование гипотез
OLS при гетероскедастичности
Взвешенный метод наименьших квадратов WLS
Доступный взвешенный метод наименьших квадратов FWLS
Выводы
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 13 / 65

20. Графический анализ
Полезно рассматривать графики
ˆu vs ˆy
ˆu vs xj
|ˆu| vs ˆy
|ˆu| vs xj
и смотреть на “равномерность разброса” данных.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 14 / 65

21. −5
0
5
10
5 10 15
x
Resuduals Homoskedasticity : u vs x
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 15 / 65

22. 0.0
2.5
5.0
7.5
5 10 15
x
|Residuals| Homoskedasticity : |u| vs x
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 16 / 65

23. −20
0
20
40
5 10 15
x
Resuduals Heteroskedasticity : u vs x
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 17 / 65

24. 0
10
20
30
40
5 10 15
x
|Residuals| Heteroskedasticity : |u| vs x
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 18 / 65

25. −50
0
50
100
0 100 200
Output
Resuduals Heteroskedasticity : u vs Output
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 19 / 65

26. 0
25
50
75
100
0 100 200
Output
|Residuals| Heteroskedasticity : |u| vs Output
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 20 / 65

27. Тестирование на гетероскедастичность
Тестируем нулевую гипотезу о гомоскедастичности при
разных альтернативах (Homo- vs Hetero-).
Тестов много (хороших и разных, но рассмотрим только
три).
Все тесты именные.
Большинство тестов обоснованно применять только при
больших выборках (т.н. асимптотические тесты).
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 21 / 65

28. Почему тестов много?
Каждый тест направлен на выявление гетероскедатичности
определённой структуры.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 22 / 65

29. Почему тестов много?
Каждый тест направлен на выявление гетероскедатичности
определённой структуры.
У разных тестов разные условия применимости (например,
условие нормального распределения ошибки)
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 22 / 65

30. Почему тестов много?
Каждый тест направлен на выявление гетероскедатичности
определённой структуры.
У разных тестов разные условия применимости (например,
условие нормального распределения ошибки)
В каждом тесте проверяется нулевая
H0 : Var(ui |X) = σ2
(i = 1, . . . , n)
при разных альтернативах.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 22 / 65

31. Общая схема тестирования
Базовые тесты на гетероскедастичность основаны на анализе
OLS-остатков регрессии ˆui (вначале регрессию оцениваем
методом наименьших квадратов).
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 23 / 65

32. Общая схема тестирования
Базовые тесты на гетероскедастичность основаны на анализе
OLS-остатков регрессии ˆui (вначале регрессию оцениваем
методом наименьших квадратов).
Как правило оценивается вспомогательная регрессия с остатками
в роли зависимой переменной. Эта регрессия не имеет
экономического смысла.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 23 / 65

33. Общая схема тестирования
Базовые тесты на гетероскедастичность основаны на анализе
OLS-остатков регрессии ˆui (вначале регрессию оцениваем
методом наименьших квадратов).
Как правило оценивается вспомогательная регрессия с остатками
в роли зависимой переменной. Эта регрессия не имеет
экономического смысла.
На основе вспомогательной регрессии вычисляется тестовая
статистика (как правило на основе R2
).
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 23 / 65

34. Общая схема тестирования
Базовые тесты на гетероскедастичность основаны на анализе
OLS-остатков регрессии ˆui (вначале регрессию оцениваем
методом наименьших квадратов).
Как правило оценивается вспомогательная регрессия с остатками
в роли зависимой переменной. Эта регрессия не имеет
экономического смысла.
На основе вспомогательной регрессии вычисляется тестовая
статистика (как правило на основе R2
).
Такие тесты носят асимптотический характер.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 23 / 65

35. White test (1980)
White, H. (1980). A heteroskedasticity-consistent covariance matrix
estimator and a direct test for heteroskedasticity. Econometrica 48
(4): pp. 817-838.
Тестируется гипотеза
H0 : Var(ui |X) ≡ σ2
vs H1 : Var(ui |X) ≡ σ2
.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 24 / 65

36. White test (1980)
White, H. (1980). A heteroskedasticity-consistent covariance matrix
estimator and a direct test for heteroskedasticity. Econometrica 48
(4): pp. 817-838.
Тестируется гипотеза
H0 : Var(ui |X) ≡ σ2
vs H1 : Var(ui |X) ≡ σ2
.
Вспомогательная регрессия
ˆu2
на xj , x2
j , xj xl R2
aux .
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 24 / 65

37. White test (1980)
Тестовая статистика: nR2
aux .
Критическое значение χ2
cr = χ2
K (α) (K – степени свободы, число
регрессоров во вспомогательной регрессии).
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 25 / 65

38. White test (1980)
Тестовая статистика: nR2
aux .
Критическое значение χ2
cr = χ2
K (α) (K – степени свободы, число
регрессоров во вспомогательной регрессии).
Статистическое правило: отвергаем H0 при nR2
aux > χ2
cr . В этом
случае тест указывает на гетероскедастичность.
Альтернативно с помощью P-значения.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 25 / 65

39. White test (1980)
Тестовая статистика: nR2
aux .
Критическое значение χ2
cr = χ2
K (α) (K – степени свободы, число
регрессоров во вспомогательной регрессии).
Статистическое правило: отвергаем H0 при nR2
aux > χ2
cr . В этом
случае тест указывает на гетероскедастичность.
Альтернативно с помощью P-значения.
Альтернативный подход: проверить значимость вспомогательной
регрессии “в целом” по F-тесту.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 25 / 65

40. White test (1980)
Где взять критическое значение если нужно?
Специальные статистические таблицы распределения χ2
k.
Табличные процессоры
MS Excel 2007 RUS ХИ2ОБР
MS Excel 2007 ENG chiinv
MS Excel 2010 RUS ХИ2.ОБР.ПХ
MS Excel 2010 ENG CHI.INV.RT
Libre Office chiinv
функция R (p = 1 − α)
qchisq (p , df )
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 26 / 65

41. White test (1980)
Особенности теста:
Вспомогательная регрессия может иметь «много»
регрессоров относительно объема выборки, что снижает
мощность теста (тест часто не отвергает нулевую гипотезу).
Следовательно, тест “хорошо” работает при “небольшом”
числе регрессоров (относительно объёма выборки).
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 27 / 65

42. LM-тест: Breusch – Pagan, Godfrey, Koenker,
Koenker – Bassett test (1979, 1978, 1981, 1982)
Тестируется гипотеза
H0 : Var(ui |X) ≡ σ2
vs
H1 : Var(ui |X) = f (γ0 + γ1zi1 + · · · + γK ziK ) = f (zi γ).
где z1, . . . , zK – факторы, возможно влияющие на дисперсию
ошибки. Среди них могут быть регрессоры.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 28 / 65

43. LM-тест: Breusch – Pagan, Godfrey, Koenker,
Koenker – Bassett test (1979, 1978, 1981, 1982)
Тестируется гипотеза
H0 : Var(ui |X) ≡ σ2
vs
H1 : Var(ui |X) = f (γ0 + γ1zi1 + · · · + γK ziK ) = f (zi γ).
где z1, . . . , zK – факторы, возможно влияющие на дисперсию
ошибки. Среди них могут быть регрессоры.
Вспомогательная регрессия
ˆu2
на z1, . . . , zK R2
aux .
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 28 / 65

44. LM-тест: Breusch – Pagan, Godfrey, Koenker,
Koenker – Bassett test (1979, 1978, 1981, 1982)
Тестовая статистика: nR2
aux .
Критическое значение χ2
cr = χ2
K (α) (K – степень свободы, число
регрессоров во вспомогательной регрессии).
Статистическое правило: отвергаем H0 при nR2
aux > χ2
cr . В этом
случае тест указывает на гетероскедастичность.
Альтернативно с помощью P-значения.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 29 / 65

45. Goldfeld – Quandt test (1965)
Тест на два вида гетероскедастичности.
Случай №1: дисперсия пропорциональна фактору xj , т.е.
тестируем
H0 : Var(ui |X) ≡ σ2
vs H1 : Var(ui |X) = σ2
x2
ij
Смысл: разброс данных пропорционален фактору xj
Важно!
Вначале упорядочиваем данные по возрастанию фактора xj
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 30 / 65

46. Goldfeld – Quandt test (1965)
Алгоритм:
1 Отбрасываем r центральных наблюдений (разделяем
“маленькие” и “большие” дисперсии). Получаем две выборки
объёма n1&n2.
2 Оцениваем регрессию отдельно по каждой из выборок и
вычисляем RSS1 & RSS2 (для, как предполагаем, “малого” и
“большого” разброса данных).
Тестовая статистика:
F =
RSS2
RSS1
·
n1 − k − 1
n2 − k − 1
Критическое значение: Fcr = Fn2−k−1,n1−k−1(α)
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 31 / 65

47. Goldfeld – Quandt test (1965)
Как обычно, отвергаем H0 при F > Fcr , тест указывает на
гетероскедастичность.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 32 / 65

48. Goldfeld – Quandt test (1965)
Как обычно, отвергаем H0 при F > Fcr , тест указывает на
гетероскедастичность.
Основной вопрос: как выбрать r? Как выбрать сколько
наблюдений отбросить?
Ответ: “не много” и “не мало”, однозначной рекомендации нет
(как всегда). Иногда рекомендуют r = 20% − 30%.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 32 / 65

49. Goldfeld – Quandt test (1965)
Как обычно, отвергаем H0 при F > Fcr , тест указывает на
гетероскедастичность.
Основной вопрос: как выбрать r? Как выбрать сколько
наблюдений отбросить?
Ответ: “не много” и “не мало”, однозначной рекомендации нет
(как всегда). Иногда рекомендуют r = 20% − 30%.
Особенности практического применения: Нужно выбрать xj (не
всегда очевидно).
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 32 / 65

50. Goldfeld – Quandt test (1965)
Случай №2: дисперсия зависит от бинарного фактора D
(σ2 > σ1):
H0 : Var(ui |D) ≡ σ2
vs H1 : Var(ui |D) =
σ2
1, D = 0
σ2
2, D = 1
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 33 / 65

51. Goldfeld – Quandt test (1965)
Случай №2: дисперсия зависит от бинарного фактора D
(σ2 > σ1):
H0 : Var(ui |D) ≡ σ2
vs H1 : Var(ui |D) =
σ2
1, D = 0
σ2
2, D = 1
Алгоритм:
1 оцениваем модель отдельно для выборки c D = 0 (объёма
n1) и отдельно для выборки с D = 1 (объёма n2);
2 тестовая статистика и критическое значение как в первом
случае.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 33 / 65

52. Гетероскедастичность как ошибка
спецификации
Важно!
Результаты тестов на гетероскедастичность зависят от
спецификации регрессии.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 34 / 65

53. Гетероскедастичность как ошибка
спецификации
Важно!
Результаты тестов на гетероскедастичность зависят от
спецификации регрессии.
Пример
“Избавить от гетероскедастичости” может:
переход к логарифмам (для неоднородных данных);
включение квадратов объясняющих переменных.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 34 / 65

54. 0
100
200
300
0 20000 40000 60000
Output
Cost
−2
0
2
4
6
3 6 9
log(Output)
log(Cost)
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 35 / 65

55. −50
0
50
100
0 20000 40000 60000
Output
Residuals
−0.5
0.0
0.5
3 6 9
log(Output)
Residuals
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 36 / 65

56. 1 Гетероскедастичность (Heteroskedasticity)
Что это такое?
Проблемы оценивания модели регрессии
Тесты на гетероскедастичность
Оценка модели и тестирование гипотез
OLS при гетероскедастичности
Взвешенный метод наименьших квадратов WLS
Доступный взвешенный метод наименьших квадратов FWLS
Выводы
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 37 / 65

57. Как состоятельно оценить модель?
Как получить состоятельные оценки коэффициентов модели?
Стандартно три способа:
Метод наименьших квадратов (OLS);
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 38 / 65

58. Как состоятельно оценить модель?
Как получить состоятельные оценки коэффициентов модели?
Стандартно три способа:
Метод наименьших квадратов (OLS);
Взвешенный метод наименьших квадратов (WLS = Weighted
Least Squares);
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 38 / 65

59. Как состоятельно оценить модель?
Как получить состоятельные оценки коэффициентов модели?
Стандартно три способа:
Метод наименьших квадратов (OLS);
Взвешенный метод наименьших квадратов (WLS = Weighted
Least Squares);
Доступный взвешенный метод наименьших квадратов
(FWLS = Feasible Weighted Least Squares).
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 38 / 65

60. 1 Гетероскедастичность (Heteroskedasticity)
Что это такое?
Проблемы оценивания модели регрессии
Тесты на гетероскедастичность
Оценка модели и тестирование гипотез
OLS при гетероскедастичности
Взвешенный метод наименьших квадратов WLS
Доступный взвешенный метод наименьших квадратов FWLS
Выводы
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 39 / 65

61. OLS–метод при гетероскедастичности
При гетероскедастичности любой формы метод наименьших
квадратов
даёт состоятельные оценки коэффициентов;
эти оценки неэффективны в общем случае;
Важно!
Стандартные тестовые статистики метода наименьших квадратов
неприменимы для тестирования гипотез! (В частности, для
проверки значимости). Можно получить неправильные выводы!
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 40 / 65

62. OLS–метод при гетероскедастичности
Проблема
Как тестировать гипотезы если оцениваем модель по методу
наименьших квадратов? Как строить тестовые статистики?
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 41 / 65

63. OLS–метод при гетероскедастичности
Проблема
Как тестировать гипотезы если оцениваем модель по методу
наименьших квадратов? Как строить тестовые статистики?
Решение (H. White, 1980)
Используем робастные стандартные ошибки коэффициентов
(HC-стандартные ошибки). Они дают робастные тестовые
статистики и можно использовать обычные критические
значения.
Замечание
Есть разные HC-статистики: HC0, HC1, HC2, HC3, HC4m, HC5
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 41 / 65

64. Оценка матрицы вариаций
Проблема
Состоятельно оценить матрицу вариации OLS-оценок
коэффициентов Var(ˆβOLS ) (нужно для инференций)
Пусть V – необходимая оценка. Тогда
Робастные стандартные ошибки коэффициентов: квадратный
корень из диагональных элементов матрицы V
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 42 / 65

65. Оценка матрицы вариаций
Проблема
Состоятельно оценить матрицу вариации OLS-оценок
коэффициентов Var(ˆβOLS ) (нужно для инференций)
Пусть V – необходимая оценка. Тогда
Робастные стандартные ошибки коэффициентов: квадратный
корень из диагональных элементов матрицы V
Замечание
Для CLRM-регрессии искомая оценка
V = s2
(X X)−1
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 42 / 65

66. Робастные тестовые статистики
Проверка значимости коэффициента: робастная t-статистика
t =
ˆβ
HC-s. e.(β)
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 43 / 65

67. Робастные тестовые статистики
Проверка значимости коэффициента: робастная t-статистика
t =
ˆβ
HC-s. e.(β)
Гипотезы о линейных ограничениях H0 : Rβ = r: робастные
F-статистики
F =
1
J
· (Rˆβ − r) R · V · R
−1
(Rˆβ − r)
Хорошая новость: всё вычисляется автоматически!
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 43 / 65

68. HC*-оценки
Общая HC-оценка1
или sandwich-оценка
ˆV = (X X)−1
X ΩX(X X)−1
где
(X X)−1
– bread
X ΩX – meat
обычно
Ω
n×n
= diag(ω1, . . . , ωn)
1
HC = Heteroskedasticity consistent
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 44 / 65

69. Основные HC*-оценки
HC0 ωi = ˆu2
i White (1980)
HC1 ωi = n
n−k−1
ˆu2
i Hinkley (1977)
Chesher & Jewitt (1987)
HC2 ωi = ˆu2
i /(1 − hii ) Cribari-Neto (2004)
Kauermann & Carroll (2001)
HC3 ωi = ˆu2
i /(1 − hii )2
Davidson & White (1985)
Davidson & MacKinnon, 1993
HC4 ωi = ˆu2
/(1 − hii )di Cribari-Neto (2004)
OLS ωi = RSS/(n − k − 1)
Здесь hii – диагональные элементы матрицы H = X(X X)−1
X и
di = min 4, hii /¯h
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 45 / 65

70. Проблема
Какой вариант выборать на практике?
Long, Ervin (2000): HC3 (среди HC0 – HC3)
Cribari-Neto (2004), Cribari-Neto, Souza, Vasconellos (2007),
Cribari-Neto, DaSilva (2011): HC4, HC5, HC4m соотвественно
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 46 / 65

71. Проблема
Какой вариант выборать на практике?
Long, Ervin (2000): HC3 (среди HC0 – HC3)
Cribari-Neto (2004), Cribari-Neto, Souza, Vasconellos (2007),
Cribari-Neto, DaSilva (2011): HC4, HC5, HC4m соотвественно
По умолчанию в программах
gretl: HC1
R: HC3
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 46 / 65

72. 1 Гетероскедастичность (Heteroskedasticity)
Что это такое?
Проблемы оценивания модели регрессии
Тесты на гетероскедастичность
Оценка модели и тестирование гипотез
OLS при гетероскедастичности
Взвешенный метод наименьших квадратов WLS
Доступный взвешенный метод наименьших квадратов FWLS
Выводы
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 47 / 65

73. WLS-метод оценивания модели
Применяется когда известен точный вид гетероскедастичности:
Var(ui |X) = σ2
f (xi )
где f (·) > 0 – известная функция, а σ2
неизвестна.
Пример
Часто f (x) = x2
j (дисперсия пропорциональна одному из
факторов).
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 48 / 65

74. WLS – метод оценивания модели
Линейная регрессия с гетероскедастичной ошибкой
yi = xi β + ui , Var(ui |X) = σ2
f (xi )
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 49 / 65

75. WLS – метод оценивания модели
Линейная регрессия с гетероскедастичной ошибкой
yi = xi β + ui , Var(ui |X) = σ2
f (xi )
Разделим уравнение на hi = f (xi )
yi
hi
=
xi
hi
β + vi , vi =
ui
hi
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 49 / 65

76. WLS – метод оценивания модели
Линейная регрессия с гетероскедастичной ошибкой
yi = xi β + ui , Var(ui |X) = σ2
f (xi )
Разделим уравнение на hi = f (xi )
yi
hi
=
xi
hi
β + vi , vi =
ui
hi
Тогда для ошибки преобразованного уравнения
Var(vi |X) = Var
ui
hi
|X =
1
h2
i
Var(ui |X) = σ2
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 49 / 65

77. WLS – метод оценивания модели
Вывод
Преобразованное уравнение удовлетворяет всем условиям
CLRM-модели. Следовательно, для эффективного оценивания
коэффициентов и тестирования гипотез необходимо применить
OLS-метод к преобразованному уравнению
yi
hi
=
xi
hi
β + error
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 50 / 65

78. WLS – метод оценивания модели
Вывод
Преобразованное уравнение удовлетворяет всем условиям
CLRM-модели. Следовательно, для эффективного оценивания
коэффициентов и тестирования гипотез необходимо применить
OLS-метод к преобразованному уравнению
yi
hi
=
xi
hi
β + error
Важно!
Преобразованное уравнение не имеет экономической
интерпретации и в общем случае будет регрессией без константы.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 50 / 65

79. WLS – метод оценивания модели
В качестве примера рассмотрим модель
yi = β0 + β1xi + ui , Var(ui |X) = σ2
x2
i
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 51 / 65

80. WLS – метод оценивания модели
В качестве примера рассмотрим модель
yi = β0 + β1xi + ui , Var(ui |X) = σ2
x2
i
Смысл: мера “разброса” данных относительно линии регрессии
пропорциональна x (предполагаем, что все xi > 0).
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 51 / 65

81. WLS – метод оценивания модели
В качестве примера рассмотрим модель
yi = β0 + β1xi + ui , Var(ui |X) = σ2
x2
i
Смысл: мера “разброса” данных относительно линии регрессии
пропорциональна x (предполагаем, что все xi > 0).
Преобразованное уравнение имеет вид (hi = xi )
yi
xi
=
β0
xi
+ β1 + ui
и именно его нужно оценивать OLS-методом и для него
тестировать гипотезы.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 51 / 65

82. WLS – метод оценивания модели
В качестве примера рассмотрим модель
yi = β0 + β1xi + ui , Var(ui |X) = σ2
x2
i
Смысл: мера “разброса” данных относительно линии регрессии
пропорциональна x (предполагаем, что все xi > 0).
Преобразованное уравнение имеет вид (hi = xi )
yi
xi
=
β0
xi
+ β1 + ui
и именно его нужно оценивать OLS-методом и для него
тестировать гипотезы. Хотя экономический смысл имеет
первоначальная регрессия.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 51 / 65

83. WLS – метод: реализация
Преобразованное уравнение:
yi /hi = (xi /hi ) β + error
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 52 / 65

84. WLS – метод: реализация
Преобразованное уравнение:
yi /hi = (xi /hi ) β + error
OLS: нужно решить экстремальную задачу
min
β
n
i=1
(yi /hi − (xi /hi ) β)
2
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 52 / 65

85. WLS – метод: реализация
Преобразованное уравнение:
yi /hi = (xi /hi ) β + error
OLS: нужно решить экстремальную задачу
min
β
n
i=1
(yi /hi − (xi /hi ) β)
2
Это равносильно задаче
min
β
n
i=1
1
h2
i
(yi − xi β)2
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 52 / 65

86. WLS – метод: реализация
Вывод: для гетероскедастичности вида Var(ui |X) = σ2
f (xi )
нужно решить экстремальную задачу
min
β
n
i=1
wi (yi − xi β)2
с весами
wi =
1
f (xi )
(нужно минимизировать взвешенную сумму квадратов
отклонений)
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 53 / 65

87. WLS – метод: реализация
Вывод: для гетероскедастичности вида Var(ui |X) = σ2
f (xi )
нужно решить экстремальную задачу
min
β
n
i=1
wi (yi − xi β)2
с весами
wi =
1
f (xi )
(нужно минимизировать взвешенную сумму квадратов
отклонений)
Отметим, что метод наименьших квадратов получается при
выборе весов wi = 1.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 53 / 65

88. WLS – метод: свойства оценок
WLS-оценки коэффициентов регрессии
состоятельны
эффективные
тестовые (t-, F-) статистики метода можно использовать для
тестирования гипотез (например, проверки значимости).
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 54 / 65

89. 1 Гетероскедастичность (Heteroskedasticity)
Что это такое?
Проблемы оценивания модели регрессии
Тесты на гетероскедастичность
Оценка модели и тестирование гипотез
OLS при гетероскедастичности
Взвешенный метод наименьших квадратов WLS
Доступный взвешенный метод наименьших квадратов FWLS
Выводы
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 55 / 65

90. FWLS – метод
Применяется когда известен вид гетероскедастичности с
точностью до неизвестных параметров
Var(ui |X) = σ2
f (xi , zi , γ)
где f – известная функция, γ – неизвестные параметры.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 56 / 65

91. FWLS – метод: реализация
Алгоритм метода:
1 оцениваем регрессию методом наименьших квадратов,
получаем остатки ˆui ;
2 по остаткам получаем оценки параметров
гетероскедастичности ˆγ (оценивая вспомогательную
регрессию);
3 применяем WLS-метод с весами
wi =
1
f (xi , zi , ˆγ)
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 57 / 65

92. FWLS – метод
Пример (Степенная гетероскедастичность)
Гетероскедастичность можно моделировать так
Var(u|X) = f (x, γ) = const ·xγ1
j ,
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 58 / 65

93. FWLS – метод
Пример (Степенная гетероскедастичность)
Гетероскедастичность можно моделировать так
Var(u|X) = f (x, γ) = const ·xγ1
j ,
или так
Var(u|X) = f (x, γ) = const ·xγ1
1 · · · xγk
k
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 58 / 65

94. FWLS – метод
Пример (Степенная гетероскедастичность.
Продолжение)
Вспомогательные регрессии буду имеет такой вид
ln ˆu2
= γ0 + γ1 ln xj + error
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 59 / 65

95. FWLS – метод
Пример (Степенная гетероскедастичность.
Продолжение)
Вспомогательные регрессии буду имеет такой вид
ln ˆu2
= γ0 + γ1 ln xj + error
и такой вид
ln ˆu2
= γ0 + γ1 ln x1 + · · · + γk ln xk + error
соответственно.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 59 / 65

96. FWLS – метод
Пример (Экспоненциальная гетероскедастичность)
Гетероскедастичность можно моделировать так
Var(u|X) = f (x, γ) = exp(γ0 + γ1x1 + · · · + γkxk),
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 60 / 65

97. FWLS – метод
Пример (Экспоненциальная гетероскедастичность)
Гетероскедастичность можно моделировать так
Var(u|X) = f (x, γ) = exp(γ0 + γ1x1 + · · · + γkxk),
или так
Var(u|X) = f (x, γ) = exp(γ0 +
j
γj xj +
s,l
γs,l xsxl ).
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 60 / 65

98. FWLS – метод
Пример (Экспоненциальная гетероскедастичность.
Продолжение)
Вспомогательные регрессии буду имеет такое вид
ln ˆu2
= γ0 + γ1x1 + · · · + γkxk + error
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 61 / 65

99. FWLS – метод
Пример (Экспоненциальная гетероскедастичность.
Продолжение)
Вспомогательные регрессии буду имеет такое вид
ln ˆu2
= γ0 + γ1x1 + · · · + γkxk + error
и такой вид
ln ˆu2
= γ0 +
j
γj xj +
s,l
γs,l xsxl + error
соответственно.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 61 / 65

100. FWLS – метод: свойства оценок
FWLS-оценки коэффициентов регрессии
состоятельны;
асимптотически эффективнее OLS-оценок;
дают асимптотически “правильные” тестовые (t- , F-)
статистики.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 62 / 65

101. 1 Гетероскедастичность (Heteroskedasticity)
Что это такое?
Проблемы оценивания модели регрессии
Тесты на гетероскедастичность
Оценка модели и тестирование гипотез
OLS при гетероскедастичности
Взвешенный метод наименьших квадратов WLS
Доступный взвешенный метод наименьших квадратов FWLS
Выводы
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 63 / 65

102. Выводы №1
Гетероскедастичность является часто встречающимся
феноменом.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 64 / 65

103. Выводы №1
Гетероскедастичность является часто встречающимся
феноменом.
Как правило является следствием неоднородности данных.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 64 / 65

104. Выводы №1
Гетероскедастичность является часто встречающимся
феноменом.
Как правило является следствием неоднородности данных.
Тестирование на гетероскедастичность – стандартная
процедура анализа экономических данных.
Формальные тесты могут указывать на
гетероскедастичность из-за ошибки спецификации.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 64 / 65

105. Выводы №2
Для линейной регрессии с гетероскедастичной ошибкой в
зависимости от априорной информации:
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 65 / 65

106. Выводы №2
Для линейной регрессии с гетероскедастичной ошибкой в
зависимости от априорной информации:
используем OLS-оценки коэффициентов, для тестирования
гипотез используем робастные стандартные ошибки
коэффициентов (наиболее часто);
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 65 / 65

107. Выводы №2
Для линейной регрессии с гетероскедастичной ошибкой в
зависимости от априорной информации:
используем OLS-оценки коэффициентов, для тестирования
гипотез используем робастные стандартные ошибки
коэффициентов (наиболее часто);
используем WLS-метод оценки;
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 65 / 65

108. Выводы №2
Для линейной регрессии с гетероскедастичной ошибкой в
зависимости от априорной информации:
используем OLS-оценки коэффициентов, для тестирования
гипотез используем робастные стандартные ошибки
коэффициентов (наиболее часто);
используем WLS-метод оценки;
используем FWLS-метод оценки.
Н. В. Артамонов (МГИМО) Эконометрика I 6 ноября 2017 г. 65 / 65