Групповой проект №1 по дисциплине "Статистика".
Тема: «Применение методов статистики для анализа экономической информации»
ИБМТ БГУ
Логистика, 2 курс, 521 группа
М.Г.Гоман (1986) – Дифференциальный метод продолжения решений систем конечных...Project KRIT
М.Г.Гоман «Дифференциальный метод продолжения решений систем конечных нелинейных уравнений, зависящих от параметра», Ученые записки ЦАГИ, том XVII, №5, 1986, стр. 94-102
Goman, M. G. (1986) Differential method for continuation of equilibrium solutions of a system of nonlinear equations depending on a parameter. Uch. Zap. TsAGI, vol.17, no.5, pp. 94-102 (in Russian).
Для продолжения решений систем конечных нелинейных уравнений при изменении параметра получена система обыкновенных дифференциальных уравнений, для которой искомое однопараметрическое семейство решений конечных уравнений является устойчивой фазовой траекторией. Рассмотрен конечно-разностный алгоритм продолжения решения с ортогональной к траектории решения коррекцией, обеспечивающий прохождение предельных по параметру точек и точек ветвления траектории решения. Обсуждается использование метода продолжения по параметру в различных алгоритмах решения нелинейных систем уравнений. Приведен пример использования метола в задаче динамики пространственного движения самолета.
Визуализация данных на географических картах в Tableau (базовый уровень)Gleb Zakhodiakin
Лекция и тренинг по базовым навыкам визуализации данных на географических картах в системе Tableau. Рассматриваются способы визуализации данных на картах, виды геоданных, геокодирование. Базовый тренинг посвящен созданию тематических карт в Tableau. Рассмотрены возможности геокодирования объектов на территории РФ, а также подключение с дополнительными источниками тайловых карт (Google, OpenStreet Map, Stamen, Apple...)
Материал разработан для курса "Информационные технологии в менеджменте" для факультета логистики НИУ ВШЭ, 2014 год
Визуализация данных. Аналитическая платформа Tableau.Gleb Zakhodiakin
Роль визуализации в анализе данных. Аналитическая платформа Tableau.
курс: Информационные технологии в менеджменте для факультета логистики НИУ ВШЭ, 2014 год
Групповой проект №1 по дисциплине "Статистика".
Тема: «Применение методов статистики для анализа экономической информации»
ИБМТ БГУ
Логистика, 2 курс, 521 группа
М.Г.Гоман (1986) – Дифференциальный метод продолжения решений систем конечных...Project KRIT
М.Г.Гоман «Дифференциальный метод продолжения решений систем конечных нелинейных уравнений, зависящих от параметра», Ученые записки ЦАГИ, том XVII, №5, 1986, стр. 94-102
Goman, M. G. (1986) Differential method for continuation of equilibrium solutions of a system of nonlinear equations depending on a parameter. Uch. Zap. TsAGI, vol.17, no.5, pp. 94-102 (in Russian).
Для продолжения решений систем конечных нелинейных уравнений при изменении параметра получена система обыкновенных дифференциальных уравнений, для которой искомое однопараметрическое семейство решений конечных уравнений является устойчивой фазовой траекторией. Рассмотрен конечно-разностный алгоритм продолжения решения с ортогональной к траектории решения коррекцией, обеспечивающий прохождение предельных по параметру точек и точек ветвления траектории решения. Обсуждается использование метода продолжения по параметру в различных алгоритмах решения нелинейных систем уравнений. Приведен пример использования метола в задаче динамики пространственного движения самолета.
Визуализация данных на географических картах в Tableau (базовый уровень)Gleb Zakhodiakin
Лекция и тренинг по базовым навыкам визуализации данных на географических картах в системе Tableau. Рассматриваются способы визуализации данных на картах, виды геоданных, геокодирование. Базовый тренинг посвящен созданию тематических карт в Tableau. Рассмотрены возможности геокодирования объектов на территории РФ, а также подключение с дополнительными источниками тайловых карт (Google, OpenStreet Map, Stamen, Apple...)
Материал разработан для курса "Информационные технологии в менеджменте" для факультета логистики НИУ ВШЭ, 2014 год
Визуализация данных. Аналитическая платформа Tableau.Gleb Zakhodiakin
Роль визуализации в анализе данных. Аналитическая платформа Tableau.
курс: Информационные технологии в менеджменте для факультета логистики НИУ ВШЭ, 2014 год
Визуализация данных на географических картах - 2016Gleb Zakhodiakin
Обновленная версия тренинга по визуализации данных на географических картах. Добавлен пример создания картограмм на основе собственных полигонов с границами географических областей
Визуализация данных на географических картах в Tableau. Следующий уровень.Gleb Zakhodiakin
Расширенный тренинг по созданию визуализаций на географических картах в Tableau. Рассматриваются визуализация линейных объектов, сетей распределения, использование собственных баз данных для геокодирования. Также рассматривается использование произвольных изображений в качестве подложки для визуализаций.
Материал разработан для курса Информационные технологии в менеджменте факультета логистики НИУ ВШЭ, 2014 год
Тренинг GLPK, часть 1: Модель планирования производстваGleb Zakhodiakin
Первая часть тренинга по решению задач оптимизации в пакете GLPK. В презентации рассматриваются основные компоненты оптимизационной модели и их реализация на языке MathProg на примере задачи планирования производства. Рассматриваются автоматически формируемые отчеты по решению.
Вторая часть тренинга по решению задач оптимизации в пакете GLPK. На примере задачи о рационе рассматривается работа с параметрами, зависящими от двух множеств. Описаны способы определения данных для таких параметров. Разобрана структура отчета по устойчивости, формируемого GLPK. Описаны приемы форматированного вывода результатов решения задачи с помощью операторов for и printf.
Третья часть тренинга по решению задач оптимизации в пакете GLPK. На примере решения транспортной задачи рассматриваются операции с множествами, доступные в MathProg
Алексей Романенко, SAS. Опыт построения системы оптимального распределения то...IBS
Подробности на www.ibs.ru
Опыт построения системы оптимального распределения товара со склада. Алексей Романенко, бизнес-консультант направления Аналитики SAS Россия/СНГ
Бизнес-завтрак IBS и SAS «Прогнозирование спроса и оптимизация товарных запасов в розничном бизнесе. Примеры из практики» (12.03.2015)
среднесрочное прогнозирование нефтяных цен в RAnton Belov
На основании широко известно статьи с хабра подготовил расчет среднесрочного и краткосрочного прогнозирования цен на нефть марки Брент. Нейронные сети откровенно не получились, но краткосрочное прогнозирование экспоненциальным сглаживанием кажется вполне приемлемым.
Повышение маржинальности бизнеса за счет внедрения интегрированного планированияSmart Person
Внедрение современных методов и ИТ-систем для комплексного планирования продаж и операций позволяет по-новому взгляднуть на качество управленческих решений, принимаемых менеджерами на разных участках производственно-логистической цепочки компании. Правильно организованный процесс, адекватная методика и эффективная автоматизация позволяют окупить вложенные инвестиции за 1 год и дают компаниям новые возможности для управления маржинальностью своей деятельности. В докладе будет представлен пример такого проекта.
Подробности на www.ibs.ru
Аналитика в Retail/CPG. Дмитрий Ларин, Директор по развитию бизнеса в Retail SAS Россия/СНГ.
Бизнес-завтрак IBS и SAS «Прогнозирование спроса и оптимизация товарных запасов в розничном бизнесе. Примеры из практики» (12.03.2015)
2. 2
Регрессионный анализРегрессионный анализ
временных рядоввременных рядов
1. Данные временного ряда и проблема
автокорреляции
2. Выявление и устранение автокорреляции
3. Данные временного ряда и проблема
гетероскедастичности
4. Регрессионные модели сезонных
временных рядов
3. 3
Статистическая модель для линейной регрессииСтатистическая модель для линейной регрессии
o Данные для построения уравнения регрессии представляют собой выборку из
генеральной совокупности связей X-Y
o Статистическая модель линейной регрессии позволяет определить математическое
ожидание Y для каждого значения X, по уравнению прямой:
o Фактическое значение будет отличаться от ожидаемого на величину ошибки ε,
которая отражает вклад ненаблюдаемых факторов
o Распределение ошибки ε – нормальное, с мат. ожиданием µY и постоянным СКО σ
для любого значения X
0 1Y Xβ β ε= + +
0 1Y Xµ β β= +
Допущения модели:
• ошибки независимы
• ошибки случайны
• mε=0
• σε = const
4. 4
АвтокорреляцияАвтокорреляция
o Автокорреляция – наличие связей между последовательными
наблюдениями
o Автокорреляция характерна для данных временных рядов:
– постепенное изменение величин (цены, объем продаж, % ставки…)
– изменение независимой переменная влияет на несколько периодов
времени (доход > объем покупок)
o При наличии автокорреляции можно прогнозировать последующие
значения Y на основе предыдущих Y
o При серийной корреляции зависимость между наблюдениями
проявляется в автокорреляции остатков:
обозначения: εt – остаток в момент t, ρ – коэффициент автокорреляции
для лага 1 (|ρ| < 1), νt – нормально распределенные независимые
остатки с математическим ожиданием 0 и стандартным отклонением σν
0 1
1
t t t
t t t
Y Xβ β ε
ε ρε ν−
= + +
= +
5. 5
Смещение регрессионной прямой при наличииСмещение регрессионной прямой при наличии
положительной серийной корреляцииположительной серийной корреляции
o Наличие положительной серийной корреляции остатков может
смещать линию регрессии
o Из-за смещения прямая проходит ближе от наблюдаемых точек
данных и дисперсия этих точек относительно прямой меньше, чем
реальная дисперсия данных
o Стандартная ошибка используется для построения доверительного
интервала, поэтому он также окажется недостаточно широким
6. 6
Ложная корреляцияЛожная корреляция
o Сильная автокорреляция может приводить к тому, что несвязанные
между собой переменные будут казаться связанными (r, R2
, значимость
регрессии)
7. 7
Графики АКФ и ЧАКФ для серийноГрафики АКФ и ЧАКФ для серийно
коррелированного рядакоррелированного ряда
o Графики автокорреляционной и частной автокорреляционной функции
для ряда X из предыдущего примера:
8. 8
Проблемы автокорреляцииПроблемы автокорреляции
1. Стандартная ошибка оценки << реальной изменчивости ε
=> неправильный доверительный интервал
2. Стандартные ошибки коэффициентов b << реальной
изменчивости их оценок
=> смещение линии регрессии
3. Нельзя использовать выводы t и F критериев
9. 9
Тест Дарбина-УотсонаТест Дарбина-Уотсона
o Для серийной корреляции остатков разработан критерий Дарбина-
Уотсона (Durbin-Watson)
o Проверяется зависимость (автокорреляция 1 порядка):
o Гипотезы:
– H0: ρ = 0
– H1: ρ > 0 (наиболее характерно для экономических рядов)
o Выборочная статистика:
o При положительной автокорреляции последовательные остатки близки
по величине и DW -> 0
o Тест нельзя применять для уравнений регрессии с b0 = 0
1t t tε ρε ν−= +
( )
2
1
2
2
2
1 1 1
ˆ ˆ,
n
i i
i
n
i
i
i i i i i i
e e
DW
e
e Y Y e Y Y
−
=
=
− − −
−
=
= − = −
∑
∑
10. 10
Критические значения статистикиКритические значения статистики DWDW
o Статистика Дарбина-Уотсона связана с коэффициентом автокорреляции для
лага 1:
o поскольку |ρ1| < 1, 0 < DW < 4, при ρ1 = 0 DW = 2
o Критические значения статистики DW необходимо найти в таблице (напр. http://
www.stanford.edu/~clint/bench/dwcrit.htm)
– входная информация – количество факторов k, объем выборки n и уровень
значимости α
– выходная информация – нижняя и верхняя границы критической области
– Аналогично можно проверять альтернативную гипотезу ρ < 0:
если DW > 4 – DWL, то H0 отклоняется, если DW < 4 – DWU, H0 принимается
o Внутри области неопределенности необходимо ориентироваться на величину
коэффициента автокорреляции:
( )( )12 1DW eρ= −
0 42
DWL DWU
H0: ρ = 0 отвергается
H1: ρ > 0 принимается
H0: ρ = 0 принимается?
DW
( )1 2 /e nρ >
11. 11
Решение проблемы автокорреляцииРешение проблемы автокорреляции
1. Уточнение спецификации данных
o возможно, пропущен важный фактор, влияющий на зависимую
переменную
o форма (преобразование переменной)
2. Использование дифференцирования (переход к ряду разностей)
o простые разности
o сезонные разности
3. Использование модели авторегрессии (регрессия со смещенным
значением той же переменной)
o смещение с лагом 1
o смещение с лагом = периоду сезонности
12. 12
ДифференцированиеДифференцирование
o При дифференцировании регрессия выполняется не с исходными
значениями переменных, а с их приращениями (разностями):
o Исходные зависимости:
o Результат почленного вычитания уравнений:
o X’t,Y’t – обобщенные разности порядка 1
o При ρ ≈ 1 пропадает свободный член и обобщенные разности становятся
обычными
0 1
1
t t t
t t t
Y Xβ β ε
ε ρε ν−
= + +
= +
1 1' , 't t t t t tY Y Y X X X− −= − = − X’, Y’ – простые разности порядка 1
1 0 1 1 1t t tY Xβ β ε− − −= + +
( ) ( ) ( )1 0 1 1 11t t t t t tY Y X Xρ β ρ β ρ ε ρε− − −− = − + − + −
( )0 1' 1 't t tY Xβ ρ β ν= − + + - остатки независимы
13. 13
Пример регрессии с разностямиПример регрессии с разностями
o Задача: построить регрессионную модель для объема продаж
o Предположительно, зависимость имеет степенной
характер:
o Для линеаризации зависимости используется
логарифмирование:
( ) 1
Y X
β
γ=
1LnY LnXγ β= +
14. 14
Результат регрессии с логарифмамиРезультат регрессии с логарифмами
o Регрессия значима, статистика DW < DWL= 0.97 (k=1, n = 21, α = 5%)
свидетельствует о наличии положительной автокорреляции
15. 15
Дифференцирование вДифференцирование в SPSSSPSS
o Для получения рядов приращений удобно использовать команду
Transform>Create Time Series
o Многие процедуры анализа временных рядов содержат встроенные
возможности для дифференцирования и логарифмирования ряда
16. 16
Результаты регрессии для разностейРезультаты регрессии для разностей
o При построении регрессии для рядов разностей пропадает b0, поэтому
было построено уравнение без учета свободного члена
o Для уравнений без b0 нельзя использовать критерий DW, вместо него
необходимо использовать график АКФ
17. 17
Сравнение двух регрессийСравнение двух регрессий
o Регрессия с логарифмами
o Регрессия с разностями логарифмов
o При построении прогноза на период t нужна оценка Y^
t-1, в качестве нее
можно взять значение Yt-1
1
ˆ 1.82 1.12
0.023b
LnY LnX
S
= +
=
( )
1
1 1
ˆ ' 1.01 '
ˆ ˆ 1.01
0.093
t t t t
b
LnY LnX
LnY LnY LnX LnX
S
− −
=
= + −
=
18. 18
Метод Кохрейна-ОркаттаМетод Кохрейна-Оркатта
o Если коэффициент ρ1 < 1, то необходимо использовать обобщенные разности:
o Уравнение регрессии в обобщенных разностях не может использоваться
непосредственно, т.к. неизвестна оценка ρ:
o Метод Кохрейна-Оркатта (Cochrane-Orcutt) позволяет итеративно уточнять ρ:
o 1 этап: Находятся остатки из уравнения:
o 2 этап: Строится оценка ρ на основе остатков e:
o 3 этап: По уравнению в обобщенных разностях находятся оценки
коэффициентов β0
*
, β1
*
o Процедура повторяется с этапа 1 с новыми коэффициентами β0
*
, β1
*
o Итерации останавливаются при ρ = 1, при изменении коэффициентов менее
чем на 0.01, при достижении максимального числа итераций
1 1' 't t t t t tY Y Y X X Xρ ρ− −= − = −
( )0 1' 1 't t tY Xβ ρ β ν= − + +
0 1t t tY X eβ β= + +
1
2
2
2
n
t t
t
n
t
t
e e
e
ρ
−
=
=
=
∑
∑
20. 20
Модель авторегрессииМодель авторегрессии
o Модель авторегрессии включает
в качестве фактора зависимую
переменную со смещением в 1 лаг:
0 1 1t t tY Yβ β ε−= + +
Примечание: критерий DW нельзя
использовать с моделями
авторегрессии
21. 21
Устранение гетероскедастичностиУстранение гетероскедастичности
o К гетероскедастичности приводят:
– Нелинейные зависимости между переменными
– Сезонность временного ряда
o Для устранения гетероскедастичности используют:
– Преобразование переменных - добавление нелинейных
регрессоров (X*X, X1*X2)
– Добавление фиктивных переменных для моделирования сезонных
поправок:
S2..S4 – фиктивные {0,1} переменные, моделирующие сезонную
поправку (для квартальной сезонности)
Для первого сезона поправка уже учтена в β0
– Добавление в качестве регрессора зависимой переменной с лагом,
равным периоду сезонности (модель авторегрессии):
0 1 2 2 3 3 4 4t t tY X S S Sβ β β β β ε= + + + + +
0 1t t S tY Yβ β ε−= + + +K
22. 22
Пример использования фиктивных переменныхПример использования фиктивных переменных
o Пример использования фиктивных переменных для моделирования
сезонности и эффекта маркетинговых мероприятий:
– НГ = 1 для ноября и декабря
– Акция = 1 – для месяцев, когда проводились акции
25. 25
Сравнение моделейСравнение моделей
o Продажи = f (время, факторы)
o Продажиt = f (факторы, продажиt-1) – метод Кохрейна-Оркатта
o Продажи’t = f(факторы) – регрессия с разностями
o Продажиt = f (продажиt-1, факторы) – модель автокорреляции
Editor's Notes
Модель регрессии предполагает независимость остатков, поэтому наличие автокорреляции – серьезное нарушение одного из базовых предположений регрессионной модели
При = 0 серийная корреляция отсутствует, слагаемые ошибки независимы
МНК определяет коэффициенты уравнения регрессии таким образом, чтобы прямая проходила как можно ближе ко всем точкам. При этом не учитывается факт автокорреляции: т.к. остатки имеют положительную корреляцию, за первым положительным остатком всегда следует ряд других положительных остатков, а за отрицательным – ряд отрицательных остатков. МНК этого не учитывает, поэтому подобранная прямая регрессии на рисунке смещается вверх.
Ряды на рисунке получены из двух наборов нормальных случайных чисел с параметрами (0,2). i-е значение каждого ряда – сумма i первых случайных чисел из соответствующего набора
Обычные разности плохо работают при \rho &lt; 0. Тренд пропадает, а серийная корреляция остатков – нет.