Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Business statisics and forecasting techniques: testing models.

My presentation at "CFO days in Ukraine", 24 November 2011, Hotel "Rus".

  • Login to see the comments

  • Be the first to like this

Business statisics and forecasting techniques: testing models.

  1. 1. «Новое – это хорошо забытое старое, или Статистические методы и качество прогнозов»© A. Запорожец, КБШ, 24.11.2011 1
  2. 2. Прогнозирование Прогноз - проецирование будущей финансовой или операционной информации (н-р, выручки, расходов, количества продаж и т. д.); - предсказание будущих событий или условий; - процесс оценки в состоянии неопределенности. Положение по управленческому учету 2A, Институт управленческих бухгалтеров США (IMA) Прогнозирование независимого спроса (массовые модели спроса): объем продаж, цены на сырье и т.п.© A. Запорожец, КБШ, 24.11.2011 2
  3. 3. Количественные методы (КМ) прогнозирования Количественные методы (= техники): Скользящие средние: SMA, WMА, EMA и их разновидности Линейная регрессия (врем. ряды…) Сезонные индексы Авторегрессия и др. Модель: совокупность техник прогнозирования и необходимых переменных.© A. Запорожец, КБШ, 24.11.2011 3
  4. 4. Применение КМ: традиционный подход  Постановка задачи, сбор и очистка входных данных.  Построение временного ряда.  Использование техник – расчет прогнозных значений.  Тестирование «качества» модели – на основе показателей оценки техник (MSE и др.).  Фиксация прогнозной величины.  Обратная связь: Включение в модель фактического значения искомой величины. Тюнинг модели (уточнение факторов сезонности, экспоненциальных факторов, весов, т. п.). Либо отказ от существующей модели. Пересмотр техник, настройка модели и т.д.© A. Запорожец, КБШ, 24.11.2011 4
  5. 5. Применение КМ: традиционный подход Показатели оценки техник прогнозирования («измерители ошибок»): Среднее абсолютное MAD отклонение (ошибка) Средний квадрат MSE ошибок Средняя абсолютная MAPE процентная ошибка Текущая сумма ошибок RSFE Следящий сигнал TS Другие …© A. Запорожец, КБШ, 24.11.2011 5
  6. 6. Применение КМ: традиционный подход Пример: цена на серебро, LME ПЕРИОД Факт Прогноз F-A ABS(F-A) (F-A)^2 January11 27,75 30,31 2,56 2,56 6,54 February 33,49 27,97 -5,52 5,52 30,50 March 37,87 33,02 -4,85 4,85 23,52 April 48,70 37,46 -11,24 11,24 126,40 May 38,65 47,74 9,09 9,09 82,69 June 35,02 39,42 4,40 4,40 19,39 July 39,63 35,39 -4,24 4,24 17,94 August 39,27 Среднее 22,40 -29,25 2,40 12,46 RSFE MAD MSE 10,73% MAPE© A. Запорожец, КБШ, 24.11.2011 6
  7. 7. Проблема: неоднозначность оценки техник ПОКАЗАТЕЛИ ОЦЕНКИ: МОДЕЛЬ MAD MSE MAPE RSFE TS1. Наивная модель 2,39 12,52 10,17% -27,12 -11,372. EMA (1-парам.) 2,40 12,46 10,73% -29,25 -12,173. Линейная регрессия 3,34 19,93 14,93% 4,51 1,354. ЛРД + сезонность 3,25 15,97 14,51% 4,17 1,285. WMA (4-период.) 2,61 13,66 11,65% -31,79 -12,18 Лучшие техники: 2, 1, 4. Худшие: 3, 5 На какую технику опираться в модели?© A. Запорожец, КБШ, 24.11.2011 7
  8. 8. Проблема: неоднозначность оценки техник ПОКАЗАТЕЛИ ОЦЕНКИ: ПРОГНОЗ MAD MSE MAPE RSFE TS1. Наивная модель 2,39 12,52 10,17% -27,12 -11,37 39,632. EMA (1-парам.) 2,40 12,46 10,73% -29,25 -12,17 39,273. Линейная регрессия 3,34 19,93 14,93% 4,51 1,35 37,124. ЛРД + сезонность 3,25 15,97 14,51% 4,17 1,28 31,265. WMA (4-период.) 2,61 13,66 11,65% -31,79 -12,18 39,50 Среднее 37,36 Решение: (1) оставляем несколько техник; (2) используем среднее значение от нескольких прогнозов (техник); (3) принимаем во внимание разброс прогнозных значений (min – max).© A. Запорожец, КБШ, 24.11.2011 8
  9. 9. Применение КМ: традиционный подход НАШ ДОКЛАД НЕ ОБ ЭТОМ© A. Запорожец, КБШ, 24.11.2011 9
  10. 10. Применение КМ: традиционный подход Можно ли как-то убедиться, что качество и точность прогноза улучшается от периода периоду? Эмоции: Мнение босса (клиента)? Цифры: Улучшение значений «измерителей ошибок»? Еще? Устойчивость? Как измерить?© A. Запорожец, КБШ, 24.11.2011 10
  11. 11. Коэффициент вариации (CV): отношение вариации значений к среднему значению Рынки S&P500 RTSI Период Значение Доходность Значение Доходность 2011 1 269,75 10,70% 1 802,23 16,04% 2010 1 146,98 31,80% 1 553,06 147,76% 2009 870,26 -38,73% 626,85 -72,83% 2008 1 420,33 0,39% 2 306,87 30,28% 2007 1 414,85 9,70% 1 770,67 48,75% 2006 1 289,69 8,35% 1 190,34 95,92% 2005 1 190,25 5,59% 607,57 2,06% 2004 1 127,23 21,53% 595,32 66,32% 2003 927,57 -19,80% 357,94 24,90% 2002 1 156,55 -11,93% 286,59 85,28% 2001 1 313,27 154,68 Среднее 1,76% 44,45% Ст. откл. 20,51% 60,02% CV 11,65 1,35© A. Запорожец, КБШ, 24.11.2011 11
  12. 12. CV: применяем к разбросу прогнозных значений Пример: цена на серебро, LME ПОКАЗАТЕЛИ ОЦЕНКИ: МОДЕЛЬ ПРОГНОЗ MAD MSE MAPE RSFE TS1. Наивная модель 2,39 12,52 10,17% -27,12 -11,37 39,632. EMA (1-парам.) 2,40 12,46 10,73% -29,25 -12,17 39,273. Линейная регрессия 3,34 19,93 14,93% 4,51 1,35 37,124. ЛРД + сезонность 3,25 15,97 14,51% 4,17 1,28 31,265. WMA (4-период.) 2,61 13,66 11,65% -31,79 -12,18 39,50 Среднее 37,36 Сигма 3,56 CV 0,10© A. Запорожец, КБШ, 24.11.2011 12
  13. 13. CV: динамика Пример: производственная компания, Украина Прогноз Прогноз Прогноз МОДЕЛЬ Август Сентябрь Октябрь 1 1 364 220 2 145 045 2 154 036 Снижение значения 2 1 667 646 1 819 738 1 926 241 CV - устойчивость 3 2 002 984 2 046 173 2 089 362 прогнозных 4 1 922 364 2 067 422 1 751 998 значений (шире: 5 1 938 289 2 084 490 1 766 413 устойчивость 6 1 754 186 1 605 629 1 837 932 процесса). 7 1 796 319 1 786 739 1 685 334 Среднее 1 778 001 1 936 462 1 887 331 Сигма 216 582 200 041 177 783 CV 0,1218 0,1033 0,0942© A. Запорожец, КБШ, 24.11.2011 13
  14. 14. Увеличение значения CV: возможные действия Увеличение – сигнал о возможных проблемах процесса, техник и модели. Прогноз Прогноз Прогноз МОДЕЛЬ Август Сентябрь Октябрь Среднее 1 778 001 1 936 462 1 860 854 Сигма 216 582 200 041 221 343 CV 0,1218 0,1033 0,1189© A. Запорожец, КБШ, 24.11.2011 14
  15. 15. Увеличение значения CV: возможные действия Принципиальные подходы: 1. Не пересматривать модель прогнозирования. Анализ «прогноз-факт» еще на 1 период. Принять во внимание увеличение разброса прогнозных значений (оптимистический – пессимистический прогнозы; доверительный интервал). Мониторинг. 2. Пересмотреть техники и их параметры (веса, факторы, коэффициенты…). Исключить некоторые техники. Пересчитать прогнозы за ряд периодов. Отследить значения СV за последние периоды. Убедиться в нужной нам динамике. Мониторинг.© A. Запорожец, КБШ, 24.11.2011 15
  16. 16. «Новое – это хорошо забытое старое, или Статистические методы и качество прогнозов» Андрей Запорожец, МВА Тренер, Киевская Бизнес Школа Директор, Центр «АЗЪ-ИНВЕСТ» Тел.: 050 257 2207 Почта: az.invest@yahoo.com© A. Запорожец, КБШ, 24.11.2011 16

×