Dmitry Chabanenko, profile picture
Uploaded byDmitry Chabanenko
PPT, PDF482 views

Chab m3e2 2013

Embed presentation

Download to read offline
Методи прогнозування часових рядів та проблема складності Д.М. Чабаненко Кафедра економічної кібернетики ЧНУ ім. Б. Хмельницького
Стан проблеми моделювання і прогнозування складних систем • Прості системи можуть бути описані простими моделями • Системи середньої складності описуються простими моделями гірше, ніж складними (обгрунтована необхідність ускладнення) • Складні системи погано описуються як простими, так і складними моделями • ? При якій складності моделі можна отримати кращі прогнози складної системи?
Підходи до оцінювання складності моделі, порівняння складності моделей • Розрахункова складність (складність алгоритму побудови і використання моделі) • Складність за кількістю факторів, які враховує модель • Описова складність (множина станів системи, які можуть бути описані моделлю)
Приклад моделі зі змінною складністю – модель поліноміального тренду Y(t)=a0+a1t+a2t2 +…+aktk Горизонт прогнозу Np – задається дослідником Степінь поліному k та довжина вибірки навчання – параметри, які треба визначити ( )( ) N yty MSE N i ii∑ = − = 1 2 ( ) %100 1 ⋅ − = ∑ + = NpN Ni i ii y yty Np MAPE
Приклад моделі зі змінною складністю – модель поліноміального тренду • Степінь полінома k – параметр складності. • Довжина навчальної вибірки N – теж параметр складності. • Похибка на перевірочній вибірці – міра якості моделі з заданими параметрами k та N. • Постановка задачі: знайти значення параметрів k (степінь полінома) та N (довжина навч. вибірки), при яких середня абсолютна процентна похибка була б мінімальною.
Пошук оптимальних order та nlearn при прогнозуванні на 3 дні (за даними iндексу S&P 500) Максимум по полю MAPE nlearn order 10 50 100 250 500 1000 2000 4500 7000 Общий итог 1 6,48 5,43 9,95 8,29 21,89 52,86 59,10 74,37 68,63 74,37 2 3,76 8,24 8,04 13,79 11,78 20,26 59,68 53,71 72,32 72,32 3 3,45 7,45 7,86 9,51 11,16 10,74 26,15 44,36 60,01 60,01 4 5,04 4,60 6,57 8,89 13,67 12,50 15,20 68,97 45,02 68,97 5 7,14 9,28 4,15 9,55 8,99 14,43 18,99 40,11 57,40 57,40 6 22,28 2,54 7,15 14,57 8,92 10,68 20,14 24,80 63,36 63,36 7 34,28 5,38 6,34 10,28 16,02 13,62 14,78 17,41 29,22 34,28 8 131,60 4,56 3,96 7,02 11,61 7,57 11,30 15,62 21,07 131,60 9 304,13 6,75 4,84 6,48 8,55 12,34 13,78 21,71 23,79 304,13 10 3801,9 4 9,73 6,56 10,35 6,03 10,45 13,26 23,03 25,60 3801,94 Общий итог 3801,9 4 9,73 9,95 14,57 21,89 52,86 59,68 74,37 72,32 3801,94
Пошук оптимальних order та nlearn при прогнозуванні на 10 днів (за даними iндексу S&P 500) Максимум по полю MAPE nlearn order 10 50 100 250 500 1000 2000 4500 7000 Общий ито г 1 11,16 8,33 11,15 8,30 22,03 53,63 59,98 75,35 69,58 75,35 2 10,56 14,39 9,24 14,18 11,41 20,18 60,57 54,31 73,29 73,29 3 39,70 12,21 13,57 10,92 12,29 11,84 27,37 45,04 58,61 58,61 4 92,04 14,60 14,00 11,19 15,90 13,48 16,64 70,16 43,62 92,04 5 375,99 34,02 7,98 17,80 10,13 15,31 19,57 40,47 58,35 375,99 6 1893,43 28,28 18,32 26,79 12,21 13,93 22,76 25,74 64,46 1893,43 7 6524,69 93,34 14,35 17,67 19,41 16,05 15,23 17,68 29,18 6524,69 8 47974,03 82,86 49,65 16,29 15,89 10,32 12,81 18,41 21,73 47974,0 3 9 295755,70 205,5 9 65,03 14,64 17,24 16,73 16,13 24,81 24,86 295755, 70 10 6555847,00 372,5 8 92,21 33,56 12,80 16,85 14,31 26,17 25,17 6555847 ,00 Общий итог 6555847,00 372,5 8 92,21 33,56 22,03 53,63 60,57 75,35 73,29 6555847 ,00
Nprogn=25Максимум по полю MAPE nlearn order 10 50 100 250 500 1000 2000 4500 7000 Общий ито г 1 15,65 13,58 10,67 10,63 27,60 62,12 68,98 85,26 79,15 85,26 2 49,52 23,84 21,23 19,71 14,41 25,13 69,62 57,62 83,10 83,10 3 330,46 20,12 23,31 12,75 14,60 15,30 29,47 52,92 57,74 330,46 4 1400,24 61,42 42,45 18,18 18,03 15,09 18,53 80,37 46,73 1400,24 5 12998,10 221,13 33,54 35,19 10,27 15,85 21,39 47,36 67,46 12998,1 0 6 137585,00 491,66 96,15 57,92 25,49 18,62 26,10 26,92 74,22 137585, 00 7 926874,00 1767,1 9 103,63 37,80 43,53 18,91 16,64 20,80 34,60 926874, 00 8 15074860,00 1449,7 3 774,59 100,57 40,90 20,60 17,11 22,46 24,50 1507486 0,0 0 9 200997400,0 0 10267, 0 7 1042,8 2 87,43 44,14 31,96 24,68 29,69 27,39 2009974 00, 00 10 8975297000, 00 24017, 2 1 1642,1 7 205,17 53,01 44,60 21,48 31,11 26,92 8975297 000 ,00
Nprogn=50 order 10 50 100 250 500 1000 2000 4500 7000 Общий итог 1 30,17 18,57 14,86 14,68 28,12 65,11 72,36 89,05 82,78 89,05 2 202,42 54,49 36,39 26,53 16,21 24,72 73,03 59,90 86,84 202,42 3 2089,63 49,37 47,19 14,79 20,51 24,85 31,55 55,53 58,94 2089,63 4 18419,37 294,38 153,76 47,11 28,32 21,72 23,14 85,01 48,92 18419,37 5 260232,70 1962,56 166,89 98,49 17,97 18,03 27,24 48,64 71,15 260232,70 6 5803432,0 0 7726,11 568,47 177,79 58,76 27,68 37,83 30,67 78,54 5803432,0 0 7 65455470, 00 34865,9 0 903,61 164,18 102,87 31,14 20,33 25,55 34,22 65455470, 00 8 20962700 00,0 0 36546,6 9 10353,5 1 692,76 95,26 44,20 23,87 27,96 28,76 20962700 00,0 0 9 50192010 000, 00 503721, 60 19260,1 9 596,54 148,20 68,80 41,76 36,91 37,32 50192010 000, 00 10 43521700 000 00,0 0 1670006 ,00 35216,2 2 2143,14 214,51 109,41 37,06 45,71 33,96 43521700 000 00,0 0 43521700 000 43521700 000
Nprogn=100 order 10 50 100 250 500 1000 2000 4500 7000 Общий итог 1 36,54 24,08 31,02 20,61 22,14 55,28 62,56 78,43 72,48 78,43 2 697,37 106,40 62,48 51,94 26,96 27,44 63,24 66,03 76,37 697,37 3 11924,40 221,09 129,38 28,27 38,44 36,25 33,92 45,88 65,10 11924,40 4 219838,80 1962,11 711,70 124,22 57,56 44,66 31,24 76,42 47,67 219838,80 5 5988953,00 21752,77 1224,78 299,62 51,73 37,32 35,03 37,00 62,08 5988953,0 0 6 278159400,00 154649,3 0 5931,18 670,34 174,94 54,63 68,58 39,96 69,99 27815940 0,00 7 5779644000,00 993965,2 0 14801,69 1384,13 330,25 67,75 43,74 41,20 40,90 57796440 00,0 0 8 346871200000,0 0 2599520, 00 271978,7 0 6710,82 358,96 139,63 39,10 39,68 45,71 34687120 0000 ,00 9 18045660000000 ,00 5102092 0,0 0 833355,4 0 7450,22 924,30 224,50 92,48 52,84 63,45 18045660 0000 00,0 0 10 24422500000000 00,00 2814812 00, 00 2305422, 00 40609,37 1487,62 378,03 78,89 83,23 48,88 24422500 0000 0000 ,00 Общ и й
Nprogn=250 order 10 50 100 250 500 1000 2000 4500 7000 Общий итог 1 93,21 56,03 67,81 33,78 32,56 37,24 44,89 59,37 53,94 93,21 2 3498,65 370,91 215,51 129,56 71,66 38,42 45,89 57,98 57,59 3498,65 3 135303,00 2372,84 952,36 102,17 98,39 85,00 42,17 44,49 59,71 135303,00 4 6485158,0 0 37286,54 10324,95 872,57 165,11 113,61 50,79 63,10 52,04 6485158,0 0 5 44884820 0,00 899441,0 0 40617,25 2735,97 370,61 91,90 95,61 67,93 51,22 44884820 0,00 6 64014320 000, 00 1487576 0,0 0 399126,0 0 12170,00 1692,65 238,74 176,44 101,95 56,58 64014320 000, 00 7 28319910 0000 0,00 2247206 00, 00 1665734, 00 59840,37 3981,63 332,05 183,97 104,07 78,38 28319910 0000 0,00 8 37730410 0000 000, 00 1839821 000 ,00 5862178 0,0 0 402531,9 0 6446,49 1390,28 201,29 91,15 115,23 37730410 0000 000, 00 9 47777690 0000 0000 0,00 6672983 000 0,0 0 3804700 00, 00 1095978, 00 36460,68 2534,10 522,53 127,62 146,13 47777690 0000 0000 0,00 10 14540530 0000 0000 0000 ,00 7040802 000 00, 00 2355935 000 ,00 8219427, 00 70165,60 5330,43 479,76 234,42 102,84 14540530 0000 0000 0000 ,00 14540530 14540530
Nprogn=500 order 10 50 100 250 500 1000 2000 4500 7000 Общий итог 1 176,79 84,31 115,78 64,10 46,13 57,58 66,11 48,32 51,56 176,79 2 13614,80 1207,31 683,85 287,24 146,85 68,83 72,09 51,63 48,39 13614,80 3 957593,10 14324,89 5748,30 498,81 239,67 190,09 69,43 75,86 71,43 957593,10 4 97159650, 00 450322,9 0 95890,08 6109,34 704,37 271,48 117,54 79,35 88,87 97159650, 00 5 13686330 000, 00 20817130 ,00 716936,1 0 30718,92 3177,79 409,08 279,21 128,65 83,64 13686330 000, 00 6 45436670 0000 0,00 67182140 0,0 0 15868790 ,00 198422,6 0 18789,10 1890,23 500,70 239,11 135,40 45436670 0000 0,00 7 34973680 0000 000, 00 23499150 000 ,00 11422620 0,0 0 2206650, 00 72947,72 3033,68 854,52 244,01 175,92 34973680 0000 000, 00 8 81745420 0000 0000 0,00 38881040 000 0,0 0 67206270 00, 00 22143230 ,00 153020,6 0 19419,42 1251,79 307,02 279,78 81745420 0000 0000 0,00 9 21846480 0000 0000 0000 ,00 25134900 000 000 ,00 82166980 000 ,00 10753630 0,0 0 1754308, 00 42370,19 3544,63 449,79 353,83 21846480 0000 0000 0000 ,00
Nprogn=1000 or d e r 10 50 100 250 500 1000 2000 4500 7000 Общий итог 1 276,59 112,09 192,03 112,02 79,40 85,03 71,65 44,57 53,80 276,59 2 62561,39 3947,81 2244,71 694,66 318,01 121,91 99,52 72,10 51,31 62561,39 3 6449697,00 93728,45 43434,57 2363,94 1051,36 490,78 190,60 120,97 88,20 6449697,0 0 4 1361029000,0 0 5656989, 00 1108622, 00 52198,20 6472,26 1005,16 305,75 133,95 115,32 13610290 00,0 0 5 478789600000 ,00 49905410 0,0 0 17151620 ,00 424190,1 0 43488,99 3284,73 1309,24 334,12 139,12 47878960 0000 ,00 6 312687600000 000,00 31753160 000 ,00 80923820 0,0 0 6161058, 00 330685,9 0 17914,90 2195,84 722,79 276,41 31268760 0000 000, 00 7 392840600000 00000,0 0 27353630 000 00, 00 13925630 000 ,00 14362050 0,0 0 2263199, 00 54100,44 6850,78 851,53 464,65 39284060 0000 0000 0,00 8 186328700000 0000000 0,00 90156150 000 000 ,00 99161760 000 0,0 0 19863440 00, 00 8827860, 00 496532,8 0 16709,82 1486,44 919,79 18632870 0000 0000 0000 ,00 152082500000 0000000 10893330 000 000 000 23202600 000 000 17903500 000 14912110 0,0 1541439, 15208250 0000 0000 0000 000,
Оптимальна складність поліноміальних моделей в залежності від горизонту прогнозування Горизонт прогнозування Оптимальна довжина навчальної вибірки Оптимальний степінь полінома MAPE 3 100 8 3,96 10 100 5 7,98 25 250 1 10,63 50 250 1 14,08 100 250 1 15,5 250 500 1 32,56 500 500 1 46,13 1000 4500 1 44,57
Висновки з експерименту • При збільшенні бажаної довжини прогнозу точність прогнозування зменшується. • При бажаних довжинах прогнозу довше 25 днів оптимальний степінь полінома –1 (лінійний тренд, найпростіша модель) • Оптимальна довжина вибірки навчання варіюється від Np до 4,5*Np (Np – довжина прогнозу), найкраща якість прогнозу продемонстрована для 2*Np (250 та 500 днів для більшості випадків) • Для прогнозування на короткі відстані (менше 25 днів) найбільш оптимальне є застосування поліномів степеня 5.
Метод дискретного Фур’є-продовження Ітераційний метод визначення гармонік в методі дискретного Фур’є- продовження - вихідний ряд. • На кожному кроці за методом МНК мінімізується нев’язка • одночастинне наближення, • двохчастинне наближення,… ( ) ( )0r t y t= ( ) ( ) ( )        +++−= ∑= − m j ijijijii etdcbtatrtr 1 1 sin 1,2,...i = i ( )ir t ( )y t 1m = 2m =
Лінійно-гармонічна модель з одночастинним наближенням, абсолютний варіант Довжина навчальної вибірки nf 500 1000 2000 3000 4500 1 18,36 21,36 19,40 60,84 43,91 2 17,71 27,30 20,53 55,55 17,33 3 16,92 25,95 21,77 40,93 10,32 4 16,92 24,46 21,12 37,89 15,16 5 17,01 24,28 17,85 35,77 23,14 6 17,02 24,63 16,51 41,12 26,23 7 17,21 25,12 16,59 35,51 21,70 8 17,24 24,75 16,34 31,74 21,84 9 17,20 24,55 15,34 33,58 23,24 10 17,09 25,02 14,86 33,71 22,39
Лінійно-гармонічна модель з одночастинним наближенням, відносний варіант Довжина навчальної вибірки nf 500 1000 2000 3000 4500 1 18,50 15,51 15,73 47,84 30,37 2 17,83 21,18 14,67 44,69 18,43 3 17,13 18,45 21,73 32,99 24,58 4 17,12 17,53 20,88 30,19 26,60 5 17,18 18,07 18,63 28,43 22,39 6 17,15 18,17 17,58 31,74 18,83 7 17,32 19,39 17,98 32,43 17,11 8 17,33 19,17 18,05 31,39 15,34 9 17,19 19,70 19,06 30,17 15,76 10 17,18 19,74 19,22 30,22 16,74
Лінійно-гармонічна модель з двохчастинним наближенням, абсолютний варіант Довжина навчальної вибірки nf 500 1000 2000 3000 4500 2 30,03 20,21 21,87 38,68 38,76 4 28,61 19,70 20,60 29,93 18,88 6 28,81 19,95 17,04 21,21 24,33 8 31,40 19,81 18,63 24,28 19,47 10 31,44 19,50 17,37 20,93 21,88
Лінійно-гармонічна модель з двохчастинним наближенням, відносний варіант Довжина навчальної вибірки nf 500 1000 2000 3000 4500 2 24,07 19,98 38,40 17,21 30,85 4 23,01 19,46 26,16 14,75 19,35 6 20,95 19,33 26,84 15,67 18,48 8 22,14 19,14 23,86 15,63 12,90 10 21,32 19,09 22,31 16,25 13,85
Лагові моделі прогнозування ( ) ( ) ( ) ( ) ( )( )tmtyttyttytyftty ∆−∆−∆−=∆+ ,...,2,, Метод групового урахування аргументів ( ) ( ) ( )( ) ( ) ( ) ( ) ( ) ( )( ) ( )( ) { } jimjitjtyatitya tjtytityatjtyatityaa tjtytityftty ≠∈∆−+∆−+ +∆−∆−+∆−+∆−+= =∆−∆−=∆+ ,,...2,1,, , 2 5 2 4 3210 Зовнішній критерій - RMSE
Пошук значущих лагових змінних (дані індексу S&P 500)
Пошук значущих лагових змінних (дані ф’ючерсу на індекс UX)
Інтегровані процеси ( ) ( )ttytyr t abs ∆−−=)1 ( ) ( )tty ty r t rel ∆− =1 )2 ( ) ( ) ( )tty ttyty r t rel ∆− ∆−− =2 )3
( ) ( )tty ty r t rel ∆− =1 )2 ( ) ( )ttytyr t abs ∆−−=)1
( ) ( )tty ty r t rel ∆− =1 )2
Пошук значущих лагових змінних (дані індексу S&P 500) ( ) ( )ttytyr t abs ∆−−=)1 ( ) ( ) ( )tty ttyty r t rel ∆− ∆−− =2 )3
Точність однокрокового прогнозу • Часовий ряд – S&P 500 • Оптимальна максимальна кількість лагових змінних – 100 • Крок дискретизації 1 день • Міра точності – MAPE, % Без прир остів 1абс 2відн 3Відн приб 40 5 9 6
Точність однокрокового прогнозу • Часовий ряд – UX-C • Оптимальна максимальна кількість лагових змінних – 50 • Крок дискретизації 1 день • Міра точності – MAPE, % Без прир остів 1абс 2відн 3Відн приб 2,3 1,46 1,56 1,55
Точність багатокрокового прогнозу • Часовий ряд – S&P 500 • Оптимальна максимальна кількість лагових змінних – 100 • Крок дискретизації 1 день • Міра точності – MAPE, % • Прогнозування на 100 днів Без прир остів 1абс 2від н 3Відн приб 6 6,4 4,5 6,4
Точність багатокрокового прогнозу • Часовий ряд – UX-C • Оптимальна максимальна кількість лагових змінних – 50 • Крок дискретизації 1 день • Міра точності – MAPE, % • Прогнозування на 100 днів Без прир остів 1абс 2відн 3Відн приб 3,4 16,2 4,9 4,8
Висновки і перспективи досліджень • Оптимальні параметри прогнозної моделі (її складність) залежать від заданого горизонту прогнозування • В класі поліноміальних моделей при довгостроковому прогнозуванні більш ефективними є моделі 1 порядку (лінійні) • В класі лінійних гармонічних моделей оптимальним є апроксимація по одній гармоніці
Висновки і перспективи досліджень Перспективи досліджень: • Дослідження оптимальної складності поліноміальних моделей при короткостроковому прогнозуванні • Створення методів пошуку оптимальної складності (крос-валідації) для авторегресійних, нейромережних, марківських моделей

More Related Content

PPT
Chab
byDmitry Chabanenko
 
PDF
Сборник работ полуфиналистов STEEL FREEDOM 2014
byUkrainian Steel Construction Center
 
PDF
Trend Report (17.09 - 23.09.16)
bySKORPA MEDIA
 
PPT
Умовний оператор if
byDmitry Chabanenko
 
PPTX
TulyakovaSeminarCherk2013
byDmitry Chabanenko
 
PPT
TobilevichGraphs 2013 (updated)
byDmitry Chabanenko
 
PPT
Roman Vilyavin XII
bySEMonline .Ru
 
PPT
об’єднання експертів фінансових ринків 2
byDmitry Chabanenko
 
Chab
byDmitry Chabanenko
 
Сборник работ полуфиналистов STEEL FREEDOM 2014
byUkrainian Steel Construction Center
 
Trend Report (17.09 - 23.09.16)
bySKORPA MEDIA
 
Умовний оператор if
byDmitry Chabanenko
 
TulyakovaSeminarCherk2013
byDmitry Chabanenko
 
TobilevichGraphs 2013 (updated)
byDmitry Chabanenko
 
Roman Vilyavin XII
bySEMonline .Ru
 
об’єднання експертів фінансових ринків 2
byDmitry Chabanenko
 

Viewers also liked

PDF
Twig in symfony
byDmitry Chabanenko
 
PPTX
Импакт - программа для производителей упаковки и штанцформ
byAleksey Shibaev
 
PPT
Основи алгоритмізації та програмування. Лекція 1
byDmitry Chabanenko
 
PPTX
Impact для разработки штанцформ
byAleksey Shibaev
 
PPTX
Принципы построения торговой системы
byProfiMarkets - Центр подготовки трейдеров и инвесторов
 
PPTX
Обзор рынка
byProfiMarkets - Центр подготовки трейдеров и инвесторов
 
PPTX
Price action простые свечные паттерны
byProfiMarkets - Центр подготовки трейдеров и инвесторов
 
PPTX
Дивергенция - секреты разворотов рынка
byProfiMarkets - Центр подготовки трейдеров и инвесторов
 
PDF
Trend Report (5.08 - 12.08.16)
bySKORPA MEDIA
 
PPTX
малый бизнес в россии, сентябрь 2014
bySEMonline .Ru
 
PDF
Финансовая грамотность
byRodin-kontent
 
ODP
Figures of continue tendency
byUMIS
 
ODP
Osciliators
byUMIS
 
PPT
Trends
byUMIS
 
PPT
Power levels
byUMIS
 
PPT
Fibonachi theory
byUMIS
 
PPT
Indicators
byUMIS
 
PPT
Presentation
byUMIS
 
ODP
Elliot theory
byUMIS
 
ODP
Вводная лекция
byUMIS
 
Twig in symfony
byDmitry Chabanenko
 
Импакт - программа для производителей упаковки и штанцформ
byAleksey Shibaev
 
Основи алгоритмізації та програмування. Лекція 1
byDmitry Chabanenko
 
Impact для разработки штанцформ
byAleksey Shibaev
 
Принципы построения торговой системы
byProfiMarkets - Центр подготовки трейдеров и инвесторов
 
Обзор рынка
byProfiMarkets - Центр подготовки трейдеров и инвесторов
 
Price action простые свечные паттерны
byProfiMarkets - Центр подготовки трейдеров и инвесторов
 
Дивергенция - секреты разворотов рынка
byProfiMarkets - Центр подготовки трейдеров и инвесторов
 
Trend Report (5.08 - 12.08.16)
bySKORPA MEDIA
 
малый бизнес в россии, сентябрь 2014
bySEMonline .Ru
 
Финансовая грамотность
byRodin-kontent
 
Figures of continue tendency
byUMIS
 
Osciliators
byUMIS
 
Trends
byUMIS
 
Power levels
byUMIS
 
Fibonachi theory
byUMIS
 
Indicators
byUMIS
 
Presentation
byUMIS
 
Elliot theory
byUMIS
 
Вводная лекция
byUMIS
 

Similar to Chab m3e2 2013

PPT
Мат_прогр_СП.ppt
byssuser0e2f2a
 
PPTX
презентація моя 23 06-2016
byGTM_NUFT
 
PPT
Prometheus. Масовий онлайн курс "Основи програмування". Лекція 8
byNikita Pavliuchenko
 
PPT
мпр т 1
byIvan
 
DOCX
лекція 7
bycit-cit
 
PPTX
4-141012104910-conversion-gate02.pptx
byssuser0e2f2a
 
PPT
Математичне програмування Alla
byAllaZhorova85
 
PPT
мпр т 4
byIvan
 
Мат_прогр_СП.ppt
byssuser0e2f2a
 
презентація моя 23 06-2016
byGTM_NUFT
 
Prometheus. Масовий онлайн курс "Основи програмування". Лекція 8
byNikita Pavliuchenko
 
мпр т 1
byIvan
 
лекція 7
bycit-cit
 
4-141012104910-conversion-gate02.pptx
byssuser0e2f2a
 
Математичне програмування Alla
byAllaZhorova85
 
мпр т 4
byIvan
 

More from Dmitry Chabanenko

PPT
06 02 алгоритмы
byDmitry Chabanenko
 
PPT
KussiyCherkassy 2013 3 (updated)
byDmitry Chabanenko
 
PPT
KussiyCherkassy 2013 2 (updated)
byDmitry Chabanenko
 
PPT
куссыйчеркассы 2013 1 (updated)
byDmitry Chabanenko
 
PPTX
індекс фрактальності як міра складності фондового ринку
byDmitry Chabanenko
 
PPT
куссыйчеркассы 2013 3
byDmitry Chabanenko
 
PPT
куссыйчеркассы 2013 2
byDmitry Chabanenko
 
PPT
а.с.лукьянчук
byDmitry Chabanenko
 
PPT
куссыйчеркассы 2013
byDmitry Chabanenko
 
PPT
робастна стійкість
byDmitry Chabanenko
 
PPT
проект енигма
byDmitry Chabanenko
 
PPT
графы
byDmitry Chabanenko
 
PPT
Soloviev cherkassy (vladimir soloviev's conflicted copy 2013 07-08)
byDmitry Chabanenko
 
PDF
Chabanenko seminar20121226
byDmitry Chabanenko
 
PPT
Принципы работы интернет.
byDmitry Chabanenko
 
PPT
об’єднання експертів фінансових ринків 3
byDmitry Chabanenko
 
PDF
ПСЕП лекція 2
byDmitry Chabanenko
 
PDF
ПСЕП лекція 1
byDmitry Chabanenko
 
PPT
обєднання експертів фінансових ринків
byDmitry Chabanenko
 
06 02 алгоритмы
byDmitry Chabanenko
 
KussiyCherkassy 2013 3 (updated)
byDmitry Chabanenko
 
KussiyCherkassy 2013 2 (updated)
byDmitry Chabanenko
 
куссыйчеркассы 2013 1 (updated)
byDmitry Chabanenko
 
індекс фрактальності як міра складності фондового ринку
byDmitry Chabanenko
 
куссыйчеркассы 2013 3
byDmitry Chabanenko
 
куссыйчеркассы 2013 2
byDmitry Chabanenko
 
а.с.лукьянчук
byDmitry Chabanenko
 
куссыйчеркассы 2013
byDmitry Chabanenko
 
робастна стійкість
byDmitry Chabanenko
 
проект енигма
byDmitry Chabanenko
 
графы
byDmitry Chabanenko
 
Soloviev cherkassy (vladimir soloviev's conflicted copy 2013 07-08)
byDmitry Chabanenko
 
Chabanenko seminar20121226
byDmitry Chabanenko
 
Принципы работы интернет.
byDmitry Chabanenko
 
об’єднання експертів фінансових ринків 3
byDmitry Chabanenko
 
ПСЕП лекція 2
byDmitry Chabanenko
 
ПСЕП лекція 1
byDmitry Chabanenko
 
обєднання експертів фінансових ринків
byDmitry Chabanenko
 

Chab m3e2 2013

  • 1.
    Методи прогнозування часових рядівта проблема складності Д.М. Чабаненко Кафедра економічної кібернетики ЧНУ ім. Б. Хмельницького
  • 2.
    Стан проблеми моделюванняі прогнозування складних систем • Прості системи можуть бути описані простими моделями • Системи середньої складності описуються простими моделями гірше, ніж складними (обгрунтована необхідність ускладнення) • Складні системи погано описуються як простими, так і складними моделями • ? При якій складності моделі можна отримати кращі прогнози складної системи?
  • 3.
    Підходи до оцінювання складностімоделі, порівняння складності моделей • Розрахункова складність (складність алгоритму побудови і використання моделі) • Складність за кількістю факторів, які враховує модель • Описова складність (множина станів системи, які можуть бути описані моделлю)
  • 4.
    Приклад моделі зізмінною складністю – модель поліноміального тренду Y(t)=a0+a1t+a2t2 +…+aktk Горизонт прогнозу Np – задається дослідником Степінь поліному k та довжина вибірки навчання – параметри, які треба визначити ( )( ) N yty MSE N i ii∑ = − = 1 2 ( ) %100 1 ⋅ − = ∑ + = NpN Ni i ii y yty Np MAPE
  • 5.
    Приклад моделі зізмінною складністю – модель поліноміального тренду • Степінь полінома k – параметр складності. • Довжина навчальної вибірки N – теж параметр складності. • Похибка на перевірочній вибірці – міра якості моделі з заданими параметрами k та N. • Постановка задачі: знайти значення параметрів k (степінь полінома) та N (довжина навч. вибірки), при яких середня абсолютна процентна похибка була б мінімальною.
  • 6.
    Пошук оптимальних orderта nlearn при прогнозуванні на 3 дні (за даними iндексу S&P 500) Максимум по полю MAPE nlearn order 10 50 100 250 500 1000 2000 4500 7000 Общий итог 1 6,48 5,43 9,95 8,29 21,89 52,86 59,10 74,37 68,63 74,37 2 3,76 8,24 8,04 13,79 11,78 20,26 59,68 53,71 72,32 72,32 3 3,45 7,45 7,86 9,51 11,16 10,74 26,15 44,36 60,01 60,01 4 5,04 4,60 6,57 8,89 13,67 12,50 15,20 68,97 45,02 68,97 5 7,14 9,28 4,15 9,55 8,99 14,43 18,99 40,11 57,40 57,40 6 22,28 2,54 7,15 14,57 8,92 10,68 20,14 24,80 63,36 63,36 7 34,28 5,38 6,34 10,28 16,02 13,62 14,78 17,41 29,22 34,28 8 131,60 4,56 3,96 7,02 11,61 7,57 11,30 15,62 21,07 131,60 9 304,13 6,75 4,84 6,48 8,55 12,34 13,78 21,71 23,79 304,13 10 3801,9 4 9,73 6,56 10,35 6,03 10,45 13,26 23,03 25,60 3801,94 Общий итог 3801,9 4 9,73 9,95 14,57 21,89 52,86 59,68 74,37 72,32 3801,94
  • 7.
    Пошук оптимальних orderта nlearn при прогнозуванні на 10 днів (за даними iндексу S&P 500) Максимум по полю MAPE nlearn order 10 50 100 250 500 1000 2000 4500 7000 Общий ито г 1 11,16 8,33 11,15 8,30 22,03 53,63 59,98 75,35 69,58 75,35 2 10,56 14,39 9,24 14,18 11,41 20,18 60,57 54,31 73,29 73,29 3 39,70 12,21 13,57 10,92 12,29 11,84 27,37 45,04 58,61 58,61 4 92,04 14,60 14,00 11,19 15,90 13,48 16,64 70,16 43,62 92,04 5 375,99 34,02 7,98 17,80 10,13 15,31 19,57 40,47 58,35 375,99 6 1893,43 28,28 18,32 26,79 12,21 13,93 22,76 25,74 64,46 1893,43 7 6524,69 93,34 14,35 17,67 19,41 16,05 15,23 17,68 29,18 6524,69 8 47974,03 82,86 49,65 16,29 15,89 10,32 12,81 18,41 21,73 47974,0 3 9 295755,70 205,5 9 65,03 14,64 17,24 16,73 16,13 24,81 24,86 295755, 70 10 6555847,00 372,5 8 92,21 33,56 12,80 16,85 14,31 26,17 25,17 6555847 ,00 Общий итог 6555847,00 372,5 8 92,21 33,56 22,03 53,63 60,57 75,35 73,29 6555847 ,00
  • 8.
    Nprogn=25Максимум по полю MAPE nlearn order 1050 100 250 500 1000 2000 4500 7000 Общий ито г 1 15,65 13,58 10,67 10,63 27,60 62,12 68,98 85,26 79,15 85,26 2 49,52 23,84 21,23 19,71 14,41 25,13 69,62 57,62 83,10 83,10 3 330,46 20,12 23,31 12,75 14,60 15,30 29,47 52,92 57,74 330,46 4 1400,24 61,42 42,45 18,18 18,03 15,09 18,53 80,37 46,73 1400,24 5 12998,10 221,13 33,54 35,19 10,27 15,85 21,39 47,36 67,46 12998,1 0 6 137585,00 491,66 96,15 57,92 25,49 18,62 26,10 26,92 74,22 137585, 00 7 926874,00 1767,1 9 103,63 37,80 43,53 18,91 16,64 20,80 34,60 926874, 00 8 15074860,00 1449,7 3 774,59 100,57 40,90 20,60 17,11 22,46 24,50 1507486 0,0 0 9 200997400,0 0 10267, 0 7 1042,8 2 87,43 44,14 31,96 24,68 29,69 27,39 2009974 00, 00 10 8975297000, 00 24017, 2 1 1642,1 7 205,17 53,01 44,60 21,48 31,11 26,92 8975297 000 ,00
  • 9.
    Nprogn=50 order 10 50100 250 500 1000 2000 4500 7000 Общий итог 1 30,17 18,57 14,86 14,68 28,12 65,11 72,36 89,05 82,78 89,05 2 202,42 54,49 36,39 26,53 16,21 24,72 73,03 59,90 86,84 202,42 3 2089,63 49,37 47,19 14,79 20,51 24,85 31,55 55,53 58,94 2089,63 4 18419,37 294,38 153,76 47,11 28,32 21,72 23,14 85,01 48,92 18419,37 5 260232,70 1962,56 166,89 98,49 17,97 18,03 27,24 48,64 71,15 260232,70 6 5803432,0 0 7726,11 568,47 177,79 58,76 27,68 37,83 30,67 78,54 5803432,0 0 7 65455470, 00 34865,9 0 903,61 164,18 102,87 31,14 20,33 25,55 34,22 65455470, 00 8 20962700 00,0 0 36546,6 9 10353,5 1 692,76 95,26 44,20 23,87 27,96 28,76 20962700 00,0 0 9 50192010 000, 00 503721, 60 19260,1 9 596,54 148,20 68,80 41,76 36,91 37,32 50192010 000, 00 10 43521700 000 00,0 0 1670006 ,00 35216,2 2 2143,14 214,51 109,41 37,06 45,71 33,96 43521700 000 00,0 0 43521700 000 43521700 000
  • 10.
    Nprogn=100 order 10 50100 250 500 1000 2000 4500 7000 Общий итог 1 36,54 24,08 31,02 20,61 22,14 55,28 62,56 78,43 72,48 78,43 2 697,37 106,40 62,48 51,94 26,96 27,44 63,24 66,03 76,37 697,37 3 11924,40 221,09 129,38 28,27 38,44 36,25 33,92 45,88 65,10 11924,40 4 219838,80 1962,11 711,70 124,22 57,56 44,66 31,24 76,42 47,67 219838,80 5 5988953,00 21752,77 1224,78 299,62 51,73 37,32 35,03 37,00 62,08 5988953,0 0 6 278159400,00 154649,3 0 5931,18 670,34 174,94 54,63 68,58 39,96 69,99 27815940 0,00 7 5779644000,00 993965,2 0 14801,69 1384,13 330,25 67,75 43,74 41,20 40,90 57796440 00,0 0 8 346871200000,0 0 2599520, 00 271978,7 0 6710,82 358,96 139,63 39,10 39,68 45,71 34687120 0000 ,00 9 18045660000000 ,00 5102092 0,0 0 833355,4 0 7450,22 924,30 224,50 92,48 52,84 63,45 18045660 0000 00,0 0 10 24422500000000 00,00 2814812 00, 00 2305422, 00 40609,37 1487,62 378,03 78,89 83,23 48,88 24422500 0000 0000 ,00 Общ и й
  • 11.
    Nprogn=250 order 10 50100 250 500 1000 2000 4500 7000 Общий итог 1 93,21 56,03 67,81 33,78 32,56 37,24 44,89 59,37 53,94 93,21 2 3498,65 370,91 215,51 129,56 71,66 38,42 45,89 57,98 57,59 3498,65 3 135303,00 2372,84 952,36 102,17 98,39 85,00 42,17 44,49 59,71 135303,00 4 6485158,0 0 37286,54 10324,95 872,57 165,11 113,61 50,79 63,10 52,04 6485158,0 0 5 44884820 0,00 899441,0 0 40617,25 2735,97 370,61 91,90 95,61 67,93 51,22 44884820 0,00 6 64014320 000, 00 1487576 0,0 0 399126,0 0 12170,00 1692,65 238,74 176,44 101,95 56,58 64014320 000, 00 7 28319910 0000 0,00 2247206 00, 00 1665734, 00 59840,37 3981,63 332,05 183,97 104,07 78,38 28319910 0000 0,00 8 37730410 0000 000, 00 1839821 000 ,00 5862178 0,0 0 402531,9 0 6446,49 1390,28 201,29 91,15 115,23 37730410 0000 000, 00 9 47777690 0000 0000 0,00 6672983 000 0,0 0 3804700 00, 00 1095978, 00 36460,68 2534,10 522,53 127,62 146,13 47777690 0000 0000 0,00 10 14540530 0000 0000 0000 ,00 7040802 000 00, 00 2355935 000 ,00 8219427, 00 70165,60 5330,43 479,76 234,42 102,84 14540530 0000 0000 0000 ,00 14540530 14540530
  • 12.
    Nprogn=500 order 10 50100 250 500 1000 2000 4500 7000 Общий итог 1 176,79 84,31 115,78 64,10 46,13 57,58 66,11 48,32 51,56 176,79 2 13614,80 1207,31 683,85 287,24 146,85 68,83 72,09 51,63 48,39 13614,80 3 957593,10 14324,89 5748,30 498,81 239,67 190,09 69,43 75,86 71,43 957593,10 4 97159650, 00 450322,9 0 95890,08 6109,34 704,37 271,48 117,54 79,35 88,87 97159650, 00 5 13686330 000, 00 20817130 ,00 716936,1 0 30718,92 3177,79 409,08 279,21 128,65 83,64 13686330 000, 00 6 45436670 0000 0,00 67182140 0,0 0 15868790 ,00 198422,6 0 18789,10 1890,23 500,70 239,11 135,40 45436670 0000 0,00 7 34973680 0000 000, 00 23499150 000 ,00 11422620 0,0 0 2206650, 00 72947,72 3033,68 854,52 244,01 175,92 34973680 0000 000, 00 8 81745420 0000 0000 0,00 38881040 000 0,0 0 67206270 00, 00 22143230 ,00 153020,6 0 19419,42 1251,79 307,02 279,78 81745420 0000 0000 0,00 9 21846480 0000 0000 0000 ,00 25134900 000 000 ,00 82166980 000 ,00 10753630 0,0 0 1754308, 00 42370,19 3544,63 449,79 353,83 21846480 0000 0000 0000 ,00
  • 13.
    Nprogn=1000 or d e r 10 50100 250 500 1000 2000 4500 7000 Общий итог 1 276,59 112,09 192,03 112,02 79,40 85,03 71,65 44,57 53,80 276,59 2 62561,39 3947,81 2244,71 694,66 318,01 121,91 99,52 72,10 51,31 62561,39 3 6449697,00 93728,45 43434,57 2363,94 1051,36 490,78 190,60 120,97 88,20 6449697,0 0 4 1361029000,0 0 5656989, 00 1108622, 00 52198,20 6472,26 1005,16 305,75 133,95 115,32 13610290 00,0 0 5 478789600000 ,00 49905410 0,0 0 17151620 ,00 424190,1 0 43488,99 3284,73 1309,24 334,12 139,12 47878960 0000 ,00 6 312687600000 000,00 31753160 000 ,00 80923820 0,0 0 6161058, 00 330685,9 0 17914,90 2195,84 722,79 276,41 31268760 0000 000, 00 7 392840600000 00000,0 0 27353630 000 00, 00 13925630 000 ,00 14362050 0,0 0 2263199, 00 54100,44 6850,78 851,53 464,65 39284060 0000 0000 0,00 8 186328700000 0000000 0,00 90156150 000 000 ,00 99161760 000 0,0 0 19863440 00, 00 8827860, 00 496532,8 0 16709,82 1486,44 919,79 18632870 0000 0000 0000 ,00 152082500000 0000000 10893330 000 000 000 23202600 000 000 17903500 000 14912110 0,0 1541439, 15208250 0000 0000 0000 000,
  • 14.
    Оптимальна складність поліноміальних моделейв залежності від горизонту прогнозування Горизонт прогнозування Оптимальна довжина навчальної вибірки Оптимальний степінь полінома MAPE 3 100 8 3,96 10 100 5 7,98 25 250 1 10,63 50 250 1 14,08 100 250 1 15,5 250 500 1 32,56 500 500 1 46,13 1000 4500 1 44,57
  • 15.
    Висновки з експерименту •При збільшенні бажаної довжини прогнозу точність прогнозування зменшується. • При бажаних довжинах прогнозу довше 25 днів оптимальний степінь полінома –1 (лінійний тренд, найпростіша модель) • Оптимальна довжина вибірки навчання варіюється від Np до 4,5*Np (Np – довжина прогнозу), найкраща якість прогнозу продемонстрована для 2*Np (250 та 500 днів для більшості випадків) • Для прогнозування на короткі відстані (менше 25 днів) найбільш оптимальне є застосування поліномів степеня 5.
  • 16.
    Метод дискретного Фур’є-продовження Ітераційнийметод визначення гармонік в методі дискретного Фур’є- продовження - вихідний ряд. • На кожному кроці за методом МНК мінімізується нев’язка • одночастинне наближення, • двохчастинне наближення,… ( ) ( )0r t y t= ( ) ( ) ( )        +++−= ∑= − m j ijijijii etdcbtatrtr 1 1 sin 1,2,...i = i ( )ir t ( )y t 1m = 2m =
  • 17.
    Лінійно-гармонічна модель з одночастиннимнаближенням, абсолютний варіант Довжина навчальної вибірки nf 500 1000 2000 3000 4500 1 18,36 21,36 19,40 60,84 43,91 2 17,71 27,30 20,53 55,55 17,33 3 16,92 25,95 21,77 40,93 10,32 4 16,92 24,46 21,12 37,89 15,16 5 17,01 24,28 17,85 35,77 23,14 6 17,02 24,63 16,51 41,12 26,23 7 17,21 25,12 16,59 35,51 21,70 8 17,24 24,75 16,34 31,74 21,84 9 17,20 24,55 15,34 33,58 23,24 10 17,09 25,02 14,86 33,71 22,39
  • 18.
    Лінійно-гармонічна модель з одночастиннимнаближенням, відносний варіант Довжина навчальної вибірки nf 500 1000 2000 3000 4500 1 18,50 15,51 15,73 47,84 30,37 2 17,83 21,18 14,67 44,69 18,43 3 17,13 18,45 21,73 32,99 24,58 4 17,12 17,53 20,88 30,19 26,60 5 17,18 18,07 18,63 28,43 22,39 6 17,15 18,17 17,58 31,74 18,83 7 17,32 19,39 17,98 32,43 17,11 8 17,33 19,17 18,05 31,39 15,34 9 17,19 19,70 19,06 30,17 15,76 10 17,18 19,74 19,22 30,22 16,74
  • 19.
    Лінійно-гармонічна модель з двохчастиннимнаближенням, абсолютний варіант Довжина навчальної вибірки nf 500 1000 2000 3000 4500 2 30,03 20,21 21,87 38,68 38,76 4 28,61 19,70 20,60 29,93 18,88 6 28,81 19,95 17,04 21,21 24,33 8 31,40 19,81 18,63 24,28 19,47 10 31,44 19,50 17,37 20,93 21,88
  • 20.
    Лінійно-гармонічна модель з двохчастиннимнаближенням, відносний варіант Довжина навчальної вибірки nf 500 1000 2000 3000 4500 2 24,07 19,98 38,40 17,21 30,85 4 23,01 19,46 26,16 14,75 19,35 6 20,95 19,33 26,84 15,67 18,48 8 22,14 19,14 23,86 15,63 12,90 10 21,32 19,09 22,31 16,25 13,85
  • 21.
    Лагові моделі прогнозування () ( ) ( ) ( ) ( )( )tmtyttyttytyftty ∆−∆−∆−=∆+ ,...,2,, Метод групового урахування аргументів ( ) ( ) ( )( ) ( ) ( ) ( ) ( ) ( )( ) ( )( ) { } jimjitjtyatitya tjtytityatjtyatityaa tjtytityftty ≠∈∆−+∆−+ +∆−∆−+∆−+∆−+= =∆−∆−=∆+ ,,...2,1,, , 2 5 2 4 3210 Зовнішній критерій - RMSE
  • 22.
    Пошук значущих лаговихзмінних (дані індексу S&P 500)
  • 23.
    Пошук значущих лаговихзмінних (дані ф’ючерсу на індекс UX)
  • 24.
    Інтегровані процеси ( )( )ttytyr t abs ∆−−=)1 ( ) ( )tty ty r t rel ∆− =1 )2 ( ) ( ) ( )tty ttyty r t rel ∆− ∆−− =2 )3
  • 25.
    ( ) ( )tty ty rt rel ∆− =1 )2 ( ) ( )ttytyr t abs ∆−−=)1
  • 26.
    ( ) ( )tty ty rt rel ∆− =1 )2
  • 27.
    Пошук значущих лаговихзмінних (дані індексу S&P 500) ( ) ( )ttytyr t abs ∆−−=)1 ( ) ( ) ( )tty ttyty r t rel ∆− ∆−− =2 )3
  • 28.
    Точність однокрокового прогнозу •Часовий ряд – S&P 500 • Оптимальна максимальна кількість лагових змінних – 100 • Крок дискретизації 1 день • Міра точності – MAPE, % Без прир остів 1абс 2відн 3Відн приб 40 5 9 6
  • 29.
    Точність однокрокового прогнозу •Часовий ряд – UX-C • Оптимальна максимальна кількість лагових змінних – 50 • Крок дискретизації 1 день • Міра точності – MAPE, % Без прир остів 1абс 2відн 3Відн приб 2,3 1,46 1,56 1,55
  • 30.
    Точність багатокрокового прогнозу • Часовийряд – S&P 500 • Оптимальна максимальна кількість лагових змінних – 100 • Крок дискретизації 1 день • Міра точності – MAPE, % • Прогнозування на 100 днів Без прир остів 1абс 2від н 3Відн приб 6 6,4 4,5 6,4
  • 31.
    Точність багатокрокового прогнозу • Часовийряд – UX-C • Оптимальна максимальна кількість лагових змінних – 50 • Крок дискретизації 1 день • Міра точності – MAPE, % • Прогнозування на 100 днів Без прир остів 1абс 2відн 3Відн приб 3,4 16,2 4,9 4,8
  • 32.
    Висновки і перспективи досліджень •Оптимальні параметри прогнозної моделі (її складність) залежать від заданого горизонту прогнозування • В класі поліноміальних моделей при довгостроковому прогнозуванні більш ефективними є моделі 1 порядку (лінійні) • В класі лінійних гармонічних моделей оптимальним є апроксимація по одній гармоніці
  • 33.
    Висновки і перспективи досліджень Перспективидосліджень: • Дослідження оптимальної складності поліноміальних моделей при короткостроковому прогнозуванні • Створення методів пошуку оптимальної складності (крос-валідації) для авторегресійних, нейромережних, марківських моделей