Chabanenko seminar20121226

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Чабаненко Дмитро Миколайович
Математичнi моделi та методи прогнозування
часових рядiв на основi складних ланцюгiв
Маркова

За матерiалами дисертацiї на здобуття наукового ступеня
кандидата технiчних наук.
Спецiальнiсть 01.05.02 - Математичне моделювання та
обчислювальнi методи.

26 грудня 2012, м. Черкаси
Чабаненко Д.М. Складнi ланцюги Маркова

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Актуальнiсть дослiдження.

Прогнозування стану об’єктiв будь-якої природи є дуже
актуальною, не розв’язаною на даний час задачею. Фiнансовi
ринки є складними системами з великою кiлькiстю агентiв,
що взаємодiють, що створює значнi труднощi застосування
загальновiдомих методiв прогнозування до прогнозування їх
стану. Наявнiсть кризових явищ на фiнансових ринках
вимушує учасникiв ринкiв шукати бiльш точнi та надiйнi
моделi для прийняття обгрунтованих рiшень. Проблеми
методiв прогнозування складних систем вимушують
дослiдникiв шукати суттєво новi концепцiї, парадигми для
бiльш адекватного описання сучасних фiнансових ринкiв,
здатних пояснювати динамiку кризових явищ.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Зв’язок роботи з науковими програмами, планами,
темами

Робота виконана у рамках науково-дослiдницької теми
“Моделювання складних фiнансово-економiчних систем”, що
проводяться на кафедрi економiчної кiбернетики
Черкаського нацiонального унiверситету iменi Богдана
Хмельницького.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Мета i завдання дослiдження

Метою даної роботи є розробка моделей часових рядiв на
основi складних ланцюгiв Маркова для покращення точностi
довгострокових прогнозiв iндексiв свiтових фондових ринкiв.
Для досягнення мети поставлено наступнi завдання:
проаналiзувати сучаснi методи прогнозування, здiйснити їх класифiкацiю,
висвiтлити проблеми та можливi шляхи їх подолання;
розробити методику прогнозування, основану на складних ланцюгах Маркова;
розробити методику оцiнки можливих сценарiїв ряду для урахування
невизначеностi моделi;
здiйснити апробацiю методу на часових рядах рiзної природи, оцiнити можливий
горизонт прогнозу та довiрчi iнтервали;
виконати експериментальне порiвняння якостi прогнозiв з вiдомими методами
прогнозування iндексiв фондових ринкiв.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Об’єкт, предмет та методи дослiдження

Oб’єкт дослiдження - процес прогнозування часових рядiв
при аналiзi iндексiв свiтових фондових ринкiв.
Предмет дослiдження - методи та моделi прогнозування
часових рядiв, основанi на складних ланцюгах Маркова.
Методи дослiдження У роботi використовувалися методи
теорiї випадкових процесiв, складних ланцюгiв Маркова, що
дозволяють побудувати модель ряду, статистики та
економетрiї, якi використанi для вибору множини значних
факторiв, якi впливають на прогнозований показник,
нелiнiйної динамiки, рекурентних дiаграм, якi дозволяють
здiйснити побудову низькочастотної складової ряду, методiв
нелiнiйної оптимiзацiї для побудови нелiнiйної трендової
моделi з гармонiчними складовими.

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Наукова новизна одержаних результатiв
Основними науковими результатами, що виносяться на
захист, є такi: Вперше:
Запропоновано метод прогнозування часових рядiв на
основi складних ланцюгiв Маркова, тобто ланцюгiв
Маркова з пам’яттю, якi, на вiдмiну вiд вiдомих моделей
часових рядiв, враховують ефект пам’ятi та здатнi
виявити закономiрностi ряду, прихованi вiд класичних
методiв прогнозування.
Запропоновано технологiю прогнозування згiдно iєрархiї
приростiв часу та процедуру “склеювання”, що
дозволило вiдтворювати мультифрактальнi властивостi
часових рядiв складних фiнансово-економiчних систем
та пiдвищити точнiсть середньо- та довгострокових
прогнозiв.

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


Удосконалено:
методи дискретизацiї часового ряду, враховуючи
особливостi негаусового розподiлу прибутковостей
фiнансових часових рядiв;
методи апроксимацiї та екстраполяцiї часових рядiв на
основi виокремлення низькочастотного тренду за
допомогою дискретного Фур’є-продовження з
двохчастотним наближенням;
здiйсненно оптимiзацiю швидкодiї алгоритму за рахунок
використання хеш-таблиць, що дозволило зменшити час
розрахунку прогнозiв;


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


Дiстали подальшого розвитку:
клiтинно-автоматний пiдхiд до прогнозування часових
рядiв введенням методу прогнозування при змiннiй
довжинi пам’ятi.
мультиагентний пiдхiд до паралельного обчислення
прогнозiв часових рядiв, що дозволило зменшити час
розрахунку множини показникiв за рахунок
паралельного та розподiленного обчислення.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Практичне значення одержаних результатiв

Запропонованi моделi часових рядiв та методи
прогнозування можуть бути використанi при аналiзi та
прогнозуваннi часових рядiв рiзної природи, зокрема
дiяльностi фiнансово-економiчних органiзацiй, яким корисне
прогнозування. Для технiчних систем, що характеризуються
динамiкою показникiв у виглядi часових рядiв, розробленi
методи також можуть бути корисними для аналiзу та
прогнозування.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Публiкацiї

Основнi результати роботи викладено у 4-х статтях ,
опублiкованих у виданнях, що внесенi до перелiку наукових
фахових видань України, 3-х статтях у зарубiжних фахових
виданнях та додатково вiдображено в матерiалах
конференцiй.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Апробацiя результатiв дисертацiї
Основнi результати дослiдження доповiдалися на наступних
наукових конференцiях рiзного рiвня:
Working Group on Physics of Socio-economic Systems, Dresden, October 5-8, 2009.;
International Conference “Information Technologies, Management and Society”. April
16-17, Riga, Latvia.;
Х Мiжнародна науково-технiчна конференцiя “Системний аналiз та iнформацiйнi
технологiї”, м Київ, 2008, 2009, 2010 та 2011 р.
Проблеми iнформатики та моделювання, м. Харкiв, 15-17 вересня 2010 р.
Мiжнародна науково-практична конференцiя “Dynamical systems modeling and
stability investigation”, DSMSI-2011, м. Київ;
VI Мiжнародна науково-технiчна конференцiя “Комп’ютернi технологiї в
будiвництвi”, Київ-Севастополь, 9-12 вересня 2008 р.;
Гумбольдт-коллег - 2009, м. Київ;
Мiжнародна науково-практична конференцiя “Iтонт-2009” , “Iтонт-2012”, м. Черкаси;
Мiжнародна науково-технiчна конференцiя “Обчислювальний iнтелект-2011”, м.
Черкаси;
Мiжнародна науково-практична конференцiя “Монiторинг, моделювання та
менеджмент емерджентної економiки”, 2008 р., м. Черкаси, 2010 р., м. Одеса;
Мiжнародна науково-практична конференцiя “Iнформацiйнi технологiї та
моделювання в економiцi”, 2009 р., м. Черкаси.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Структура дисертацiї

Дисертацiя складається зi вступу, 4-х роздiлiв, списку
лiтератури (112 джерел) та додаткiв. Загальний обєм
дисертацiї складає 172 сторiнок.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Класифiкацiя методiв прогнозування:


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Постановка задачi прогнозування

Динамiка системи задана послiдовнiстю значень yi , (i = 1..N)
показника, що прогнозується, вимiряного з постiйним
кроком дискретизацiї ∆t.
Необхiдно оцiнити величини майбутнiх значень
yN+1 , yN+2 , ..., yN+NP , базуючись на закономiрностях,
виявлених вибраною прогнозною моделлю.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Математичнi моделi прогнозiв

Методи прогнозування можуть бути поданi у виглядi
наступної математичної моделi:
(1) (1)
f(t, yt , yt−1 , ..., yt−m , xt , ..., xt−m1 ,
yt+1 = (2) (2) (k) (k) (1)
xt , ..., xt−m2 , xt , ..., xt−mk ),
де yt - величина показника, що прогнозується в момент часу
(i)
t; xt - величина i-го фактора в момент часу t, який впливає
на y; m, m1 , ...mk - довжини “памятi” рядiв факторiв, якi
використовуються при прогнозуваннi. Вiдмiнностi рiзних
методiв будуть стосуватися структури вхiдних даних x та
виду функцiї f(...).


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Пiдходи до побудови залежностi (вибiр виду зв’язку):
Лiнiйна
Тi, що зводяться до лiнiйної (експоненцiальна, обернена
залежнiсть тощо)
нелiнiйна алгебраїчна
нейромережевi
випадковi (маркiвськi)
нечiткi


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Методи побудови моделей та оцiнювання їх параметрiв:
Метод найменших квадратiв;
Метод найменших модулiв;
Методи оптимiзацiї:
метод Ньютона;
градiєнтнi методи;
генетичнi алгоритми.
Методи iндуктивного моделювання (метод групового
урахування аргументiв)


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Метод ARIMA (Бокса-Дженкiнса)
AR(p) -авторегресiйна модель порядку p, яка має вигляд:
Y(t) = f0 + f1 · Y(t − 1) + f2 · Y(t − 2) + ... + fp · Y(t − p) + E(t)
де Y(t) - значення залежної змiнної в момент часу t.
f0 , f1 , f2 , ..., fp - параметри, якi оцiнюються. E(t) - похибка вiд
впливу змiнних, якi не врахованi в моделi. Задача полягає к
тому, щоб оцiнити значення параметрiв f0 , f1 , f2 , ..., fp . MA(q)
-модель ковзного середнього порядку q, яка має вигляд:
Y(t) = m + e(t) − w1 · e(t − 1) − w2 · e(t − 2) − ... − wp · e(t − p),
де Y(t)-залежна змiнна в момент часу t. w0 , w1 , w2 , ..., wp -
параметри, якi оцiнюються, e(t)- залишки.
AR(p)+MA(q)->ARMA(p,q)->ARMA(p,q)(P,Q)-
>ARIMA(p,q,r)(P,Q,R)->...

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Огляд середовищ розробки програмного забезпечення
для прогнозування
Спецiальне програмне забезпечення для аналiзу та
прогнозування часових рядiв:
Matlab (Statistics toolbox, Neural Network Toolbox та
iншi)
Statistica (має моделi для багатофакторного аналiзу,
неромереж);
SSA (Метод “Гусениця”), спецiалiзована;
NeuroShell
та багато iнших.
Недолiки: для аналiзу часових рядiв бiльшiсть готових
систем вимагає формування вибiрки навчання саме для
часових рядiв (для лагових, авторегресiйних моделей).

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Авторегресiйнi методи прогнозування
4
x 10

1.2
S&P 500

1.15

1.1

1.05

6900 7000 7100 7200
time, days

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


8000

6000
S&P 500

4000

2000

0

1000 2000 3000 4000 5000 6000 7000
time, days

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


900

800
DJI

700

600

500
6000 6500 7000 7500 8000 8500
time, days

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


5000

4000
S&P 500

3000

2000

1000

0 5000 10000 15000
time, days

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Проблеми методiв прогнозування?

Проблеми, якi перешкоджають побудовi прогнозiв:
Неадекватнiсть моделi через складнiсть системи, що дослiджується;
Складнощi у побудовi моделей, що описують закономiрностi динамiки системи та ї ї
компонентiв;
Неможливiсть апрiорного врахування невизначенностi у вхiдних даних та у
побудованому прогнозi;
Прогнозування неочiкуваних явищ, тобто тих, якi зовсiм не були представленi в
навчаннi;
Недонавчання, перенавчання;
Неврахування “пам’ятi” часового ряду.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Висновки до роздiлу I.

Проведено порiвняльний аналiз вiдомих методiв
прогнозування одновимiрних часових рядiв.
Виокремлено проблеми популярних методiв та можливi
шляхи їх подолання.
Одним з таких шляхiв є розробка методу прогнозування, що
враховує причинно-наслiдковi закономiрностi у дискретному
представленнi часового ряду та фрактальностi
(самоподiбностi на рiзних частотних рiвнях) реальних
часових рядiв.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Основнi iдеї методу прогнозування

Дискретний ланцюг Маркова - модель випадкового процесу,
в якому ймовiрнiсть наступного стану залежить тiльки вiд
наявного i не залежить вiд усiх попереднiх.

P(Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) = P(Xn+1 = in+1 | Xn = in ),
(2)
де Xn - послiдовнiсть дискретних випадкових подiй; in -
конкретна реалiзацiя даної випадкової послiдовностi.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


Нехай задана матриця ймовiрностей переходiв мiж подiями:
 
p11 p12 p13
A =  p21 p22 p23  ,
p31 p32 p33

де pij - ймовiрнiсть переходу зi стану i в стан j. Якщо задано
вектор початкових ймовiрностей стану системи
(1) (2) (3)
pt0 = (pt0 , pt0 , pt0 ), то для визначення вектору
ймовiрностей стану системи через k крокiв, у випадку
ланцюга Маркова 1-го порядку використовується наступна
формула:
pt0+k = pt0 · Ak . (3)


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Принципова вiдмiннiсть ланцюгiв Маркова високих порядкiв
вiд простих полягає у врахуваннi “пам’ятi” (передiсторiї).
Ланцюги Маркова порядку вище першого можна звести до
простих за допомогою введення поняття “узагальнений стан”
як послiдовностi станiв (передiсторiї).

p11,11 0 0 p21,11 0 0 p31,11 0 0 
p11,12 0 0 p21,12 0 0 p31,12 0 0
 p11,13 0 0 p21,13 0 0 p31,13 0 0 
0 p12,21 0 0 p22,21 0 0 p32,21 0
A=
 
0
0
p12,22
p12,23
0
0
0
0
p22,22
p22,23
0
0
0
0
p32,22
p32,23
0
0
,
 0 0 p13,31 0 0 p23,31 0 0 p33,31

0 0 p13,32 0 0 p23,32 0 0 p33,32
0 0 p13,33 0 0 p23,33 0 0 p33,33

де pij,jk - ймовiрнiсть переходу з узагальненого стану ij в
стан jk, тобто iз елементарного стану j, перед яким вiдбувся
стан i, перейти в стан k.

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


Ряд неперервних значень часового ряду pt необхiдно
перетворити у ряд дискретних станiв ланцюга Маркова.
Методи кодування пов’язанi з величиною абсолютних (4) або
вiдносних (5) приростiв (прибутковостей) часового ряду:

rabs (t) = pt − pt−∆t (4)

pt − pt−∆t
rrel (t) = . (5)
0.5 · (pt + pt−∆t )


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


Дискретнi стани системи пов’язанi з абсолютними або
вiдносними приростами часового ряду r(t). Для кожного
дискретного стану i = 1, 2, . . . s необхiдно визначити
максимальний rlim,i−1 та мiнiмальний rlim,i величини
приростiв для стану i та середнє значення приросту ravg,i для
цього стану. Для кожної величини приросту rt номер стану
визначається так:

st = (i|rlim,i−1 > rt ≥ rlim,i) (6)


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


Автором запропоновано наступнi методи кодування
(дискретизацiї) приростiв у виглядi дискретних станiв:
Кодування з цiллю рiвномiрностi розподiлу мiж
станами;
Кодування з цiллю рiвномiрностi за величиною
вiдхилення;
Комбiнований метод.
Результати експериментальної роботи щодо вибору методу
кодування представлено у роздiлi 4 дисертацiї.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


Обчислити ряд абсолютних або вiдносних приростiв;
Вибрати кiлькiсть станiв s та критерiї вiднесення для
кожного станiв;
Перетворити ряд прибутковостей в ряд станiв;
Вибрати порядок ланцюгу Маркова r та множину
узагальнених станiв;
Обчислити матрицю ймовiрностей переходу з кожного
узагальненого стану в кожен iнший;


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


Для n прогнозних станiв повторювати:
Взяти послiдовнiсть останнiх r станiв як останнiй
узагальнений стан та за матрицею ймовiрностей
переходiв визначити найбiльш ймовiрний наступний
стан;
Додати спрогнозований стан до ряду станiв;
Перетворити ряд спрогнозованих станiв у ряд значень,
використовуючи останнє значення ряду та середнi
значення в кожному станi.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Результат прогнозування

1600

1400
S&P

1200

1000

800

1.48 1.5 1.52 1.54
time, days 4
x 10


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


1300

1250
S&P

1200

1150

1100
1.529 1.5295 1.53 1.5305
time, days 4
x 10

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Iлюстрацiя склеювання
dt=4

1400

1350

1300

1250
S&P

1200

1150
Ishodnaya+predid
sglazhennaya+sglazh predid
1100
Ishodn+prognoz
NewSkleenoe
1050 Sglazh+Prognoz

1.52 1.525 1.53 1.535 1.54 1.545 1.55 1.555
Чабаненко Д.М. days
Складнi ланцюги Маркова 4
time,

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Методика склеювання при прогнозуваннi на основi
СЛМ

Генерувати послiдовнiсть приростiв часу (степенi 2,
степенi простих чисел);
Для всiх приростiв, починаючи з менших:
Здiйснити прогнозування, використовуючи даний
прирiст ∆t та вiдновити ряд по прогнозованих станах;
Для першого ∆t скопiювати ряд в ряд склеєний. Для
iнших здiйснити склеювання отриманого ряду з рядом,
отриманим при склеюваннi попереднiх приростiв ∆t.
Склеїти результат з початковим наближенням ряду
(лiнiйним трендом, лiнiйним трендом iз синусоїдою)


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Прогнози, обчисленi з рiзною довжиною навчальної вибiрки.
all prognozes learningset=2001
2200

2000

1800

1600

1400

1200

1000

800

600
0 500 1000 1500 2000 2500 3000 3500


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Усереднення прогнозiв, обчислених з рiзною довжиною
навчальної вибiрки.
all prognozes learningset=2001
2200
mean+std
mean−std
2000

1800

1600

1400

1200

1000

800

600
0 500 1000 1500 2000 2500
Чабаненко Д.М. Складнi3000 3500
ланцюги Маркова

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Висновки до роздiлу II.

Запропоновано систему методiв прогнозування часових
рядiв, якi базуються на моделi складних ланцюгiв
Марковата дозволяють дослiджувати можливi сценарiї
майбутньої динамiки часового ряду.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Апаратнi засоби оптимiзацiї роботи алгоритмiв
прогнозування

Сучаснi персональнi компютери мають наступнi апаратнi
можливостi для збiльшення швидкостi обчислень:
Iнструкцiї процесора для однотипних операцiй над
масивами (векторами);
Векторнi регiстри;
Багатоядернi процесори, можливiсть паралельно
виконувати декiлька не пов’язаних мiж собою потокiв;
Вiдеокарти та графiчнi пiдсилювачi (GPU), якi
дозволяють паралельно виконувати однотипнi операцiї
над цiлочисельними векторами та матрицями;


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Паралельнi алгоритми в методi ланцюгiв Маркова та
програмнi засоби їх реалiзацiї

Розглянемо деякi приклади паралельної органiзацiї
алгоритму.
Алгоритм обчислення прибутковостей
% дано: y - вихiдний ряд, dt - часовий прирiст.
n=length(y);
y2=y(dt:n);
y1=y(1:n-dt);
r_abs=y2-y1;
r_rel=r_abs./y1;


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Паралельнi алгоритми в методi ланцюгiв Маркова та
програмнi засоби їх реалiзацiї
Алгоритм класифiкацiї прибутковостей
n=length(r);
states=ones(1,n); % номери станiв - масив нулiв.
% Далi буде використовуватись як лiчильник
for j=1:length(r_lim)
statesj=r>r_lim(i); % Поелементна умовна операцiя.
% Повертає вектор значень 0 та 1
% результуючого вектору) нульовий.
states=states+statesj; % збiльшуються на 1 тiльки тi
% компоненти, якi на попередньому кроцi дали
% iстину операцiї порiвняння (бiльшi порогу)
end;

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Iнформацiйна система клiєнт-сервер для задач
Основна цiль веб-орiєнтованої системи для прогнозування
часових рядiв - органiзацiя обчислювального кластеру та
оптимальне розподiлення обчислювальних задач мiж
вузлами кластеру. Особливостi системи:
Серверна частина: веб-сервер з iнтерпретатором php та
БД MySQL;
Сторона клiєнта - система Matlab+ПО клiєнта;
Комунiкацiя - протоколи TCP-IP: http для контролю та
ftp та http для передачi даних.
Iнтерфейс керування - веб-браузер (html+js)
Реально дiюча система вiльно доступна за адресою: http:
prognoz.ck.ua

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Iнформацiйна система клiєнт-сервер для задач

Система розподiленого обчислення прогнозiв
http:prognoz.ck.ua

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Дiаграма прецедентiв IС
Дiаграма прецедентiв IС
Реєстрацiя

Авторизацiя

Додавання завдання реєстрацiя

Користувач

ПК-обчислювач
Завантаження даних
Виконання завдання

Завантаження метода

Збереження прогнозу

Рис.: Дiаграма прецедентiв IC


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Дiаграми класiв

users tasks
+id: int +id: int
+name: char(20) +platformid: int
+surname: char(20) +methodid: int
+loadtool: int = 1 +dataid: int
+loaddata: int = 1 +ﬁlename: char(50)
+type: int methods processes +command: char(50)
+login: char(20) +state: char(30)
+id: int +id: int
+pass: char(20) +name: char(20) +regdate: date +done: int
+register() +descr: varchar(100) +regtime: time +outﬁlename: char(50)
+IP: char(20)
+edit() +folder: varchar(100) +userid: int
+userid: int +processid: int +adduserid: int
+platformid: int +platformid: int +calcuserid:int
+processid:
int
+command: varchar(100) +ip: char(20) +begcalcdate: date
+upload() +register() +begcalctime: time
+getfolder() +gettask() +predictminutes: int
+update() +endcalcdate: date
+endcalctime: time
+add()
data +edit()
+id: int
+name: char(20)
+descr: varchar(100) platforms
+folder: varchar(100)
+userid: int +id: int
+upload() +name: char(20)
+getfolder() +description: varchar(20)
+update() +add()
+edit()
+delete()

Рис.: Дiаграма прецедентiв ICМаркова
Чабаненко Д.М. Складнi ланцюги

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Методи прогнозування, доступнi з системи


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Додавання пакету даних для прогнозування


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Додавання нової прогнозної задачi


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Задачi, доданi для розрахунку


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Перегляд та завантаження результатiв розрахункiв


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Обгрунтування та експериментальна апробацiя
значень параметрiв
Таблиця 4.1. Квантування та вiдновлення ряду, Абсолютний
прирiст, MAE
s 0 1 2 3 4 5
2 60,04811 63,55099 63,52483 57,8836 53,62744 57,95369
3 48,07205 28,49054 46,11746 57,88115 53,62744 48,06744
4 39,32707 30,69113 34,84399 57,88115 37,44608 40,80956
5 42,01063 20,42735 35,65955 57,88115 36,33637 43,02885
6 48,38131 21,32351 39,64088 57,88115 32,43568 49,26477
7 36,06397 18,50938 38,10338 57,88115 35,04669 36,92357
8 31,22053 19,6723 23,07357 57,88115 34,19287 31,61836
9 31,42845 17,21272 31,95812 57,88115 31,75808 32,39787
10 31,09714 16,3421 13,62624 57,88115 31,85516 31,85516
сер. 40,85 26,247 36,283 57,881 38,48 41,324
MAE

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Таблиця 4.2. Квантування та вiдновлення ряду, Вiдносний
прирiст, MAE
s 0 1 2 3 4 5
2 28,7123 29,03286 29,04159 45,8535 37,35788 28,7123
3 22,42224 35,34859 19,67651 45,8535 37,35788 22,42251
4 13,62889 21,99524 24,08568 45,85327 24,931 15,71549
5 15,39498 26,67345 27,95582 45,85325 20,02739 18,65748
6 16,50274 32,20992 17,52374 45,85325 24,34137 15,81712
7 19,80699 26,48436 41,15324 45,85278 22,8182 18,55593
8 17,97275 25,82118 21,95639 45,85278 18,29971 16,15618
9 18,67071 13,44835 32,76122 45,85278 22,17759 20,53648
10 22,16353 14,9363 24,15115 45,85278 21,07525 21,07525
сер. 19,475 25,106 26,478 45,853 25,376 19,739
MAE

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Висновки з проведеного експерименту
Результати експерименту дозволяють зробити такi висновки:

Вiдносний прирiст показує бiльш точне вiдтворення
ряду.
Оптимальна кiлькiсть станiв дискретного ланцюга
Маркова - 5-7, т.я. подальше збiльшення не призводить
до значного покращення представлення ряду.
Найкращi методи класифiкацiї для абсолютних
прибутковостей - стовпчик 1 (рiвномiрне за
вiдхиленням), для вiдносних прибутковостей -
стовбчики 0 (рiвномiрно за кiлькiстю) та 5 (комбiнована:
рiвномiрна за кiлькiстю для хвостiв розподiлу та
рiвномiрна за вiдхиленням для центру). та 1
(Рiвномiрна за вiдхиленням)

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


Таблиця 4.3. Похибки прогнозування наступного стану.
Абсолютний прирiст, MAE
dt
k= 4 8 16 32 64 128 256 mean
1 1,52381 1,571429 1,428571 1 1,65 1,619048 1,7 1,4989797
2 1,619048 1,428571 1,571429 1 1,6 1,380952 1,3 1,4142857
3 1,142857 1,47619 1,809524 0,9047619 1,25 1,190476 1,5 1,3248298
4 1,047619 1,52381 1,761905 1 1,25 1,190476 1,5 1,32483
5 1,190476 1,52381 1,904762 0,8571429 1,25 1,238095 1,5 1,3520408
6 1,285714 1,52381 1,714286 0,8571429 1,3 1,190476 1,5 1,3387755
7 1,238095 1,714286 1,761905 0,8571429 1,2 1,190476 1,5 1,3517007
8 1,238095 1,714286 1,666667 0,8571429 1,35 1,190476 1,5 1,3595238
9 1,190476 1,714286 1,666667 0,952381 1,4 1,238095 1,5 1,3802721
10 1,190476 1,714286 1,809524 0,9047619 1,65 1,238095 1,5 1,4295918
Середнє 1,2666666 1,5904764 1,709524 0,91904764 1,39 1,2666665 1,5 1,3774830


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


Таблиця 4.4. Похибки прогнозування наступного стану.
Вiдносний прирiст, MAE
dt
k= 4 8 16 32 64 128 256 Середнє
1 0,952381 1 1,142857 1 1,2 0,9047619 1,25 1,0642857
2 0,952381 0,9047619 1,190476 1,047619 0,85 0,8095238 1,1 0,9792516
3 1,142857 0,8095238 1,142857 1,047619 0,8 0,8571429 1,1 0,9857142
4 1,190476 0,8571429 0,952381 1 0,7 0,8095238 1,15 0,9513605
5 1,190476 0,8095238 0,9047619 0,952381 0,55 0,8095238 1 0,8880952
6 1,095238 0,7142857 0,9047619 1,047619 0,6 0,8095238 1,1 0,8959183
7 1 0,7142857 0,9047619 0,952381 0,65 0,8095238 1,1 0,8758503
8 1 0,7142857 0,9047619 1 0,65 0,7619048 1 0,8615646
9 1 0,6190476 0,9047619 0,952381 0,55 0,7619048 1 0,8268707
10 1 0,6666667 0,9047619 0,8571429 0,5 0,7619048 1 0,8129251
Середнє 1,0523809 0,78095238 0,98571424 0,98571429 0,705 0,80952382 1,08 0,9141836


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


Результати наступного експерименту дозволяють зробити
такi висновки:
Для усiх значень ∆t для абсолютних прибутковостей
оптимальне значення знаходиться в дiапазонi 3-5. Для
вiдносних це значення досягає 10.
Iнтервал дискретизацiї ∆t = 32 демонструє найточнiшi
прогнози як для абсолютних, так i вiдносних приростiв
Найгiрший - ∆t = 256.
Вiдносний варiант демонструє бiльш точнi прогнози
наступного стану


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

4
x 10

2

1.8

1.6
DJI

1.4

1.2

1

0.8

0 500 1000 1500 2000 2500 3000
time, days

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

4
x 10
2
mean+std
1.8 mean−std
mean
1.6

1.4
DJI

1.2

1

0.8

0.6
0 1000 2000 3000 4000
time, days

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

UX all prognozes 20120210
3000

2500

2000
UX

1500

1000

500

0
0 100 200 300 400
time, days

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

UX all prognozes 20120210
3000
mean+std
mean−std

2500
UX

2000

1500

1000
0 100 200 300 400
time, days


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Прогнози фондового ринку Америки

0.9
0.8
0.7
indices,normalized

0.6
0.5
BVSP
0.4
S&P 500
0.3 GSPTSE
0.2 MERV
MXX
0.1
mean
0
0 500 1000 1500 2000 2500
time, days


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Прогнози фондового ринку Європи

0.9
0.8
indices, normalized

0.7
0.6
0.5 AEX
0.4 FTSEMIB.mi
CAC 40
0.3 FTSE 100
0.2 DAX
GD.AT
0.1
IBEX
ISEQ
0 500 1000 1500 2000 2500
time, days mean


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Прогнози фондового ринку Азiї

0.8
indices, normalized

0.6

0.4 SSEC
BSESN
HSI
0.2 KS11
NIKKEI
mean
0
0 500 1000 1500 2000 2500
time, days


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Прогнози свiтового фондового ринку

0.9
0.8
0.7
indices,normalized

0.6
0.5
americas
0.4
asia
0.3 europe
world
0.2
0.1

0 500 1000 1500 2000 2500
time, days


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Порiвняння точностi прогнозування СЛМ з НМ

Для порiвняння, вибрано наступнi архiтектури нейромереж:
1 Cascade Back Propagation
2 Elman Back Propagation
3 Feed Forward BackProp
4 Linear Layer (design)
5 NARX (delays)
6 Perceptron
7 Radial Basis Fewer neurons


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Похибки прогнозування (MAPE) iндексу Dow Jones
методами СЛМ та нейронних мереж
Markov 1 2 3 4 5 6 7
DJ 2000 (1) 29,05% 99,74% 5810% 74,79% 1, 36 · 6038% 51,72% 51,79%
105
DJ 2000 (2) 13,93% 58,70% 23619% 56,21% 32,34% 84,37% 19,34% 18,87%
DJ 2000(3) 10,75% 29,43% 24642% 3, 5 · 103 406714% 247% 18,05% 22,02%
DJ 2000 (4) 14,45% 36,39% 8353% 84,37% 766655% 78,62% 22,63% 22,37%
DJ 2000 (5) 12,78% 68,33% 100618% 7296% 3, 33 · 34,10% 12,14% 13,92%
105
DJ 2000 (6) 23,86% 17,95% 221295% 24,05% 44,90% 28,60% 14,84% 12,83%
DJ 3000 (1) 5,85% 84,71% 15,24% 392% 3017% 1152% 13,73% 14,17%
DJ 3000 (2) 16,99% 22,86% 24,54% 214,78% 1, 45 · 21,52% 14,93% 19,40%
10 15
DJ 3000 (3) 25,28% 36,81% 48,54% 43,73% 60969% 74,56% 34,29% 33,59%
DJ 3000 (4) 34,99% 44,17% 44,61% 51,73% 92,30% 61,94% 43,66% 42,90%
DJ 3000 (5) 19,32% 76,47% 22,41% 53,07% 2570547% 7204% 23,79% 23,72%
DJ 3000 (6) 19,96% 41,11% 31,02% 1, 5·1014 39,69% 36,71% 23,99% 25,91%
DJ 4500 (1) 56,45% 48,12% 15,24% 73,67% 821% 26,83% 17,72% 19,62%
DJ 4500 (2) 41,02% 51,57% 46,01% 57,28% 28225% 1455% 40,50% 39,44%
DJ 4500 (3) 21,72% 39,72% 100,72% 66,90% 91,12% 64,13% 77,33% 78,86%
DJ 4500 (4) 17,73% 87,64% 26,49% 28,84% 36,76% 39,80% 16,41% 16,91%
DJ 4500 (5) 8,73% 5 · 1016 2, 35·108 26,78% 305% 48,51% 36,65% 36,75%
DJ 4500 (6) 55,20% 9 · 1022 61,95% 62,55% 67,20% 60,04% 56,01% 56,25%

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Похибки прогнозування
(MAPE) iндексу S&P 500 методами СЛМ та нейронних мереж
Markov 1 2 3 4 5 6 7
S&P 2000 (1) 15,35% 71,60% 173177% 678,74% 56,40% 31,85% 28,93% 30,27%
S&P 2000 (2) 12,64% 3, 6·1029 181043% 37,70% 43,95% 50,45% 21,27% 22,46%
S&P 2000 (3) 15,43% 23,44% 98055% 50,01% 13297% 43,08% 20,19% 22,24%
S&P 2000 (4) 13,21% 33,15% 606% 24,76% 1, 54 · 34,36% 16,01% 18,56%
1017
S&P 2000 (5) 54,90% 79,57% 9027% 64,04% 22520% 179% 51,88% 51,70%
S&P 3000 (1) 11,78% 74,85% 205% 59,81% 5, 32 · 43,08% 26,04% 25,32%
1031
S&P 3000 (2) 14,96% 132,92% 1246% 41,80% 63,46% 3 · 105 19,10% 19,12%
S&P 3000 (3) 28,68% 40,20% 28,53% 34,88% 73,58% 33,59% 20,03% 19,62%
S&P 3000 (4) 18,56% 52,33% 431% 1, 87 · 1, 1 · 74,02% 17,76% 20,12%
1054 1036
S&P 3000 (5) 19,07% 167,00% 31,07% 53,43% 8, 14 · 37,69% 38,07% 37,67%
1029
S&P 4500 (1) 11,72% 29,90% 23,25% 32,50% 47,94% 63,65% 30,25% 30,31%
S&P 4500 (2) 10,06% 7, 3·1054 19,24% 8, 34 · 211% 41,11% 14,59% 14,59%
1096
S&P 4500 (3) 25,24% 9 · 1073 41,05% 49,93% 1025% 128% 34,58% 33,87%
S&P 4500 (4) 25,66% 4 · 10119 24,66% 40,77% 76,70% 44,20% 11,93% 14,27%
S&P 4500 (5) 22,83% 61,21% 39,04% 57,66% 9 · 198% 29,53% 32,87%
1071

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


З таблиць видно, що у переважної бiльшостi експериментiв
точнiсть прогнозування згiдно методики складних ланцюгiв
Маркова, є кращою (порядка 22 %). Також у деяких видiв
нейромереж (з 1 по 5 архiтектури) були помiченi дуже
великi вiдхилення вiд реального продовження, що звязане з
тим, що модель таких видiв нейромереж продемонструвала
зростання у нескiнченнiсть або падiння до нуля. При
архiтектурах 6 (Perceptron) та 7 (Radial Basis Fewer neurons)
таких прогнозiв не було помiчено.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Висновки
Проаналiзовано сучаснi методи прогнозування,
розроблено їх класифiкацiю, висвiтлено проблеми та
можливi шляхи їх подолання;
Розроблено методику прогнозування, основану на
складних ланцюгах Маркова;
Розроблено методику оцiнки можливих сценарiїв ряду
для урахування невизначеностi моделi;
Здiйснено апробацiю алгоритму на часових рядах рiзної
природи, запропоновано методи оцiнювання можливого
горизонту прогнозу та довiрчих iнтервалiв;
Виконано експериментальне порiвняння якостi прогнозiв
з вiдомими методами прогнозування iндексiв фондових
ринкiв.

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Дякую за увагу, доповiдь завершено.
Готовий вiдповiсти на Вашi запитанння.
http:prognoz.ck.ua
mailto:chdn6026@mail.ru
icq:345243743
skype:dmitry_chabanenko


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Додатковi слайди.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Моделi нейронних мереж

x1
w1
x2
w2
wn
xn

n
Y=F wi · xi · F (WX) , (7)
i=1

де X = (x1 , x2 , . . . , xn )T – вектор вхiдного сигналу;
W = (w1 , w2 , . . . , wn ) – ваговой вектор; F – оператор
нелiнiйного перетворення.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Моделi нейронних мереж

x1 y1
Вхiд 1 Прихов 1 Вихiд 1

x2 y2
Вхiд 2 Прихов 2 Вихiд 2

xn yn
Вхiд n Прихов 2 Вихiд m

Вихiдний шар
Вхiдний шар Прихований шар

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Метод групового урахування аргументiв

y = a0 + a1 xi xj ,
y = a0 + a1 xi + a2 xj ,
y = a0 + a1 xi + a2 xj + a3 xi xj ,
y = a0 + a1 xi + a2 xj + a3 x2 + a4 x2 + a5 xi xj .
i j (8)
В загальному випадку, використовується полiном
Колмогорова-Габора:
n n
y = a0 + ai xi + aij xi xj + aijk xi xj xk . (9)
i=1 i=1 i<j<k


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Перевiрка усiх можливих сценарiїв продовження ряду

Чи завжди найкращим прогнозом буде ряд з найбiльшою
ймовiрнiстю?
Для перевiрки згенеруємо усi можливi продовження ряду
(повний перебор).
На основi формули (3) знайдемо ймовiрнiсть кожного
сценарiю.


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Усi сценарiї, кумулятивна ймовiрнiсть яких складає 75 %.
Markov Predictions, p=75%
1250

1200
S&P500 index

1150

1100

1050

1000
10 20 30 40 50
time, days


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки

Усi сценарiї, кумулятивна ймовiрнiсть яких складає 15 %.
MarkovPredictions, p=15%
1250

1200
S&P500 index

1150

1100

1050

1000
10 20 30 40 50
time, days

Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


Таблиця 4.5. Похибки прогнозування методуу СЛМ та
нейронних мереж
MarkovMSE 1 2 3 4 5 6 7
DJI 4862,81 29825,54 771,8155 419,0937 333,8829 708,146 478,9897 515,4856
DJI 15407,07 5050,792 4603,083 7748,256 6278,986 3579,235 3697,634 3622,063
DJI 133996,19 99226,58 125310 57176,59 150437,5 60513,2 132736,3 159474,1
DJI 2657170,59 3640634 4285888 3289487 3133443 3877453 3818135 4060255
DJI5 836,27 343,21 271,7977 177,7498 271,6964 101,2644 248,7703 209,4772
DJI 39145,89 4223,914 5620,258 4370,172 4738,079 3226,095 2362,942 1772,327
DJI 196,85 641,2571 123,276 247,2131 369,4413 392,6245 215,7118 303,4189
DJI 346047,47 139694,1 181015,7 227291 97476,5 148175,4 130119,7 157027,7
DJI 8127140,46 3558192 2895846 6013268 2527864 1595068 7175845 7167810
DJI 9563,6 5461,267 7773,935 3562,303 5484,123 4309,42 11234,14 4566,526
DJI 26032,27 5315,589 3430,66 16557,13 3979,254 19935,65 5558,238 5383,096
DJI 27944,2 14354,19 30557,61 8645,996 12666,35 9136,454 7639,301 7562,249
DJI 18358,54 700,0981 187,3698 155,7703 480,0762 163,0023 225,6405 311,0369
DJI 2377171,9 106450 593890,6 1058077 1191157 1274379 1486320 980308,4
DJI 5999085,19 4897333 4234222 3035355 4724475 2769336 6879028 5460036
DJI 8576,77 9535,564 4304,265 2012,591 3541,091 7738,709 3535,161 3134,458
DJI 4388,64 14522,97 8456,225 10093,76 10846,8 11436,65 8643,565 8008,173
DJI 216434,67 73562,44 131504,7 42296,75 142283,7 19161,62 128344,5 128220,5


Вступ
Роздiл I.
Роздiл II
Роздiл III.
Роздiл VI.
Висновки


Таблиця 4.6.
Похибки прогнозування алгоритму СЛМ та нейронних мереж
MarkovMSE 1 2 3 4 5 6 7
GSPC 36,72 76,33231 46,8864 49,58305 42,46866 83,45371 41,87643 31,16411
GSPC 141,88 89,09176 67,92983 127,9769 198,8137 175,6017 240,6194 212,3979
GSPC 235,38 89,35446 452,4533 157,2896 125,3486 109,1961 89,51768 89,55271
GSPC 1137,88 1438,175 1184,36 727,8405 777,1543 852,8376 537,3756 521,8377
GSPC 133565,76 18409,5 46718,79 7035,171 63977,94 51162,44 70696,23 46883,95
GSPC 73,19 88,60546 86,91811 61,01672 37,0717 77,47533 68,48738 63,45674
GSPC 175,18 235,427 109,4156 219,5497 125,0683 72,31041 139,8682 149,3686
GSPC 1018,53 189,6797 214,0317 188,6304 399,4031 100,1906 234,7954 186,769
GSPC 2532,43 752,8921 540,3072 2567,136 799,5384 2645,999 392,5501 439,1967
GSPC 25882,18 11086,59 17820,59 10803,65 51369,16 8611,761 23459,13 20588,33
GSPC 121,756 195,629 87,72242 68,19237 113,8921 91,08167 273,81 275,2606
GSPC 75,22 397,9204 70,7982 122,5436 226,1052 113,7206 58,91802 60,76534
GSPC 1692,19 96,46894 1562,415 478,9659 347,6168 575,9448 793,6815 722,2358
GSPC 7177,0 981,3162 1421,711 608,6635 263,4561 653,4561 201,1695 195,4168
GSPC 60205,85 126389,2 44060,29 41708,47 30733,04 9448,52 26730,99 26564,83


Chabanenko seminar20121226

Recommended

Recommended

More Related Content

Similar to Chabanenko seminar20121226

Similar to Chabanenko seminar20121226 (20)

More from Dmitry Chabanenko

More from Dmitry Chabanenko (20)

Recently uploaded

Recently uploaded (14)

Chabanenko seminar20121226