Download to read offline
![17
Функция плотности распределения вероятности определя-
ет плотность вероятности в этой точке. Геометрическая интер-
претация связи функции плотности вероятности и функции
распределения приведена на рис. 4.
Рис. 4. Геометрическая интерпретация связи функции плотности
вероятности и функции распределения
Рис. 5. Геометрическая интерпретация вероятности попадания в интервал
Свойства функции плотности распределения:
1. f(x) 0;
2. .1)(
dxxf
Вероятность попадания случайной величины в интервал
(a, b] можно вычислить по формуле
).()()()( aFbFdxxfbxaP
b
a
Геометрическая интерпретация вероятности попадания в
интервал (a, b] — это площадь криволинейной трапеции, огра-
ниченной функцией плотности распределения в заданном ин-
тервале (рис. 5).
X
X](https://image.slidesharecdn.com/lujds88rucowhayzokgq-signature-7265c3e20b8e507ebe4bb1014784c684363c1b6eb97f77a9a34b9f01330933a1-poli-160712064535/85/569-17-320.jpg)
![19
2. Дисперсия определяет среднеожидаемый квадрат раз-
броса значений случайной величины X относительно матема-
тического ожидания M(X). Дисперсию можно вычислить по
формуле D(X) = M[(X – M(X))2
] = M(X2
) – [M(X)]2
.
Дисперсия дискретной случайной величины вычисляется по
формуле ,)()(
1
22
1
22
n
i
ii
n
i
ii pxpxXD а для не-
прерывной случайной величины —
.)()()()( 2222
dxxfxdxxfxXD
Свойства дисперсии: D(C) = 0; D(CX) = C2
D(X); D(X+Y)=
= D(X) + D(Y), если X иY независимы; D(C+X) = D(X);
D(X+Y) = D(X)+D(Y), если X иY независимы.
3. Среднеквадратическое отклонение вычисляется по фор-
муле .)(XD
Имеет место равенство ,)()()( YDXDYX если X и
Y независимы.
Дисперсия D(Х) и среднеквадратичное отклонение ха-
рактеризуют степень рассеивания случайной величины отно-
сительно ее математического ожидания. Чем меньше D(Х),
тем меньше степень рассеивания случайной величины. Это ут-
верждение наглядно представлено на рис. 6.
Рис. 6. Рассеивание данных с различными значениями
среднеквадратичных отклонений
x
f(x)
M(x)
Примечание. Глядя лишь на одно значение дисперсии, нельзя сказать,
большое рассеивание данных относительно математического ожидания или
нет. Ведь при вычислении значения дисперсии большое значение имеет,
например, масштабирование данного фактора (можно измерять в тоннах
или граммах), значение математического ожидания, минимальное и макси-
мальное значения, которые может принимать фактор.](https://image.slidesharecdn.com/lujds88rucowhayzokgq-signature-7265c3e20b8e507ebe4bb1014784c684363c1b6eb97f77a9a34b9f01330933a1-poli-160712064535/85/569-19-320.jpg)
![26
У нормально распределенной случайной величины M(X) =
= xmed
= xmod
; D(X) = 2
. Справедливы следующие правила:
;68,0)( xP ;95,0)22( xP
97,0)33( xP (правило «трех сигм»).
Двухмерный закон распределения нормальной случайной
величины (X, Y) можно описать функцией распределения
))(),((),( yYxXPyxF или функцией плотности распре-
деления .
),(
),(
yx
yxF
yxf
Причем выполняются следующие соотношения: M(X,Y) =
(MX),M(Y)); ,
)(),cov(
),cov()(
),(
YDYX
YXxD
YXD здесь кова-
риация ;),cov(),cov( xyXYYX
))]())(([( YMYXMXMxy
.)],())())(([(
dxdyyxfYMyXMx
Коэффициент корреляции между X и Y может быть опре-
делен по формуле .11
yx
xy
xy
Рис. 16. Функция нормального распределения
F(X)
X
1](https://image.slidesharecdn.com/lujds88rucowhayzokgq-signature-7265c3e20b8e507ebe4bb1014784c684363c1b6eb97f77a9a34b9f01330933a1-poli-160712064535/85/569-26-320.jpg)
![27
Контрольные вопросы к разделу 2
1. Понятие случайного события. Дискретные и непрерыв-
ные случайные величины.
2. Свойства и геометрический смысл функции распределе-
ния и функции плотности распределения.
3. Как вычислить вероятность попадания случайной вели-
чины в интервал ( a, b]?
4. Основные числовые характеристики.
5. Специальные законы распределения.
3. ТОЧЕЧНЫЕ И ИНТЕРВАЛЬНЫЕ ОЦЕНКИ СЛУЧАЙНЫХ
ВЕЛИЧИН. СТАТИСТИЧЕСКАЯ ПРОВЕРКА ГИПОТЕЗ
Знания законов распределения случайных величин доста-
точно для проведения полных вероятностных расчетов.
Однако при решении прикладных задач обычно ни законы
распределения, ни значение их числовых характеристик не
известны. Поэтому исследователь обращается к обработке
опытных данных, которые получены в результате проведенно-
го эксперимента.
Основные задачи в этом случае следующие:
— указать способы сбора и группировки опытных (эмпи-
рических) данных;
— разработать методы анализа статистических данных в за-
висимости от целей исследования.
Введем понятия генеральной совокупности и выборки.
Под генеральной совокупностью будем понимать совокуп-
ность всех мыслимых наблюдений, которые могли бы быть
сделаны при данном комплексе условий.
Но на практике исследование всей генеральной совокупно-
сти либо слишком трудоемко, либо принципиально невозмож-
но. Например, определить продолжительность работы лампоч-
ки. Если мы будем проводить исследование всей генеральной
совокупности, то нечем будет освещать комнаты. Приходится
ограничиваться анализом лишь некоторой выборки из анали-
зируемой генеральной совокупности.
Наблюдения выборки получены с помощью случайного ме-
ханизма из генеральной совокупности, причем каждое из на-
блюдений имеет одинаковый шанс попасть в выборку.](https://image.slidesharecdn.com/lujds88rucowhayzokgq-signature-7265c3e20b8e507ebe4bb1014784c684363c1b6eb97f77a9a34b9f01330933a1-poli-160712064535/85/569-27-320.jpg)
![47
чет изменение среднего значения другой, то такая зависимость
называется корреляционной ),(xfyx где xy — среднеариф-
метическое значение Y, соответствующее значению Х = х.
Уравнение )(xfyx — это уравнение регрессии Y на Х;
f(x) — функция регрессии Y на Х. График f(x) — линия
регрессии Y на Х.
Рассмотрим частный случай. Зависимость между Х и Y —
линейная: Y*
= bx + a = M[Y/X], где Х и Y — количествен-
ные признаки (рис. 28). Для отыскания коэффициентов урав-
нения необходимо провести n независимых испытаний: (x1
, y1
);
(x2
, y2
); … (xn
, yn
). Поскольку наблюдаемые пары чисел мож-
но рассматривать как случайную выборку из генеральной со-
вокупности всех возможных значений случайной величины
(X,Y), то уравнение прямой линии Y = by/x
x + a называют
выборочным уравнением регрессии Y на X, где by/x
— выбо-
рочный коэффициент регрессии Y на X (тангенс угла накло-
на линии регрессии).
Рис. 28. Выборочное уравнение регрессии
Для отыскания коэффициентов используют метод наимень-
ших квадратов (МНК). Для этого составляют следующий
функционал: ,)(),(
1
2*
n
i
ii yyabФ где ;*
abxy ii yi
—
наблюдаемое значение фактора Y; xi
— наблюдаемое значе-
ние фактора X. Необходимо минимизировать функционал
Ф(b, a) min. Из курса математического анализа известно,
что для этого необходимо найти частные производные и при-
равнять их к нулю:](https://image.slidesharecdn.com/lujds88rucowhayzokgq-signature-7265c3e20b8e507ebe4bb1014784c684363c1b6eb97f77a9a34b9f01330933a1-poli-160712064535/85/569-47-320.jpg)
![75
рассматривать случайную функцию одного аргумента. Чаще
всего этим аргументом является время. Обозначают случай-
ную функцию X(t), Y(t)…
Рассмотрим случайную функцию X(t). Произведем m не-
зависимых опытов и получим реализации x1
(t), x2
(t), …, xm
(t).
Каждая реализация — это обычная неслучайная функция
(рис. 32).
Рис. 32. Реализации случайной функции X(t)
Зафиксируем некоторое значение аргумента t = tk
и найдем
значения n реализаций для tk
: x1
(tk
), x2
(tk
), …, xm
(tk
) Эти реа-
лизации называют сечением m реализации случайной функ-
ции при t = tk
.
Причем математическое ожидание случайной функции
M[X(t)] — это не случайная функция.
Часто мы имеем данные для одной случайной функции по
одной реализации, когда аргумент функции t [0,T]. Разобь-
ем интервал [0,T] на n равных частей длинной t (рис. 33).
Получим n значений для реализации x(t1
), x(t2
), …, x(tn
)
или временной ряд, т. е. совокупность значений за несколько
последовательных значений времени.
В общем случае каждый уровень временного ряда форми-
руется из трендовой X*
(ti
), циклической S(ti
) и случайной i
компонент. Модели, в которых временной ряд представлен как
сумма перечисленных компонент, — аддитивная модель, как
произведение — мультипликативная модель. При построении
модели устраняется сезонная компонента из исходных уров-
ней ряда.
X(t)
0](https://image.slidesharecdn.com/lujds88rucowhayzokgq-signature-7265c3e20b8e507ebe4bb1014784c684363c1b6eb97f77a9a34b9f01330933a1-poli-160712064535/85/569-75-320.jpg)
![76
Рассмотрим аддитивную модель без сезонной компоненты.
Этот временной ряд можно представить как функциональную
X*
(ti
) и случайную составляющие i
: .,1,)()( *
nitXtx iii
Под трендом (сигналом) временного ряда понимают состав-
ляющую X*
(t), которая является неслучайной функцией. Слу-
чайная составляющая i
называется шумом или ошибкой. Для
случайной составляющей верно утверждение M(i
) = 0. Ина-
че это была бы неслучайная составляющая и ее можно учесть
в X*
(t).
8.1. Трендовые модели временного ряда
Виды тренда:
1. Линейный тренд X*
(t) = a + bt.
2. Квадратичный тренд X*
(t) = a + bt + ct2
.
3. Экспоненциальный тренд X*
(t) = ea+bt
.
4. S-кривая X*
(t) = ea+b/t
.
5. Гипербола X*
(t) = a + b/t.
6. Степенной тренд X*
(t) = atb
.
7. Параболический тренд X*
(t) = a + b1
t + b2
t2
+ … .
Для построения модели линейного тренда используется
МНК минимизации функционала ,][),(
1
2*
n
i
ii xxbaФ где
).();(**
iiii txxtxx
Аналогично регрессионному анализу для минимизации
функционала находят частные производные и приравнивают
их к нулю:
Рис. 33. Одна реализация случайной функции](https://image.slidesharecdn.com/lujds88rucowhayzokgq-signature-7265c3e20b8e507ebe4bb1014784c684363c1b6eb97f77a9a34b9f01330933a1-poli-160712064535/85/569-76-320.jpg)
![78
Пример. Рассмотрим в качестве случайного процесса вес
кролика и, в частности, отдельную реализацию данного слу-
чайного процесса. В начале исследований кролик набрал вес,
затем заболел и похудел. С помощью построенных моделей
пытаемся предсказать значения фактора «вес кролика»
(рис. 34). Модель предсказания для большого периода пред-
сказания оказалась физически неверной (отрицательный вес).
Рис. 34. Тренд временного ряда
8.2. Числовые характеристики случайных процессов
Для характеристики поведения случайных процессов обычно
используется более широкий спектр характеристик. Важны-
ми характеристиками являются математическое ожидание
(t) = M[x(t)] и дисперсионная функция 2
(t) =
= M[(x(t) – (t))2
]. С дисперсионной функцией связана и
функция стандартного отклонения .)(2
t
Качественно новой характеристикой случайного процесса
x(t), в отличие от случайной величины X, является автокорре-
ляционная функция: ,
)()(
))()())(()([(
),(
ji
jjii
ji
tt
ttxttxM
ttr
где ti
> tj
. Величина r(ti
, tj
) может характеризоваться как ко-
эффициент корреляции r значений одного и того же фактора X в
различные моменты времени (ti
, tj
). Причем –1 r(ti
, tj
) +1.
Автокорреляция уровней ряда — корреляционная зависи-
мость между последовательными уровнями временного ряда —
определяется по формуле](https://image.slidesharecdn.com/lujds88rucowhayzokgq-signature-7265c3e20b8e507ebe4bb1014784c684363c1b6eb97f77a9a34b9f01330933a1-poli-160712064535/85/569-78-320.jpg)
![94
Такой период реализуется, если x0
и m — взаимно простые
числа; a — первообразный элемент по модулю m. Как найти
первообразный элемент по модулю m?
Теорема. Число a есть первообразный элемент по модулю
ре
тогда и только тогда, когда:
1) ре
= 2, a — нечетно; или ре
= 4, a mod 4 = 3; или ре
= 8,
a mod 8 = 3, 5, 7; р = 2, е 4, a mod 8 = 3, 5;
2) р — нечетно (простое); е = 1; a 0 (mod p) и a(p–1)q
1
(mod p) для любого простого делителя q числа p – 1;
3) р — нечетно (простое); е > 1; a удовлетворяет 2) и
ap–1
1 (mod p2
) для любого простого делителя q числа p – 1.
Для важного случая m = 2е
при е 4 в качестве множителя
берут a = 3 или 5 (mod 8). В этом случае четвертая часть всех
возможных множителей дает максимальный период.
Второй распространенный случай m = 10е
; е 5; с = 0 и x, не
кратное 2 или 5, тогда в качестве a берут значения mod 200,
равные: 3,11, 13, 19, 21, 27, 29, 37, 53, 59, 61, 67, 69, 77, 83, 91, 109,
117, 123, 131, 133, 139, 141, 147, 163, 171, 173, 179, 181, 187, 189, 197.
Простой распространенный случай: c — нечетное и взаим-
но простое с m; a mod 4 = 1.
Еще один распространенный случай: a = 75
; c = 0; m = 231
– 1.
10.1.2. Метод серединных квадратов
Пусть имеется 2n-разрядное число, меньшее 1: хi
= 0,a1
a2
a2n
.
Возведем его в квадрат хi
2
= 0,b1
b2
b4n
, а затем отберем
средние 2n разрядов, которые и будут являться очередным чис-
лом псевдослучайной последовательности хi+1
= 0,bn+1
bn+2
b3n
.
Этому методу соответствует рекуррентное соотношение
хi+1
= {102n
[103n
хi
2
] }, где { } и [ ] означают соответственно
дробную и целую часть числа в скобках.
Недостаток метода — наличие корреляции между числами
последовательности, а в ряде случаев случайность вообще мо-
жет отсутствовать. Кроме того, при некоторых i*
может на-
блюдаться вырождение последовательности, т.е. хi
= 0 при
i i*
.](https://image.slidesharecdn.com/lujds88rucowhayzokgq-signature-7265c3e20b8e507ebe4bb1014784c684363c1b6eb97f77a9a34b9f01330933a1-poli-160712064535/85/569-94-320.jpg)
![95
10.1.3. Метод середины произведения
Метод является модификацией метода серединных квадра-
тов и состоит в том, что два 2n-значных числа перемножаются,
и средние 2n цифр этого произведения принимаются в каче-
стве следующего числа последовательности. Таким образом,
если хi1
= 0,a1
a2
a2n
; хi
= 0,b1
b2
b2n
, то для получения числа
хi+1
необходимо перемножить хi1
и хi
, т.е. хi1
хi
= 0,c1
c2
c4n
, а
затем отобрать средние 2n цифр этого произведения
хi+1
= 0,cn+1
cn+2
c3n
.
Данному методу соответствует рекуррентное соотношение
при заданных двух начальных числах х0
и х1
:
хi+1
= {102n
[103n
хi
хi–1
]}.
Несмотря на то, что данный метод также имеет тенденцию к
вырождению, он обеспечивает лучшее качество псевдослучай-
ных чисел, чем у чисел, полученных с помощью метода сере-
динных квадратов.
10.1.4. Мультипликативный метод
Широкое применение для получения последовательностей
псевдослучайных равномерно распределенных чисел получи-
ли конгруэнтные процедуры генерации, которые могут быть
реализованы мультипликативным либо смешанным методом.
Конгруэнтные процедуры являются чисто детерминированны-
ми, так как описываются в виде рекуррентного соотношения,
когда функция имеет вид Хi
= aХi
+ c (mod m), где Хi
, a, c,
m — неотрицательные целые числа.
Преобразовав данную функцию, получим
Хi
= i
Х0
+ (i
– 1) /( – 1) (mod m).
Если задано начальное значение Х0
, множитель и адди-
тивная константа , то последняя формула однозначно опре-
деляет последовательность целых чисел Хi
, составленную из
остатков от деления на m, членов последовательности
i
Х0
+ (i
– 1)/( – 1).
Таким образом, для любого i 1 справедливо неравенство
Хi
m. По целым числам последовательности Хi
можно
построить последовательность {хi
} = {Хi
/m} рациональных
чисел из единичного интервала (0, 1).](https://image.slidesharecdn.com/lujds88rucowhayzokgq-signature-7265c3e20b8e507ebe4bb1014784c684363c1b6eb97f77a9a34b9f01330933a1-poli-160712064535/85/569-95-320.jpg)
![97
10.2.1. Критерий согласия 2
Пусть имеется — случайная величина, о законе распреде-
ления которой выдвигается некоторая гипотеза; Х — множе-
ство возможных значений . Разобьем Х на m попарно не-
пересекающихся множеств Х1
, Х2
, , Хm
, таких, что
PХj
pj
0 при ;,1 mj p1
+ p2
+ + pm
= PХ = 1.
Выберем n независимых значений 1
, 2
, ,n
и обозначим
через j
количество значений, попавших в j множество (Хj
).
Очевидно, что математическое ожидание j
равно npj
, т.е.
М[j
] = npj
.
В качестве меры отклонения всех от Npj
выбирается вели-
чина
.
1
2
2
набл
m
j j
jj
np
np
При достаточно большом n величина 2
n
хорошо подчиняет-
ся закону распределения 2
с (m – l – 1) степенями свободы
(l — число параметров распределения). Уравнение
,}{
0
1
2
x
lmn dxxkxP
где km–l–1
(x) — плотность распределения 2
с (m – l – 1) сте-
пенью свободы, позволяет найти критическую точку 2
кр
.
При малом объеме выборки лучше определять не крити-
ческую точку, а доверительный интервал принятия гипотезы.
При заданном уровне значимости или надежности (обыч-
но = 1 – = 0,95) можно определить нижнюю 2
н
и верхнюю
2
в
границы области возможного принятия гипотезы (довери-
тельного интервала). Для этого нужно решить соответственно
следующие уравнения:
,}{;}{
2
в
2
н
2
в
22
н
2
dxxkPdxxkP rnrn
где = 1 ; r = m – l – 1. Из данных уравнений следует, что
F(2
н
) = и F(2
в
) =., т. е. 2
н
— квантиль , а 2
в
— квантиль .
10.2.2. Тесты проверки «случайности»
На практике обычно применяют два теста проверки «слу-
чайности»: тест проверки серий и тест проверки частот и пар.](https://image.slidesharecdn.com/lujds88rucowhayzokgq-signature-7265c3e20b8e507ebe4bb1014784c684363c1b6eb97f77a9a34b9f01330933a1-poli-160712064535/85/569-97-320.jpg)
More Related Content
569
- 1. СИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙСООБЩЕНИЯ НОВОСИБИРСК 2008 51 У76 МОДЕЛИРОВАНИЕ СИСТЕМ Учебное пособие Э.А. УСОВА, В.И. КОТЮКОВ
- 2. УДК 510.8 У76 У со в а Э.А., К о т ю к о в В.И. Моделирование систем: Учеб. пособие.— Новосибирск: Изд-во СГУПСа, 2008. — 124 с. ISBN 5-93461-341-3 Рассматриваются вопросы математического моделирования стохасти- ческих систем. Работа содержит следующие разделы: модели систем и их классификация, формы и принципы построения математических моделей, случайные события и случайные величины, их точечные и интервальные оценки, статистическая проверка гипотез, корреляционный, дисперсион- ный и регрессионный анализы, анализ зависимости между качественными факторами, вероятностные основы теории информации, случайные процес- сы и временные ряды, теория распознавания образов и теория массового обслуживания, имитационное моделирование систем. Рекомендовано студентам специальностей «Информационные системы и технологии», «Прикладная информатика (в экономике)» и других технических специальностей. Утверждено редакционно-издательским советом универси- тета в качестве учебного пособия. О т в е т с т в е н н ы й р е д а к т о р д-р техн. наук, проф. В.И. Хабаров Р е ц е н з е н т ы: кафедра «Программные системы и базы данных» Новоси- бирского государственного технического университета (зав- кафедрой А.А. Попов) канд. техн. наук, доц. кафедры ППиМЭ П.П. Люмаров Усова Э.А., Котюков В.И., 2008 Сибирский государственный университет путей сообщения, 2008 ISBN 5-93461-341-3
- 3. 3 ВВЕДЕНИЕ Моделирование широко используютсяв различных сфе- рах человеческой деятельности, особенно в сферах проектиро- вания и управления, где особенными являются процессы приня- тия эффективных решений на основе получаемой информации. Любой закон природы или общественного развития может быть выражен в виде описания характера или структуры вза- имосвязей, существующих между изучаемыми явлениями или показателями. Для использования ЭВМ при решении прикладной задачи последняя прежде всего должна быть «переведена» на фор- мальный математический язык, т.е. для реального объекта, про- цесса или системы должна быть построена своя математичес- кая модель. Модель — образ реальной системы (объекта, процесса) в материальной или теоретической форме. Этот образ отражает существенные свойства объекта, он замещает реальный объект в ходе исследования и управления. Моделирование основы- вается на принципе аналогии, т.е. возможности изучения ре- ального объекта (системы) не непосредственно, а опосредо- ванно, через рассмотрение подобного ему и более доступного объекта (модели). Целью моделирования является получение, обработка, пред- ставление и использование информации об объектах, которые взаимодействуют между собой и внешней средой; модель здесь выступает как средство познания свойств и закономерностей
- 4. 4 поведения объекта. Сутькомпьютерного моделирования со- стоит в следующем: на основе математической модели с помо- щью ЭВМ проводится серия вычислительных экспериментов, т.е. исследуются свойства объектов или процессов, находятся их оптимальные параметры и режимы работы, уточняется мо- дель. Например, располагая уравнением, описывающим проте- кание того или иного процесса, можно, изменяя его коэффици- енты, начальные и граничные условия, исследовать, как при этом будет вести себя объект. В аналитических моделях поведение реальных процессов и систем задается в виде явных функциональных зависимостей. Когда явления сложны и многообразны, исследователю прихо- дится идти на упрощенные представления сложных систем. В результате аналитическая модель становится слишком грубым приближением к действительности. Если все же для сложных систем удается получить аналитические модели, то зачастую они превращаются в трудно разрешимую проблему. Поэтому исследователь часто вынужден использовать имитационное мо- делирование. Имитационное моделирование представляет собой числен- ный метод проведения на ЭВМ вычислительных эксперимен- тов с математическими моделями, имитирующими поведение реальных объектов, процессов и систем во времени в течение заданного периода. При этом функционирование системы раз- бивается на элементарные явления, подсистемы и модули. Функционирование этих элементарных явлений, подсистем и модулей описывается набором алгоритмов, которые имитиру- ют элементарные явления с сохранением их логической струк- туры и последовательности протекания во времени. Данное учебное пособие посвящено математическому моде- лированию стохастических процессов, в нем рассматривается исследование реальных процессов и систем с помощью двух типов математических моделей: аналитических и имитацион- ных.
- 5. 5 1. МАТЕМАТИЧЕСКИЕ МОДЕЛИИ ИХ КЛАССИФИКАЦИЯ Модель всегда строится с определенной целью, которая вли- яет на то, какие свойства объективного явления окажутся су- щественными, а какие — нет. Модель представляет собой как бы проекцию объективной реальности под определенным уг- лом зрения. Иногда, в зависимости от целей, можно получить ряд проекций объективной реальности, вступающих в проти- воречие. Это характерно, как правило, для сложных систем, у которых каждая проекция выделяет существенное для опре- деленной цели из множества несущественного. В основе теории моделирования лежит теория подобия. При моделировании абсолютное подобие не имеет места и лишь стремится к тому, чтобы модель достаточно хорошо отобража- ла исследуемую сторону функционирования объекта. Абсо- лютное подобие может иметь место лишь при замене одного объекта другим, точно таким же. Важнейшим понятием моделирования является понятие адекватности модели или соответствия модели реальному объек- ту. При проверке модели на адекватность выделяют два ас- пекта, а именно: верификация модели (проверка правильнос- ти структуры модели) и валидация модели (проверка соответ- ствия данных моделирования реальному процессу). Модели можно разделить на: — вещественные; — идеальные. В свою очередь, вещественные модели можно разделить на: — натурные; — физические; — математические. Идеальные модели можно разделить на: — наглядные; — знаковые; — математические. Вещественные натурные модели — это реальные объекты, процессы и системы, над которыми выполняются эксперимен- ты научные, технические и производственные.
- 6. 6 Вещественные физические модели— это макеты, муляжи, воспроизводящие физические свойства оригиналов (кинема- тические, динамические, гидравлические, тепловые, электричес- кие, световые модели). Вещественные математические — это аналоговые, структур- ные, геометрические, графические, цифровые и кибернетичес- кие модели. Идеальные наглядные модели — это схемы, карты, чертежи, графики, графы, аналоги, структурные и геометрические модели. Идеальные знаковые модели — это символы, алфавит, язы- ки программирования, упорядоченная запись, топологическая запись, сетевое представление. Идеальные математические модели — это аналитические, функциональные, имитационные, комбинированные модели. В приведенной классификации некоторые модели имеют двойное толкование (например, аналоговые). Все модели, кро- ме натурных, можно объединить в один класс мысленных мо- делей, так как они являются продуктом абстрактного мышле- ния человека. Остановимся на одном из наиболее универсальных видов моделирования — математическом. Математическое модели- рование ставит в соответствие изучаемому физическому про- цессу систему математических соотношений, решение которой позволяет получить ответ на вопрос о поведении объекта без создания физической модели, которая часто оказывается до- рогостоящей и неэффективной. Математическое моделирование — это средство изучения реального объекта, процесса или системы путем их замены ма- тематической моделью, более удобной для экспериментально- го исследования с помощью ЭВМ. Математическая модель является приближенным представ- лением реальных объектов, процессов или систем, выражен- ным в математических терминах и сохраняющим существен- ные черты оригинала. Построение математической модели заключается в опреде- лении связей между теми или иными процессами и явлениями, создании математического аппарата, позволяющего выразить количественно и качественно связь между теми или иными
- 7. 7 процессами и явлениями,между интересующими специалиста физическими величинами и факторами, влияющими на конеч- ный результат. Обычно их оказывается настолько много, что ввести в мо- дель всю их совокупность не удается. При построении мате- матической модели перед исследованием возникает задача выявить и исключить из рассмотрения факторы, несуществен- но влияющие на конечный результат (математическая модель обычно включает значительно меньшее число факторов, чем в реальной действительности). На основе данных эксперимента выдвигаются гипотезы о связи между величинами, выражаю- щими конечный результат, и факторами, введенными в матема- тическую модель. Конечной целью этого этапа является формулирование ма- тематической задачи, решение которой с необходимой точнос- тью выражает результаты, интересующие специалиста. Форма и принципы представления математической модели зависят от многих факторов. По принципам построения математические модели разде- ляют на: — аналитические; — имитационные. В аналитических моделях процессы функционирования ре- альных объектов, процессов или систем записываются в виде явных функциональных зависимостей. Аналитическая модель разделяется на типы в зависимости от математической проблемы: — уравнения (алгебраические, трансцендентные, дифферен- циальные, интегральные); — аппроксимационные задачи (интерполяция, экстраполя- ция, численное интегрирование и дифференцирование); — задачи оптимизации; — стохастические проблемы. Однако по мере усложнения объекта моделирования пост- роение аналитической модели превращается в трудноразре- шимую проблему. Тогда исследователь вынужден использо- вать имитационное моделирование.
- 8. 8 В имитационном моделированиифункционирование объек- тов, процессов или систем описывается набором алгоритмов. Алгоритмы имитируют реальные элементарные явления, со- ставляющие процесс или систему с сохранением их логичес- кой структуры и последовательности протекания во времени. Имитационное моделирование позволяет по исходным дан- ным получить сведения о состояниях процесса или системы в определенные моменты времени, однако прогнозирование по- ведения объектов, процессов или систем здесь затруднитель- но. Можно сказать, что имитационные модели — это проводи- мые на ЭВМ вычислительные эксперименты с математически- ми моделями, имитирующими поведение реальных объектов, процессов или систем. В зависимости от характера исследуемых реальных про- цессов и систем математические модели могут быть: — детерминированные; — стохастические. В детерминированных моделях предполагается отсутствие всяких случайных воздействий, элементы модели (переменные, математические связи) достаточно точно установленные, пове- дение системы можно точно определить. При построении де- терминированных моделей чаще всего используются алгебра- ические уравнения, интегральные уравнения, матричная алгеб- ра. Данные модели рассматриваются в классических курсах: «Численные методы», «Исследование операций и методы оп- тимизаций». Стохастическая модель учитывает случайный характер процессов в исследуемых объектах и системах, который опи- сывается методами теории вероятности и математической ста- тистики. Данные модели рассматриваются в курсах: «Мате- матическая статистика», «Теория принятия решения», «Сис- темный анализ», «Моделирование систем», «Имитационное моделирование экономических систем», «Эконометрика». По виду входной информации модели разделяются на: — непрерывные; — дискретные. Если информация и параметры являются непрерывными, а математические связи устойчивы, то модель — непрерывная.
- 9. 9 И наоборот, еслиинформация и параметры дискретны, а связи неустойчивы, то и математическая модель — дискретная. По поведению во времени модели разделяются на: — статические; — динамические. Статические модели описывают поведение объекта, процес- са или системы в какой-либо момент времени. Динамические модели отражают поведение объекта, процесса или системы во времени. По степени соответствия математической модели реально- му объекту, процессу или системе математические модели раз- деляют на: — изоморфные (одинаковые по форме); — гомоморфные (разные по форме). Модель называется изоморфной, если между нею и реаль- ным объектом, процессом или системой существует полное поэлементное соответствие. Гомоморфной — если существует соответствие лишь между наиболее значительными составны- ми частями объекта и модели. Можно привести другую классификацию математических моделей: — по целевому назначению: теоретико-аналитические и при- кладные модели; — по степени связи с окружающей средой: открытые, от- носительно обособленные, закрытие и изолированные; — по специфике содержания: социальные, экономические, технические, технологические, информационные и пр.; — по степени агрегированности объектов моделирования: макроэкономические и микроэкономические модели; — по конкретному предназначению: балансовые модели (вы- ражают требования соответствия наличия ресурсов и их ис- пользования); трендовые модели (выражают развитие моде- лируемой экономической системы через тренд ее основных показателей); оптимизационные модели (предназначены для выбора наилучшего варианта из определенного числа вариан- тов решений); — имитационные модели (изучают экономические явления с помощью машинных экспериментов);
- 10. 10 — по типуинформации: аналитические (построенные на априорной информации) и идентифицируемые модели (пост- роенные на апостериорной информации); — по учету фактора времени: статические (все зависимос- ти отнесены к одному моменту времени) и динамические моде- ли (описывают эволюцию процесса во времени); — по фактору определенности: детерминированные и ве- роятностные модели (стохастические); — по типу математического аппарата, положенного в осно- ву модели: матричные модели; модели линейного и нелиней- ного программирования; регрессионные модели; модели тео- рии игр; модели теории графов; сетевые модели; модели мас- сового обслуживания; модели управления запасами. Рассмотрим в качестве примера экономическую систему. Экономические системы — искусственные; материальные; от- крытые; динамические; стохастические. На различных уров- нях это суперсистемы, большие системы, подсистемы или их объекты. Искусственность экономических систем означает, что они созданы трудом человека, даже если максимально исполь- зуют природный ресурс. Искусственность предполагает так- же большую степень возможного разнообразия систем, что и обусловливает многообразие экономик. Материальный харак- тер экономических систем означает не только объективность их существования, но и тот или иной уровень материальных и финансовых затрат. Для информационных подсистем эконо- мики, например, необходимы значительные затраты на покупку компьютерной техники и технологии. Экономические системы являются системами открытого типа, так как покупка или про- дажа товара связана с открытостью рынка, открытостью дея- тельности фирмы. Однако при этом любая фирма борется с промышленным шпионажем, тщательно оберегает коммерчес- кие и производственные секреты. Экономические системы яв- ляются системами динамического типа, они подвержены старе- нию, развитию, движению, прогрессу и регрессу, делению и сли- янию и т. д. В любой динамической системе протекают те или иные процессы. Если эти процессы не совершенствовать, то система деградирует, а если их не поддерживать, то система прекратит свое существование. Желательно все процессы сис-
- 11. 11 темы прогнозировать, предвидеть,влиять на их развитие. Эко- номические системы характеризуются вероятностью структу- ры, функций, целей, задач, ресурсов и т. д. Это значительно повышает роль индивидуальных, творческих начал в управле- нии системами, роль учета тех факторов, которые делают пове- дение фирмы более предсказуемым. Для построения математической модели сложных систем необходимо: — тщательно проанализировать реальный объект, процесс или систему; — выделить его наиболее существенные черты и свойства; — определить переменные, т.е. параметры, значения кото- рых влияют на основные черты и свойства объекта; — описать зависимость основных свойств объекта, процес- са или системы от значения переменных с помощью логико- математических соотношений (уравнения, равенства, неравен- ства, логико-математические конструкции); — выделить внутренние связи объекта, процесса или систе- мы с помощью ограничений, уравнений, равенств, неравенств, логико-математических конструкций; — определить внешние связи и описать их с помощью ог- раничений, уравнений, равенств, неравенств, логико-математи- ческих конструкций. Математическое моделирование, кроме исследования объекта, процесса или системы и составления их математического опи- сания, также включает: — построение алгоритма, моделирующего поведение объек- та, процесса или системы; — проверку адекватности модели и объекта, процесса или системы на основе вычислительного и натурного эксперимента; — корректировку модели; — использование модели. Математическое описание исследуемых процессов и систем зависит от: — природы реального процесса или системы и составляется на основе законов физики, химии, механики, термодинамики, гидродинамики, электротехники, теории пластичности, теории упругости и т. д.
- 12. 12 — требуемой достоверностии точности изучения и иссле- дования реальных процессов и систем. Предварительный, системный анализ исследуемой системы позволяет описать ее структуру и функционирование на язы- ке ряда факторов (показателей, переменных). Среди этих факторов следует выделить совокупность «входных» показа- телей Х = {x1 , …, xm }, определяющих условия функционирова- ния объекта и его внутреннее строение, и совокупность «вы- ходных» (результирующих) показателей Y = {y1 , …, yk }, харак- теризующих результаты функционирования объекта (объек- тов), а также скрытые (не поддающиеся непосредственному из- мерению) случайные «остаточные» компоненты = {1 , …, r }. Изучаемая система представлена на рис. 1. Рис. 1. Изучаемая система Тогда задача статистического исследования зависимостей может быть сформулирована следующим образом: по резуль- татам n измерений {Xi , Yi } = (x1i , x2i , …, xmi , y1i , y2i , …, yki ), ni ,1 , исследуемых переменных построить функцию (модель) g = (x1 , …, xm ), которая позволит наилучшим (в определенном смысле) образом восстанавливать значения результирующих (прогнозируемых) переменных Y* по заданным значениям входных переменных Х. Через Yi * будем обозначать не «ис- тинные», а определяемые по модели g() значения фактора Yi , что отражает условный характер любой математической модели. Построение стохастической математической модели объек- та (системы) может быть осуществлено различными способа- ми. Среди них можно выделить следующие: — естественно-научный (феноменологический) подход;
- 13. 13 — подход, основанныйна анализе данных. Первый подход является традиционным путем развития соответствующей науки, путем «открытия законов природы». Этот подход трудно формализуем и сугубо индивидуален от- носительно исследователя и области знаний. Второй подход основан на предварительном получении выборочных данных относительно значений факторов {X,Y}, характеризующих различные состояния объекта. На последу- ющем этапе данные обрабатываются с целью непосредствен- ного построения математической модели объекта. Часто оба подхода дополняют друг друга в общем процессе математи- ческого моделирования. На этапе выбора математической модели устанавливаются: линейность и нелинейность объекта, процесса или системы, динамичность или статичность, стационарность или нестацио- нарность, а также степень детерминированности исследуемого объекта или процесса. При математическом моделировании сознательно отвлекаются от конкретной физической природы объектов, процессов или систем и сосредотачиваются в основ- ном на изучении количественных или качественных зависи- мостей между величинами, описывающими эти процессы. Изу- чение данных зависимостей необходимо проводить, используя качественные или количественные шкалы. 1. Качественная шкала. Номинальная (классификационная) шкала. Используется только для того, чтобы отнести объект к определенному клас- су. Например: цвет — красный, синий. Порядковая шкала. Это номинальная шкала, в которой вве- дена степень выраженности данного свойства, т. е. упорядочи- вает классы. Например: список лиц в алфавитном порядке. 2. Количественная шкала. Интервальная шкала. Шкала, в которой можно отразить, на сколько по степени выраженности заданного свойства один объект отличается от другого. Для этого задают начальную точку отсчета и единицу измерения. Например: температур- ная шкала, где 0° — начальная точка, 1°— единица измерения.
- 14. 14 Шкала отношений. Шкалы,в которых обычно не вводят начальную точку, но есть единица измерения. Например, вре- менная шкала. На количественных шкалах можно ввести арифметические преобразования и операции отношения. Факторы (переменные) могут быть различных размерностей: 1. Скаляр. Конкретное значение Х = х. 2. Вектор. Например: фактор вес х = (2, 3, 0), где 2, 3, 0 — реализации; х = (х1 , х2 , х3 ). 3. Матрица и т.д. Контрольные вопросы к разделу 1 1. Понятие модели. Цели моделирования. 2. Адекватности модели. Критерии адекватности модели. 3. Классификация моделей. 4. Какой тип модели учитывает случайный характер про- цессов? 5. Этапы построения математической модели. 6. Подходы к построению стохастической математической модели. 7. Понятие качественной и количественной шкал. 2. СЛУЧАЙНЫЕ СОБЫТИЯ, СЛУЧАЙНЫЕ ВЕЛИЧИНЫ На практике человек часто сталкивается со случайными явлениями. Случайным называют событие, которое при осуществлении совокупности условий S может либо произойти, либо не про- изойти. Заранее предсказать, произойдет единичное событие или нет, нельзя. Однако достаточно большое число случайных событий, ко- торые многократно наблюдаются при осуществлении одних и тех же условий, подчиняются определенным закономерностям. Установлением этих закономерностей и занимается теория вероятностей. Знание этих закономерностей позволяет пред- видеть, как эти события будут протекать. Система понятий, приемов и математических методов, пред- назначенных для сбора, систематизации, интерпретации и об- работки статистических данных с целью получения научных
- 15. 15 и практических выводов— это задачи математической стати- стики. 2.1. Случайные величины Случайные величины делятся на: — дискретные; — непрерывные. Дискретной случайной величиной называется случайная величина, которая может принять одно из конечного или счет- ного множества возможных значений с определенной вероят- ностью. Множество же возможных значений непрерывных случайных величин несчетно (например, одно из значений из некоторого конечного или бесконечного промежутка). Вероятностный характер распределения значений случай- ных величин задается с помощью закона распределения. Дискретную случайную величину можно задать: 1. Табличным способом — соответствием между возмож- ными значениями и их вероятностями (табл. 1). Таблица 1 Табличный способ задания дискретной случайной величины Случайная величина может принять n значений: x1 , … , xn , причем выполняется условие .1 1 n i ip 2. С помощью многоугольника распределения (рис. 2). Х x1 … xn Р p1 … pn Рис. 2. Многоугольник распределения
- 16. 16 3. С помощьюзакона распределения (функции распреде- ления). Непрерывную случайную величину обычно задают с помо- щью функции распределения или с помощью функции плот- ности распределения. Функция распределения (закон распределения) F(x) — это вероятность того, что случайная величина X примет значе- ние меньшее, чем x, т. е. F(x) = P(X < x), X R. Геометрически функцию распределения можно интерпре- тировать так: F(x) — это вероятность того, что случайная ве- личина примет значение, которое изображается на числовой оси лучом, лежащим левее точки х (рис. 3). Свойства функции распределения: 1. F(–) = 0; F(+) = 1, т.е. 0 F(x) 1. 2. x1 < x2 , F(x1 ) F(x2 ), т.е. функция распределения — неубывающая функция. 3. )()(lim 0 00 xFxF xx , т.е. функция распределения — не- прерывная слева функция. Если F(x) — непрерывна, то можно определить функцию плотности распределения: ),( )( )( xF dx xdF xf . )()( lim)( 0 x xFxxF xf x Зная функцию плотности распределения, можно найти фун- кцию распределения: .)()( x duufxF Рис. 3. Геометрическая интерпретация функции распределения
- 17. 17 Функция плотности распределениявероятности определя- ет плотность вероятности в этой точке. Геометрическая интер- претация связи функции плотности вероятности и функции распределения приведена на рис. 4. Рис. 4. Геометрическая интерпретация связи функции плотности вероятности и функции распределения Рис. 5. Геометрическая интерпретация вероятности попадания в интервал Свойства функции плотности распределения: 1. f(x) 0; 2. .1)( dxxf Вероятность попадания случайной величины в интервал (a, b] можно вычислить по формуле ).()()()( aFbFdxxfbxaP b a Геометрическая интерпретация вероятности попадания в интервал (a, b] — это площадь криволинейной трапеции, огра- ниченной функцией плотности распределения в заданном ин- тервале (рис. 5). X X
- 18. 18 Закон распределения двухмернойдискретной случайной величины можно задать матрицей (табл. 2). Таблица 2 Закон распределения двухмерной случайной величины Причем имеет место n i m j ijp 1 1 .1 Если X и Y независимы, то pij = pi pj . 2.2. Основные числовые характеристики Функция распределения или плотность распределения яв- ляются полной, исчерпывающей характеристикой случайной величины. Однако наиболее существенные особенности зако- на распределения можно выразить при помощи числовых ха- рактеристик. 1. Математическое ожидание для дискретной случайной величины вычисляется по формуле ,)( 1 n i iipxXM а для непрерывной случайной величины — .)()( dxxxfXM Математическое ожидание уже не является случайной вели- чиной. Отметим свойства математического ожидания: M(C) = 0, где C = const; M(CX) = CM(X); M(X+Y) = M(X) + M(Y); M(XY) = M(X)M(Y), X и Y независимы. Проинтерпретировать математическое ожидание можно сле- дующим образом: математическое ожидание M(X) — как центр масс стержня, где xi — расстояние i-го кусочка стержня от центра масс, а pi — вес этого кусочка стержня. Y X y1 y2 … ym x1 p11 p12 … p1m x2 p21 p22 … p2m … … … … … xn pn1 pn2 … pnm
- 19. 19 2. Дисперсия определяетсреднеожидаемый квадрат раз- броса значений случайной величины X относительно матема- тического ожидания M(X). Дисперсию можно вычислить по формуле D(X) = M[(X – M(X))2 ] = M(X2 ) – [M(X)]2 . Дисперсия дискретной случайной величины вычисляется по формуле ,)()( 1 22 1 22 n i ii n i ii pxpxXD а для не- прерывной случайной величины — .)()()()( 2222 dxxfxdxxfxXD Свойства дисперсии: D(C) = 0; D(CX) = C2 D(X); D(X+Y)= = D(X) + D(Y), если X иY независимы; D(C+X) = D(X); D(X+Y) = D(X)+D(Y), если X иY независимы. 3. Среднеквадратическое отклонение вычисляется по фор- муле .)(XD Имеет место равенство ,)()()( YDXDYX если X и Y независимы. Дисперсия D(Х) и среднеквадратичное отклонение ха- рактеризуют степень рассеивания случайной величины отно- сительно ее математического ожидания. Чем меньше D(Х), тем меньше степень рассеивания случайной величины. Это ут- верждение наглядно представлено на рис. 6. Рис. 6. Рассеивание данных с различными значениями среднеквадратичных отклонений x f(x) M(x) Примечание. Глядя лишь на одно значение дисперсии, нельзя сказать, большое рассеивание данных относительно математического ожидания или нет. Ведь при вычислении значения дисперсии большое значение имеет, например, масштабирование данного фактора (можно измерять в тоннах или граммах), значение математического ожидания, минимальное и макси- мальное значения, которые может принимать фактор.
- 20. 20 4. Мода —значение случайной величины Х, при котором достигается локальный максимум функции плотности распре- деления f(x). Иными словами, мода определяет наиболее ве- роятное значение случайной величины. Разные распределения могут иметь различное число локальных максимумов (рис. 7). Рис. 7. Одномодальное и бимодальное распределения 5. Медиана для дискретной случайной величины — это зна- чение фактора, которое делит ранжированный ряд наблюде- ний на две равные по объему группы. Ранжированный — зна- чит упорядоченный, т.е. x1 < x2 < ... < xn . Иными словами, медиана делит выборку на две равные по объему части. Для непрерывной случайной величины понятие медианы мож- но ввести следующим образом: , 2 1 )()( med med x x dxxfdxxf что графически представлено на рис. 8. а) б) Рис. 8. Геометрическая интерпретация медианы для непрерывной случайной величины
- 21. 21 Можно ввести универсальноеопределение медианы. Медиана xmed — это такое значение случайной величины Х, что F(xmed ) = P(X < xmed ) = P(X > xmed ) = 2 1 . То есть вероят- ность того, что случайная величина X примет значение мень- ше, чем xmed , равна 2 1 (рис. 9). Рис. 9. Универсальное определение медианы Рис. 10. Виды функций плотности распределений с различными значениями асимметрии 6. Асимметрия (асимметричность) — характеристика сим- метричности функции плотности распределения (многоуголь- ное распределение) относительно моды. Для дискретной слу- чайной величины асимметрия вычисляется по формуле ,/)( 33 i n i is pxA а для непрерывной — 33 /)()( dxxfxAs (рис. 10). Асимметрия нормаль- но распределенной случайной величины считается равной нулю. У нормально распределенной случайной величины (НРСВ) функция плотности распределения описывается формулой . 2 1 )( 2 2 2 )( x exf X
- 22. 22 7. Эксцесс —характеристика островершинности кривой функции плотности распределения по сравнению с нормально распределенной случайной величиной с такими же значениями математического ожидания М(X) и дисперсии D(X) (рис. 11). Для дискретной случайной величины эксцесс вычисляется по формуле ,3/)( 4 1 4 i n i ik pxE а для непрерывной — .3/)()( 44 dxxfxEk Рис. 11. Виды функций плотности распределений с различными значениями эксцесса Примечание. По значению эксцесса можно судить о разбросе данных относительно математического ожидания. Если эксцесс положительный, то разброс данных меньше, чем у НРСВ; если отрицательный, то больше, чем у НРСВ (см. свойства функции плотности распределения). 8. Квантиль q — это такое значение случайной величины Х, при котором функция распределения принимает значение, равное . F(q) = (рис. 12). Рис. 12. Геометрическая интерпретация квантиля X
- 23. 23 Вводят специальные значенияквантиля: q0,25 — нижний квартиль (от слова кварта — четверть); q0,75 — верхний квар- тиль; q0,5 — медиана. 2.3. Некоторые специальные законы распределения 2.3.1. Биномиальное распределение Рассмотрим частный случай распределения дискретной слу- чайной величины. Пусть производится n независимых испы- таний. В каждом из них может произойти с вероятностью p событие A и не произойти с вероятностью q = 1 – p. Пусть X дискретная случайная величина, равная числу появления события A. Величина X может иметь такие значе- ния: x = 0; x = 1; …; x = n. Формула Бернулли позволяет найти вероятность появле- ния события A в n испытаниях ровно k раз по формуле Pk (k)= = Cn m pk (1 – p)n–k , где . )!(! ! knk n Cm n Закон распределения, определяемый формулой Бернулли, называется биномиальным. Приближенное значение Pn (k) при больших n и малых p можно аппроксимировать формулой Пуассона , ! )( k e kP k n где = n p. Для закона Бернулли математическое ожидание и диспер- сия случайной величины X = k можно вычислить по форму- лам M(X) = np и D(X) = npq соответственно. Рассмотрим двухточечное распределение для одного испы- тания случайной величины. Пусть x = 0, если событие A не наступило; x = 1, если наступило. Вероятности данных собы- тий равны соответственно P(x = 0) = 1 – p и P(x = 1) = p. Математическое ожидание в этом случае равно M(X) = = 0(1 – p) + 1p = p, а дисперсия вычисляется по формуле D(X) = p – p2 = p.
- 24. 24 2.3.2. Геометрическое распределение Схемаздесь такая же, что и у биномиального распределе- ния. Испытания заканчиваются, когда событие A произойдет. Пусть x — число испытаний до первого появления события A. Тогда вероятность, что число испытаний равняется k, можно вычислить по формуле P(x = k) = qk – 1 p; x < . Математичес- кое ожидание и дисперсия равны соответственно ; 1 )( p XM . 1 )( 2 p p XD 2.3.3. Распределение Пуассона Здесь схема испытаний, как и у биномиального закона. Толь- ко пусть при числе испытаний n имеем = np = const, т.е. имеет место массовые испытания редких событий. Вероятность того, что событие A в n испытаниях появится ровно k раз, вычисляется по формуле . ! )( k e kP k n Эта ве- роятность зависит только от . Математическое ожидание и дисперсия равны соответственно M(X) = ; D(X) = . 2.3.4. Равномерное распределение Равномерное (прямоугольное) распределение можно задать функцией плотности распределения ab xf 1 )( при a < x < b (рис. 13) или функцией распределения ab ax xF )( (рис. 14). У равномерно распределенной случайной величины ; 2 )( medx ba XM . )( )( 2 ab ab XD
- 25. 25 2.3.5. Нормальное распределение Функцияплотности нормального распределения описыва- ется формулой 2 2 2 )( 2 1 )( x exf (рис. 15). Случайная ве- личина X изменяется – < x < +. У данного распределения два параметра: — математическое ожидание; 2 — диспер- сия. Функция распределения выражается формулой x duufxF )()( (рис. 16). ab 1 f(X) X a b Рис. 13. Функция плотности равномерного распределения Рис. 14. Функция равномерного распределения F(X) X 1 ba Рис. 15. Функция плотности нормального распределения f(X ) X
- 26. 26 У нормально распределеннойслучайной величины M(X) = = xmed = xmod ; D(X) = 2 . Справедливы следующие правила: ;68,0)( xP ;95,0)22( xP 97,0)33( xP (правило «трех сигм»). Двухмерный закон распределения нормальной случайной величины (X, Y) можно описать функцией распределения ))(),((),( yYxXPyxF или функцией плотности распре- деления . ),( ),( yx yxF yxf Причем выполняются следующие соотношения: M(X,Y) = (MX),M(Y)); , )(),cov( ),cov()( ),( YDYX YXxD YXD здесь кова- риация ;),cov(),cov( xyXYYX ))]())(([( YMYXMXMxy .)],())())(([( dxdyyxfYMyXMx Коэффициент корреляции между X и Y может быть опре- делен по формуле .11 yx xy xy Рис. 16. Функция нормального распределения F(X) X 1
- 27. 27 Контрольные вопросы кразделу 2 1. Понятие случайного события. Дискретные и непрерыв- ные случайные величины. 2. Свойства и геометрический смысл функции распределе- ния и функции плотности распределения. 3. Как вычислить вероятность попадания случайной вели- чины в интервал ( a, b]? 4. Основные числовые характеристики. 5. Специальные законы распределения. 3. ТОЧЕЧНЫЕ И ИНТЕРВАЛЬНЫЕ ОЦЕНКИ СЛУЧАЙНЫХ ВЕЛИЧИН. СТАТИСТИЧЕСКАЯ ПРОВЕРКА ГИПОТЕЗ Знания законов распределения случайных величин доста- точно для проведения полных вероятностных расчетов. Однако при решении прикладных задач обычно ни законы распределения, ни значение их числовых характеристик не известны. Поэтому исследователь обращается к обработке опытных данных, которые получены в результате проведенно- го эксперимента. Основные задачи в этом случае следующие: — указать способы сбора и группировки опытных (эмпи- рических) данных; — разработать методы анализа статистических данных в за- висимости от целей исследования. Введем понятия генеральной совокупности и выборки. Под генеральной совокупностью будем понимать совокуп- ность всех мыслимых наблюдений, которые могли бы быть сделаны при данном комплексе условий. Но на практике исследование всей генеральной совокупно- сти либо слишком трудоемко, либо принципиально невозмож- но. Например, определить продолжительность работы лампоч- ки. Если мы будем проводить исследование всей генеральной совокупности, то нечем будет освещать комнаты. Приходится ограничиваться анализом лишь некоторой выборки из анали- зируемой генеральной совокупности. Наблюдения выборки получены с помощью случайного ме- ханизма из генеральной совокупности, причем каждое из на- блюдений имеет одинаковый шанс попасть в выборку.
- 28. 28 Назначение статистических методовсостоит в том, чтобы на основе анализа выборки V выносить обоснованное суждение о всей генеральной совокупности. Пусть из генеральной совокупности извлечена выборка V. х1 наблюдается n1 раз. х2 наблюдается n2 раз. ………………………. хk наблюдается nk раз. k i i nn 1 — объем выборки (число элементов в выборке). Наблюдаемые значения xi называют вариантами, последо- вательность вариант в возрастающем порядке — вариацион- ным рядом. 3.1. Частота Числа наблюдений ni называются частотами (рис. 17), а их отношение к объему выборки i i w n n — относительными час- тотами (рис. 18). Рис. 17. Полигон частот Рис. 18. Полигон относительных частот
- 29. 29 Введем еще понятиякумулятивной (интегральной) частоты (рис. 19) и относительной кумулятивной частоты. Формула вычисления кумулятивной частоты j i ij nE 1 (число наблю- дений вариант x1 ,x2 , …, xj в вариационном ряду, причем Ek = n), а относительной кумулятивной частоты — nnE j i ij / 1 отн (рис. 20). Рис. 19. Полигон кумулятивных частот Рис. 20. Полигон относительных кумулятивных частот Статистическим распределением выборки называют пере- чень вариант и соответствующих им частот или относитель- ных частот (табл. 3). Таблица 3 Статистическое распределение выборки xi 2 6 12 ni 3 10 7
- 30. 30 Эмпирической функцией распределенияназывают функцию F* (x), определяющую для каждого значения х относительную кумулятивную частоту события Х < x: ,/)( 1 * nnxF j i i где nx — частоты попадания в интервалы, лежащие левее x; n — объем выборки. F(x) — функция распределения для генеральной совокуп- ности. Ее называют теоретической функцией распределения. Пример нахождения эмпирической функции распределе- ния. Исходные выборочные данные приведены в табл. 4. Таблица 4 Исходные данные Вычислим объем выборки .207103 1 k i inn Эмпирическая функция распределения получится следую- щего вида: ,1 ,20/13 ,20/3 ,0 )(* xF 12 126 62 2 x x x x Графически данная функция представлена на рис. 21. xi 2 6 12 ni 3 10 7 Рис. 21. Эмпирическая функция распределения Примечание. Отличие теоретической функции распределения F(x) от эмпирической функции распределения F* (x) состоит в том, что F(x) опре- деляет вероятность события Х < х, а F* (x) определяет относительную ку- мулятивную частоту этого события X < x.
- 31. 31 Гистограммой частот называютступенчатую фигуру, состо- ящую из прямоугольников, основаниями которых служат час- тичные интервалы длиной h, а высоты равны отношению . h ni Пример. На рис. 22 сверху отображена гистограмма с ша- гом h = 2, а снизу — с шагом h = 5. Рис. 22. Гистограммы с различными шагами разбиения интервала 3.2. Оценка параметров Закон распределения F(x) случайной величины Х, опреде- ляющий генеральную совокупность ее значений, характеризу- ется набором числовых параметров = (1 , 2 , …, n ). Пример. 1. У нормально распределенной случайной величины два параметра распределения (математическое ожидание и стан- дартное отклонение): ).,( 2 1 )( 2 2 2 )( NexF x x 2. У показательного распределения один параметр распре- деления: .0),( 0, 0,0 )( xe x xf x
- 32. 32 Параметры обычнонеизвестны. Их необходимо оценить на основе анализа выборки V. Часто неизвестен и сам вид функции распределения F(x). Оценкой параметра называется статистика, реализа- цию которой принимают за неизвестное истинное значение па- раметра . Так как выборка V случайна, то и оценка — случайная величина, которая может принимать какие-то значения .,,, 21 k Возникает вопрос, какую из этих оценок выбрать. Рассмотрим некоторые характеристики «надежности» оценки. 1. Оценка называется несмещенной, если ее математи- ческое ожидание равняется значению оцениваемого парамет- ра: .)( M Иначе — смещенная. 2. Оценка называется эффективной, если она является несмещенной и имеет при заданном объеме выборки n наи- меньшую дисперсию. 3. Оценка называется состоятельной, если при неогра- ниченном увеличении числа наблюдений n она сходится по вероятности к , т.е. .0.0lim P n 3.3. Примеры оценок 1. Среднеарифметическое значение (выборочное среднее) является эффективной, состоятельной оценкой для математи- ческого ожидания М(X). Средневыборочное вычисляется по формулам: ,1 n nx x n i ii n i inn 1 или .1 n x x n i i 2. Оценка дисперсии характеризует разброс данных отно- сительно среднеарифметического x и вычисляется по форму- лам: , )( 1 2 n xx D n i i B . 1 )( 1 2 2 n xx S n i i Оценка DB (ее так-
- 33. 33 же обозначают 2 )является смещенной оценкой для генераль- ной дисперсии, а S2 является несмещенной. 3. В качестве оценки вероятности события используют от- носительную частоту данного события. Эти оценки являются точечными, так как определяются од- ним числом. 3.4. Доверительный интервал При выборке малого объема точечная оценка может значи- тельно отличаться от оцениваемого параметра. Поэтому при небольшом объеме выборки следует пользоваться интерваль- ными оценками. Интервальной называют оценку, которая определяется дву- мя числами — концами интервала и . Надежностью оценки или доверительной вероятностью на- зывают вероятность , с которой осуществляется неравенство , т.е. )( P (рис. 23). Рис. 23. Доверительный интервал, построенный с надежностью Иными словами, вероятность того, что интервал ),( заключает в себя (покрывает) неизвестный параметр , равна . Как видно из рис. 23, с увеличением надежности довери- тельный интервал должен стать шире, так как увеличивает- ся. Но определяет информативность оценки и, следователь- но, информативность оценки станет меньше. С одной стороны, чем меньше надежность , тем доверительный интервал уже и, следовательно, это хорошо, так как увеличилась информатив- ность оценки. Но, с другой стороны, — это надежность и значит, чем выше, тем лучше, так как с большей вероятностью f()
- 34. 34 оценим . Получилипротиворечие. Обычно в статистике ис- пользуют = 0,95; 0,99; 0,999. Надежность и уровень значимости (доверительный уро- вень) связаны формулой = 1 – . Пример 1. Доверительный интервал для математического ожидания М(X) с надежностью = 1 – вычисляется по формуле , 1 )( 1 1, 2 1, 2 n St xXM n St x nn где x — выбороч- ное среднее; S — несмещенная оценка среднеквадратическо- го отклонения; n — объем выборки; 1, 2 n t — значение функ- ции распределения Стьюдента, взятое при уровне значимости 2 и с n – 1 степенью свободы. Пример 2. Доверительный интервал для вероятности изоб- ражен на рис. 24. В качестве точечной оценки вероятности биномиального закона распределения ( jjj nn j n j n nj ppCnp )1()( ) возьмем ве- личину . n n p j Для построения доверительного интервала Рис. 24. Доверительный интервал для вероятности 1 1 p p p p р
- 35. 35 вычислим , )1( 2 1 n pp u где 2 1 u — значение квантиля 2 1 стандартного нормального распределения (M(x) = 0; D(x) = 1). Тогда доверительный интервал для вероятности: . ppp Пример 3. Доверительный интервал для дисперсии имеет вид (sn 2 – k(sn 2 ), sn 2 + k(sn 2 )). Коэффициент k определяется из уравнения = 2(k) – 1; — функция распределения стандартного нормального закона (с нулевым математическим ожиданием и единичной дисперсией); — уровень значимос- ти (квантиль порядка 2 1 стандартного нормального зако- на); среднеквадратичное отклонение (sn 2 ) статистики sn 2 вы- числяется по формуле . )( 1 )( 2 1 4 2 n sxx n s n i i n 3.5. Статистическая проверка гипотез Ясно, что никаких точных утверждений о параметрах зако- на распределения на основе анализа случайной выборки V делать нельзя. Можно лишь высказывать различные предпо- ложения о них — гипотезы. Статистической называют гипотезу о виде неизвестного рас- пределения, или о параметрах неизвестного распределения. Примеры гипотез: 1) генеральная совокупность распределена по нормально- му закону распределения; 2) дисперсии двух генеральных совокупностей равны меж- ду собой. Примечание. Гипотеза — это не вопросительное предложение, это ут- верждение. Наряду с выдвинутой гипотезой H0 рассматривают и про- тиворечащую ей гипотезу Н1 .
- 36. 36 Нулевой (основной) называютвыдвинутую гипотезу H0 . Конкурирующей (альтернативной) называют гипотезу Н1 , ко- торая противоречит основной. Простой называют гипотезу, содержащую только одно пред- положение. В зависимости от вида альтернативной гипотезы мы можем говорить о двухсторонней, левосторонней или правосторонней альтернативных гипотезах. Примеры гипотез: 1) двусторонняя гипотеза: Н0 : М(X) = 10; Н1 : М(X) 10; 2) правосторонняя гипотеза: Н0 : М(X) = 10; Н1 : М(X) 10; 3) левосторонняя гипотеза: Н0 : М(X) = 10; Н1 : М(X) 10. Сложной называют гипотезу, которая состоит из конечного или бесконечного числа простых гипотез. Пример. Н0 : М(X) 5; D(X) — неизвестна. То есть М(Х) = 5, М(X) = 6 и т.д. Выдвинутая гипотеза может быть правильной или непра- вильной, следовательно, существует необходимость проверять гипотезы с помощью статистических методов (табл. 5). Таблица 5 Проверка гипотез Ошибка первого рода состоит в том, что будет отвергнута правильная гипотеза. Ошибка второго рода состоит в том, что не будет отвергну- та неправильная гипотеза. Вероятность совершить ошибку первого рода называют уровнем значимости и обозначают . Вероятность совершить ошибку второго рода обозначают . Например, пусть = 0,05. Это означает, что в пяти случаях из ста мы рискуем совершить ошибку первого рода — отверг- нуть правильную гипотезу. Проверка гипотез базируется на выборочных данных. Вы- борочное пространство можно разделить на две области так, Н0 Не верна Верна Отвергаем + – ошибка первого рода Нет оснований отвергнуть – ошибка второго рода +
- 37. 37 что попадание полученнойвыборки в одну из частей ведет к принятию одной гипотезы, а в другую — другой. Таким обра- зом, основной гипотезе будет соответствовать одна область, а конкурирующей — другая. Пример. Рассмотрим правостороннюю гипотезу (рис.25). Н0 : М(Х) = 10; Н1 : М(Х) > 10. Рис. 25. Правосторонняя гипотеза Критической областью называют совокупность значений критерия, при которой нулевую гипотезу отвергают. Областью принятия гипотезы (областью допустимых зна- чений) называют совокупность значений критерия, при кото- рых гипотезу не отвергают. Мощностью критерия называют вероятность попадания критерия в критическую область, при условии, что справедли- ва конкурирующая гипотеза, т.е. вероятность отвергнуть ну- левую гипотезу Н0 , если верна конкурирующая гипотеза Н1 , равна 1 – . Примечание. Необходимо выдвигать конкурирующую гипотезу с мак- симальной мощностью критерия. Основные принципы проверки статистических гипотез: 1. Если наблюдаемое значение критерия принадлежит кри- тической области, гипотезу отвергают (прямой метод). 2. Если вычисленный уровень значимости меньше теорети- ческого уровня значимости, то гипотезу отвергают (обратный метод).
- 38. 38 3.6. Проверка простойгипотезы о том, что значение математического ожидания равняется значению b Для проверки гипотезы о том, что значение математического ожидания равняется конкретному значению (H0 : M(Х) = b), вычисляется t-статистика .набл s nbx t Прямой метод проверки гипотезы зависит от вида альтерна- тивной гипотезы. В нашем случае возможны три вида альтер- нативных гипотез: 1. Двусторонняя гипотеза H1 : M(Х) b. Вычисляется зна- чение критической точки tдвухст.кр (, n – 1). Если |tнабл | > tдвухст.кр , то гипотезу отвергают. 2. Правосторонняя гипотеза H1 : M(Х) > b. Вычисляется зна- чение критической точки tправост.кр (, n – 1). Если tнабл > tправост.кр , то гипотезу отвергают. 3. Левосторонняя гипотеза H1 : M(Х) < b. Вычисляется зна- чение критической точки tлевост.кр (, n – 1). Если tнабл < tлевост.кр , то гипотезу отвергают. При проверке гипотезы обратным методом вид альтерна- тивной гипотезы не влияет на выводы об отвержении гипоте- зы. На основе tнабл и объема выборки находится значение вы- численного уровня значимости в . Если вычисленный уровень значимости меньше теоретического уровня значимости (в < ), то гипотезу отвергают. 3.7. Проверка гипотезы о законе распределения F(x) На практике не всегда известны две гипотезы: основная и конкурирующая. Часто под конкурирующей гипотезой подра- зумевается то, что просто не выполнена основная гипотеза. Тогда задача ставится так: согласуются ли результаты наблю- дений с выдвинутым утверждением. С помощью оценок параметров функции распределения, а следовательно, и оценки функции распределения, можно про- верить гипотезы о том, насколько хорошо выборочные данные согласуются с теоретическими выводами о виде функции рас- пределения.
- 39. 39 Рассмотрим критерий согласия2 . Пусть известны вариан- ты x1 , x2 , …, xv и эмпирические частоты; n1 * , n2 * , …, nk * ; , 1 * k i i nn где п — объем выборки. Разобьем вариационный ряд на k группы так, чтобы в группу попали 5–10 наблюдений (рис. 26). 0 1 2 … m–1 k xmin xmax Рис. 26. Вариационный ряд Для того чтобы вычислить теоретические вероятности по- падания в i-й интервал pi = F(ai ) – F(ai–1 ), ,,1 ki вместо па- раметров распределения используются их эффективные оцен- ки, которые находятся на основе выборки. Таким образом, на- ходят оценки вероятностей. Умножив оценки вероятностей на объем выборки n, находят оценки теоретических частот попа- дания в i-й интервал. Вычисляют статистику , )( 1 2* 2 k i i ii np npn которая имеет k – r – 1 степеней свободы, где k — число интервалов; r — число оцениваемых параметров исследуемого распределения. На основе этой статистики 2 находится вычисленный уровень значимости . Затем вычисленный уровень значимости срав- нивается с исходным уровнем значимости для проверки ги- потезы. Если < , то гипотеза отвергается. Критерий 2 не доказывает справедливость гипотезы, а лишь устанавливает при принятом уровне значимости ее согласие или несогласие с данными наблюдениями. Рассмотрим критерий согласия Колмагорова—Смирнова. Вычисляются статистики )};()({max * XFXFD n X n )},()({max * XFXFD n X n где Fn * (Х) — эмпирическая фун- кция распределения; F(Х) — функция распределения, кото-
- 40. 40 рая вычисляется, используяоцениваемые параметры на основе выборки (рис. 27). Рис. 27. Критерий Колмагорова—Смирнова На основе этих статистик находится значение },max{ nnn DDD — максимальное отклонение эмпиричес- кой функции распределения от теоретической, вычисленной на основе оценок параметров распределения. Критическую область находят из неравенства: , dDn n где d — квантиль предельного распределения Колмагорова 1 – Кp (d ) = . На основе критической точки Кp находится вычисленный уровень значимости . Если < , то гипотеза отвергается. Примечание. Хорошо, если по обоим критериям нет основания отверг- нуть гипотезу. Что делать, если по одному критерию гипотеза отвергается, а по другому критерию нет основания отвергнуть эту же гипотезу? Тогда среди гипотез нужно выбрать ту, для которой оба вычисленных уровня значимости максимальны, то есть близки к тому, чтобы не отвергать гипоте- зу (так как если < , то Н0 отвергается). Контрольные вопросы к разделу 3 1. Понятие выборки и генеральной совокупности. 2. Понятие частоты, относительной частоты, кумулятивной частоты, относительной кумулятивной частоты. 3. Эмпирическая функция распределения. 4. Какая числовая характеристика является аппроксимацией вероятности? 5. Критерии качества оценки параметра. 6. Точечные и интервальные оценки. В каких случаях воз- никает необходимость строить интервальные оценки?
- 41. 41 7. Понятие надежности(доверительной вероятности) пост- роения доверительного интервала. 8. Связь между уровнем значимости и доверительной веро- ятностью. 9. Связь между доверительной вероятностью и доверитель- ным интервалом. 10. Связь между объемом выборки и доверительным ин- тервалом. Как изменится доверительный интервал, если объем выборки устремить к бесконечности? 11. Верно ли утверждение: поскольку доверительный ин- тервал стал шире, следовательно, доверительный интервал по- строен с большей надежностью? 12. Основная и альтернативная гипотезы. Двухсторонняя, правосторонняя и левосторонняя гипотезы. 13. Прямой и обратный метод проверки гипотез. Существу- ет ли связь между данными методами? 14. Возможна ли ситуация, когда прямым методом гипотеза отвергнута, а обратным методом нет оснований отвергнуть дан- ную гипотезу? 15. Влияет ли вид альтернативной гипотезы на методику принятия решения об отвержении гипотезы прямым методом? Обратным методом? 16. Ошибка первого и второго рода. Связь между данными ошибками. 17. Уровень значимости, мощность критерия. 18. Можно ли при проверке гипотезы установить вероят- ность совершения ошибки первого рода нулевой? Если нет, то почему? 19. Суть метода проверки гипотезы о том, что значение ма- тематического ожидания равняется значению b. 20. Суть метода проверки гипотезы о законе распределе- ния. Основные ограничения критерия согласия Пирсона. 21. Критерий согласия и критерий Колмагорова—Смирнова.
- 42. 42 4. ДИСПЕРСИОННЫЙ АНАЛИЗ Этостатистический метод анализа результатов наблюдений, зависящих от различных, одновременно действующих факто- ров, выбор наиболее важных факторов и оценки их влияния. Идея дисперсионного анализа заключается в разложении об- щей дисперсии случайной величины на независимые случай- ные слагаемые, каждое из которых характеризует влияние того или иного фактора или их взаимодействие. Сравнивая остаточную дисперсию, которая учитывает вли- яние неучтенных или случайных факторов, и дисперсию вход- ного фактора Х, можно установить степень влияния фактора Х на величину Y по сравнению с неучтенными факторами. 4.1. Однофакторный дисперсионный анализ На практике дисперсионный анализ применяют, чтобы ус- тановить, оказывает ли влияние некоторый качественный фак- тор Х, который имеет k уровней Х1 , Х2 , …, Хk (k — значений), на изучаемую величину Y. В этом случае основная идея дисперсионного анализа со- стоит в сравнении факторной дисперсии (порождаемой воз- действием фактора) и остаточной дисперсии (обусловленной случайными причинами). Если различие между этими дис- персиями значимо, то фактор оказывает существенное влия- ние на Y. Средние наблюдаемых значений на каждом уровне (групповые средние) будут различаться также значимо. Иногда дисперсионный анализ применяют, чтобы устано- вить однородности нескольких совокупностей. То есть прове- ряют гипотезу о равенстве математических ожиданий в каж- дой группе: Н0 : М(Х1 ) = М(Х2 ) = … = М(Хk ). Дисперсии этих совокупностей могут быть одинаковыми или различными. Если гипотеза не отвергается, то однородные совокупности можно объединить в одну. Это позволяет получить более пол- ную информацию и, следовательно, делать более надежные ста- тистические выводы. В этом случае дисперсионный анализ заключается в разло- жении общей дисперсии случайной величины на независимые случайные слагаемые, каждое из которых характеризует вли- яние того или иного фактора или их взаимодействие.
- 43. 43 4.2. Применение дисперсионногоанализа для проверки гипотезы о несущественном влиянии качественного фактора на количественный фактор Рассмотрим простейший одномерный случай. Y — количественный нормально распределенный признак, на который воздействует фактор Х с k уровнями. Совокупно- сти случайных величин имеют нормальное распределение и равные дисперсии. Гипотеза Н0 о несущественности влияния качественного фактора на основной количественный показатель с уровнем значимости = 0,05 математически выглядит так: ....: ;...: 211 210 k k yyyH yyyH Суть метода дисперсионного анализа в данном случаи со- стоит в следующем. Для того чтобы проверить нулевую гипо- тезу о равенстве групповых средних НРСВ с одинаковыми дисперсиями, достаточно проверить по F-критерию нулевую гипотезу о равенстве факторной и остаточной дисперсий. Переформатируем нашу выборку и вычислим значения (табл. 6). Таблица 6 Переформатированная выборка Значения качественного фактора Соответствующие значения количественного фактора, попавшие в данную группу Среднеарифметическое значение в группе, количество наблюдений в данной группе Х1 11 12 11 ny y y 11 1 11 ,/)( 1 nnyy n i i Х2 22 22 21 ny y y 22 1 22 ,/)( 2 nnyy n i i … Хk kkn k k y y y 2 1 kk n i kik nnyy k ,/)( 1
- 44. 44 Вычислим среднеарифметическое значениефактора Y: kyy k i i /)( 1 и объем выборки . 1 k i inn Вычислим суммы квадратов отклонения: k j n i ji j yySS 1 1 2 общ )( — общая сумма квадратичного от- клонения; k j jj nyySS 1 2 аямежгрупповфакт. ))(( — факторная (межгруп- повая) сумма квадратичного отклонения; k j n i jji j yySS 1 1 2 внутригрост. )( — остаточная (внутригруп- повая) сумма квадратичного отклонения. Имеет место следующее соотношение: minmax const.остфакобщ SSSSSS Воздействие фактора | Воздействие случайной величины. Число степеней свободы (df) общая вычисляется как (n – 1); факторная — (k – 1); остаточная — (n – k). Если сумму квадратов отклонения SSобщ разделить на соот- ветствующее число степеней свободы, то получим исправлен- ные выборочные дисперсии (среднеквадратичное отклонение), которые являются несмещенными оценками для генеральных дисперсий: )./( );1/( );1/( ост 2 остост факт 2 фактфакт общ 2 общобщ knSSSMS kSSSMS nSSSMS Найдем значение статистики Фишера: . )/( )1/( ост факт 2 ост 2 факт набл knSS kSS S S F Эта статистика подчинена
- 45. 45 F-распределению с k– 1, n – k степенями свободы. На осно- вании этой статистики найдем вычисленный уровень значимо- сти выч . Если выч < , то гипотезу о равенстве выборочных средних отвергаем. Таким образом, получается, что качествен- ный фактор X оказывает существенное влияние на количе- ственный фактор Y. 4.3. Применение дисперсионного анализа для проверки гипотез о равенстве математических ожиданий двух нормально распределенных совокупностей с различными дисперсиями Дисперсионный анализ в данном случае применяется для установления факта однородности нескольких совокупностей. Однородные совокупности можно объединить в одну, что по- зволит получить более полную информацию и, следовательно, делать более надежные статистические выводы. Рассмотрим простейший случай, когда две анализируемые выборки {x1 , x2 , …, xn } и {y1 , y2 , …, ym } объемом соответственно n и m извлечены из совокупностей, имеющих нормальные рас- пределения с неизвестными дисперсиями 1 2 и 2 2 и математи- ческими ожиданиями 1 и 2 соответственно. Уровень значимости для проверки гипотезы возьмем рав- ным . Математическая формулировка гипотеза выглядит следующим образом: .: ;: 211 210 H H По каждой выборке вычисляются выборочные средние и выборочные дисперсии: ; 1 1 n i ix n x ;)( 1 1 1 22 n i ix xx n s ; 1 1 m i iy m y .)( 1 1 1 22 m i iy yy m s В качестве критериальной статистики берется статистика . // 22 msns yx t yx Точное распределение этой статистики достаточно сложно, но доказа-
- 46. 46 но, что егоможно аппроксимировать распределением Стью- дента, если взять число степеней свободы равным . 1 )/( 1 )/( )//( 2222 222 m ms n ns msns k yx yx Определяется критическое значение tкр как квантиль по- рядка 1 – /2 распределения Стьюдента с k степенями свобо- ды. Гипотеза Н0 отвергается, если выполняется неравенство | t | tкр . Контрольные вопросы к разделу 4 1. Идея дисперсионного анализа. Основные направления использования дисперсионного анализа. 2. Однофакторный дисперсионный анализ. 3. Вычисление и назначение F-статистики. 4. Проверки гипотезы о несущественном влиянии качествен- ного фактора на количественный фактор. 5. Понятие однородности выборок. 6. Проверка гипотезы о равенстве математических ожида- ний двух нормально распределенных совокупностей с различ- ными дисперсиями. 7. Многофакторный дисперсионный анализ. 5. КОРРЕЛЯЦИОННЫЙ И РЕГРЕССИОННЫЙ АНАЛИЗЫ 5.1. Элементы теории корреляционного и регрессионного анализа Во многих задачах требуется установить и оценить зависи- мость изучаемой случайной величины Y от одной или несколь- ких других величин. Рассмотрим зависимость Y от одной ве- личины X. X и Y могут быть связаны функциональной или статистической зависимостями, либо быть независимы (Р(АВ) = = Р(А)Р(В)). Строгая функциональная зависимость в приро- де встречается редко. Статистической (стохастической, вероятностной) называют зависимость, при которой изменение одной влечет изменение распределения другой. Если изменение одной из величин вле-
- 47. 47 чет изменение среднегозначения другой, то такая зависимость называется корреляционной ),(xfyx где xy — среднеариф- метическое значение Y, соответствующее значению Х = х. Уравнение )(xfyx — это уравнение регрессии Y на Х; f(x) — функция регрессии Y на Х. График f(x) — линия регрессии Y на Х. Рассмотрим частный случай. Зависимость между Х и Y — линейная: Y* = bx + a = M[Y/X], где Х и Y — количествен- ные признаки (рис. 28). Для отыскания коэффициентов урав- нения необходимо провести n независимых испытаний: (x1 , y1 ); (x2 , y2 ); … (xn , yn ). Поскольку наблюдаемые пары чисел мож- но рассматривать как случайную выборку из генеральной со- вокупности всех возможных значений случайной величины (X,Y), то уравнение прямой линии Y = by/x x + a называют выборочным уравнением регрессии Y на X, где by/x — выбо- рочный коэффициент регрессии Y на X (тангенс угла накло- на линии регрессии). Рис. 28. Выборочное уравнение регрессии Для отыскания коэффициентов используют метод наимень- ших квадратов (МНК). Для этого составляют следующий функционал: ,)(),( 1 2* n i ii yyabФ где ;* abxy ii yi — наблюдаемое значение фактора Y; xi — наблюдаемое значе- ние фактора X. Необходимо минимизировать функционал Ф(b, a) min. Из курса математического анализа известно, что для этого необходимо найти частные производные и при- равнять их к нулю:
- 48. 48 n i ii n i iii yabx a Ф xyabx b Ф 1 1 .0)(2 ;0))((2 Раскрыв скобки, получимсистему нормальных уравнений: . ; 11 2 11 2 1 2 n i i n i i n i ii n i i n i i ynabx yxaxbx Решив эту систему, получим b и а значения коэффициентов в уравнении регрессии: . ; 2 11 2 1111 2 2 11 2 111 n i i n i i n i ii n i i n i i n i i n i i n i i n i i n i i n i ii xxn yxxyx a xxn yxyxn b Функция регрессии показывает, каково будет в среднем значение случайной величины Y, если переменная X примет значение х. Эту функцию можно использовать для прогноза (так как дает наименьшую среднюю погрешность оценки прогноза). Можно ввести понятие выборочного коэффициента корре- ляции y/b , который связан с коэффициентом регрессии фор- мулой ./ y x by S S b Коэффициент корреляции является пока- зателем тесноты линейной связи. На практике используют следующую формулу для вычис- ления коэффициента корреляции:
- 49. 49 . ))(( 1 yxyx n i ii B SS yxxy SnS yyxx При малом объемевыборки пользуются формулой . )()( )( 1 2 1 2 1 2 1 2 1 11 n i n i ii n i n i ii n i n i ii n i ii B yynxxn yxyxn Свойства коэффициента корреляции. 1. Выборочный коэффициент корреляции обладает свой- ством симметричности, т.е. .// x y yx y x xyB S S b S S b Таким образом, и коэффициент регрессии также обладает свойством симметричности, т.е. . // // yxxy yxxy bb 2. Коэффициент корреляции лежит в пределах от –1 до 1: 0 | | 1 или –1 1. 3. Модуль коэффициента корреляции характеризует тес- ноту связи. Чем больше коэффициент корреляции , тем связь ближе к линейной. На рис. 29 отображены облака рассеива- ния данных с различными значениями коэффициентов корре- ляции (1 3 > 2 > 1 0). Рис. 29. Облака рассеивания с различными значениями коэффициентов корреляции
- 50. 50 4. Знак коэффициентакорреляции отражает характер свя- зи. Если коэффициент корреляции положителен, то с ростом Х фактор Y в среднем увеличивается. Если коэффициент кор- реляции отрицателен, то с ростом Х фактор Y в среднем умень- шается. 5. Если = 0, то X и Y не коррелируют. Но это не означает, что факторы X и Y независимы. Они могут быть зависимы функционально или статистически, или быть независимыми. Рассмотрим пример, где X и Y связаны функциональной зави- симостью. Например, X = Y2 . График приведен на рис. 30. Если вычислить коэффициент корреляции в данном примере, то он окажется равным нулю. И действительно, в среднем с ростом X фактор Y в среднем не изменяется, хотя здесь при- сутствует строгая функциональная зависимость. Если X и Y независимые случайные величины, то коэффициент корреляции = 0. И мы можем сказать, что два фактора не коррелированны. Рис. 30. Функциональная зависимость с коэффициентом корреляции равным нулю 6. Если || = 1, то Х и Y связаны линейной зависимостью. Если = 1, то зависимость прямо пропорциональная. Если = –1, то зависимость обратно пропорциональная. Возникает вопрос: какую величину выборочного коэффи- циента корреляции следует считать достаточной для статисти- чески обоснованного вывода о наличии корреляционной связи между X и Y? Надежность статистических характеристик ослабевает с падением объема выборки, следовательно, возможны случаи, когда отклонение от нуля коэффициента корреляции оказы- вается статистически не значимым, т.е. целиком обусловлен- ным неизбежным случайным колебанием выборки, на основа- нии которой он вычислен.
- 51. 51 При малом объемевыборки точечная оценка коэффициен- та корреляции является статистически не значимой. Поэтому вместо точечной оценки можно использовать интервальную оценку с уровнем значимости или надежностью = 1 – . Рассмотрим случайную величину , )( )( zD zMz которая прибли- женно распределена по стандартному нормальному закону рас- пределения. Из уравнения = 2Ф(k) – 1, где — функция стандартного нормального распределения. Из данного урав- нения можно найти квантиль k1– . Границы доверительного интервала вычисляются по формулам: 1 1 1 1 2 2 1 z z e e и , 1 1 2 2 2 2 2 z z e e где ; 31 1 ln 2 1 2 1 1 n k z . 31 1 ln 2 1 2 1 2 n k z 5.1.1. Проверка гипотезы о незначимости выборочного коэффициента корреляции при заданном уравнении значимости = 0,05 Математически данная гипотеза записывается следующим образом: Н0 : b = 0, Н1 : b 0. Если основная гипотеза Н0 будет отвергнута, то это говорит о том, что коэффициент корреляции b значим и, следовательно, X и Y коррелированные, т.е. изменение фактора X влечет из- менение среднего значения фактора Y. Если Н0 не будет от- вергнута, то коэффициент корреляции b не значим, факторы не коррелированы. Для проверки гипотезы вычисляется статистика . 1 2 2 b b n t Эта статистика распределена по закону Стью- дента с n – 2 степенями свободы. На основе этой статистики находится вычисленный уровень значимости b , который срав-
- 52. 52 нивается с исходнымуровнем значимости . Если b < , то Н0 отвергается. 5.1.2. Проверка гипотезы о незначимости регрессионной модели с помощью дисперсионного анализа Выдвигаем гипотезу о незначимости коэффициента регрес- сии при уровне значимости = 0,05: H0 : b = 0; H1 : b 0. Вычисляем суммы квадратов отклонения: n i iM yySS 1 2* )( — сумма квадратичного отклонения для модели; n i iiE yySS 1 2* )( — сумма квадратичного отклонения для ошибки; n i iT yySS 1 2 )( — общая сумма квадратичного отклоне- ния для модели, где yi — i-е значение наблюдаемого фактора Y (т.е. в точке xi ); yi * — i-е значение, вычисленное с помощью модели у* = bx + a (прогнозное значение); y — среднее значение фактора y. Находим соответствующие значения числа степеней свободы: dfM = k – 1, k — число оцениваемых параметров; k = 2 для линейной модели (а и b оцениваем); dfE = n – k, n — объем выборки; dfT = n – 1. Вычисляем средние квадраты отклонений (несмещенные оценки дисперсий) . df SS MS На основе среднего квадрата отклонения находят значения статистики Фишера F (количество степеней свобод dfM и dfE ). После чего находят значение вычисленного уровня значимос-
- 53. 53 ти B . ЕслиB < , то гипотеза Н0 (о незначимости линии регрессии) отвергается. Следовательно, делаем вывод, что ко- эффициент регрессии значим. Введем понятия, необходимые для оценки качества модели. Коэффициент детерминации вычисляется по формуле %1002 Т М SS SS R (сумма квадратов отклонения регрессии, делен- ная на общую сумму квадратов отклонения), 0 % R2 100 %. Коэффициент детерминации характеризует долю дисперсии, объяснимую регрессией, в общей дисперсии выходного факто- ра Y. Чем больше коэффициент детерминации R2 , тем сильнее влияние фактора Х на Y. Чем коэффициент детерминации R2 больше, тем модель лучше. Если R2 > 50 % , то это хорошая регрессионная модель. При исследовании нескольких моде- лей, лучшей считается модель, где значение коэффициента де- терминации больше. В качестве оценки качества построенной модели можно ис- пользовать стандартную ошибку регрессии ЕMS (корень из несмещенной оценки дисперсии остатков). Чем стандарт- ная ошибка регрессии меньше, тем модель лучше. Значения tj (t-статистика) вычисляются как отношение значения коэффициента регрессии bj к стандартной ошибке: , j j j b t где j — стандартная ошибка в определении bj ( df S2 ). По модулю величина |tj | рассматривается как мера значимости (информативности) фактора Xj . Чем |tj | больше, тем фактор Xj , более значим. Примечание. Сами коэффициенты регрессии bj не являются показате- лями значимости фактора Xj , так как эти коэффициенты вычисляются в определенных единицах. Например, если измерить вес в граммах и кило- граммах, то в первом случае bj будет в 1000 раз больше, чем во втором случае, хотя это один и тот же вес. Деление на стандартную ошибку убира- ет масштабируемость фактора, что позволяет говорить о его значимости. Для проверки гипотезы о незначимости коэффициентов регрессии и свободного члена необходимо найти вычислен-
- 54. 54 ные уровни значимости(p-значение). Чем меньше p-значение, тем фактор более информативен. Для построения границ доверительных интервалов для ко- эффициентов регрессии необходимо найти соответствующие предельные ошибки по формуле j = tкр j , где tкр — значение статистики Стьюдента с n – 2 степенями свободы и с уровнем значимости (например, уровень значимости равен 0,05). Тогда «Нижние 95 %» и «Верхнее 95 %» — это левая и правая границы доверительного интервала соответственно, построен- ные для значений коэффициентов bj и a с уровнем значимости = 0,05 . Введем понятие остатка: i = yi – yi * . График остатков изображен на рис. 31. Рис. 31. График остатков Средняя ошибка аппроксимации характеризует качество построенной регрессионной модели и вычисляется по форму- ле .%100 1 1 * n i i ii y yy n A Допустимый предел составляет 8– 10 %. Средний коэффициент эластичности показывает, на сколь- ко процентов в среднем по совокупности изменится значение выходного фактора Y от своей средней величины при измене- нии значения входного фактора X на 1 % от своего среднего значения. Формула расчета коэффициента эластичности .)(' Y X XfЭ В рассматриваемом случае регрессия — линей- i yi yi * хi х y
- 55. 55 ная функция. Следовательно,формула для расчета среднего коэффициента эластичности примет вид: . Y X bЭ 5.2. Криволинейная регрессия В реальных задачах не всегда можно описать влияние вход- ного фактора на выходной линейной регрессией. Криволинейные модели регрессионного анализа. 1. Мультипликативная (степенная) модель описывается уравнением Y* = aXb . Для нахождения a и b используют МНК. Но перед этим предварительно производят выпрямление, для этого прологарифмируем и сделаем замену переменных: .lglglg ~~ * * xAy XbaY Получим модель .~~* xbAy Используя МНК, найдем значения коэффициентов A и b. Затем вычис- лим a по формуле а = 10A . 2. Экспоненциальная модель описывается уравнением Y* = ea+bX . Аналогично поступаем и в этом случае: lgY* = a + bX .~* bXay 3. Обратная модель имеет вид: 1/Y* = a + bX. Аналогично поступаем и в этом случае: .~;~/1 bXayyY 4. Показательная модель описывается уравнением Y* = abX . Сведем данную модель к линейной модели следующим обра- зом: .lglglg *~ * BAy bxay Используя МНК, найдем значения ко- эффициентов A и B. Затем вычислим a и b по формулам: а = 10A ; b = 10B . 5. Равносторонняя гипербола описывается уравнением Y* = a + b/X. В данной модели делаем замену переменной: . ~ ; ~ /1 * XbaYXX На основании чего выбирают, какая модель лучше? Для этого нужно исследовать значения коэффициентов детерми- нации различных моделей и выбрать ту модель, где коэффи- циент детерминации максимальный.
- 56. 56 Аналогично, как ипри однофакторном регрессионном ана- лизе, можно исследовать значимость влияния входного факто- ра на выходной при помощи дисперсионного анализа. Выдви- гается гипотеза о незначимости коэффициента регрессии при уровне значимости = 0,05. H0 : b = 0; H1 : b 0. Коэффициент корреляции применим для анализа парной корреляции в линейной регрессионной модели. В данном слу- чае он не применим. Индекс корреляции применяется в моде- лях криволинейного анализа вида: Y* (X) = f(X) + , где — случайная переменная. Обозначим через 2 Y дисперсию вы- ходного фактора Y, через 2 f — дисперсию функции f(X), а через 2 ост — остаточную дисперсию (дисперсию случайной ве- личины ). Причем выполняется следующее равенство: 2 Y = 2 f + 2 ост . Индексом корреляции называется величина, определяемая отношением .1 2 2 ост 2 2 / YY f XYI Свойства индекса корреляции: 1. 0 IY/X = 1. 2. Если IY/X = 0, то 2 f = 0 или, иначе говоря, 2 Y = 2 ост , что означает отсутствие корреляционной связи между фактором X и фактором Y. 3. Если IY/X = 1, то 2 ост = 0, что указывает на чисто функ- циональную зависимость между фактором X и фактором Y в виде Y* (X) = f(X). Квадрат индекса корреляции (коэффициент детерминации R2 ) показывает, какая доля общей дисперсии выходного фак- тора Y определяется дисперсией функции f(X), зависящей от фактора X. Иначе говоря, коэффициент детерминации опре- деляет качество криволинейной регрессионной модели, т.е. меру адекватности подбора функции регрессии для аппроксимации исходных данных. Чем больше значение коэффициента де- терминации, тем более адекватно описаны выборочные данные.
- 57. 57 5.3. Многофакторная регрессия Частоодна случайная величина Y зависит от k других слу- чайных величин X1 , X2 , …, Xk . Рассмотрим случай, когда зависимость линейная: Y* = a + b1 X1 + b2 X2 + … + bk Xk . Это множественная регрессия, где Xj — это входные факто- ры, ;,1 kj bj — коэффициенты регрессии; a — свободный член (неизвестные значения, которые надо найти). Пусть есть n наблюдений (y1 , x11 , x21 , …, xk1 ) (y2 , x12 , x22 , …, xk2 ) …………………… (yn , x1n , x2n , …, xnk ). Коэффициенты уравнения регрессии находим по МНК, ми- нимизировав функционал .min))...((),...,,( 1 2 11 * 1 n i kikiik xbxbaybbaФ Получаем систему нормальных уравнений: 0 ...... ;0 ;0 1 kb Ф b Ф а Ф или .... ................................................. ;... ;... 11 2 1 22 1 11 1 1 1 1 1 1 212 1 2 11 1 1 111 22 1 11 n i iki n i kik n i iki n i iki n i ki n i ii n i kiik n i ii n i i n i i n i i n i kik n i i n i i yxxbxxbxxbxa yxxxbxxbxbxa yxbxbxban
- 58. 58 Решив данную системуметодом наименьших квадратов, находим неизвестные коэффициенты. Для построения множественной регрессии часто использу- ются и нелинейные модели вида: 1. Степенная модель — ....21 21 * kb k bb XXaXY 2. Экспоненциальная модель — ....* 2211 kkXbXbXba eY 3. Гиперболическая модель — . ... 1 2211 * kkXbXbXba Y Можно использовать и другие функции, приводимые к ли- нейному виду. Обозначим через 2 Y дисперсию выходного фактора Y, че- рез 2 f — дисперсию функции f(X) (для линейной модели f(X) = a + b1 X1 + b2 X2 + … + bk Xk ), а через 2 ост — остаточную дисперсию. Причем выполняется следующее равенство: 2 Y = = 2 f + 2 ост . Тесноту совместного влияния факторов на результат оце- нивает индекс множественной корреляции ,1 2 2 ост ...,,/ 1 у XXY k R который лежит в пределах от нуля до единицы. Множествен- ный коэффициент корреляции больше или равен модулю мак- симального парного коэффициента корреляции, т.е. .max / ,1 ,...,/ 1 ik XY ki XXYR Средний коэффициент эластичности аналогично, как и в однофакторном регрессионном анализе, является характерис- тикой влияния входных факторов Xi на выходной фактор Y. Для линейной модели средний коэффициент эластичности вычисляется по формуле ./ Y X bЭ i iXY i Качество построенной модели в целом оценивает коэффи- циент детерминации (индекс множественной детерминации), равный квадрату индекса множественной корреляции. Чем
- 59. 59 больше значение коэффициентадетерминации, тем более адек- ватно описаны выборочные данные. Скорректированный (нормированный) индекс множествен- ной детерминации содержит поправку на число степеней сво- боды и рассчитывается по формуле , 1 1 )1(1 22 kn n RR где n — объем выборки; m — число входных факторов. В многофакторном регрессионном анализе выводы о влия- нии входных факторов на выходной являются статистически значимыми, если входные факторы между собой независимы. Поэтому важно определить, коррелируют ли входные факто- ры между собой. Рассмотрим матрицу межфакторной корреляции . 1... ............ ...1 ...1 21 212 121 XXXX XXXX XXXX kk k k PΡ Если бы факторы не коррелировали между собой, то матрица межфакторной корреляции была бы единичной матрицей, по- скольку все внедиагональные элементы равнялись бы нулю. Если же, наоборот, между факторами существует полная ли- нейная зависимость, то все внедиагональные элементы равня- лись бы единице. Получилась бы матрица, состоящая лишь из единиц. Определитель такой матрицы равняется нулю. Таким образом, получается, чем ближе к нулю определитель матрицы межфакторной корреляции, тем сильнее входные факторы кор- релируют (сильнее мультиколлинеарность факторов) и нена- дежнее результаты множественной регрессии. 5.3.1. Проверка гипотез о незначимости модели в целом Проверка гипотезы о незначимости модели в целом осуще- ствляется аналогично проверке гипотезы о незначимости од- нофакторной регрессионной модели с помощью дисперсион- ного анализа (см. разд. 2.8.2). По величине коэффициента значимости F (вычисленному уровню значимости) можно де- лать выводы об отвержении гипотезы о том, что входные фак- торы не влияют на выходной фактор в целом (если j < , то
- 60. 60 отвергается гипотеза онезначимости модели). R2 — это зна- чение коэффициента детерминации, который определяет каче- ство модели (чем он больше, тем модель лучше). 5.3.2. Проверка гипотез о незначимости входных факторов и свободного члена Математически данную задачу можно сформулировать сле- дующим образом: H0 : bj = 0, ;,1 kj a = 0; H1 : bj 0, ;,1 kj a 0. Для проверки гипотезы вычисляют статистику tj и уровни значимости j , которые сравнивают с = 0,05, как и в одно- факторном регрессионном анализе (см. разд. 2.8.2). Если j < , то отвергается гипотеза о не значимости влияния фак- тора Xj на Y, .,1 kj 5.3.3. Выбор значимых факторов-аргументов Исходный список входных факторов задается на этапе спе- цификации задачи на основе опыта и интуиции исследовате- ля. Этот список в задачах экономического плана, как правило, избыточен. Встает задача его сокращения. При этом можно пользоваться различными показателями информативности факторов Xj , .,1 kj В качестве таковых обычно используют модуль коэффициента корреляции Y и Xj — ,/ jXY либо значение t-статистики по модулю — | tj |. Из формулы стандартной ошибки регрессии kn SSE E видно, что, увеличивая число параметров модели k, можно ухуд- шить качество модели, так как стандартная ошибка возрастет. Следовательно, из всего множества входных факторов {X1 , X2 , …, Xk } в модель необходимо включать лишь наиболее значимые (информативные) факторы Xj , .,1 kj Алгоритмическая проблема выбора подмножества значимых факторов {Xj } усугубляется наличием статистической зависи-
- 61. 61 мости между {Xj },.,1 kj Поэтому, исключив незначимые факторы из модели, может получиться так, что коэффициент детерминации модели (характеризует качество модели) умень- шается. Это происходит потому, что, выбросив незначимый фактор Xj , усиливается влияние случайных (неучтенных) факторов, так как фактор Xj оказался неучтенным. Кроме того, в совокупности с другими входными факторами фактор Xj оказывал влияние на выходной фактор Y, так как мог быть связан с входными факторами статистической зависимостью. Следовательно, безоговорочно исключать из рассмотрения не- значимые факторы нельзя. Получили противоречие. С одной стороны, незначимые факторы надо исключать, с другой стороны — нет. Алгоритмически решение проблемы выбора значимых (ин- формативных) факторов усложняется статистической зависи- мостью исходных признаков. Это не позволяет строить на- дежный алгоритм выбора информативной подсистемы вход- ных факторов, ориентируясь на значимость отдельных факто- ров. На практике широкое распространение получил метод «пос- ледовательного включения». Суть метода состоит в следую- щем. На первом шаге в качестве X(1) из {Xj } ( kj ,1 ), выбира- ется фактор Xj , для которого коэффициент корреляции по модулю | jXY / | — максимален. Определяются остатки полу- ченной модели Y* (1) = a + b1 X(1) по формуле ,* ),1(,1 iii yy .,1 mi Вычисляется ошибка . 1 ,11 m i i На втором шаге сре- ди оставшихся входных факторов берется фактор X(2) с мак- симальным значением коэффициента корреляции. Получает- ся модель вида: Y* (1) = a + b1 X(1) + b2 X(2) . Вычисляются остат- ки miyy iii ,1,* ),2(,2 и ошибка . 1 ,22 m i i Процесс включения факторов продолжается до тех пор, пока значение ошибок ( = 1, 2, …) уменьшается.
- 62. 62 Другой широко используемыйалгоритм — алгоритм «пос- ледовательного исключения». Суть метода аналогична методу «последовательного включения», только на первом этапе в модель включаются все факторы. Определяются остатки по- лученной модели и вычисляется ошибка 1 . На втором шаге из модели исключается фактор с минимальным значением коэф- фициента корреляции. Снова вычисляются остатки и нахо- дится ошибка регрессионной модели. Процесс исключения продолжается до тех пор, пока значение ошибок регрессии уменьшается. Метод «последовательного исключения» более трудоемкий и, кроме того, его статистически надежные решения на первых шагах требуют большего объема обучающей выборки. Но вто- рой алгоритм при больших объемах выборки решение второго метода потенциально лучше, чем первого, особенно для задач распознавания образов. Рассмотрим проблему учета разнотипности входных фак- торов, которая часто возникает при комплексных статистичес- ких исследованиях. Можно выделить несколько подходов: 1) все признаки приводятся к одному типу с учетом или без учета статистической зависимости; 2) в разнотипных признаковых подпространствах исполь- зуются свои методы анализа для получения частных моделей прогноза, которые затем приводятся к одной модели; 3) номинальные факторы без потери информативности пре- образуют в количественную шкалу, и в объединенном простран- стве количественных признаков строят модель прогноза. Различным подходам свойственны свои достоинства и не- достатки. Методы первого подхода при переводе количествен- ных факторов в качественную шкалу теряют часть исходной информации. При переводе качественных факторов в квази- количественные у исходного признака появляется не харак- терные для него свойства (возможность сравнения значений фактора, выполнения арифметических операций над значени- ями фактора). Методы второго порядка слабо учитывают ста- тистическую зависимость между разнотипными признаками. Методы третьего подхода учитывают статистическую зависи- мость всех входных факторов, однако модели прогноза слож-
- 63. 63 но интерпретировать, ичисленная устойчивость алгоритмов снижена искусственным увеличением признакового простран- ства и уменьшением числа обусловленности корреляционной матрицы признаков. 5.3.4. Точность регрессионного прогноза Как известно, регрессия есть условное значение Y, завися- щее от X. Прогнозируя значение y по регрессионной модели Y* = g(X), при заданном значении x можно совершить два типа ошибок. Ошибка первого типа связана с тем, что регрессионная мо- дель построена по выборке V, а не по генеральной совокупно- сти, и, следовательно, прогнозное значение y* содержит ошиб- ку модели. Средняя ошибка этого прогноза равна . )(1 2 2 xns xx n t Здесь t — квантиль распределения Стью- дента при n – 1 степени свободы и с уровнем значимости ; — стандартная ошибка регрессии; sx 2 — выборочное значе- ние дисперсии фактора X; x — средневыборочное значение фактора X; n –объем выборки. Ошибка второго рода является ошибкой в индивидуальном прогнозе X и вычисляется по формуле . )(1 1 2 2 инд xns xx n t Нетрудно заметить, что этот вид ошибки больше ошибки первого рода. Ошибки первого и второго рода пропорциональ- ны квадрату расстояния x от средневыборочного значения x . Контрольные вопросы к разделу 5 1. Виды связей между случайными величинами. Стохасти- ческая зависимость. 2. Уравнение и линия регрессии. Связь между коэффици- ентом регрессии и коэффициентом корреляции. 3. Метод наименьших квадратов для нахождения коэффи- циентов линейной регрессии. 4. Свойства коэффициента корреляции.
- 64. 64 5. Проверка гипотезыо незначимости коэффициента кор- реляции. 6. Проверка гипотезы о незначимости регрессионной моде- ли на основе дисперсионного анализа. 7. Понятие коэффициента детерминации. 8. Значение t-статистики. Выводы, полученные по значени- ям t-статистик. 9. Понятие остатков. График остатков. 10. Криволинейный регрессионный анализ. Основные эта- пы построения криволинейной регрессии. 11. Многофакторный регрессионный анализ. 12. Проверка гипотезы о незначимости многофакторной рег- рессионной модели на основе дисперсионного анализа. 13. Понятие информативности входных факторов. Выбор значимых факторов. 14. Проверка гипотезы о незначимости входных факторов (коэффициентов регрессии). 15. Использование регрессионных моделей для прогноза. Точность регрессионного прогноза. 16. Показатели качества регрессионной модели. 17. Показатель статистической значимости многофакторный регрессионной модели. 18. Связь коэффициента детерминации с множественным коэффициентом регрессии. 6. АНАЛИЗ ЗАВИСИМОСТИ МЕЖДУ КАЧЕСТВЕННЫМИ ФАКТОРАМИ Зависимости между порядковыми переменными анализи- руются с помощью коэффициента согласованности (конкор- дации), а между номинальными — с помощью таблиц сопря- женности. 6.1. Анализ зависимости между классификационными переменными Остановимся на анализе зависимостей между номинальны- ми факторами. Напомним, что номинальные (классификаци- онные) переменные принимают значения, которые можно раз- бить на непересекающиеся множества, но эти множества труд-
- 65. 65 но или невозможноупорядочить по какому-либо признаку. Примерами таких переменных являются профессии работни- ков или пол особи, вид и род в биологии и т.д. В общем случае основным инструментом исследования за- висимостей между классификационными переменными явля- ются таблицы сопряженности. Рассмотрим двумерные табли- цы сопряженности, которые соответствуют двум классифика- ционным переменным (такие таблицы иногда называют таб- лицами сопряженности с двумя входами). Пусть имеется двумерная случайная величина Z = (X, Y), где случайная величина X принимает значения (признаки) A1 , A2 , …, As , а случайная величина Y — значения (признаки) B1 , B2 , …, Br . Выборочные данные представляются в виде таб- лицы сопряженности. Здесь xij — количество выборочных зна- чений, имеющих признаки В и А. Для проверки гипотезы о независимости случайных вели- чин X и Y вычисляется критериальная статистика r i s j ji ij r i s j ji jiij nn x n nn nnx nt 1 1 ** 2 1 1 ** 2 ** 1 )( на основе матрицы сопряженности (табл. 7). Эта статистика приближенно имеет распределение 2 со степенью свободы, равной (r – 1)(s – 1). Для случая r = s = 2 используется точный критерий Фишера проверки гипотезы о независимости. Таблица 7 Таблица сопряженности с двумя входами Фактор X Фактор Y A1 A2 … As Всего B1 x11 x12 … x1s s j jxn 1 1*1 B2 x21 x22 … x2s s j jxn 1 2*2 … … … … … ... Br xr1 xr2 … xrs s j rjr xn 1 * Всего r i ixn 1 11* r i ixn 1 22* … r i iss xn 1 * s i i s j j nnn 1 * 1 *
- 66. 66 Если критерий проверкигипотезы о независимости уста- навливает, что существует статистически значимая зависимость между переменными X и Y, то полезно иметь какую-то число- вую меру этой зависимости (наподобие коэффициента корре- ляции для количественных факторов). Статистика t в силу ряда причин не может выступать непосредственно в качестве такой меры зависимости, однако на ее основе разработано не- сколько показателей зависимости классификационных пере- менных, среди которых выделим следующие: — коэффициент сопряженности ; nt t C — мера связи Чупрова ; )1)(1( srn t K — коэффициент . n t Эти коэффициенты используются в различных ситуациях, и каждый из них имеет свои преимущества и недостатки. Ко- эффициент сопряженности аналогичен коэффициенту корре- ляции. Чем больше значение коэффициента сопряженности, тем сильнее связь между классификационными переменными. Для анализа зависимости номинальных факторов разрабо- таны информационные показатели зависимости, использующие понятие энтропии и количества информации, что позволяет определять направленные меры зависимости между перемен- ными. 6.2. Анализ зависимости между порядковыми переменными Порядковые (ординарные) переменные отличаются от клас- сификационных (номинальных) тем, что значения порядко- вых переменных ранжированы в соответствии с некоторой за- данной шкалой. Значения ординарных величин считаются рангами, присвоенными им в соответствии с этой шкалой. Ко- личественные величины являются частным случаем порядко- вых величин. Опишем процедуру преобразования выборки в ранги. Рас- смотрим выборку объема n двухмерной случайной величины (X, Y): (x1 , y1 ), (x2 , y2 ), …, (xn , yn ). Каждому выборочному зна-
- 67. 67 чению (xi , yi )присваиваются ранги (ri , qi ). Ранги присваивают- ся значениям xi и yi независимо путем построения отдельных вариационных рядов x(1) x(2) … x(n) и y(1) y(2) … y(n) . Число i члена вариационного ряда x(i) будет рангом соответ- ствующего выборочного значения. Если есть совпадающие вы- борочные значения, то им присваиваются одинаковые ранги, которые были бы присвоены при отсутствии равенства значе- ний. Например, пусть значения x(k) , x(k+1) и x(k+2) равны между собой (а до этого в вариационном ряду не было совпадающих значений), тогда они получают ранги (k + k + 1 + k + 2)/3 = = k + 1. Некоторые ранги могут быть дробными. Например, пусть значения x(k) и x(k+1) равны между собой (а до этого в вариационном ряду не было совпадающих значений), тогда они получают ранги (k + k + 1)/2 = k + 1/2. Вместо исход- ной выборки получается совокупность двухмерных значений рангов (R, Q): (r1 , q1 ), (r2 , q2 ), …, (rn , qn ). Для оценивания степени зависимости между порядковыми факторами используют ранговые коэффициенты корреляции Спирмена и Кендалла. 6.2.1. Ранговый коэффициент корреляции Спирмена Этот коэффициент корреляции вычисляется по формуле .)( 6 1 1 2 3 n i iis qr nn r Причем .1sr Коэффициент кор- реляции Спирмена равняется единице, если все ранги (ri , qi ) попарно совпадают. Если же эти ранги противоположны (qi = n — ri + 1), то коэффициент корреляции Спирмена равняется минус единице. При условии независимости случайных величин X, Y мате- матическое ожидание M(rs ) = 0 и дисперсия . 1 1 )( n rD s Ранговый коэффициент корреляции Спирмена применяют для проверки гипотезы о незначимости влияния X на Y при малом объеме выборки (n 10). В качестве критериальной статистики используют коэффициент rs , а критическое значе- ние при заданном уровне значимости определяется по табли- цам распределения коэффициента корреляции Спирмена. Если
- 68. 68 объем выборки большой,то в качестве критериальной статис- тики берется величина , 1 2 2 s s r nr t которая асимптотически имеет распределение Стьюдента с (n – 2) степенями свободы. 6.2.2. Ранговый коэффициент корреляции Кендалла Пусть для выборочных значений (x1 , y1 ), (x2 , y2 ), …, (xn , yn ) вычислены ранги (r1 , q1 ), (r2 , q2 ), …, (rn , qn ). Последовательность рангов сортируется в возрастающем порядке по рангу rs и получается модифицированная последовательность рангов (1, q(1) ), (2, q(2) ), …, (n, q(n) ). Ранговый коэффициент Кендалла вычисляется по формуле ,)(sign )1( 2 1 1 )()( n i n ij ijk qq nn r .1kr При условии независимости случайных величин X, Y мате- матическое ожидание M(rk ) = 0 и дисперсия . )1(9 )52(2 )( nn n rD k Ранговый коэффициент корреляции Кендалла также при- меняют для проверки гипотезы о незначимости влияния X на Y при малом объеме выборки (n 10). В качестве критери- альной статистики используют коэффициент rk , а критическое значение при заданном уровне значимости определяется по таблицам распределения коэффициента корреляции Кендал- ла. Если объем выборки большой, то в качестве критериаль- ной статистики берется величина , )52(2 )1(9 n nn rt k которая имеет стандартное нормальное распределение. Считается, что ранговый коэффициент корреляции Кендалла дает более ста- тистически значимый результат при проверке гипотезы о не- значимости влияния одного порядкового фактора на другой, чем ранговый коэффициент корреляции Спирмена.
- 69. 69 6.2.3. Коэффициент согласованностимножественной связи Ранговые коэффициенты корреляции Спирмена и Кендал- ла применяют для оценки статистических связей между двумя порядковыми факторами. Иногда возникает необходимость в оценке статистической независимости между несколькими (бо- лее двух) факторами. Для этих целей используется коэффи- циент согласованности (коэффициент конкордации). Рассмотрим выборку объема n m-мерной случайной вели- чины Z = (X1 , X2 , …, Xm ). Каждому выборочному значению (x1i , x2i , …, xmi ), ni ,1 присваиваются ранги(r1i , r2i , …, rmi ), .,1 ni Коэффициент согласованности вычисляется по формуле . 2 )1( )( 12 2 1 1 32 n i m j ji nm r nnm W Значение коэффициента конкордации лежит в пределах от нуля до единицы. Если W = 0, то считается, что переменные X1 , X2 , …, Xm независимы. Если W = 1, тогда и только тогда, когда все ранги rji ( mj ,1 ), соответствующие выборочному значению (x1i , x2i , …, xmi ), равны. При условии независимости случайных величин X1 , X2 , …, Xm выполняются следующие равенства: , 1 )( m WM . )1( )1(2 }{ 3 nm m WD В случае, когда m = 2 (два фактора), , 2 1 sr W где rs — коэффициент корреляции Спирмена. Для проверки гипотезы о независимости переменных X1 , X2 , …, Xm при малом объеме выборки в качестве критериальной ста- тистики используется коэффициент конкордации W , а крити- ческое значение при заданном уровне значимости определяет- ся по таблице распределения коэффициента согласованности. Данное распределение можно аппроксимировать бета-распре- делением. Для выборок объемом более семи в качестве крите- риальной статистики берется значение t = m(n – 1)W, которое
- 70. 70 асимптотически имеет распределение2 с (n – 1) степенью свободы. Контрольные вопросы к разделу 6 1. Способы оценки зависимости между номинальными (клас- сификационными) показателями. 2. Матрица (таблица) сопряженности. 3. Коэффициент сопряженности. 4. Мера связи Чупрова. 5. Способы оценки независимости между двумя порядко- выми показателями. 6. Ранговые индексы корреляции Спирмена и Кендалла. 7. Способ проверки независимости порядковых факторов X1 , X2 , …, Xm . 7. ВЕРОЯТНОСТНЫЕ ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ Основоположником теории информации является амери- канский инженер К.Э. Шеннон. Клод Шеннон предложил способ измерения количества информации с помощью числа — энтропии. Энтропия дискретной случайной величины — это минимум среднего количества бит, которое нужно передавать по каналу связи о текущем значении данной дискретной слу- чайной величины. 7.1. Энтропия простой системы Пусть система X может находиться в одном из l возмож- ных состояниях с той или иной вероятностью. Таблица 8 Состояния системы Причем выполняется условие .1 1 k i ip Энтропией системы X при измерении в битах называется величина .0log)( 1 2 k i ii ppXH Свойства энтропии: 1. H(X) = 0, если i: pi = 1, иначе говоря, если X — константа. Х x1 … xk Р p1 … pk
- 71. 71 2. H(X) =max при k = const, если p1 = p2 = … = pk = 1/k. 3. Hmax (X) = logk. Hmax (X) увеличивается при возрастании k. Рассмотрим пример (скачки). В заезде участвуют четыре лошади с равными шансами на победу, т.е. вероятность побе- ды каждой лошади равна 1/4. Введем дискретную случайную величину X, равную номеру победившей лошади. Здесь энтро- пия H(X)= 4 1 log 4 1 4 2 =2. После каждого заезда по каналам связи достаточно будет передавать два бита информации о номере победившей лошади. Кодируем номер лошади следу- ющим образом: 1 — 00; 2 — 01; 3 — 10; 4 — 11. Если ввести функцию L(X), которая возвращает длину сообщения, коди- рующего заданное значение X, то математическое ожидание M(L(X)) — это средняя длина сообщения, кодирующего X. Можно формально определить L(X) через две функции L(X) = length(code(X)), где функция code(X) каждому зна- чению X ставит в соответствие некоторый битовый код, при- чем взаимно однозначно, а функция length возвращает длину в битах для любого конкретного кода. Вычислим M(L(X)) = = 4 1 24 = 2. В данном случае M(L(X)) = H(X). Пусть теперь дискретная случайная величина X имеет сле- дующее распределение: P(X = 1) = 3/4; P(X = 2) = 1/8; P(X = 3) = P(X = 4) = 1/16, т.е. лошадь с номером 1 — это фаворит. Тогда 16log 8 1 8log 8 1 3 4 log 4 3 )( 222XH 186,13log 4 3 8 19 2 бит/символ. Закодируем номера лошадей: 1 — 0; 2 — 10; 3 — 110; 4 — 111, т.е. так, чтобы каждый код не был префиксом другого кода. В среднем в шестнадцати заездах первая лошадь долж- на победить в двенадцати из них, вторая — в двух, третья — в одном и четвертая — в одном. Таким образом, средняя длина сообщения о победителе или математическое ожидание M(L(X)) = (1∙12 + 2∙2 + 3∙1 + 4∙1)/16 = 1,4375 бит/символ.
- 72. 72 Действительно, L(X) сейчасзадается следующим распределе- нием вероятностей: P(L(X) = 1) = 3/4; P(L(X) = 2) = 1/8; P(L(X) = 3) = 1/8. Следовательно, 8 3 8 2 4 3 ))(( XLM 375,1 8 11 бит/символ. Итак, получили M(L(X)) > H(X). Таким образом, кодирование вторым способом является более эффективным, чем первым. 7.2. Энтропия сложной системы Пусть сложная система образована двумя подсистемами X и Y с возможными состояниями {x1 , x2 , …, xn } и {y1 , y2 , …, ym }. Тогда закон распределения сложной системы задается табли- цей (табл. 9). Причем имеет место .1 1 1 n i m j ijp Если X и Y независимы, то pij = pi pj , иначе pij = P(X = xi и Y = yj ). Таблица 9 Закон распределения сложной системы Энтропия сложной системы вычисляется по формуле .log),( 1 2 1 n i ij m j ij ppYXH Если X и Y независимы, то H(X,Y) = H(X) + H(Y). 7.3. Зависимые системы и условная энтропия Пусть P(xi /yj ) вероятность события X = xi при условии, что Y = yj . Условная энтропия системы X при условии, что Y = yj , рав- на .)/(log)/()/( 1 2 n i jijii yxpyxpyXH Y X y1 y2 … ym x1 p11 p12 … p1m x2 p21 p22 … p2m … … … … … xn pn1 pn2 … pnm
- 73. 73 Определим полную энтропиюсистемы X относительно сис- темы Y по формуле ),/()()/( 1 j m j j yXHypYXH где p(yj ) — вероятность, что система Y примет состояние yj . Иначе эту формулу можно переписать следующим образом: .)/(log)/()()/( 1 2 1 n i jiji m j j yxpyxpypYXH Полная условная энтропия H(X/Y) характеризует сред- нюю степень неопределенности системы X после того как бу- дет известно состояние системы Y. Если X и Y независимы, то H(X,Y) = H(X) + H(Y/X). При- чем H(X,Y) H(X) + H(Y).Справедливо H(X/Y) H(Y). Полная условная энтропия H(X/Y) системы X относи- тельно системы Y удовлетворяет свойству H(X/Y) = 0, если состояние одной системы X полностью определяется состоя- нием другой системы Y. Энтропия сложной системы достигает максимума, когда ее составные части независимы. H(X1 , X2 , …, Xn ) = H(X1 ) + + H(X2 /X1 ) + H(X3 /X2 X1 ) + … + H(Xn /Xn–1 …X2 X1 ). Таким образом, условная энтропия может выступать коли- чественным показателем зависимости двух качественных фак- торов. 7.4. Информация Естественно количество информации измерять уменьшени- ем энтропии той системы, для уточнения состояния которой предназначена другая. Обозначим через Ix информацию, по- лученную при полном выяснении состояния системы X. Ин- формация вычисляется по формуле )(0)( XHXHIx .log 1 2 n i ii pp Здесь отдельное слагаемое ix pI i 2log есть частная информация, получаемая от сообщения, что система X находится в состоянии xi , т.е. Ix есть математическое ожида- ние по всем состояниям ( 0ixI ). Чем меньше pi , тем больше .ixI Здесь предполагается, что наблюдение ведется над самой системой X.
- 74. 74 Пусть наблюдаемая системаY, а интересующая нас система X. Полной информацией о системе X, содержащейся в системе Y, будет величина IXY =H(X) – H(X/Y). Справедливо IXY = = IYX = IXY . Величину IXY называют полной взаимной ин- формацией между системами X и Y. Можно доказать, что IXY = = H(X) + H(Y) – H(X,Y) > 0. Иногда важно знать частот- ную информацию о системе X, содержащуюся в сообщении Y = yj : .0 )(log )/( 1 2 n i i ij jiXy p xp yxpI j Здесь отдельное слагаемое p yxp I ji yj )/( log2 есть частная информация о со- бытии X = xi , содержащаяся в сообщении Y = yj . Заметим, что эта информация может быть любого знака и зависит от того, имеет ли место P(xi /yj ) > pi или нет. Все эти понятия можно распространить на непрерывные системы (X,Y), когда заданы соответствующие функции плотности вероятности. Контрольные вопросы к разделу 7 1. Понятие энтропии. 2. Энтропия простой системы. 3. Энтропия сложной системы и условная энтропия. 4. Понятие количества информации. 5. Какая характеристика может выступать количественной оценкой зависимости двух качественных факторов? 8. СЛУЧАЙНЫЕ ПРОЦЕССЫ И ВРЕМЕННЫЕ РЯДЫ Все изложенные выше методы были разработаны для слу- чайных величин, каждая из которых в результате опыта при- нимала некоторое определенное заранее неизвестное, но един- ственное значение. Таким образом, случайные явления изуча- лись в фиксированных условиях отдельного опыта. На прак- тике зафиксировать все условия опыта невозможно; опыт про- текает во времени, в пространстве, при непрерывном действии посторонних причин. Поэтому чаще приходиться иметь дело со случайными величинами, которые принимают в процессе опыта множество заранее неизвестных значений. Изменяю- щиеся в процессе опыта случайные величины называют слу- чайными функциями (случайными процессами). Мы будем
- 75. 75 рассматривать случайную функциюодного аргумента. Чаще всего этим аргументом является время. Обозначают случай- ную функцию X(t), Y(t)… Рассмотрим случайную функцию X(t). Произведем m не- зависимых опытов и получим реализации x1 (t), x2 (t), …, xm (t). Каждая реализация — это обычная неслучайная функция (рис. 32). Рис. 32. Реализации случайной функции X(t) Зафиксируем некоторое значение аргумента t = tk и найдем значения n реализаций для tk : x1 (tk ), x2 (tk ), …, xm (tk ) Эти реа- лизации называют сечением m реализации случайной функ- ции при t = tk . Причем математическое ожидание случайной функции M[X(t)] — это не случайная функция. Часто мы имеем данные для одной случайной функции по одной реализации, когда аргумент функции t [0,T]. Разобь- ем интервал [0,T] на n равных частей длинной t (рис. 33). Получим n значений для реализации x(t1 ), x(t2 ), …, x(tn ) или временной ряд, т. е. совокупность значений за несколько последовательных значений времени. В общем случае каждый уровень временного ряда форми- руется из трендовой X* (ti ), циклической S(ti ) и случайной i компонент. Модели, в которых временной ряд представлен как сумма перечисленных компонент, — аддитивная модель, как произведение — мультипликативная модель. При построении модели устраняется сезонная компонента из исходных уров- ней ряда. X(t) 0
- 76. 76 Рассмотрим аддитивную модельбез сезонной компоненты. Этот временной ряд можно представить как функциональную X* (ti ) и случайную составляющие i : .,1,)()( * nitXtx iii Под трендом (сигналом) временного ряда понимают состав- ляющую X* (t), которая является неслучайной функцией. Слу- чайная составляющая i называется шумом или ошибкой. Для случайной составляющей верно утверждение M(i ) = 0. Ина- че это была бы неслучайная составляющая и ее можно учесть в X* (t). 8.1. Трендовые модели временного ряда Виды тренда: 1. Линейный тренд X* (t) = a + bt. 2. Квадратичный тренд X* (t) = a + bt + ct2 . 3. Экспоненциальный тренд X* (t) = ea+bt . 4. S-кривая X* (t) = ea+b/t . 5. Гипербола X* (t) = a + b/t. 6. Степенной тренд X* (t) = atb . 7. Параболический тренд X* (t) = a + b1 t + b2 t2 + … . Для построения модели линейного тренда используется МНК минимизации функционала ,][),( 1 2* n i ii xxbaФ где ).();(** iiii txxtxx Аналогично регрессионному анализу для минимизации функционала находят частные производные и приравнивают их к нулю: Рис. 33. Одна реализация случайной функции
- 77. 77 .0 ,0 b Ф а Ф Если модель нелинейна, то перед применением МНК необ- ходимо применить метод выравнивания (линеризации). Для квадратичной модели необходимо проделать следую- щие выкладки: ).();()( ;; 0 0 * 0 * 2 0 2 0 * 0 * 2 00 * 0 2* ttcb tt XX ttcttbXX ctbtaXctbtaX tBAX ~~ — линейная модель. Обратная замена перемен- ных позволяет найти значения b и c по формулам: b = A; c = B. Экспоненциальная модель выравнивается следующим об- разом: . ~ ;ln; *** btaXbtaXeX bta S-кривая приводится к линейной по формулам: . ~~ ;/ln; **/* tbaXtbaXeX tba Гиперболическая модель приводится к линейной следую- щим образом: . ~ ; ** tbaX t b aX Степенной тренд преобразуется в линейную модель следу- ющим образом: .10; ~~ );lg()lg()lg(;)( *** Ab atbAXtbaXattX В качестве примера случайного процесса можно рассмот- реть доходы предприятия X за период 1 t m. Имеем стати- стику изменения доходов n предприятий за данный период. Каждое предприятие рассматривается как отдельная реализа- ция случайного процесса за указанный период. Существует тенденция изменения доходов предприятий в среднем. Исполь- зовать усредненную характеристику как средний доход пред- приятия для прогнозирования поведения X на упреждающий период t > m неэффективно.
- 78. 78 Пример. Рассмотрим вкачестве случайного процесса вес кролика и, в частности, отдельную реализацию данного слу- чайного процесса. В начале исследований кролик набрал вес, затем заболел и похудел. С помощью построенных моделей пытаемся предсказать значения фактора «вес кролика» (рис. 34). Модель предсказания для большого периода пред- сказания оказалась физически неверной (отрицательный вес). Рис. 34. Тренд временного ряда 8.2. Числовые характеристики случайных процессов Для характеристики поведения случайных процессов обычно используется более широкий спектр характеристик. Важны- ми характеристиками являются математическое ожидание (t) = M[x(t)] и дисперсионная функция 2 (t) = = M[(x(t) – (t))2 ]. С дисперсионной функцией связана и функция стандартного отклонения .)(2 t Качественно новой характеристикой случайного процесса x(t), в отличие от случайной величины X, является автокорре- ляционная функция: , )()( ))()())(()([( ),( ji jjii ji tt ttxttxM ttr где ti > tj . Величина r(ti , tj ) может характеризоваться как ко- эффициент корреляции r значений одного и того же фактора X в различные моменты времени (ti , tj ). Причем –1 r(ti , tj ) +1. Автокорреляция уровней ряда — корреляционная зависи- мость между последовательными уровнями временного ряда — определяется по формуле
- 79. 79 , ))(())(( ))()()(( 1 1 2 11 2 1 11 n ji n ji jiji n ji jiji j xtxxtx xtxxtx r где , )( ; )( 1 1 1 1 jn tx x jn tx x n ji i j n ji i j j = 1, 2, … . Последовательность коэффициентов автокорреляции уров- ней первого (j = 1), второго (j = 2) и так далее порядков на- зывается автокорреляционной функцией временного ряда, а график зависимости ее значений от величины лага (порядка коэффициента автокорреляции) — коррелограммой. На языке значений r(ti , tj ) можно дать некоторую класси- фикацию процессов. Случайный процесс называется Марков- ским, если r(ti , tj ) = 0, при (tj – ti ) > 1. Здесь предполагается, что t принимает целочисленные значения. Такие процессы еще называют процессами без предыстории, т. е. состояние про- цесса в момент времени tj не зависит от состояния процесса в момент времени ti . Если r(ti , tj ) = r(), где = tj – ti , то процесс называется стационарным. То есть значение коэффициента автокорреля- ции зависит от длины временного интервала и не зависит от места положения отрезка времени длины . Процесс x(t) называется Гауссовым, если при каждом зна- чении t величина X подчинена нормальному закону распреде- ления. Если время t принимает равноотстоящие значения, то такой процесс называется временным рядом. Не умаляя общности рассмотрения, в этом случае можно считать t {1, 2, 3, …}. Именно с исследованием временных рядов сталкивается спе- циалист, анализируя экономико-хозяйственные процессы. В этом случае статистический материал представляется по го- дам, месяцам, дням. Выборочная совокупность данных V в этом случае есть множество значений V = {xij }, где ;,1 mi ;,1 pj .,1 t Здесь p — количество анализируемых факторов X, а
- 80. 80 — анализируемыйпериод. На основе выборки V методами обычного статистического анализа могут быть найдены выбо- рочные оценки величин {, , r, …}. Марковские процессы для временного ряда называются цепью Маркова. 8.3. Методы устранения тенденции в трендовых моделях При построении трендовой модели по временному ряду для устранения тенденции (циклической составляющей) исполь- зуют метод отклонения от тренда и метод последовательных разностей. Метод последовательного отклонения от тренда предпола- гает вычисление трендовых значений для каждого временного ряда модели, например, yi * и xi * , и расчета отклонений от трен- дов yi – yi * и xi – xi * . Для дальнейшего анализа используются не исходные данные, а отклонения от трендов. Метод последовательных разностей заключаются в следу- ющем: если ряд содержит линейный тренд, тогда исходные данные заменяются левыми (или правыми) разностями пер- вого порядка: i = xi – xi–1 = b + (i – i–1 ) при t = 1; если параболический тренд — вторыми разностями, например, ле- выми: i 2 = i – i–1 = 2b2 + (i – 2i–1 + i–2 ). В случае экспо- ненциального или степенного тренда метод последовательных разностей применяется к логарифмам исходных данных (к данным после линеризации). 8.4. Модели, включающие фактор и время Рассмотрим линейную модель, включающую фактор и вре- мя: Yt * = a + b1 t + b2 Xt + t . Параметры данной модели нахо- дятся по методу наименьших квадратов. Введем понятие автокорреляции в остатках — корреляци- онная зависимость между значениями остатков t за текущий и предыдущий момент времени. Для определения автокорреляции в остатках используют критерий Дарбина—Уотсона, определяемый по формуле , )( 1 2 1 2 1 n i i n i ii d 0 d 4.
- 81. 81 Коэффициент автокорреляции остатковпервого порядка определяется по формуле .11, )( 1 2 2 2 1 1 rr n i i n i ii Критерий Дарбина—Уотсона и коэффициент автокорреляции остатков первого порядка связаны соотношением d = 2(1 – r1 ). 8.5. Модели с распределенным лагом Модели, содержащие не только текущие, но и лаговые зна- чения факторных переменных, называются моделями с рас- пределенным лагом и имеют вид: Yt * = a + b0 Xt + b1 Xt–1 + … + bp Xt–p + t . Коэффициент b0 называют краткосрочным мультипликато- ром, и он характеризует среднее абсолютное изменение вы- ходного фактора при изменении на одну единицу в некоторый фиксированный момент времени t, без учета воздействия лаго- вых значений фактора X. В момент времени (t + 1) воздействие факторной перемен- ной Xt на результирующий фактор Yt * составляет (b0 + b1 ) условных единиц; в момент (t + 2) — (b0 + b1 + b2 ) и т. д. Эти суммы называют промежуточными мультипликаторами. Для максимального лага (t + p) воздействие фактора на результат описывается суммой (b0 + b1 + … + bp = b), которая называется долгосрочным мультипликатором. Величины j = bj /b; pj ,0 называются относительными ко- эффициентами модели с распределенным лагом. Если все коэф- фициенты имеют одинаковые знаки, то j, 0 < j < 1 и . 0 p j j Величина среднего лага определяется по формуле l j jjl 0 и представляет средний период, в течение которого будет про- исходить изменение результата под воздействием изменения фактора в момент времени t.
- 82. 82 Медиальный лаг lmed характеризуетпериод, в течение кото- рого будет происходить изменение половины общего воздей- ствия фактора на результат. Медиальный лаг вычисляется по формуле .5,0 med 0 l j j Оценку параметров моделей с распределенным лагом мож- но проводить методом Койка или методом Алмон. В методе Койка делается предположение, что коэффициен- ты при лаговых значениях убывают в геометрической прогрес- сии bi = b0 i , i = 1, 2, …; 0 < < 1. Тогда модель преобразуется к виду: Yt * = a + b0 xt + b0 xt–1 +b0 2 xt–2 + … + t . По этой модели можно найти значение параметров a, b0 , и затем пара- метры исходной модели a, b0 , b1 , …, bp . В методе Алмон предполагается, что параметры модели под- чинены полиномиальному распределению ....2 210 k kj jcjcjccb Тогда исходная модель примет вид: ,...1100 * tkkt zczczcaY где .,0;,0; 0 pjkijz p j i i По данной модели можно най- ти параметры a, c0 , c1 , …, ck , а затем параметры исходной модели a, b0 , b1 , …, bp . 8.6. Авторегрессионные модели Модели, содержащие в качестве факторов лаговые значе- ния зависимой переменной, называются моделями авторегрессии. Например, модель авторегрессии первого порядка выгля- дит следующим образом: Yt * = a + b0 Xt + c1 Y* t–1 + t . Как и в модели с распределенным лагом, коэффициент b0 характери- зует краткосрочное изменение Yt * под воздействием Xt на одну единицу. Долгосрочный мультипликатор в модели авторег- рессии рассчитывается как сумма краткосрочного и промежу- точных мультипликаторов . 1 ... 1 02 10100 c b cbcbbb
- 83. 83 Трендовые, модели сраспределенным лагом и авторегрес- сионные модели обычно используются в задачах среднесроч- ного прогнозирования (период упреждения до пяти отчетов времени). При дальнесрочном прогнозировании используют- ся методы экспертных оценок. Контрольные вопросы к разделу 8 1. Понятие случайного процесса. 2. Понятие временного ряда. 3. Виды тренда временного ряда. 4. Прогнозные свойства тренда временного ряда. 5. Методы устранения тенденции при построении трендо- вых моделей. 6. Понятие Марковского и Гауссовского процессов. 7. Модель с распределенным лагом. 8. Какой показатель характеризует средний период, в тече- ние которого будет происходить изменение результирующего фактора под воздействием изменения входного фактора в мо- мент времени t в моделях с распределенным лагом? 9. Модель, зависящая от фактора и времени. 10. Авторегрессионная модель. 11. Классификация моделей на основе коэффициента авто- корреляции. 12. Что называется долгосрочным мультипликатором? 13. Как вычисляется автокорреляция в остатках? 14. Какие модели используются при среднесрочном прогно- зировании? 9. ЭЛЕМЕНТЫ ТЕОРИИ МАССОВОГО ОБСЛУЖИВАНИЯ При математическом моделировании транспортных, промыш- ленных, экономических или иных систем очень часто исполь- зуется терминология и аппарат теории массового обслужива- ния. Каждая такая система состоит из какого-то числа обслу- живающих единиц, которые обычно называются каналами об- служивания. Системы обслуживания бывают как одно-, так и многоканальными. Работа любой системы заключается в выполнении поступа- ющего на нее потока требований или заявок. Заявки поступа-
- 84. 84 ют одна задругой в некоторые случайные моменты времени. Обслуживание заявки продолжается какое-то время, после чего канал освобождается и готов к приему следующей заявки. Теория массового обслуживания устанавливает зависимос- ти между характером заявок, числом каналов и успешностью их обслуживания. В качестве оценок эффективности работы могут выступать различные характеристики: среднее время простоя системы; процент заявок, получивших отказ в немедленном обслужива- нии; среднее время ожидания заявки в очереди на обслужива- ние и другие характеристики. Система в случайные моменты времени переходит из одно- го состояния в другое, т.е. меняется число занятых каналов, число заявок в очереди и так далее. Дело в том, что часто система массового обслуживания является системой дискрет- ного типа с конечным (счетным) множеством состояний. Рассмотрим систему X со счетным множеством состояний x1 , x2 , …, xn , … . В любой момент времени t система X может быть в одном из перечисленных состояний. Пусть Pk (t) — вероятность, что в момент времени t система X будет нахо- диться в состоянии xk . Очевидно, что для любого момента вре- мени t выполняется следующее равенство: .1)( k k tP Случайный процесс с непрерывным временем отличается тем, что переход системы из одного состояния в другое возмо- жен в любой момент времени t, причем число возможных со- стояний несчетно. Реальные процессы, протекающие в системах массового обслуживания, являются непрерывными системами с непре- рывным временем. Для системы массового обслуживания ос- новным фактором, обслуживающим протекающие в нем про- цессы, являются поток заявок и поток событий. Рассмотрим однородные события, различающиеся лишь моментами времени их появления t1 , t2 , …, tk , … . Поток событий называется регулярным, если события сле- дуют через равные промежутки времени. В дальнейшем будут рассматриваться лишь регулярные потоки.
- 85. 85 Поток событий называетсястационарным, если число собы- тий на любом участке времени одинаково. Поток называется потоком без последствий, если для лю- бых неперекрывающихся участков времени число событий на одном из них не зависит от числа событий на других участках. Поток с ограниченным последствием называется потоком Пальма. Поток событий называется ординарным, если вероятность попадания на элементарный участок t двух и более событий пренебрежимо мала по сравнению с вероятностью попадания одного из них. Если регулярный поток событий обладает свойствами ста- ционарности, ординарности и является потоком без послед- ствий, то такой поток называется простейшим (или стационар- ным) пуассоновским потоком. Простейший поток играет сре- ди прочих потоков особую роль, аналогичную роли нормаль- ного закона распределения. Рассмотрим на оси времени простейший поток как непре- рывную последовательность точек. Выделим произвольный участок времени длиной . Можно доказать, что число точек, попадающих на участок , распределено по закону Пуассона с математическим ожиданием a =, где — плотность потока (среднее число событий, протекающих в единицу времени). Вероятность того, что за время произойдет ровно m событий, . ! )( )( e m P m m В частности вероятность того, что участок окажется пустым (не произойдет ни одного события), вычис- ляется по формуле P0 () = e– . Важной характеристикой потока является закон распреде- ления длины промежутка между соседними событиями. Рассмотрим случайную величину T — промежуток времени между двумя произвольными случайными событиями. Опре- делим функцию распределения данной случайной величины, как F(t) = P(T t). Вероятность противоположного события: 1 – F(t) = P(T > t) — это вероятность того, что, начиная с момента появления одного события, на участке t не появится ни одного из последующих событий. Поэтому вероятность
- 86. 86 P(T > t)можно вычислить по формуле P0 () = e– . Отсюда F(t) = 1 – e–t . Найдем функцию плотности распределения f(t) = e–t . Получили показательный закон распределения. Величина — параметр данного закона распределения. Можно определить математическое ожидание случайной величины T по формуле , 1 t дисперсию — по формуле , 1 2 tD а стандартное отклонение — по формуле . 1 t Таким образом, если промежуток времени T распределен по показательному закону распределения, то любые сведения о том, сколько времени протекал этот промежуток времени, не влияет на закон распределения оставшегося времени. Если поток является потоком однородных событий без по- следствия с переменной плотностью (t), то такой поток назы- вается нестационарным пуассоновским потоком. Данный за- кон уже не будет показательным. Функция плотности f(t) будет зависеть от вида функции (t). Кроме характеристик входного потока заявок, рассматри- вают еще и характеристики производительности самой систе- мы. Одной из таких характеристик является время обслужи- вания одной заявки Tоб . Функция распределения случайной величины Tоб опреде- лятся по формуле F(t) = P(Tоб t). Плотность распределе- ния будет f(t) = F(t). На практике особый интерес представляет случай, когда величина Tоб имеет показательное распределение, так как спра- ведливо утверждение, что если в какой-то момент времени происходит обслуживание заявки, то закон распределения ос- тавшегося времени обслуживания сохраняется. В этом случае плотность распределения вычисляется по формуле g(t) = et , где — величина, обратная среднему времени обслуживания одной заявки, т.е. , )( 1 обTM где M(Tоб ) — математическое ожидание.
- 87. 87 Допущение о пуассоновскомхарактере потока заявок и о показательном распределении времени обслуживания позво- ляет применять аппарат Марковских случайных процессов. Процесс называется Марковским, если для каждого момента времени вероятность любого состояния системы в будущем за- висит только от состояния в настоящий момент времени и не зависит от остальных предысторий процесса. Системы массового обслуживания делятся на системы с от- казом и системы с ожиданием. При исследовании последних часто используют формулы Эрланга, которые дают предель- ный закон распределения числа занятых каналов в зависимо- сти от характеристик потока заявок и производительности системы. В частности, для одноканальной системы вероятность отказа вычисляется по формуле , 1 от P где . Вели- чина 1 1 q называется относительной пропускной способ- ностью системы. Контрольные вопросы к разделу 9 1. Понятие теории массового обслуживания. 2. Оценки эффективности работы в теории массового об- служивания. 3. Понятие потока событий и времени обслуживания. 4. Марковские случайные процессы. 10. ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ СИСТЕМ «Имитационное моделирование» — это двойной термин. «Имитация» и «моделирование» — синонимы. Фактически все области науки и техники являются моделями реальных процессов. Чтобы отличить математические модели друг от друга, исследователи стали давать им дополнительные назва- ния. Термин «имитационное моделирование» означает, что мы имеем дело с такими математическими моделями, с помощью которых нельзя заранее вычислить или предсказать поведе- ние системы, а для предсказания поведения системы необхо- дим вычислительный эксперимент (имитация) на математи- ческой модели при заданных исходных данных.
- 88. 88 Аналитически исследовать реальные(сложные) системы затруднительно. Для этих целей часто используют метод ими- тационного моделирования, который предполагает работу не с реальными объектом, а с его моделью. Поведение объекта рас- сматривается во времени. При этом используются математи- ческие модели, как правило, регрессионного типа. В процессе проведении эксперимента получается выборка случайных чи- сел, распределенных по тому или иному закону распределе- ния. Вид закона и значения его параметров предварительно оцениваются с помощью методов математической статистики, рассмотренных ранее, на основе наблюдений за реальной сис- темой массового обслуживания. Выборка случайных чисел генерируется с помощью датчи- ка псевдослучайных чисел. Имитационное моделирование ис- пользуется для исследования динамики системы, для ее пере- ходных характеристик. Часто мы знаем больше о поведении отдельных компонентов системы, чем о ее поведении в целом. Необходимо построить математическую модель каждой отдель- ной компоненты системы и составить алгоритм взаимодействия отдельных компонентов системы в процессе ее работы. Мате- матическая модель каждой компоненты системы обычно имеет вид регрессионного уравнения или системы уравнений. Тогда имитационная модель представляет собой комплекс программ для компьютера, написанный либо на каком-то универсальном языке программирования (типа Pascal), либо на специализи- рованном языке программирования (типа GPSS). Основные достоинства имитационного моделирования: — возможность описания поведения компонент (элементов) процессов или систем на высоком уровне детализации; — отсутствие ограничений между параметрами имитацион- ной модели и состоянием внешней среды системы; — возможность исследования динамики взаимодействия компонент во времени и пространстве параметров системы. Эти достоинства обеспечивают имитационному методу ши- рокое распространение. Рекомендуется использовать имитационное моделирование в следующих случаях:
- 89. 89 — если несуществует законченной постановки задачи ис- следования и идет процесс познания объекта моделирования; имитационная модель служит средством изучения явления; — если аналитические методы имеются, но математические процессы сложны и трудоемки, и имитационное моделирова- ние дает более простой способ решения задачи; — когда кроме оценки влияния параметров (переменных) процесса или системы желательно осуществить наблюдение за поведением компонент (элементов) процесса или системы в течение определенного периода; — когда имитационное моделирование оказывается един- ственным способом исследования сложной системы из-за не- возможности наблюдения явлений в реальных условиях (ре- акции термоядерного синтеза, исследования космического про- странства); — когда необходимо контролировать протекание процес- сов или поведение систем путем замедления или ускорения явлений в ходе имитации; — при подготовке специалистов новой техники, когда на имитационных моделях обеспечивается возможность приоб- ретения навыков в эксплуатации новой техники; — когда изучаются новые ситуации в системах; в этом слу- чае имитация служит для проверки новых стратегий и правил проведения натурных экспериментов; — когда особое значение имеет последовательность собы- тий в проектируемых системах, и модель используется для пред- сказания узких мест в функционировании систем. Однако имитационное моделирование наряду с достоин- ствами имеет и недостатки: — разработка хорошей имитационной модели часто обхо- дится дороже создания аналитической модели и требует боль- ших временных затрат; — может оказаться, что имитационная модель неточна (что бывает часто), и невозможно измерить степень этой неточности. Зачастую исследователи обращаются к имитационной мо- дели, не представляя тех трудностей, с которыми они встретят- ся, и совершают при этом ряд ошибок методологического ха- рактера.
- 90. 90 И, тем неменее, имитационные модели являются одним из наиболее широко используемых методов при решении задач синтеза и анализа сложных процессов и систем. Одним из видов имитационного моделирования является статистическое имитационное моделирование, позволяющее воспроизводить на ЭВМ функционирование сложных случай- ных процессов. При исследовании сложных систем, подверженных случай- ным возмущениям, используются вероятностные аналитичес- кие модели и вероятностные имитационные модели. В вероятностных аналитических моделях влияние случай- ных факторов учитывается с помощью задания вероятност- ных характеристик случайных процессов (законы распреде- ления вероятностей, спектральные плотности или корреляци- онные функции). При этом построение вероятностных анали- тических моделей представляет собой сложную вычислитель- ную задачу. Поэтому вероятностное аналитическое моделиро- вание используют для изучения сравнительно простых систем. Замечено, что введение случайных возмущений в имитаци- онные модели не вносит принципиальных усложнений, поэто- му исследование сложных случайных процессов проводится в настоящее время, как правило, на имитационных моделях. В вероятностном имитационном моделировании оперируют не характеристиками случайных процессов, а конкретными случайными числовыми значениями параметров систем. При этом результаты, полученные при воспроизведении на имита- ционной модели рассматриваемого процесса, являются случай- ными реализациями. Поэтому для нахождения объективных и устойчивых характеристик процесса требуется его много- кратное воспроизведение, с последующей статистической об- работкой полученных данных. Именно поэтому исследование сложных процессов и систем, подверженных случайным воз- мущениям, с помощью имитационного моделирования приня- то называть статистическим моделированием. Статистическая модель случайного процесса — это алго- ритм, с помощью которого имитируют работу сложной систе- мы, подверженной случайным возмущениям; имитируют взаимо- действие элементов системы, носящих вероятностный характер.
- 91. 91 При реализации наЭВМ статистического имитационного моделирования возникает задача получения на ЭВМ случай- ных числовых последовательностей с заданными вероятност- ными характеристиками. Численный метод, решающий задачу генерирования последовательности случайных чисел с задан- ными законами распределения, получил название «метод ста- тистических испытаний», или «метод Монте-Карло». Так как метод Монте-Карло, кроме статистического моде- лирования, имеет приложение к ряду численных методов (взя- тие интегралов, решение уравнений), то целесообразно приме- нять различные термины. Итак, статистическое моделирование — это способ изуче- ния сложных процессов и систем, подверженных случайным возмущениям, с помощью имитационных моделей. Метод Монте-Карло — это численный метод, моделирую- щий на ЭВМ псевдослучайные числовые последовательности с заданными вероятностными характеристиками. Методика статистического моделирования состоит из сле- дующих этапов: 1. Моделирование на ЭВМ псевдослучайных последователь- ностей с заданной корреляцией и законом распределения, ими- тирующих на ЭВМ случайные значения параметров при каж- дом испытании. 2. Преобразование полученных числовых последовательно- стей на имитационных математических моделях. 3. Статистическая обработка результатов моделирования. Моделирование имеет свои трудности и проблемы. Даже на современном компьютере может потребоваться слишком много времени для одного «прогона», т.е. для одного прохож- дения системы от начала до конца моделируемого периода времени. Моделирование не дает функциональной связи «вы- хода» системы с независимыми переменными и параметрами. Необходимо произвести много машинных экспериментов, что- бы осуществить анализ чувствительности откликов системы к вариации того или иного параметра. Задача усугубляется, ког- да встает вопрос оптимального выбора значений варьируемых параметров системы массового обслуживания.
- 92. 92 Необходимо отметить, чтоотсутствует универсальная и от- работанная математическая теория имитационного моделиро- вания. Универсальными и отработанными являются лишь ал- горитмы и программы датчиков псевдослучайных чисел. От- сутствие четкой теории имитационного моделирования часто приводит к тому, что внесение даже незначительных измене- ний в структуру моделируемого объекта ведет к существен- ным изменениям в программном комплексе. 10.1. Генерация равномерно распределенных случайных величин При генерации последовательности случайных чисел хi х0 х1 хN , представляющих собой реализации незави- симых, равномерно распределенных на интервале (0, 1) слу- чайных величин i 0 1 N , невозможно получить иде- альную последовательность случайных чисел потому, что на ЭВМ можно оперировать только конечным множеством чи- сел. Кроме того, для получения значений х случайной величи- ны используются формулы. Поэтому такие последователь- ности, являющиеся по своей сути детерминированными, назы- ваются псевдослучайными. Наибольшее применение на практике для генерации после- довательностей псевдослучайных чисел находят алгоритмы вида хi+1 = (хi ), представляющие собой рекуррентные соотноше- ния первого порядка, для которых начальное число х0 и посто- янные параметры заданы. Одно из общепринятых заблуждений о получении псевдо- случайных чисел заключается в том, что достаточно взять хоро- ший датчик и слегка его изменить, чтобы выработать «еще бо- лее случайную» последовательность. Часто это оказывается неверно. 10.1.1. Линейный конгруэнтный метод генерации равномерно распределенных случайных величин Линейный конгруэнтный метод был предложен Д.Х. Леме- ром в 1948 г. Выбираем четыре числа: x0 — начальное значение (x0 0); a — множитель (a 0);
- 93. 93 c — приращение,или инкремент (c 0); m — модуль (m > x0 , m > a, m > c). Тогда линейную конгруэнтную последовательность случай- ных чисел {xn } получаем с помощью итерационной формулы: xn+1 = (axn + c) mod m, n 0. Введем b = a – 1. Отбросим случай (a 2). Получаем линейную конгруэнтную последовательность случайных чисел: xn+k = (ak xn + (ak – 1)c/b) mod m, k 0, n 0. Выбор модуля m очень важен. Длина периода (длина по- вторяющегося цикла) не может быть больше m. Поэтому зна- чение m должно быть достаточно большим (даже если требу- ется генерировать только случайные нули и единицы). Другой фактор, влияющий на выбор m, — это скорость вы- работки чисел. Надо подобрать такое значение, чтобы вычис- ления по итерационной формуле производились достаточно быстро. Можно порекомендовать брать в качестве m: 1) значения — максимальное целое число; 2) значение ± 1; 3) значения наибольшего простого числа, меньшего, чем (получим длину периода m – 1). Выбор множителя a и инкремента c тоже является важ- ным при линейном конгруэнтном методе генерации псевдо- случайной последовательности. При выборе множителя a и инкремента с преследуется цель — получить период макси- мальной длины. Теорема. Длина периода линейной конгруэнтной последо- вательности равна m тогда и только тогда, когда: 1) c и m — взаимно простые числа; 2) b = a – 1 кратно p для любого простого p, являющегося делителем m; 3) b кратно 4, если m кратно 4. Теорема. Максимально возможный при c = 0 период равен порядку первообразного элемента (m), где (m) определяет- ся выражением: (2) = 1; (4) = 2; (2е ) = 2е–2 , е 3; (ре ) = ре–1 (р–1), р > 2; ( ре1 , …, реk ) = НОК((ре1 ), …, (реk )).
- 94. 94 Такой период реализуется,если x0 и m — взаимно простые числа; a — первообразный элемент по модулю m. Как найти первообразный элемент по модулю m? Теорема. Число a есть первообразный элемент по модулю ре тогда и только тогда, когда: 1) ре = 2, a — нечетно; или ре = 4, a mod 4 = 3; или ре = 8, a mod 8 = 3, 5, 7; р = 2, е 4, a mod 8 = 3, 5; 2) р — нечетно (простое); е = 1; a 0 (mod p) и a(p–1)q 1 (mod p) для любого простого делителя q числа p – 1; 3) р — нечетно (простое); е > 1; a удовлетворяет 2) и ap–1 1 (mod p2 ) для любого простого делителя q числа p – 1. Для важного случая m = 2е при е 4 в качестве множителя берут a = 3 или 5 (mod 8). В этом случае четвертая часть всех возможных множителей дает максимальный период. Второй распространенный случай m = 10е ; е 5; с = 0 и x, не кратное 2 или 5, тогда в качестве a берут значения mod 200, равные: 3,11, 13, 19, 21, 27, 29, 37, 53, 59, 61, 67, 69, 77, 83, 91, 109, 117, 123, 131, 133, 139, 141, 147, 163, 171, 173, 179, 181, 187, 189, 197. Простой распространенный случай: c — нечетное и взаим- но простое с m; a mod 4 = 1. Еще один распространенный случай: a = 75 ; c = 0; m = 231 – 1. 10.1.2. Метод серединных квадратов Пусть имеется 2n-разрядное число, меньшее 1: хi = 0,a1 a2 a2n . Возведем его в квадрат хi 2 = 0,b1 b2 b4n , а затем отберем средние 2n разрядов, которые и будут являться очередным чис- лом псевдослучайной последовательности хi+1 = 0,bn+1 bn+2 b3n . Этому методу соответствует рекуррентное соотношение хi+1 = {102n [103n хi 2 ] }, где { } и [ ] означают соответственно дробную и целую часть числа в скобках. Недостаток метода — наличие корреляции между числами последовательности, а в ряде случаев случайность вообще мо- жет отсутствовать. Кроме того, при некоторых i* может на- блюдаться вырождение последовательности, т.е. хi = 0 при i i* .
- 95. 95 10.1.3. Метод серединыпроизведения Метод является модификацией метода серединных квадра- тов и состоит в том, что два 2n-значных числа перемножаются, и средние 2n цифр этого произведения принимаются в каче- стве следующего числа последовательности. Таким образом, если хi1 = 0,a1 a2 a2n ; хi = 0,b1 b2 b2n , то для получения числа хi+1 необходимо перемножить хi1 и хi , т.е. хi1 хi = 0,c1 c2 c4n , а затем отобрать средние 2n цифр этого произведения хi+1 = 0,cn+1 cn+2 c3n . Данному методу соответствует рекуррентное соотношение при заданных двух начальных числах х0 и х1 : хi+1 = {102n [103n хi хi–1 ]}. Несмотря на то, что данный метод также имеет тенденцию к вырождению, он обеспечивает лучшее качество псевдослучай- ных чисел, чем у чисел, полученных с помощью метода сере- динных квадратов. 10.1.4. Мультипликативный метод Широкое применение для получения последовательностей псевдослучайных равномерно распределенных чисел получи- ли конгруэнтные процедуры генерации, которые могут быть реализованы мультипликативным либо смешанным методом. Конгруэнтные процедуры являются чисто детерминированны- ми, так как описываются в виде рекуррентного соотношения, когда функция имеет вид Хi = aХi + c (mod m), где Хi , a, c, m — неотрицательные целые числа. Преобразовав данную функцию, получим Хi = i Х0 + (i – 1) /( – 1) (mod m). Если задано начальное значение Х0 , множитель и адди- тивная константа , то последняя формула однозначно опре- деляет последовательность целых чисел Хi , составленную из остатков от деления на m, членов последовательности i Х0 + (i – 1)/( – 1). Таким образом, для любого i 1 справедливо неравенство Хi m. По целым числам последовательности Хi можно построить последовательность {хi } = {Хi /m} рациональных чисел из единичного интервала (0, 1).
- 96. 96 Мультипликативный метод задаетпоследовательность нео- трицательных целых чисел {Хi }, не превосходящих m, по фор- муле Хi+1 = Хi (mod m), т.е. это частный случай конгруэнтной процедуры (линейного конгруэнтного метода) при = 0. Для машинной реализации наиболее удобна версия m = pg , где p — основание системы счисления, принятой в ЭВМ, а g — число бит в машинном слове. Алгоритм построения последовательности для двоичной машины М = 2g сводится к выполнению следующих операций: 1) выбрать в качестве Х0 произвольное нечетное число; 2) вычислить коэффициент = 8t 3, где t — любое целое положительное число; 3) найти произведение Х0 , содержащее не более 2g знача- щих разрядов; 4) взять g младших разрядов (левых) в качестве первого числа последовательности Х1 , а остальные отбросить; 5) определить дробь х1 = Х1 /2g из интервала (0, 1); 6) присвоить Х0 = Х1 ; 7) вернуться к п. 3. В настоящее время библиотеки стандартных программ ЭВМ для вычисления последовательностей равномерно распреде- ленных случайных чисел основаны на конгруэнтных процеду- рах. Последовательность, полученная по мультипликативно- му методу, хорошо удовлетворяет статистическим критериям проверки качества. 10.2. Методы проверки качества псевдослучайных чисел с равномерным законом распределения Методы (в дальнейшем, тесты) проверки качества псевдо- случайных чисел делятся на три группы: а) тесты проверки «случайности» последовательности псев- дослучайных чисел; б) тесты проверки равномерности закона распределения; в) тесты проверки независимости последовательности. Первые два теста основываются на статистических крите- риях согласия, из которых наиболее употребительным являет- ся статистический критерий согласия 2 (Пирсона).
- 97. 97 10.2.1. Критерий согласия2 Пусть имеется — случайная величина, о законе распреде- ления которой выдвигается некоторая гипотеза; Х — множе- ство возможных значений . Разобьем Х на m попарно не- пересекающихся множеств Х1 , Х2 , , Хm , таких, что PХj pj 0 при ;,1 mj p1 + p2 + + pm = PХ = 1. Выберем n независимых значений 1 , 2 , ,n и обозначим через j количество значений, попавших в j множество (Хj ). Очевидно, что математическое ожидание j равно npj , т.е. М[j ] = npj . В качестве меры отклонения всех от Npj выбирается вели- чина . 1 2 2 набл m j j jj np np При достаточно большом n величина 2 n хорошо подчиняет- ся закону распределения 2 с (m – l – 1) степенями свободы (l — число параметров распределения). Уравнение ,}{ 0 1 2 x lmn dxxkxP где km–l–1 (x) — плотность распределения 2 с (m – l – 1) сте- пенью свободы, позволяет найти критическую точку 2 кр . При малом объеме выборки лучше определять не крити- ческую точку, а доверительный интервал принятия гипотезы. При заданном уровне значимости или надежности (обыч- но = 1 – = 0,95) можно определить нижнюю 2 н и верхнюю 2 в границы области возможного принятия гипотезы (довери- тельного интервала). Для этого нужно решить соответственно следующие уравнения: ,}{;}{ 2 в 2 н 2 в 22 н 2 dxxkPdxxkP rnrn где = 1 ; r = m – l – 1. Из данных уравнений следует, что F(2 н ) = и F(2 в ) =., т. е. 2 н — квантиль , а 2 в — квантиль . 10.2.2. Тесты проверки «случайности» На практике обычно применяют два теста проверки «слу- чайности»: тест проверки серий и тест проверки частот и пар.
- 98. 98 Тест проверки серийпредусматривает разбиение случай- ных цифр в исследуемой последовательности на элементы двух родов — первого и второго. Серией называется любой отрезок последовательности цифр, состоящий из следующих друг за другом элементов одного и того же рода. Например, если в последовательности цифр серия первого серия второго серия первого рода длины k рода длины l рода длины s – k – l 1 2 k k + 1 ; k + 1 k + 2 k + l и k + l k + l + 1 s , то цифры 1 , 2 , ,k образуют серию первого рода длины k; цифры k + 1 , k + 2 , ,k + l образуют серию второго рода длины l, и цифры k + l + 1 , k + l + 2 , ,s также образуют серию первого рода длины s – k – l. Иногда для удобства элементы серий первого рода обозначают знаками «» (минус), а второ- го рода — знаками «+» (плюс). В этом случае рассматривае- мая последовательность будет иметь k минусов, l плюсов, s – k – l минусов: k минусов l плюсов s – k – l минусов Подсчитаем количество zl серий второго рода длины l в пос- ледовательности псевдослучайных цифр 1 , 2 , ,n . Пусть l = 1, 2, , m и zm+1 — количество серий второго рода с l m + 1 (они объединяются в одну группу). Обозначим общее коли- чество серий через z = z1 + z2 + + zm + zm+1 . Величина 2 z с m степенями свободы вычисляется по формуле , 1 2 11 2 2 zp zpz zp zpz m mm l ll z где p = 9•10–l ; pm+1 = 10–m . Если, с заданным уровнем значимости , значение 2 z попа- дает в доверительный интервал, то тест проверки серий удов- летворяется. 1 , 2 , ,k k + 1 , k + 2 , ,k + l k + l + 1 , k + l + 2 , ,s + + +
- 99. 99 На практике встречаетсятакже другая разновидность теста проверки серий, когда к элементам серий первого рода отно- сят цифры, меньшие 0,5, а к элементам серий второго рода — не меньшие 0,5. При достаточно большом объеме выборки 1 , 2 , ,n (прак- тически при n 20) и уровне значимости = 0,95 нижний предел общего числа серий: ,165,11 2 1н nnz а ниж- ний предел числа серий элементов первого и второго родов: .165,1 4 1н в.р н п.р Nnzz Максимальная длина серий не должна быть больше, чем lmax = 3,3(lgn + 1). 10.2.3. Тест проверки равномерности закона распределения Данный тест строится на основе применения критерия со- гласия 2 . Пусть имеется выборка 1 , 2 , ,n псевдослучай- ных чисел в интервале (0, 1). Интервал (0, 1) изменения слу- чайной величины разбивается на m интервалов хj , ;,1 mj очевидно, что хm = 1, а нижняя граница первого интервала равна нулю. Обычно принимают m = 10…20. Далее производится определение вероятности pj попадания случайной величины в j-й интервал. Для равномерного на интервале (0, 1) закона распределения pj = xj – xj–1 . Затем определяется величина j , j = 1, 2, , m — число попаданий случайной величины в j-й интервал, и подсчитывается вели- чина m j j jj n np np 1 2 2 , распределенная по закону 2 с (m – 3) степенью свободы. При малом объеме выборки лучше определять не крити- ческую точку, а доверительный интервал принятия гипотезы. При заданном уровне значимости или надежности (обыч- но = 1 – = 0,95) можно определить нижнюю 2 н и верхнюю 2 в границы области возможного принятия гипотезы (довери- тельного интервала). Для этого нужно решить соответственно следующие уравнения:
- 100. 100 ,}{;}{ 2 в 2 н 2 в 22 н 2 dxxkPdxxkP rnrn где = 1 ; r = m – l – 1. Из данных уравнений следует, что F(2 н ) = и F(2 в ) =., т. е. 2 н — квантиль , а 2 в — квантиль . Если подсчитанное значение 2 n не попадает в доверитель- ный интервал, то гипотезу о равномерном законе распределе- ния случайной величины следует отвергнуть. Дополнительно можно подсчитать оценку математического ожидания n n j j 1 и несмещенную оценку дисперсии n j j n S 1 22 1 1 и сравнить их с теоретическими значени- ями соответственно 0,5 и 1/12. Для математического ожидания можно для заданного уровня значимости определить также доверительный интервал ,5,05,0 где определяется из уравнения 2Ф n12 = 1 – . Полезно бывает сравнить также теоретическую функцию распределения F(x) и теоретическую плотность f(x) распре- деления случайной величины с экспериментально получен- ными функцией распределения F* (x) и гистограммой частот. Известно, что для случайной величины, равномерно распре- деленной на интервале (0, 1): 1.0,при,0 1;0при1, )( 1;при,1 1;0при, 0;при,0 )( xx x xf x xx x xF По известной выборке из n значений случайной величины экспериментальная функция распределения F* (x) определя- ется следующим образом: ,)(* n xS xF n где Sn (x) равно ко- личеству значений х.
- 101. 101 10.2.4. Тесты проверкинезависимости последовательности псевдослучайных чисел В основе этих методов лежит представление полученных псевдослучайных чисел в качестве реализации дискретного стационарного случайного процесса х(t). Для количественной оценки степени некоррелированности последовательности псевдослучайных чисел 1 , 2 , ,n приме- няется способ, заключающийся в определении коэффициента корреляции (i ,i) между элементом i последовательности и его номером i: . 12 111 2 111 , 2 1 2 1 2 11 n nn n n i n i n i n i ii n i i n i i i Если при заданном уровне значимости или надежности = 1 – значение , ,1 , 2 max n i zi i i где max — верхняя граница доверительного интервала, а квантиль рас- пределения z определяется из уравнения 2Ф(z ) =, то счита- ется, что имеет место корреляционная связь между псевдослу- чайными числами. В противном случае можно принять гипо- тезу об их независимости. Контрольные вопросы к разделу 10 1. Понятие имитационного моделирования. 2. Достоинства и недостатки имитационного моделирования. 3. Методика статистического имитационного моделирования. 4. Псевдослучайная последовательность. Линейный конгру- энтный метод. 5. Метод средних квадратов, метод середины произведения и мультипликативный методы генерации псевдослучайной пос- ледовательности. 6. Методы проверки качества псевдослучайных чисел с рав- номерным законом распределения. 7. Тесты проверки случайности. 8. Тесты проверки независимости последовательности псев- дослучайных чисел.
- 102. 102 11. ДИСКРИМИНАНТНЫЙ АНАЛИЗ(ТЕОРИЯ РАСПОЗНАВАНИЯ ОБРАЗОВ) Основоположником этого вида анализа, как и многих дру- гих, является выдающийся английский математик Р. Фишер. Цель дискриминантного анализа состоит в построении мате- матической модели Y* = q(X;), позволяющей прогнозировать значение вектора факторов аргументов X = (x1 , x2 , …, xp ). От- личие дискриминантного анализа от регрессионного состоит в том, что здесь фактор Y является не количественной величи- ной, а шкалой наименований (номинальная шкала). Напри- мер, тип принимаемого решения Y для предприятия, экономи- ко-финансовое состояние которого характеризуется набором конкретных значений X: продолжить функционирование, по- ставить в режим банкротства, назначить внешнего управляю- щего, поставить предприятие в режим акционирования. Зада- чи дискриминантного анализа часто возникают в области тех- нической и медицинской диагностики. Построение математической модели принятия решения Y* = q(X;) осуществляется также на основе анализа выбор- ки V = {(xi , yi ), ni ,1 }, где n — объем выборки. Здесь выбо- рочные значения {yi } для соответствующих значений {xi } часто определяются эмпирическим путем. Пусть величина Y может принимать k возможных значе- ний {y1 , y2 , …, yk }. Так как величина Y нечисловая, то исполь- зовать принцип наименьших квадратов при построении диск- риминантной функции q(X;) невозможно. В этом случае ка- чеством построения модели q(X;) является величина Pe — вероятность ошибочной классификации (распознавания) об- разов. Предполагается, что каждому возможному значению y = yj можно сопоставить свой многомерный закон распреде- ления значений x — f(x;j ). Например, нормальный закон — f(x; j ) = fN (x; j , Rj ), где j — вектор средних значений X для j-го класса (образа), а Rj — матрица ковариаций фактора X для соответствующего класса. Часто используется принцип Байеса при классификации произвольной ситуации x: y* = yj , если f(x; ) = max{f(x; 1 ), f(x; 2 ), …, f(x; k )}. Это соответ- ствует минимальной вероятности Pe ошибочной классифика-
- 103. 103 ции при известныхфункциях распределения {f(x; j )}. Так как обычно тип функции f(x; j ) и значения их параметров j точно не известны, то мы имеем некоторое приближенное зна- чение Pe — ее оценку Pe . Часто при фиксировании типа фун- кций {f(x; j )} используется эмпирическая ошибка классифи- кации , 1 1 n i iE n P где .при1 ,при0 * * yy yy i i Заметим, что если функции {f(x;j ) = fN (x; j , Rj )} при R1 = R2 = … = Rk , то q(X; ) есть набор гиперплоскостей, раз- деляющих классы в пространстве фактора X. Задачи дискриминантного анализа еще называют задачами теории распознавания образов. Образ (класс) — классифи- кационная группировка в системе классификации, объединя- ющая определенную группу объектов по некоторому качествен- ному признаку. Образы обладают характерным свойством, проявляющимся в том, что ознакомление с конечным числом явлений из одного и того же множества дает возможность уз- навать сколь угодно большое число его представителей. При- мерами образов могут быть река, жидкость, музыка Чайковс- кого, цвет и т. д. В качестве образа можно рассматривать и некоторую совокупность состояний объекта управления, при- чем вся эта совокупность состояний характеризуется тем, что для достижения заданной цели требуется одинаковое воздей- ствие на объект. Образы обладают характерными объектив- ными свойствами в том смысле, что разные люди, обучающие- ся на различном материале наблюдений, большей частью оди- наково и независимо друг от друга классифицируют одни и те же объекты. Именно эта объективность образов позволяет людям всего мира понимать друг друга. 11.1. Геометрический подход к теории распознавания образов Каждый раз, когда сталкиваешься с незнакомыми задачами, появляется естественное желание представить их в виде неко- торой легко понимаемой модели — она позволила бы осмыс- лить задачу в таких терминах, которые легко воспроизводятся нашим воображением. А так как мы существуем в простран-
- 104. 104 стве и вовремени, наиболее понятной для нас является про- странственно-временная интерпретация задач. Любое изображение, которое возникает в результате наблю- дения какого-либо объекта в процессе обучения или экзамена, можно представить в виде вектора, а значит, и в виде точки некоторого пространства признаков. Если утверждается, что при показе изображений возможно однозначно отнести их к одному из двух (или нескольких) образов, то тем самым ут- верждается, что в некотором пространстве существует две (или несколько) области, не имеющие общих точек, и что изображе- ния — точки из этих областей. Каждой такой области можно приписать наименование, т. е. дать название, соответствующее образу. Проинтерпретируем теперь в терминах геометрической кар- тины процесс распознавания образов, ограничившись пока слу- чаем распознавания только двух образов. Заранее считается известным лишь то, что требуется разделить две области в не- котором пространстве и что показываются точки только из этих областей. Сами эти области заранее не определены, т. е. нет каких-либо сведений о расположении их границ или пра- вил определения принадлежности точки к той или иной области. Цель теории распознавания образов состоит либо в постро- ении поверхности, которая разделяла бы не только показан- ные в процессе анализа точки, но и все остальные точки, при- надлежащие этим областям, либо в построении поверхностей, ограничивающих эти области так, чтобы в каждой из них нахо- дились точки только одного образа. Иначе говоря, цель диск- риминантного анализа состоит в построении таких функций от векторов-изображений, которые были бы, например, поло- жительны на всех точках одного и отрицательны на всех точ- ках другого образа. В связи с тем, что области не имеют общих точек, всегда существует целое множество таких разделяющих функций, а в результате должна быть построена одна из них. Если предъявляемые изображения принадлежат не двум, а большему числу образов, то задача состоит в построении по показанным в ходе анализа точкам поверхности, разделяющей друг от друга все области, которые соответствуют этим обра- зам. Задача эта может быть решена, например, путем построе-
- 105. 105 ния функции, принимающейнад точками каждой из областей одинаковое значение, а над точками из разных областей значе- ние этой функции должно быть различно. Рис. 35. Случаи простого разделения в задачах распознавания образов: а — линейного; б — нелинейного На первый взгляд кажется, что знания всего лишь некото- рого количества точек из области недостаточно, чтобы отде- лить всю область. Действительно, можно указать бесчислен- ное количество различных областей, которые содержат эти точки, и как бы ни была построена по ним поверхность, выде- ляющая область, всегда можно указать другую область, кото- рая пересекает поверхность и вместе с тем содержит показан- ные точки. Однако известно, что задача о приближении функ- ции по информации о ней в ограниченном множестве точек, существенно более узкой, чем все множество, на котором фун- кция задана, является обычной математической задачей об ап- проксимации функций. Разумеется, решение таких задач тре- бует введения определенных ограничений на классе рассмат- риваемых функций, а выбор этих ограничений зависит от ха- рактера информации. Гипотеза о компактности образов явля- ется примером такого рода информации. Интуитивно ясно, что аппроксимация разделяющей функции будет задачей тем бо- лее легкой, чем более компактны и чем более разнесены в про- странстве области, подлежащие разделению. Так, например, в случае, показанном на рис. 35, a, разделение заведомо более просто, чем в случае, показанном на рис. 35, б. Действительно, в случае, изображенном на рис. 35, а, области могут быть раз- а) б) Х2 Х2 Х1 Х1
- 106. 106 делены плоскостью, идаже при больших погрешностях в оп- ределении разделяющей функции она все же будет продол- жать разделять области. В случае же на рис. 35, б разделение осуществляется замысловатой поверхностью, и даже незначи- тельные отклонения в ее форме приводят к ошибкам разделе- ния. Именно это интуитивное представление о сравнительно легко разделимых областях привело к гипотезе компактности. Рассмотрим гипотезу компактности. Если предположить, что в процессе анализа пространство признаков формируется, ис- ходя из задуманной классификации, то тогда можно надеяться, что задание пространства признаков само по себе задает свой- ство, под действием которого образы в этом пространстве лег- ко разделяются. Именно эти надежды по мере развития работ в области распознавания образов стимулировали появление гипотезы компактности, которая гласит: образам соответству- ют компактные множества в пространстве признаков. Под компактным множеством пока будем понимать некие «сгуст- ки» точек в пространстве изображений, предполагая, что меж- ду этими сгустками существуют разделяющие их разряжения. Однако эту гипотезу не всегда удавалось подтвердить экс- периментально, но, что самое главное, те задачи, в рамках кото- рых гипотеза компактности хорошо выполнялась (рис. 35, а), все без исключения находили простое решение. И наоборот, те задачи, для которых гипотеза не подтверждалась (рис. 35, б), либо совсем не решались, либо решались с большим тру- дом с привлечением дополнительных ухищрений. Этот факт заставил усомниться в справедливости гипотезы компактнос- ти, так как для опровержения любой гипотезы достаточно од- ного отрицающего ее примера. Вместе с этим выполнение ги- потезы всюду, где удавалось хорошо решить задачу обучения распознаванию образов, сохраняло к ней интерес. Сама гипо- теза компактности превратилась в признак возможности удов- летворительного решения задач распознавания. Формулировка гипотезы компактности подводит вплотную к понятию абстрактного образа. Если координаты простран- ства выбирать случайно, то и изображения в нем будут рас- пределены случайно. Они будут в некоторых частях простран- ства располагаться более плотно, чем в других. Назовем неко-
- 107. 107 торое случайно выбранноепространство абстрактным изобра- жением. В этом абстрактном пространстве почти наверняка будут существовать компактные множества точек. Поэтому в соответствии с гипотезой компактности множества объекты, которым в абстрактном пространстве соответствуют компакт- ные множества точек, разумно назвать абстрактными образа- ми данного пространства. 11.2. Структурированный (лингвистический) подход к теории распознавания образов Наряду с геометрической интерпретацией проблемы распоз- навания образов существует и иной подход, который назван структурным, или лингвистическим. Поясним его на примере распознавания зрительных изображений. Сначала выделяет- ся набор исходных понятий — типичных фрагментов, встре- чающихся на изображениях, и характеристик взаимного рас- положения фрагментов — «слева», «снизу», «внутри» и т. д. Эти исходные понятия образуют словарь, который позволяет строить различные логические высказывания, иногда называ- емые предположениями. Задача состоит в том, чтобы из боль- шого количества высказываний, которые могли бы быть пост- роены с использованием этих понятий, отобрать наиболее су- щественные для каждого конкретного случая. Далее, просматривая конечное и по возможности неболь- шое число объектов из каждого образа, нужно построить опи- сание этих образов. Построенные описания должны быть столь полными, чтобы решить вопрос о том, к какому образу принад- лежит данный объект. При реализации лингвистического под- хода возникают две задачи: задача построения исходного сло- варя, т. е. набор типичных фрагментов, и задача построения правил описания из элементов заданного словаря. В рамках лингвистической интерпретации проводится ана- логия между структурой изображений и синтаксисом языка. Стремление к этой аналогии было вызвано возможностью ис- пользовать аппарат математической лингвистики, т. е. методов, по своей природе являющихся синтаксическими. Использова- ние аппарата математической лингвистики для описания струк- туры изображений можно применять только после того как
- 108. 108 произведена сегментация изображенийна составные части, т.е. выработаны слова для описания типичных фрагментов и ме- тоды их поиска. После предварительной работы, обеспечиваю- щей выделение слов, возникают собственно лингвистические задачи, состоящие из задач автоматического грамматического разбора описаний для распознавания изображений. При этом проявляется самостоятельная область исследований, которая требует не только знания основ математической лингвистики, но и владения приемами, разработанными специально для лин- гвистической обработки изображений. 11.3. Метод потенциальных функций Предположим, что требуется разделить два непересекаю- щихся образа V1 и V2 . Это значит, что в пространстве изобра- жений существует по крайней мере одна функция, которая полностью разделяет множества, соответствующие образам V1 и V2 . Эта функция должна принимать положительные значе- ния в точках, которые соответствуют объектам, принадлежа- щим образу V1 , и отрицательные — в точках образа V2 . В общем случае таких разделяющих функций может быть мно- го — тем больше, чем компактней разделяемые множества. В процессе анализа требуется построить одну из этих функций, иногда в некотором смысле наилучшую. Метод потенциальных функций связан со следующей про- цедурой. В процессе анализа с каждой точкой пространства изображений, соответствующей единичному объекту из обуча- ющей последовательности, связывается функция U(X, Xi ), за- данная на всем пространстве и зависящая от Xi как от пара- метра. Такие функции называются потенциальными, так как они напоминают функции потенциала электрического поля вокруг точечного электрического заряда. Изменение потенци- ала электрического поля по мере удаления от заряда обратно пропорционально квадрату расстояния. Потенциал, таким об- разом, может служить мерой удаления точки от заряда. Когда поле образовано несколькими зарядами, потенциал в каждой точке этого поля равен сумме потенциалов, создаваемых в этой точке каждым из зарядов. Если заряды, образующие поле, рас- положены компактной группой, потенциал поля будет иметь
- 109. 109 наибольшее значение внутригруппы зарядов и убывать по мере удаления от нее. Обучающей последовательности объектов соответствует последовательность векторов X1 , X2 , …, с которыми в простран- стве изображений связана последовательность U(X, X1 ), U(X, X2 ), … потенциальных функций, используемых для по- строения функций f(X1 , X2 , …). По мере увеличения числа объектов в процессе обучения функция f должна стремиться к одной из разделяющих функций. В результате обучения могут быть построены потенциальные функции для каждого образа .),(,),( 2211 21 VX i VX i XXUUXXUU В качестве разделяющей функции f(X) можно выбрать функцию вида f(X) = U1 (X) – – U2 (X), которая положительна для объектов одного образа и отрицательна для объектов другого. В качестве потенциальной функции рассмотрим функцию вида ,)()()()(),( 11 2 j ijj j ijjji XXXXXXU где j (X) — линейно независимая система функций; j — дей- ствительные числа, отличные от нуля для всех j = 1, 2, …; Xi — точка, соответствующая i объекту из обучающей последова- тельности. Предполагается, что j (X) и U(X, Xi ) ограничены при X V1 V2 , j (X) = j j (X). В процессе обучения предъявляется обучающая последова- тельность, и на каждом n-м такте обучения строится прибли- жение fn (X), которое характеризуется следующей основной рекуррентной процедурой: fn+1 (X) = qn fn (X) + rn U(Xn+1 ,X). Разновидности алгоритмов потенциальных функций отли- чаются выбором значений qn и rn , которые являются фиксиро- ванными функциями номера n. Как правило, qn 1, а rn выби- рается в виде rn n (S(fn (Xn+1 ), f(Xn+1 ))), где S(fn , f) — невоз- растающие функции, причем S(f, f) 0; S(fn , f) 0, если fn f; S(fn , f) 0, если fn < f. Коэффициенты n представляют собой неотрицательную чис- ловую последовательность, зависящую только от номера n. Кроме того, 1n n и 1 2 n n (например, n n 1 ).
- 110. 110 Разработано несколько вариантовалгоритмов потенциаль- ных функций, различие между которыми состоит в выборе законов коррекции разделяющей функции от шага к шагу, иными словами, в выборе коэффициентов rn . Приведем два основных алгоритма потенциальных функций. Будем считать, что f0 (x) 0. Пусть в результате применения алгоритма после n шагов построена разделяющая функция fn (X), а на (n + 1) шаге предъявлено изображение Xn+1 , для которого известно действительное значение разделяющей фун- кции f(Xn+1 ). Тогда функция fn+1 (X) строится по следующему правилу: ).,())()((sign)( 11111 nnnnnnn XXUXfXfXff Во втором алгоритме также принимается, что f0 (x) 0. Пе- реход к следующему приближению, т. е. переход от функции fn (X) к fn+1 (X), осуществляется в результате следующей ре- куррентной процедуры: ),,( 1 ))()(()( 1111 nnnnnn XXUXfXfXff где — произвольная положительная константа, удовлетво- ряющая условию ).,max( 2 1 iXX 11.4. Метод группового учета аргументов Заимствование алгоритмов переработки информации у при- роды является одной из основных идей кибернетики. «Гипоте- за селекции» утверждает, что алгоритм массовой селекции ра- стений или животных является оптимальным алгоритмом пе- реработки информации в сложных задачах. При массовой се- лекции высевается некоторое количество семян. В результате опыления образуются сложные наследственные комбинации. Селекционеры выбирают некоторую часть растений, у кото- рых интересующее их свойство выражено лучше всего (эври- стический критерий). Семена этих растений собирают и снова высевают для образования новых, еще более сложных комби- наций. Через несколько поколений селекция останавливается, и ее результат является оптимальным. Если чрезмерно про- должать селекцию, то наступит «инцухт» — вырождение рас- тений. Существует оптимальное число поколений и оптималь- ное количество семян, отбираемых в каждом из них.
- 111. 111 Алгоритмы методов групповогоучета аргументов воспроиз- водят схему массовой селекции. В них есть генераторы услож- няющихся из ряда в ряд комбинаций и пороговые самоотборы лучших из них. Так называемое «полное» описание объекта = f(x1 , x2 , …, xm ), где f — некоторая элементарная функция, например степенной полином, заменяется несколькими ряда- ми «частных» описаний: первый ряд селекции: y1 = f(x1 ,x2 ); y2 = f(x2 ,x3 ); ...; ys = f(xm–1 ,xm ); второй ряд селекции: z1 = f(y1 ,y2 ); z2 = f(y2 ,y3 ); ...; zp = f(ys–1 ,ys ), где s = m/2; p = m/4; f(xi ,xj ) = a0 + a1 xi + a2 xj + a3 xi xj и f(yi ,yj ) = a0 + a1 yi + a2 yj + a3 yi yj + a4 yi 2 + a5 yj 2 . Ряды селекции можно продолжать и дальше. Входные аргументы и промежуточные переменные сопря- гаются попарно, и сложность комбинаций на каждом ряду об- работки информации возрастает (как при массовой селекции), пока не будет получена единственная модель оптимальной сложности. Каждое частное описание является функцией только двух аргументов. Поэтому его коэффициенты легко определить по данным обучающей последовательности при малом числе уз- лов интерполяции. Исключая промежуточные переменные, можно получить «аналог» полного описания. Математика не запрещает обе эти операции. Например, по десяти узлам ин- терполяции можно получить в результате оценки коэффици- ентов полинома сотой степени и т. д. Из ряда в ряд селекции пропускается только некоторое количество самых регулярных переменных. Степень регуляр- ности оценивается по величине среднеквадратичной ошибки (средней для всех выбираемых в каждом поколении перемен- ных или для одной самой точной переменой) на отдельной проверочной последовательности данных. Иногда в качестве показателя регулярности используется коэффициент корре- ляции. Ряды селекции наращиваются до тех пор, пока регулярность повышается. Как только достигнут минимум ошибки, селек- цию, во избежание «инцухта», следует остановить. Практичес-
- 112. 112 ки рекомендуется остановитьселекцию даже несколько рань- ше достижения полного минимума, как только ошибка начи- нает падать слишком медленно. Это приводит к более про- стым и более достоверным уравнениям. Сложность модели группового учета аргументов увеличи- вается от ряда к ряду селекции, как по числу учитываемых аргументов, так и по степени. Степень полного описания быс- тро растет. В связи с этим минимум критерия селекции нахо- дится быстро, но не совсем точно. Кроме того, имеется опас- ность потери существенного аргумента, особенно на первых рядах селекции (в случае отсутствия протекции). Специаль- ные теоремы теории метода группирования аргументов опре- деляют условия, при которых результат селекции не отличает- ся от результата полного перебора моделей. Чтобы степень полного уравнения повышалась с каждым рядом селекции на единицу, достаточно рассматривать все ар- гументы и их ковариации как обобщенные аргументы и пользо- ваться составленными для них линейными описаниями. 11.5. Метод предельного упрощения По тому, как организован процесс распознавания образов, выделяют два подхода. Первый основан на построении слож- ных разделяющих поверхностей в случайно выбранных про- странствах, а во втором центр тяжести проблемы переносится на достижение понимания принципов формирования такого описания объектов, в рамках которого сам процесс распозна- вания чрезвычайно прост. Обучение в этом случае рассматри- вается как некий процесс конструирования пространств для решения конкретных задач. В методе последовательного упрощения предполагается, что разделяющая функция задается заранее в виде линейного по- линома, а процесс обучения состоит в конструировании такого пространства минимальной размерности, в котором заранее заданная наиболее простая разделяющая функция безошибочно разделяет обучающую последовательность. Метод последова- тельного упрощения назван так потому, что в нем строится самое простое решающее правило в пространстве небольшой размерности.
- 113. 113 Пусть на некотороммножестве объектов V заданы два под- множества V1 * и V2 * , определяющие собой образы на обучаю- щей последовательности V. Рассмотрим свойство объектов, такое, что некоторые объекты обучающей последовательности этим свойством обладают, а другие — нет. Пусть заданным свойством обладают объекты, образующие подмножество V1i , а объекты подмножества V2i этим свойством не обладают (V1i V2i = V). Данное свойство называют признаком перво- го типа относительно образа V1 * , если выполняются соотноше- ния VV * 1 и ,* 2 * 21 VVVi и признаком второго типа, если выполняются соотношения VV * 1 и .* 21 VVi Если свой- ство не обладает ни одной из приведенных особенностей, то оно вообще не относится к признакам и не участвует в форми- ровании пространства. Аналогично можно ввести понятие при- знака первого типа относительно образа V2 * . Одинаковые признаки — это два признака xi и xj , порожда- ющие подмножества V1j , V2j , V1i , V2i , такие, что V1j = V1i и V2j = V2i . Доказано утверждение, смысл которого заключается в том, что если пространство конструировать из однотипных, но нео- динаковых признаков, то в конце концов будет построено та- кое пространство, в котором обучающая последовательность будет безошибочно разделена на два образа линейным реша- ющим правилом. Метод предельных упрощений состоит в том, что в процес- се обучения последовательно проверяются все возможные свой- ства объектов и из них выбираются только такие, которые об- ладают хотя бы одной из особенностей, описанных выше. Та- кой отбор однотипных, но неодинаковых признаков продол- жается до тех пор, пока при некотором значении размерности пространства не наступит безошибочное линейное разделение образов на обучающей последовательности. В зависимости от того, из признаков какого типа строится пространство, в качестве разделяющей плоскости выбирается плоскость, описываемая урав- нением ,0)5,0( 1 n i i nx либо уравнением .01 1 n i ix Каж-
- 114. 114 дый объект относитсяк одному из образов в зависимости от того, по какую сторону относительно плоскости находится со- ответствующий этому объекту вектор в пространстве призна- ков размерности n. 11.6. Коллективы решающих правил Давно известны приемы повышения качества принимаемых решений, состоящие в объединении специалистов той или иной области знаний в коллектив, вырабатывающий совместное ре- шение. Идею коллективного решения можно применить и к «коллективу» формальных алгоритмов, что позволит повысить эффективность решения многих задач. Для рационального использования особенностей различных алгоритмов при решении задач распознавания возможно объе- динить различные по характеру алгоритмы распознавания в коллективы, которые формируют классификационное реше- ние на основе правил, принятых в теории коллективных реше- ний. Пусть в некоторой ситуации Х принимается решение S. Тогда S = R(X), где R — алгоритм принятия решения в ситу- ации X. Предположим, что существует L различных алгорит- мов решения задачи, т. е. Si = Ri (X), i = 1, 2, ..., L, где Si — решение, полученное алгоритмом Ri . Будем называть множе- ство алгоритмов {R} = {R1 , R2 , ..., RL } коллективом алгоритмов решения задачи (коллективом решающих правил), если на множестве решений {Si } в любой ситуации Х определено ре- шающее правило F, т. е. S = F(S1 , S2 , ..., SL , X). Алгоритмы Ri принято называть членами коллектива, Si — решением i-го члена коллектива, а S — коллективным решением. Функция F определяет способ обобщения индивидуальных решений в решения коллектива S. Поэтому синтез функции F, или спо- соб обобщения, является центральным моментом в организа- ции коллектива. Принятие коллективного решения может быть использова- но при решении различных задач. Так, в задаче управления под ситуацией понимается ситуация среды и целей управле- ния, а под решением — самоуправление, приводящее объект в целевое состояние. В задачах прогноза Х — исходное, а S — прогнозируемое состояние. В задачах распознавания образов
- 115. 115 ситуацией Х являетсяописание объекта X, т. е. его изображе- ние, а решением S — номер образа, к которому принадлежит наблюдаемое изображение. Индивидуальное и коллективное решения в задаче распознавания состоят в отнесении некото- рого изображения к одному из образов. Наиболее интересны- ми коллективами распознающих алгоритмов являются такие, в которых существует зависимость веса каждого решающего правила Ri от распознаваемого изображения. Например, вес решающего правила Ri может определяться соотношением ,если,0 ,если,1 )( i i i BX BX X где Bi — область компетентности решающего правила Ri . Веса решающих правил выбираются так, что 1)( 1 L i i X для всех возможных значений X. Данное соотношение означает, что решение коллектива определяется решением того решающего правила Ri , области компетентности которого принадлежит изображение объекта X. Такой подход представляет собой дву- хуровневую процедуру распознавания. На первом уровне оп- ределяется принадлежность изображения к той или иной об- ласти компетентности, а уже на втором — вступает в силу решающее правило, компетентность которого максимальна в найденной области. Решение этого правила отождествляется с решением всего коллектива. Основным этапом в такой орга- низации коллективного решения является обучение распозна- ванию областей компетентности. Практически постановкой этой задачи различаются правила организации решения коллекти- ва. Области компетентности можно искать, используя вероят- ностные свойства правил коллектива, можно применить гипо- тезу компактности и считать, что одинаковым правилам долж- ны соответствовать компактные области, которые можно выде- лить алгоритмами самообучения. В процессе обучения снача- ла выделяются компактные множества и соответствующие им области, а затем в каждой из этих областей восстанавливается свое решающее правило. Решение такого правила, действую- щего в определенной области, объявляется диктаторским, т. е. отождествляется с решением всего коллектива.
- 116. 116 11.7. Кластерный анализ Кластерныйанализ предназначен для разбиения множества объектов на заданное или неизвестное число классов на осно- вании некоторого математического критерия качества класси- фикации (англ. cluster гроздь, пучок, скопление, группа эле- ментов, характеризуемых каким-либо общим свойством). Кри- терий качества кластеризации в той или иной мере отражает следующие неформальные требования: — внутри групп объекты должны быть тесно связаны между собой; — объекты разных групп должны быть далеки друг от друга; — при прочих равных условиях распределения объектов по группам должны быть равномерными. Первое и второе требования выражают стандартную кон- цепцию компактности классов разбиения, третье требование состоит в том, чтобы критерий не навязывал объединения от- дельных групп объектов. Узловым моментом в кластерном анализе считается выбор метрики (или меры близости объектов), от которого решаю- щим образом зависит окончательный вариант разбиения объек- тов на группы при заданном алгоритме разбиения. В каждой конкретной задаче этот выбор производится по-своему, с уче- том главных целей исследования, физической и статистичес- кой природы используемой информации и т. п. Другой важной величиной в кластерном анализе является расстояние между целыми группами объектов. Приведем при- меры наиболее распространенных расстояний и мер близости, характеризующих взаимное расположение отдельных групп объектов. Пусть wi — i-я группа (класс, кластер) объектов; Ni — число объектов, образующих группу wi ; i — среднее арифметическое объектов, входящих в wi (другими словами, «центр тяжести» i-й группы), a q(wl , wm ) — расстояние меж- ду группами wl и wm . Расстояние ближайшего соседа есть расстояние между бли- жайшими объектами кластеров: ).,(min),( 21, 1min ji wxwx m xxdwwq ji
- 117. 117 Расстояние дальнего соседа— расстояние между самыми дальними объектами кластеров: ).,(max),( 21, 1max ji wxwx m xxdwwq ji Расстояние центров тяжести равно расстоянию между цен- тральными точками кластеров: q(w1 ,wm ) = d(1 ,m ). Обобщен- ное (по Колмогорову) расстояние между классами, или обоб- щенное K-расстояние, вычисляется по формуле .),( 1 ),( 11 1 )( i mjx x ji m m K xxd NN wwq В частности, при и при – соответственно имеем ),(),( 1max1 )( mm K wwqwwq и ).,(),( 1min1 )( mm K wwqwwq Геометрическая интерпретация введенных расстояний пред- ставлена на рис. 36. Рис. 36. Геометрическая интерпретация расстояний: 1 — расстояние ближайшего соседа; 2 — расстояние дальнего соседа; 3 — расстояние центров тяжести 1 m w1 wm 1 2 3 Выбор той или иной меры расстояния между кластерами влияет главным образом на вид выделяемых алгоритмами кластерного анализа геометрических группировок объектов в пространстве признаков. Так, алгоритмы, основанные на рас- стоянии ближайшего соседа, хорошо работают в случае груп- пировок, имеющих сложную, в частности, цепочечную, структу- ру. Расстояние дальнего соседа применяется, когда искомые группировки образуют в пространстве признаков шаровидные
- 118. 118 облака. И промежуточноеместо занимают алгоритмы, исполь- зующие расстояния центров тяжести и средней связи, которые лучше всего работают в случае группировок эллипсоидной формы. Нацеленность алгоритмов кластерного анализа на опреде- ленную структуру группировок объектов в пространстве при- знаков может приводить к неоптимальным или даже непра- вильным результатам, если гипотеза о типе группировок не- верна. В случае отличия реальных распределений от гипоте- тических указанные алгоритмы часто «навязывают» данным не присущую им структуру и дезориентируют исследователя. Поэтому экспериментатор, учитывающий данный факт, в усло- виях априорной неопределенности прибегает к применению батареи алгоритмов кластерного анализа и отдает предпочте- ние какому-либо выводу на основании комплексной оценки совокупности результатов работы этих алгоритмов. Алгоритмы кластерного анализа отличаются большим раз- нообразием. Это могут быть, например, алгоритмы, реализую- щие полный перебор сочетаний объектов или осуществляю- щие случайные разбиения множества объектов. В то же время большинство таких алгоритмов состоит из двух этапов. На первом этапе задается начальное (возможно, искусственное или даже произвольное) разбиение множества объектов на классы и определяется некоторый математический критерий качества автоматической классификации. Затем, на втором этапе, объекты переносятся из класса в класс до тех пор, пока значение кри- терия не перестанет улучшаться. Многообразие алгоритмов кластерного анализа обусловле- но также множеством различных критериев, выражающих те или иные аспекты качества автоматического группирования. Простейший критерий качества непосредственно базируется на величине расстояния между кластерами. Однако такой кри- терий не учитывает «населенность» кластеров — относитель- ную плотность распределения объектов внутри выделяемых группировок. Поэтому другие критерии основываются на вы- числении средних расстояний между объектами внутри клас- теров. Но наиболее часто применяются критерии в виде отно- шений показателей «населенности» кластеров к расстоянию
- 119. 119 между ними. Это,например, может быть отношение суммы межклассовых расстояний к сумме внутриклассовых (между объектами) расстояний или отношение общей дисперсии дан- ных к сумме внутриклассовых дисперсий и дисперсии цент- ров кластеров. Функционалы качества и конкретные алгоритмы автомати- ческой классификации достаточно полно и подробно рассмот- рены в специальной литературе. Эти функционалы и алгорит- мы характеризуются различной трудоемкостью и подчас тре- буют ресурсов высокопроизводительных компьютеров. Раз- нообразные процедуры кластерного анализа входят в состав практически всех современных пакетов прикладных программ для статистической обработки многомерных данных. Кластерный анализ является описательной процедурой, он не позволяет сделать никаких статистических выводов, но дает возможность провести своеобразную разведку — изучить «структуру совокупности». Контрольные вопросы к разделу 11 1. Понятие дискриминантного анализа. 2. В чем отличие дискриминантного анализа от регрессион- ного анализа. 3. Задачи дискриминантного анализа. 4. Геометрический подход к теории распознавания образов. 5. Случаи простого разделения в теории распознавания образов. 6. Гипотеза компактности. 7. Структурированный (лингвистический) подход к теории распознавания образов. 8. Метод потенциальных функций. 9. Метод группового учета аргумента. 10. Метод предельного упрощения. 11. Коллективы решающих правил. 12. Кластерный анализ.
- 120. 120 ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ обучающая последовательность объектов,109 однофакторный дисперсионный ана- лиз, 42 оценка параметра, 32 потенциальная функция, 110 принцип Байеса, 102 псевдослучайная последователь- ность, 92 случайные величины, 15 случайные процессы, 74 случайные события, 14 среднеквадратичное отклонение, 19 статистическая гипотеза, 35 статистическое имитационное моде- лирование, 88 стохастическая зависимость, 46 стохастическая модель, 8 таблица сопряженности, 65 теория массового обслуживания, 83 точность регрессионного прогноза, 63, 67, 69 тренд временного ряда, 76 уравнение регрессии, 47 функция плотности распределения, 17 функция распределения, 16 частота, 28 эксцесс, 22 эмпирическая функция распределе- ния, 30 энтропия, 70 адекватность модели, 5 ассиметрия, 21 выборка, 27 Гауссовский случайный процесс, 79 генеральная совокупность, 28 гипотеза компактности, 107 детерминированная модель, 8 дискриминантный анализ, 103 дисперсионный анализ, 42 дисперсия, 19 доверительная вероятность, 33 доверительный интервал, 33 имитационное моделирование, 87 канал обслуживания, 83 качественная шкала, 14 квантиль, 23 кластерный анализ, 117 количественная шкала, 14 коэффициент детерминации, 53 коэффициент корреляции, 48 коэффициент сопряженности, 66 криволинейная регрессия, 55 критерий Колмагорова—Смирнова, 39 критерий согласия хи-квадрат, 39 линия регрессии, 47 математическое моделирование, 6 математическое ожидание, 19 матрица сопряженности, 64 медиана, 21 многофакторная регрессия, 57, 64, 66 мода, 20 модель, 3
- 121. 121 Литература 1. Гмурман В.Е.Теория вероятностей и математическая статистика. М.: Высш. школа, 1972. 2. Математическая статистика / Под ред. А.М. Длина. М.: Высш. школа, 1975. 3. Котюков В.И. Численные методы многофакторного статистического анализа данных на ЭВМ (в задачах транспорта и строительства): Учеб. пособие. Новосибирск, 1986. 4. Колемаев В.А., Староверов О.В., Турундаевский В.Б. Теория веро- ятностей и математическая статистика. М.: Высш. школа, 1991. 5. Минько А.А. Статистический анализ в MS Excel. М.: Изд. дом «Ви- льямс», 2004. 448 с. 6. Айвазян С.А., Мешалкин Л.Д. Прикладная статистика: Исследова- ние зависимостей. М.: Финансы и статистика, 1985. 7. Тюрин Ю.Н., Макаров А.А. Статистический анализ данных на ком- пьютере. М.: Инфра-М, 1998. 8. Губарь Ю.В. Интернет университет. Информационные технологии. Курс «Введение в математическое моделирование». http://www.intuit.ru 9. Экономико-математические модели и методы: Учеб. пособие для студ. экон. спец. БГУИР всех форм обуч. / Под ред. С.А. Поттосина, В.А. Журавлева. Минск: БГУИР, 2003. 94 с. 10. Кнут Д. Искусство программирования для ЭВМ. Получисленные алгоритмы. Т. 2. М.: Мир, 1977. 11. Сотник С.А. Интернет университет. Информационные технологии. Курс «Проектирование систем искусственного интеллекта». http:// www.intuit.ru 12. Лидовский В.В. Теория информации: Учеб. пособие. М., 2003. 13. Моделирование систем: Метод. указ. к выполнению лабораторных заданий / Сост. В.И. Котюков, Э.А. Усова. Новосибирск 2007. 14. Практикум по эконометрике: Учеб. пособие / И.И. Елисеева, С.В. Курышева, Н.М. Гордиенко и др.; Под ред. И.И. Елисеевой. М.: Финансы и статистика, 2004. 192 с.
- 122. 122 Оглавление Введение ........................................................................................................ 3 1.Математические модели и их классификация ................................................ 5 Контрольные вопросы к разделу 1 ............................................................. 14 2. Случайные события, случайные величины ................................................... 14 2.1. Случайные величины ......................................................................... 15 2.2. Основные числовые характеристики .................................................... 18 2.3. Некоторые специальные законы распределения ..................................... 23 Контрольные вопросы к разделу 2 ............................................................. 27 3. Точечные и интервальные оценки случайных величин. Статистическая проверка гипотез ................................................................................................... 27 3.1. Частота ............................................................................................ 28 3.2. Оценка параметров ............................................................................ 31 3.3. Примеры оценок ................................................................................ 32 3.4. Доверительный интервал .................................................................... 33 3.5. Статистическая проверка гипотез ........................................................ 35 3.6. Проверка простой гипотезы о том, что значение математического ожидания равняется значению b ......................................................................... 38 3.7. Проверка гипотезы о законе распределения F(x) .................................. 38 Контрольные вопросы к разделу 3 .............................................................. 40 4. Дисперсионный анализ .............................................................................. 42 4.1. Однофакторный дисперсионный анализ ............................................... 42 4.2. Применение дисперсионного анализа для проверки гипотезы о несущественном влиянии качественного фактора на количественный фактор .............................................................................................. 43 4.3. Применение дисперсионного анализа для проверки гипотез о равенстве математических ожиданий двух нормально распределенных совокупностей с различными дисперсиями ............................................. 45 Контрольные вопросы к разделу 4 ............................................................. 46 5. Корреляционный и регрессионный анализы ................................................. 46 5.1. Элементы теории корреляционного и регрессионного анализа ................. 46 5.2. Криволинейная регрессия ................................................................... 55 5.3. Многофакторная регрессия ................................................................. 57 Контрольные вопросы к разделу 5 ............................................................. 63 6. Анализ зависимости между качественными факторами ................................. 64 6.1. Анализ зависимости между классификационными переменными ............. 64 6.2. Анализ зависимости между порядковыми переменными ......................... 66 Контрольные вопросы к разделу 6 ............................................................. 70 7. Вероятностные основы теории информации ................................................. 70 7.1. Энтропия простой системы ................................................................. 70 7.2. Энтропия сложной системы ................................................................ 72 7.3. Зависимые системы и условная энтропия .............................................. 72 7.4. Информация ..................................................................................... 73 Контрольные вопросы к разделу 7 ............................................................. 74 8. Случайные процессы и временные ряды ...................................................... 74 8.1. Трендовые модели временного ряда ..................................................... 76 8.2. Числовые характеристики случайных процессов ................................... 78 8.3. Методы устранения тенденции в трендовых моделях ............................. 80 8.4. Модели, включающие фактор и время ................................................. 80 8.5. Модели с распределенным лагом ......................................................... 81 8.6. Авторегрессионные модели ................................................................. 82 Контрольные вопросы к разделу 8 ............................................................. 83
- 123. 123 9. Элементы теориимассового обслуживания .................................................. 83 Контрольные вопросы к разделу 9 ............................................................. 87 10. Имитационное моделирование систем........................................................ 87 10.1. Генерация равномерно распределенных случайных величин ................. 92 10.2. Методы проверки качества псевдослучайных чисел с равномерным законом распределения ....................................................................... 96 Контрольные вопросы к разделу 10 ........................................................... 101 11. Дискриминантный анализ (теория распознавания образов) ........................102 11.1. Геометрический подход к теории распознавания образов ..................... 103 11.2. Структурированный (лингвистический) подход к теории распознавания образов ............................................................................................ 107 11.3. Метод потенциальных функций ........................................................ 108 11.4. Метод группового учета аргументов .................................................. 110 11.5. Метод предельного упрощения ......................................................... 112 11.6. Коллективы решающих правил ......................................................... 114 11.7. Кластерный анализ ......................................................................... 116 Контрольные вопросы к разделу 11 ........................................................... 119 Предметный указатель..................................................................................120 Литература .................................................................................................. 121
- 124. РедакторИ.В.Васильева Компьютерная верстка Ю.В.Борцова Учебное издание Усова Эльвира Анатольевна, Котюков Владислав Игоревич МОДЕ ЛИРОВА НИЕ СИ СТЕМ Учебное пособие Изд.лиц.ЛР№021277от06.04.98. Подписановпечать19.05.08. 7,75печ.л. 6,8уч.-изд.л. Тираж100экз. Заказ № 1907 ИздательствоСибирскогогосударственногоуниверситетапутейсообщения 630049Новосибирск,ул.Д.Ковальчук,191 Тел./факс: (383) 328-03-81. Е-mail: press@stu.ru