проста лінійна регресія

1. ПРОСТА ЛІНІЙНА РЕГРЕСІЯ

2. ( , )
ξ η
,
,
M M
D D
ξ η
ξ η
( )
M
Kξη
= ξη - коваріаційний момент
( )( )
[ ]
M M M
Rξη= ξ − ξ η− η - кореляційний момент
( )
M M M
Rξη
= ξη − ξ η
D D
R R
ξη ξη
ξη
ξ η
ρ
= =
σ σ
ξ η
, 1 1
ξη
− ≤ ρ ≤ - коефіцієнт кореляції

3. Задача. На основі спостереження випадкової величини ξ
побудувати оптимальну оцінку ( )
ˆ f
η
= ξ випадкової величини η
Критерій оптимальності: ( ) ( )
2 2
( ) min
ˆ
M M f
η− η
= ξ − η →
Обмежимося класом лінійних функцій (чому?)
( )
f x a bx
= +
ˆ a b
η= + ξ - лінійна оцінка (лінійний прогноз)
ˆ
ε = η− η - похибка,
( ) ( )
2 2
( , ) ( )
ˆ
M M
h a b a b
= η− η= + ξ − η (дисперсія похибки)
Треба знайти такі ,
a b щоб ( , ) min
h a b →
!!! Мінімум існує і він один

4. Розв’язок.
( ) ( )
2 2 2 2 2
2 2 2 2
( , ) ( ) 2 2 2
2 2 2
M M
M M M M M
h a b a b a ab b a b
a ab b a b
= + ξ − η
= + ξ + ξ − η− ξη+ η
=
= + ξ + ξ − η− ξη+ η
2
( , )
2 2 2
( , )
2 2 2
M M
M M M
h a b
a b
a
h a b
a b
b
∂
 = + ξ − η
 ∂

∂
 = ξ + ξ − ξη
 ∂
2
0
0
M M
M M M
a b
a b
+ ξ − η =


ξ + ξ − ξη =

( )
2
2 2
M M
M M
M M =M M M M M M
a b
a b
a b b b
= η− ξ
+ ξ= η 

⇒
 
ξ + ξ ξη ξ η− ξ + ξ= ξη
 

5. ( )
( )
2
2
M M M M
D
M M M M M
a b a b
b R
b ξη
= η− ξ
 = η− ξ


=
 
ξ =
ξ − ξ = ξη− ξ η 


M M
D
a b
R
b ξη
= η− ξ



=
 ξ

або
M M
a b
b η
ξη
ξ
= η− ξ


σ

= ρ
 σ

Для оптимальних значень ,
a b
2
(1 )
D D
ξη
ε= −ρ η

6. Оцінки
Вибірка:
1 1
2 2
( , )
( , )
...
( , )
n n
ξ η
ξ η
ξ η
1 1
1 1
,
n n
k k
k k
n n
=
ξ
= ξ η
= η
∑ ∑ ( ) ( )
2 2
2 2
1 1
1 1
,
ˆ ˆ
1 1
n n
k k
k k
n n
ξ η
= =
σ
= ξ − ξ σ
= η − η
− −
∑ ∑
( )( )
1
1
ˆ
1
n
k k
k
R
n
ξη
=
= ξ − ξ η − η
−
∑ - емпіричний кореляційний момент
( )( )
( ) ( )
1
2 2
2
2
1 1
ˆ
ˆ
ˆ ˆ
n
k k
k
n n
k k
k k
Rξη =
ξη
ξ η
= =
ξ − ξ η − η
ρ =
σ ⋅σ
ξ − ξ η − η
∑
∑ ∑
- емпіричний коеф. кореляції

7. Оцінки параметрів лінійної регресії
( )( )
( )
1
2
2
1
ˆ
ˆ ˆ
, ˆ
ˆ
n
k k
k
n
k
k
R
b a b
ξη =
ξ
=
ξ − ξ η − η
= = = η− ξ
σ
ξ − ξ
∑
∑
або
ˆ
ˆ ˆ
,
ˆ ˆ
ˆ
b a b
η
ξη
ξ
σ
= ρ = η− ξ
σ

8. ВВП на душу, захворюваність на 1
млн., світ, 7 квітня, лог. масштаб
Питома вага населення >= 65 р.,
смертність на 1 млн., 33 день, лог.
масштаб

9. setosa versicolor virginica