12 introduction to multiple regression model

© 2002 Prentice-Hall, Inc. Chap 14-1
Олон х чин з йлсийнү ү
регрессийн загвар

© 2002 Prentice-Hall, Inc.
Chap 14-2
Дэд сэдэв
 Олон х чин з йлийн регрессийн шугаманү ү
загвар (MLR)
 лдэгдлийн шинжилгээҮ
 Н л ллийн шинжилгээө өө
 Регрессийн загварын ач холбогдлыг шалгах
 Эх олонлогийн регрессийн коэффициентийг
нэлэхү
 Олон х чин з йлийн загварыг хэсэгчлэнү ү
шалгах

Chap 14-3
0 1 1 2 2i i i k ki iY b b X b X b X e= + + + + +L
Population
Y-intercept
Population slopes
Random Error
Multiple Linear Regression Model
Хамааран хувьсагчийн 2 ба түүнээс олон үл
хамааран хувьсагчаас хамаарах хамаарал
Dependent (Response)
variable for sample
Independent (Explanatory)
variables for sample model
1 2i i i k ki iY X X Xβ β β β ε0 1 2= + + + + +L
Residual

Chap 14-4
Population Multiple
Regression Model
X 2
Y
X 1
µ Y X = β 0 + β 1 X 1 i + β 2 X 2 i
β 0
Y i = β 0 + β 1 X 1 i + β 2 X 2 i + ε i
R e s p o n s e
P la n e
( X 1 i,X 2 i)
( O b s e r v e d Y )
ε i
Bivariate model

Chap 14-5
Sample Multiple
Regression Model
X 2
Y
X 1
b 0
Y i
= b 0
+ b 1
X 1 i
+ b 2
X 2 i
+ e i
R e s p o n s e
P la n e
( X 1 i, X 2 i)
( O b s e r v e d Y )
^
e i
Y i = b 0 + b 1 X 1 i + b 2 X 2 i
Bivariate model
Sample Regression PlaneSample Regression Plane

Chap 14-6
Simple and Multiple Linear
Regression Compared: Example
 Two simple regressions:


 Multiple regression:

0 1
0 1
Oil Temp
Oil Insulation
β β
β β
= +
= +
0 1 2Oil Temp Insulationβ β β= + +

Chap 14-7
Multiple Linear
Regression Equation
Гараар
тооцоход
хэцүү! Ouch!

Chap 14-8
Тооцсон коэффициентийг
тайлбарлах нь
 Slope (bi) – нцгийн коэффициентө
 Бусад х чин з йлс тогтмол байхадү ү Xi нэгжээр
с х дө ө ө Y утга дунджаар bi хэмжээгээр
рчл гд хийг илэрхийлнэөө ө ө (ceterus paribus)
 Жишээ: Хэрэв b1 = -2 бол X2 –ийн г гдс нө ө ө
т вшинд температурү (X1) 1 градусаар с х дө ө ө
т лшний хэрэглээү (Y) 2 галлоноор буурахаар
таамаглагдаж байна гэсэн г юм.ү
 Y-intercept (b0) - тогтмол коэффициент
 Xi = 0 байхад Y-ийн авах дундаж утга

Chap 14-9
Multiple Regression Model:
Example
Oil (Gal) Temp Insulation
275.30 40 3
363.80 27 3
164.30 40 10
40.80 73 6
94.30 64 6
230.90 34 6
366.70 9 6
300.60 8 10
237.80 23 10
121.40 63 3
31.40 65 10
203.50 41 6
441.10 21 3
323.00 38 3
52.50 58 10
(0
F)
Нэг өрх гэрийн 1-р сарын
түлшний хэрэглээг дундаж
температур болон инчээрх
тусгаарлагчид суурилан
загвар байгуулъя.

Chap 14-10
1 2
ˆ 562.151 5.437 20.012i i iY X X= − −
Sample Multiple Regression
Equation: Example
Coefficients
Intercept 562.1510092
X Variable 1 -5.436580588
X Variable 2 -20.01232067
Excel Output
Тусгаарлагч тогтмол байхад
температур нэг градусаар өсөхөд
үнэлсэн түлшний хэрэглээний
дундаж түвшин 5.437 галлоноор
буурна.
Температур тогтмол байхад
тусгаарлагч нэг инчээр өсөхөд
үнэлсэн түлшний хэрэглээний
дундаж түвшин 20.012
галлоноор буурна.
0 1 1 2 2
ˆ
i i i k kiY b b X b X b X= + + + +L

Chap 14-11
Венний диаграмм ба
регрессийн тайлбарлах х чү
Oil
Temp
Variations in oil
explained by temp
or variations in
temp used in
explaining variation
in oil
Variations in
oil explained
by the error
term
Variations in
temp not used
in explaining
variation in Oil
( )SSE
( )SSR

Chap 14-12
Oil
Temp
2
r
SSR
SSR SSE
=
=
+
( ргэлжлэлү )

Chap 14-13
Oil
Temp
Insulation
OverlappingOverlapping
variation in
both Temp and
Insulation are
used in
explaining the
variationvariation in Oil
but NOTNOT in the
estimationestimation of
nor
1β
2β
Variation NOTNOT
explained by
Temp nor
Insulation
( )SSE

Chap 14-14
Олон х чин з йлийнү ү
детерминацийн коэффициент
 Б хү Х хувьсагчдын хамтын н л г рө өө өө
тайлбарлагдах Y-ийн нийт хэлбэлзэлд эзлэх
хувь
 Шинэ Х хувьсагч загварт нэмэхэд хэзээ ч
буурдагг йү
 Загваруудыг харьцуулахад сул тал болдог
2
12
Explained Variation
Total Variation
Y k
SSR
r
SST
• = =L

Chap 14-15
Oil
Temp
Insulation
2
12Yr
SSR
SSR SSE
• =
=
+

Chap 14-16
ОХЗ-ийн засварлагдсан
 Х хувьсагчдын тоогоор засварлагдсан, б хү Х
хувьсагчдаар тайлбарлагдах Y-ийн
хэлбэлзлийн хувь

 л хамааран хувьсагчдын хэт их хэрэглээнийҮ
н л г бууруулахө өө
 утгаас бага
 Загваруудыг харьцуулахад хэрэглэдэг
( )2 2
12
1
1 1
1
adj Y k
n
r r
n k
•
− 
= − − − − 
L
2
12Y kr • L

Chap 14-17
ОХЗ-ийн детерминацийн
коэффициент
Regression Statistics
Multiple R 0.982654757
R Square 0.965610371
Adjusted R Square 0.959878766
Standard Error 26.01378323
Observations 15
Excel Output
SST
SSR
r ,Y =2
12
Adjusted r2
 Үл хамааран
хувьсагчдын тоо
болон түүврийн
хэмжээнээс хамаарна
 r2
-аас бага

Chap 14-18
ОХЗ-ийн детерминацийн
коэффициентийн тайлбар

 Т лшний нийт хэлбэлзлийнү 96.56% нь
температурын хэлбэлзэл болон тусгаарлагчийн
хэмжээгээр тайлбарлагдаж байна

 л хамааран хувьсагчид болон т врийн хэмжээгҮ үү
тохируулсны дараа т лшний нийт хэлбэлзлийнү
95.99% нь температурын хэлбэлзэл болон
тусгаарлагчийн хэмжээгээр тайлбарлагдаж байна
2
,12 .9656Y
SSR
r
SST
= =
2
adj .9599r =

Chap 14-19
Прогноз хийхэд загварыг
ашиглах нь
Дундаж температур 300
ба тусгаарлагч 6 инч
ед рх гэрийн хэрэглэх т лшний хэмжээгү ө ү
прогноз хий.
Т лшний прогнозын утгаү
278.97 галлон
( ) ( )
1 2
ˆ 562.151 5.437 20.012
562.151 5.437 30 20.012 6
278.969
i i iY X X= − −
= − −
=

Chap 14-20
лдэгдлийн графикҮ
 лдэгдэл баҮ
 Y хувьсагчийг хувиргах хэрэгтэй байж болох юм
 хувьсагчийг хувиргах хэрэгтэй байж болох юм
 хувьсагчийг хувиргах хэрэгтэй байж болох юм
 лдэгдэл ба хугацааҮ
 Автокорреляци байж болох юм
ˆY
1X
2X
1X
2X

Chap 14-21
лдэгдлийн графикҮ : Жишээ
Insulation Residual Plot
0 2 4 6 8 10 12
No discernable pattern
Temperature Residual Plot
-60
-40
-20
0
20
40
60
0 20 40 60 80
Residuals
May be some non-
linear relationship

Chap 14-22
Н л ллийн шинжилгээө өө
 Загварт н л з лэх йц ажиглалтынө өө ү үү ү
нэгж дийг тодорхойлохүү
 Н л з лж болзошг й ажиглалтынө өө ү үү ү
нэгж дийг загвараас хасахүү
 Дараах шалгуураар тодорхойлно
 The hat matrix elements hi
 The Studentized deleted residuals ti
*
 Cook’s distance statistic Di
 Б х гурван шалгуур иж б рэн байнаү ү
 Б х гурван шалгуур ижил р д нгээр хангасанү ү ү
ед л ажиглалтын нэгжийг хаснаү

Chap 14-23
The Hat Matrix Element hi

 Хэрэв бол Xi н л тэй цэгө өө
болно
 Xi нь загвараас хасахаар нэр дэвшсэн
ажиглалтын нэгж гэж зэж болноү
( )
( )
2
2
1
1 i
i n
i
i
X X
h
n
X X
=
−
= +
−∑
( )2 1 /ih k n> +

Chap 14-24
The Hat Matrix Element hi :
Т лшний жишээү
Oil (Gal) Temp Insulation h i
275.30 40 3 0.1567
363.80 27 3 0.1852
164.30 40 10 0.1757
40.80 73 6 0.2467
94.30 64 6 0.1618
230.90 34 6 0.0741
366.70 9 6 0.2306
300.60 8 10 0.3521
237.80 23 10 0.2268
121.40 63 3 0.2446
31.40 65 10 0.2759
203.50 41 6 0.0676
441.10 21 3 0.2174
323.00 38 3 0.1574
52.50 58 10 0.2268
 hi > 0.4 утга байхг йү
 загвараас хасахаар
нэр дэвших
ажиглалтын нэгж
байхг йү
( )
15 2
2 1 / 0.4
n k
k n
= =
+ =

Chap 14-25
The Studentized Deleted
Residuals ti
*

 : i –р ажиглалтын нэгжээс бусад ажиглалтын
нэгжийг оруулан загвар байгуулаад ажиглалтын
болон нэлсэн хоорондын з рү ө үү
 : i –р ажиглалтын нэгжээс бусад ажиглалтын
нэгжийг оруулан байгуулсан загварын стандарт
алдаа
 Ажиглалтын нэгж бол н л тэй гэжө өө
знэү

нь альфа ач холбогдлын т вшинд хоёр талтү
( )
( )
*
1
i
i
ii
e
t
S h
=
−
iY
ˆ
iY
( )i
S
( )i
e
*
2i n kt t − −>
2n kt − −

Chap 14-26
The Studentized Deleted
Residuals ti
*
:Example
Oil (Gal) Temp Insulation ti
*
275.30 40 3 -0.3772
363.80 27 3 0.3474
164.30 40 10 0.8243
40.80 73 6 -0.1871
94.30 64 6 0.0066
230.90 34 6 -1.0571
366.70 9 6 -1.1776
300.60 8 10 -0.8464
237.80 23 10 0.0341
121.40 63 3 -1.8536
31.40 65 10 1.0304
203.50 41 6 -0.6075
441.10 21 3 2.9674
323.00 38 3 1.1681
52.50 58 10 0.2432
2 11
15 2
1.7957n k
n k
t t− −
= =
= =
 t10
*
ба t13
*
нь загвараас
хасах боломжтой н лө өө
б хий цэг дү үү
*
10t
*
13t

Chap 14-27
Cook’s Distance Statistic Di

 нь Studentized residual
 Хэрэв бол ажиглалтын нэгж н л тэйө өө
гэж знэү

нь 50% ач холбогдлын т вшин дэхү F
тархалтын критик утга
( )
2
2 1
i i
i
i
SR h
D
h
=
−
1
i
i
YX i
e
SR
S h
=
−
1, 1i k n kD F + − −>
1, 1k n kF + − −

Chap 14-28
Cook’s Distance Statistic Di :
Т лшний жишээү
Oil (Gal) Temp Insulation Di
275.30 40 3 0.0094
363.80 27 3 0.0098
164.30 40 10 0.0496
40.80 73 6 0.0041
94.30 64 6 0.0001
230.90 34 6 0.0295
366.70 9 6 0.1342
300.60 8 10 0.1328
237.80 23 10 0.0001
121.40 63 3 0.3083
31.40 65 10 0.1342
203.50 41 6 0.0094
441.10 21 3 0.4941
323.00 38 3 0.0824
52.50 58 10 0.0062
 Di > 0.835 утга байхг йү
 Загвараас хасахаар нэр
дэвших ажиглалтын нэгж
байхг йү
Гурван шалгуурыг
ашиглахад загвараас
ажиглалтын нэгжийг хасах
хангалттай нотолгоо алга
1, 1 3,12
15 2
0.835k n k
n k
F F+ − −
= =
= =

Chap 14-29
Ер нхий ач холбогдлыг шалгахө
 Б хү X хувьсагчид болон Y хооронд шугаман
хамааралтай эсэхийг харуул
 F тестийг ашигла
 Таамаглал:
 H0: β1 = β 2 = … = β k = 0 (шугаман хамаарал байхг йү )
 H1: ядаж нэг β i ≠ 0 (ядаж нэг л хамааран хувьсагчү
Y-т н л лнө өө ө)
 Тэг таамаглал нь маш х чтэй таамаглал юмү
 Бараг б х тохиолдолд тэг таамаглалү
няцаагддаг

Chap 14-30
Test statistic:
F –ийн х ртвэрийн ч л ний зэрэг ньү ө өө p
хуваарийн ч л ний зэрэг ньө өө (n-p-1)
( )
( )
all /
all
SSR pMSR
F
MSE MSE
= =

Chap 14-31
Excel Output: Жишээ
ANOVA
df SS MS F Significance F
Regression 2 228014.6 114007.3 168.4712 1.65411E-09
Residual 12 8120.603 676.7169
Total 14 236135.2
p = 2, л хамааранү
хувьсагчдын тоо n - 1
p value
Test Statistic
MSR
F
MSE
=

Chap 14-32
Жишээ шийдэл
F0 3.89
H0: β 1 = β 2= … = β p = 0
H1: At least one β i β ≠ 0
α = .05
df = 2 ба 12
Критик утга (s):
Тест статистик:
Шийдвэр:
Д гнэлтү :
α = 0.05 ед няцаанаү
Ядаж нэг л хамааранү
хувьсагч Y-т н л лнө өө ө
α =
0.05
F = 168.47
(Excel Output)

Chap 14-33
Ач холбогдлыг шалгах:
Бие даасан хувьсагчид
 Xi болон Y хувьсагчийн хооронд шугаман
хамаарал байгаа эсэхийг харуул
 t тест ашиглана
 H0: β i = 0 (Шугаман хамааралг йү )
 H1: β i ≠ 0 (Xi болон Y хоорондоо шугаман
хамааралтай)

Chap 14-34
t Test Statistic
Excel Output: Example
Coefficients Standard Error t Stat
Intercept 562.1510092 21.09310433 26.65093769
X Variable 1 -5.436580588 0.336216167 -16.16989642
X Variable 2 -20.01232067 2.342505227 -8.543127434
t Test Statistic for X1
(Temperature)
t Test Statistic for X2
(Insulation)
i
i
b
b
t
S
=

Chap 14-35
t тест: Жишээ шийдэл
H0: β 1 = 0
H1: β 1 ≠ 0
df = 12
Critical Value(s):
Тест статистик:
Шийдвэр:
р д нҮ ү :
α = 0.05 т вшиндү H0
няцаагдана
Температур т лшнийү
хэрэглээнд н л тэйг баталнаө өөt0 2.1788-2.1788
.025
Reject H0 Reject H0
.025
Температур т лшний сарын хэрэглээндү
н л тэй юуө өө ? α = 0.05 т вшинд шалгаяү .
t Test Statistic = -16.1699

Chap 14-36
регрессийн загварын нэлэлтү
Oil
Temp
Insulation
Only this
information is
used in the
estimation of 2β
Only this
information is
used in the
estimation of
1β This
information
is NOT used
in the
estimation of
nor1β 2β

Chap 14-37
Параметрийн итгэх интервал
Эх олонлогийн β1 параметрийг 95% итгэх завсраар
хангана (түлшинд температурын нөлөө).
11 1n p bb t S− −±
Coefficients Lower 95% Upper 95%
Intercept 562.151009 516.1930837 608.108935
X Variable 1 -5.4365806 -6.169132673 -4.7040285
X Variable 2 -20.012321 -25.11620102 -14.90844
-6.169 ≤ β1 ≤ -4.704
Температур 10
өсөхөд үнэлсэн түлшний дундаж хэрэглээ
4.7 галлоноос 6.17 галлоноор буурна.

Chap 14-38
Нэг л хамааран хувьсагчү
-ийн хувь нэмэр
 Xk сонирхсон л хамааран хувьсагч гэеү

 Y (SST)-ийн нийт хэлбэлзлийг тайлбарлахад Xk
хувьсагчийн хувь нэмрийг хэмжих
kX
( )
( ) ( )
| all others except
all all others except
k k
k
SSR X X
SSR SSR X= −

Chap 14-39
Нэг л хамааран хувьсагчү
-ийн хувь нэмэрkX
( )
( ) ( )
1 2 3
1 2 3 2 3
| and
, and and
SSR X X X
SSR X X X SSR X X= −
SST-г тайлбарлахад -ийн хувь нэмрийг хэмжих1X
Дараах регрессийн
ANOVA хэсгээс
Дараах регрессийн ANOVA
хэсгээс
0 1 1 2 2 3 3
ˆ
i i i iY b b X b X b X= + + + 0 2 2 3 3
ˆ
i i iY b b X b X= + +

Chap 14-40
-ийн хэсгийн детерминацийн

 Бусад л хамааран хувьсагчид тогтмол едү ү Xk
–аар тайлбарлагдах хамааран хувьсагчийн
хэлбэлзлийн хувийг хэмждэг
( )
( ) ( )
2
all others
| all others
all | all others
Yk
k
k
r
SSR X
SST SSR SSR X
• =
− +
kX

Chap 14-41
-ийн хэсгийн детерминацийн
kX
( )
( ) ( )
1 22
1 2
1 2 1 2
|
, |
Y
SSR X X
r
SST SSR X X SSR X X
• =
− +
Жишээ: Хоёр л хамааран хувьсагчтай загварү

Chap 14-42
Венний диаграмм ба -ийн хэсгийн
kX
Oil
Temp
Insulation
( )1 2|SSR X X
( )
( ) ( )
2
1 2
1 2
1 2 1 2
|
, |
Yr
SSR X X
SST SSR X X SSR X X
• =
− +
=

Chap 14-43
л хамааран хувьсагчдынҮ
багцын хувь нэмэр
Xs нь сонирхсон л хамааран хувьсагчдын багцү
гэе
SST-г тайлбарлах xsбагцын хувь нэмрийг хэмждэг
( )
( ) ( )
| all others except
all all others except
s s
s
SSR X X
SSR SSR X= −

Chap 14-44
л хамааран хувьсагчдынҮ
багцын хувь нэмэр: Жишээ
Xs нь X1 ба X3 гэе
( )
( ) ( )
1 3 2
1 2 3 2
and |
, and
SSR X X X
SSR X X X SSR X= −
Дараах регрессийн ANOVA
хэсгээс
Дараах
регрессийн
ANOVA хэсгээс
0 1 1 2 2 3 3
ˆ
i i i iY b b X b X b X= + + + 0 2 2
ˆ
i iY b b X= +

Chap 14-45
Загварын тест
 л хамааран хувьсагчдынҮ Xs багцын Y
хувьсагчтай хамааралтай хувь нэмрийг
судална
 Тэг таамаглал:
 Багц дахь хувьсагчид нь бусад хувьсагчдыг
авч зсэн ед загварыг сайжруулахад ачү ү
холбогдолг йү
 Альтернатив таамаглал:
 Ядаж нэг хувьсагч нь ач холбогдолтой

Chap 14-46
Загварын тест
 ргэлж нэг талт няцаах мужтай байдагҮ
 Хоёр регрессийг харьцуулахад хэрэгтэй
 Нэг регресс нь б гдийг оруулнаү
 Н г регресс нь тест хийж байгаа хэсгээс бусдыгө өө
оруулна

Chap 14-47
Partial F Test For Contribution of
Subset of X variables
 H0 : Бусад хувьсагчдыг авч зсэн едү ү Xs хувьсагчид
загварыг сайжруулахад ач холбогдолг йү
 H1 : Бусад хувьсагчдыг авч зсэн едү ү Xs хувьсагчид
загварыг сайжруулахад ач холбогдолтой
 Test Statistic:

 df = m ба (n-p-1)
 m = Xsбагц дахь хувьсагчдын тоо
( )
( )
| all others /
all
sSSR X m
F
MSE
=

Chap 14-48
Partial F Test For Contribution of
A Single
 H0 : Бусад хувьсагчдыг авч зсэн едү ү Xj хувьсагч
загварыг сайжруулахад ач холбогдолг йү
 H1 : Бусад хувьсагчдыг авч зсэн едү ү Xj хувьсагч
загварыг сайжруулахад ач холбогдолтой
 Test Statistic:

 df = 1 ба (n-p-1)
 m = 1
jX
( )
( )
| all others
all
jSSR X
F
MSE
=

Chap 14-49
Testing Portions of Model:
Жишээ
Тусгаарлагчийг авч үзсэн
үед дундаж температур
хувьсагч загварыг
сайжруулахад ач
холбогдолтой эсэхийг
α = .05 түвшинд шалга.

Chap 14-50
Testing Portions of Model:
Жишээ
H0: X2 (тусгаарлагч)-г авч
зсэн едү ү X1 (температур)
загварыг сайжруулахг йү
H1: X1 загварыг сайжруулна
α = .05, df = 1 ба 12
Критик утга = 4.75
ANOVA
SS
Regression 51076.47
Residual 185058.8
Total 236135.2
ANOVA
SS MS
Regression 228014.6263 114007.313
Residual 8120.603016 676.716918
Total 236135.2293
(For X1 and X2) (For X2)
Дүгнэлт: H0 няцаагдана; X1 загварыг сайжруулна
( )
( )
( )1 2
1 2
| 228,015 51,076
261.47
, 676.717
SSR X X
F
MSE X X
−
= = =

Chap 14-51
F тест ашиглах едү
 Загварт бусад б х хувьсагчдыг оруулсныү
дараа ганц хувьсагч нэмэх талаарх F тест нь
t тестээр тухайн хувьсагчийн нцгийнө
коэффициентийг шалгахтай адил юм
 F тест хийх ганц шалтгаан нь хэд хэдэн
хувьсагчийг хамтад нь шалгах явдал юм

Chap 14-52
Chapter Summary
 Developed the multiple regression model
 Discussed residual plots
 Presented influence analysis
 Addressed testing the significance of the
multiple regression model
 Discussed inferences on population
regression coefficients
 Addressed testing portion of the multiple
regression model

Chap 14-53
nieXXY iippii ,,2,1,110  =++++= βββ
Multiple Linear Regression














=














=














=














=
npnpn
p
p
n e
e
e
e
XX
XX
XX
X
Y
Y
Y
whereY






2
1
1
0
1
221
111
2
1
,,
1
1
1
,
β
β
β
β
Data
Model:
Matrix
Model: eXY += β

Chap 14-54
( )
( ) ( )
( )ppp
n
i
ippiip
p
XXXXwhereXYXXY
XXYQ
Q
FittingSquaresLeast
,,,,1
,,,
,,,,min.1
:
21
22
110
1
2
11010
10



=−=−−−−=
−−−−= ∑=
ββββ
ββββββ
βββ
( )
ββββ
βββββ
ˆˆˆˆˆ
,,,minˆ,,ˆ.2
110
100
XXXY
valuefittedtheThen
QimizeLet
pp
pp
=+++= 

noningularisXXiff
YXXXXYXXYYSince
T
TTT
)(
)(ˆ0)ˆ(ˆ 1−
=⇒=−⇒⊥− ββ

Chap 14-55
YYXXY rR t ˆ,,,; 1
=
Multiple Correlation Coefficient:
Multiple Coefficient of Determination: may be interpreted
as the proportion of variance explained by the regression of
Y on X.
2
ˆ,
2
,,;
2
2
ˆ
2
ˆ
2
1
,
YYXXY
eYY
rRR
SSS
Moreover
t
==
+=

2
2
ˆ2
Y
Y
S
S
R =

Chap 14-56
( ) ( ) )
0
0
..(,0~
2
2
2
..










=
+=
σ
σ
σ
β



eVareiINeassume
eXYModel
dii
( ) ( )( )YXXXEESolve TT 1
ˆ:
−
=β
( )( )12
,~ˆ −
XXN T
σββTheorem:
( ) ( )YEXXX TT 1−
=
( ) ( )
( ) ( )
( )
β
β
β
β
=
=
=
+=
−
−
−
XXXX
XEXXX
eXEXXX
TT
TT
TT
1
1
1

Chap 14-57
( )( )12
,~ˆ −
XXN T
σββ
( ) ( )βββ ˆ,ˆˆ: CovVarSolve =
( ) ( )[ ]YXXXYXXXCov TTTT 11
,
−−
=
( ) ( ) ( )[ ]T
TTTT
XXXYYCovXXX
11
,
−−
=
( ) ( ) ( )[ ]T
TTTT
XXXeXVarXXX
11 −−
+= β
( ) ( )[ ]T
TTT
XXXIXXX
121 −−
⋅= σ
( ) ( )( ) 112 −−
= XXXXXX TTT
σ
( ) 12 −
= XX T
σ
( ) 1
ˆ
1
1
1
ˆ
ˆ
1
2
1
2
2
−−
=−
−−
=
−−
= ∑
∑
=
=
pn
RSS
YY
pnpn
e
where
n
i
ii
n
i
i
σ

Chap 14-58
DATA;
INPUT X1 X2 Y;
CARDS;
68 60 75
49 94 63
60 91 57
.
77 78 72
;
PROC PRINT;
PROC REG;
MODEL Y=X1 X2 / COVB CORRB R INFLUENCE;
RUN;

Chap 14-59
Model: MODEL1
Dependent Variable: Y Analysis of Variance
Sum of Mean
Source DF Squares Square F Value Pr > F
Model 2 1966.20840 983.10420 14.86 0.0002
Error 17 1124.79160 66.16421
Corrected Total 19 3091.00000
Root MSE 8.13414 R-Square 0.6361
Dependent Mean 74.50000 Adj R-Sq 0.5933
Coeff Var 10.91831
Parameter Estimates
Parameter Standard
Variable DF Estimate Error t Value Pr > |t|
Intercept 1 14.49614 14.20435 1.02 0.3218
X1 1 0.56319 0.11801 4.77 0.0002
X2 1 0.26736 0.15704 1.70 0.1069

Chap 14-60
Covariance of Estimates
COVB Intercept X1 X2
Intercept 201.7635339 -0.635820247 -1.851491131
X1 -0.635820247 0.0139252459 -0.003440529
X2 -1.851491131 -0.003440529 0.0246625524
Correlation of Estimates
COVB Intercept X1 X2
Intercept 1.0000 -0.3793 -0.8300
X1 -0.3793 1.0000 -0.1857
X2 -0.8300 -0.1857 1.0000

Chap 14-61
Dep Var Predicted Std Error Std Error Student Cook's
Obs Y Value Predict Residual Residual Residual -2-1 0 1 2 D
1 75.0000 68.8346 4.2678 6.1654 6.925 0.890 | |* | 0.100
2 63.0000 67.2242 3.3214 -4.2242 7.425 -0.569 | *| | 0.022
3 57.0000 72.6172 2.2988 -15.6172 7.803 -2.002 | ****| | 0.116
4 88.0000 74.4491 1.9107 13.5509 7.907 1.714 | |*** | 0.057
5 88.0000 90.5143 4.2002 -2.5143 6.966 -0.361 | | | 0.016
6 79.0000 85.2747 2.6984 -6.2747 7.674 -0.818 | *| | 0.028
7 82.0000 67.5089 2.4898 14.4911 7.744 1.871 | |*** | 0.121
8 73.0000 66.4506 2.8567 6.5494 7.616 0.860 | |* | 0.035
9 90.0000 81.2755 2.5928 8.7245 7.710 1.132 | |** | 0.048
10 62.0000 59.7208 3.8097 2.2792 7.187 0.317 | | | 0.009
11 70.0000 77.4755 1.8990 -7.4755 7.909 -0.945 | *| | 0.017
12 96.0000 93.1309 3.8760 2.8691 7.151 0.401 | | | 0.016
13 76.0000 73.9825 2.5281 2.0175 7.731 0.261 | | | 0.002
14 75.0000 80.1776 2.3793 -5.1776 7.778 -0.666 | *| | 0.014
15 85.0000 84.6150 3.2590 0.3850 7.453 0.0517 | | | 0.000
16 40.0000 50.3917 5.9936 -10.3917 5.499 -1.890 | ***| | 1.414
17 74.0000 76.2637 2.1866 -2.2637 7.835 -0.289 | | | 0.002
18 70.0000 69.0846 2.0768 0.9154 7.865 0.116 | | | 0.000
19 75.0000 72.2929 2.6787 2.7071 7.680 0.352 | | | 0.005
20 72.0000 78.7158 2.5093 -6.7158 7.737 -0.868 | *| | 0.026
21 . 83.7560 3.0157 . . . .

Chap 14-62
Hat Diag
Obs Residual RStudent H
1 6.1654 0.8846 0.2753
2 -4.2242 -0.5572 0.1667
3 -15.6172 -2.2211 0.0799
4 13.5509 1.8281 0.0552
5 -2.5143 -0.3515 0.2666
6 -6.2747 -0.8094 0.1100
7 14.4911 2.0374 0.0937
8 6.5494 0.8530 0.1233
9 8.7245 1.1417 0.1016
10 2.2792 0.3086 0.2194
11 -7.4755 -0.9420 0.0545
12 2.8691 0.3911 0.2271
13 2.0175 0.2537 0.0966
14 -5.1776 -0.6543 0.0856
15 0.3850 0.0501 0.1605
16 -10.3917 -2.0627 0.5429
17 -2.2637 -0.2810 0.0723
18 0.9154 0.1130 0.0652
19 2.7071 0.3432 0.1084
20 -6.7158 -0.8613 0.0952

Chap 14-63
100 +
|
| o
| o o o o o
| o o o
90 + o
| o
| o
H |
O | o o
M 80 + o o
E | o
W |
O | o
R |
K 70 +
|
|
|
|
60 + o
|
|
|
|
50 + o
|
-+------------+------------+------------+------------+------------+------------+------------+
30 40 50 60 70 80 90 100

Chap 14-64



≠
=
++=
0
00
11 ,.1
rrH
rrH
hypothesisthetesttowantweccrLet
a
pp
：
：
ββ 
( ) ( )rdtspntr
rforICaConstruct
cccrLet pp
ˆˆ1ˆ
..%95
.2
025.0
1100
−−±⇒
+++= βββ 
( )
( )
( )
( ) ( ) ( ) T
ccVarcVarrVar
andpnt
rdts
rEr
tisstatistictesttheThen
ββ ˆˆˆ
,1~
ˆˆ
ˆˆ
==
−−
−
=
.
ˆ
ˆ
ˆ),,,(,ˆˆˆ
0
000










==++=
p
ppp cccwhereccrchooseWe
β
β
βββ 

Chap 14-65
setdataaforelbetterachoosetoHow mod
Goodness of Fit
( )1,~
1 0
−−−
−
⋅
−
−−
=⇒ pnqpF
RSS
RSSRSS
qp
pn
F
pqjoneleastatH
H
eldrestriceteatoeledunrestrictanreducetoHow
j
pq
,,1,0
0
?modmod
1
10


+=≠
===⇒ +
β
ββ
：
：
eXXY
elstricted
eXXY
eledUnrestrict
pqAssume
qq
pp
++++=
++++=
<
βββ
βββ


110
110
modRe
mod

Chap 14-66
?mod datathefittoelbetterachoosetoHow
eYelrestricted
eXYeledunrestrictEx
+=
++=
α
βα
mod
mod：
00 0 =⇒= ββ ：H
( )2,1~
1
2
0.0
20
10
−
−
⋅
−
=
≠=
n
RSS
RSSRSSn
F
HsvHSolve
χ
ββ ：：：
( )
( ) .ˆˆ
1
2
1
2
0
∑
∑
=
=
−−=
−=
n
i
ii
n
i
i
XYRSS
YYRSSwhere
βα

Chap 14-67
Regression Effect
eY
elstricted
eXXY
eledUnrestrict
pp
+=
++++=
0
110
modRe
mod
β
βββ 
2
ˆ
2
ˆ0 11
:
e
Y
S
S
p
pn
RSS
RSSRSS
p
pn
FSolve ⋅
−−
=
−
⋅
−−
=
,
0
0210



≠
===
⇒
ja
p
oneleastatH
H
β
βββ
：
： 
2
2
1
1
R
R
p
pn
Fthen
−
⋅
−−
=
22
ˆ
22
ˆ1
Ye
YY
SS
SS
p
pn
⋅
−−
=
2
2
1
1
R
R
p
pn
−
⋅
−−
=

Chap 14-68
( )
( )
i
ijiij
ijiij
njkifor
RSSeYeledUnrestrict
RSSeXYelstricted
,,2,1,,2,1
:mod
:modRe 0
 ==
+=
++=
；
α
βα
∑=
=
−
⋅
−
−
=⇒
k
i
inn
RSS
RSSRSS
k
kn
F
1
0
,
2



≠
=
==+++=
jiif
jiif
dkidddLet ijikkiii
,0
,1
,,,2,1,2211  αααα
Goodness of Fit for using replicate observations
)(
mod
2211 RSSedddY
asrewrittenbecaneledunrestricttheThen
ijikkiiij ++++= ααα 

12 introduction to multiple regression model

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

12 introduction to multiple regression model