12 introduction to multiple regression model
- 2. © 2002 Prentice-Hall, Inc.
Chap 14-2
Дэд сэдэв
Олон х чин з йлийн регрессийн шугаманү ү
загвар (MLR)
лдэгдлийн шинжилгээҮ
Н л ллийн шинжилгээө өө
Регрессийн загварын ач холбогдлыг шалгах
Эх олонлогийн регрессийн коэффициентийг
нэлэхү
Олон х чин з йлийн загварыг хэсэгчлэнү ү
шалгах
- 3. © 2002 Prentice-Hall, Inc.
Chap 14-3
0 1 1 2 2i i i k ki iY b b X b X b X e= + + + + +L
Population
Y-intercept
Population slopes
Random Error
Multiple Linear Regression Model
Хамааран хувьсагчийн 2 ба түүнээс олон үл
хамааран хувьсагчаас хамаарах хамаарал
Dependent (Response)
variable for sample
Independent (Explanatory)
variables for sample model
1 2i i i k ki iY X X Xβ β β β ε0 1 2= + + + + +L
Residual
- 4. © 2002 Prentice-Hall, Inc.
Chap 14-4
Population Multiple
Regression Model
X 2
Y
X 1
µ Y X = β 0 + β 1 X 1 i + β 2 X 2 i
β 0
Y i = β 0 + β 1 X 1 i + β 2 X 2 i + ε i
R e s p o n s e
P la n e
( X 1 i,X 2 i)
( O b s e r v e d Y )
ε i
Bivariate model
- 5. © 2002 Prentice-Hall, Inc.
Chap 14-5
Sample Multiple
Regression Model
X 2
Y
X 1
b 0
Y i
= b 0
+ b 1
X 1 i
+ b 2
X 2 i
+ e i
R e s p o n s e
P la n e
( X 1 i, X 2 i)
( O b s e r v e d Y )
^
e i
Y i = b 0 + b 1 X 1 i + b 2 X 2 i
Bivariate model
Sample Regression PlaneSample Regression Plane
- 6. © 2002 Prentice-Hall, Inc.
Chap 14-6
Simple and Multiple Linear
Regression Compared: Example
Two simple regressions:
Multiple regression:
0 1
0 1
Oil Temp
Oil Insulation
β β
β β
= +
= +
0 1 2Oil Temp Insulationβ β β= + +
- 8. © 2002 Prentice-Hall, Inc.
Chap 14-8
Тооцсон коэффициентийг
тайлбарлах нь
Slope (bi) – нцгийн коэффициентө
Бусад х чин з йлс тогтмол байхадү ү Xi нэгжээр
с х дө ө ө Y утга дунджаар bi хэмжээгээр
рчл гд хийг илэрхийлнэөө ө ө (ceterus paribus)
Жишээ: Хэрэв b1 = -2 бол X2 –ийн г гдс нө ө ө
т вшинд температурү (X1) 1 градусаар с х дө ө ө
т лшний хэрэглээү (Y) 2 галлоноор буурахаар
таамаглагдаж байна гэсэн г юм.ү
Y-intercept (b0) - тогтмол коэффициент
Xi = 0 байхад Y-ийн авах дундаж утга
- 9. © 2002 Prentice-Hall, Inc.
Chap 14-9
Multiple Regression Model:
Example
Oil (Gal) Temp Insulation
275.30 40 3
363.80 27 3
164.30 40 10
40.80 73 6
94.30 64 6
230.90 34 6
366.70 9 6
300.60 8 10
237.80 23 10
121.40 63 3
31.40 65 10
203.50 41 6
441.10 21 3
323.00 38 3
52.50 58 10
(0
F)
Нэг өрх гэрийн 1-р сарын
түлшний хэрэглээг дундаж
температур болон инчээрх
тусгаарлагчид суурилан
загвар байгуулъя.
- 10. © 2002 Prentice-Hall, Inc.
Chap 14-10
1 2
ˆ 562.151 5.437 20.012i i iY X X= − −
Sample Multiple Regression
Equation: Example
Coefficients
Intercept 562.1510092
X Variable 1 -5.436580588
X Variable 2 -20.01232067
Excel Output
Тусгаарлагч тогтмол байхад
температур нэг градусаар өсөхөд
үнэлсэн түлшний хэрэглээний
дундаж түвшин 5.437 галлоноор
буурна.
Температур тогтмол байхад
тусгаарлагч нэг инчээр өсөхөд
үнэлсэн түлшний хэрэглээний
дундаж түвшин 20.012
галлоноор буурна.
0 1 1 2 2
ˆ
i i i k kiY b b X b X b X= + + + +L
- 11. © 2002 Prentice-Hall, Inc.
Chap 14-11
Венний диаграмм ба
регрессийн тайлбарлах х чү
Oil
Temp
Variations in oil
explained by temp
or variations in
temp used in
explaining variation
in oil
Variations in
oil explained
by the error
term
Variations in
temp not used
in explaining
variation in Oil
( )SSE
( )SSR
- 12. © 2002 Prentice-Hall, Inc.
Chap 14-12
Венний диаграмм ба
регрессийн тайлбарлах х чү
Oil
Temp
2
r
SSR
SSR SSE
=
=
+
( ргэлжлэлү )
- 13. © 2002 Prentice-Hall, Inc.
Chap 14-13
Венний диаграмм ба
регрессийн тайлбарлах х чү
Oil
Temp
Insulation
OverlappingOverlapping
variation in
both Temp and
Insulation are
used in
explaining the
variationvariation in Oil
but NOTNOT in the
estimationestimation of
nor
1β
2β
Variation NOTNOT
explained by
Temp nor
Insulation
( )SSE
- 14. © 2002 Prentice-Hall, Inc.
Chap 14-14
Олон х чин з йлийнү ү
детерминацийн коэффициент
Б хү Х хувьсагчдын хамтын н л г рө өө өө
тайлбарлагдах Y-ийн нийт хэлбэлзэлд эзлэх
хувь
Шинэ Х хувьсагч загварт нэмэхэд хэзээ ч
буурдагг йү
Загваруудыг харьцуулахад сул тал болдог
2
12
Explained Variation
Total Variation
Y k
SSR
r
SST
• = =L
- 15. © 2002 Prentice-Hall, Inc.
Chap 14-15
Венний диаграмм ба
регрессийн тайлбарлах х чү
Oil
Temp
Insulation
2
12Yr
SSR
SSR SSE
• =
=
+
- 16. © 2002 Prentice-Hall, Inc.
Chap 14-16
ОХЗ-ийн засварлагдсан
детерминацийн коэффициент
Х хувьсагчдын тоогоор засварлагдсан, б хү Х
хувьсагчдаар тайлбарлагдах Y-ийн
хэлбэлзлийн хувь
л хамааран хувьсагчдын хэт их хэрэглээнийҮ
н л г бууруулахө өө
утгаас бага
Загваруудыг харьцуулахад хэрэглэдэг
( )2 2
12
1
1 1
1
adj Y k
n
r r
n k
•
−
= − − − −
L
2
12Y kr • L
- 17. © 2002 Prentice-Hall, Inc.
Chap 14-17
ОХЗ-ийн детерминацийн
коэффициент
Regression Statistics
Multiple R 0.982654757
R Square 0.965610371
Adjusted R Square 0.959878766
Standard Error 26.01378323
Observations 15
Excel Output
SST
SSR
r ,Y =2
12
Adjusted r2
Үл хамааран
хувьсагчдын тоо
болон түүврийн
хэмжээнээс хамаарна
r2
-аас бага
- 18. © 2002 Prentice-Hall, Inc.
Chap 14-18
ОХЗ-ийн детерминацийн
коэффициентийн тайлбар
Т лшний нийт хэлбэлзлийнү 96.56% нь
температурын хэлбэлзэл болон тусгаарлагчийн
хэмжээгээр тайлбарлагдаж байна
л хамааран хувьсагчид болон т врийн хэмжээгҮ үү
тохируулсны дараа т лшний нийт хэлбэлзлийнү
95.99% нь температурын хэлбэлзэл болон
тусгаарлагчийн хэмжээгээр тайлбарлагдаж байна
2
,12 .9656Y
SSR
r
SST
= =
2
adj .9599r =
- 19. © 2002 Prentice-Hall, Inc.
Chap 14-19
Прогноз хийхэд загварыг
ашиглах нь
Дундаж температур 300
ба тусгаарлагч 6 инч
ед рх гэрийн хэрэглэх т лшний хэмжээгү ө ү
прогноз хий.
Т лшний прогнозын утгаү
278.97 галлон
( ) ( )
1 2
ˆ 562.151 5.437 20.012
562.151 5.437 30 20.012 6
278.969
i i iY X X= − −
= − −
=
- 20. © 2002 Prentice-Hall, Inc.
Chap 14-20
лдэгдлийн графикҮ
лдэгдэл баҮ
Y хувьсагчийг хувиргах хэрэгтэй байж болох юм
лдэгдэл баҮ
хувьсагчийг хувиргах хэрэгтэй байж болох юм
лдэгдэл баҮ
хувьсагчийг хувиргах хэрэгтэй байж болох юм
лдэгдэл ба хугацааҮ
Автокорреляци байж болох юм
ˆY
1X
2X
1X
2X
- 21. © 2002 Prentice-Hall, Inc.
Chap 14-21
лдэгдлийн графикҮ : Жишээ
Insulation Residual Plot
0 2 4 6 8 10 12
No discernable pattern
Temperature Residual Plot
-60
-40
-20
0
20
40
60
0 20 40 60 80
Residuals
May be some non-
linear relationship
- 22. © 2002 Prentice-Hall, Inc.
Chap 14-22
Н л ллийн шинжилгээө өө
Загварт н л з лэх йц ажиглалтынө өө ү үү ү
нэгж дийг тодорхойлохүү
Н л з лж болзошг й ажиглалтынө өө ү үү ү
нэгж дийг загвараас хасахүү
Дараах шалгуураар тодорхойлно
The hat matrix elements hi
The Studentized deleted residuals ti
*
Cook’s distance statistic Di
Б х гурван шалгуур иж б рэн байнаү ү
Б х гурван шалгуур ижил р д нгээр хангасанү ү ү
ед л ажиглалтын нэгжийг хаснаү
- 23. © 2002 Prentice-Hall, Inc.
Chap 14-23
The Hat Matrix Element hi
Хэрэв бол Xi н л тэй цэгө өө
болно
Xi нь загвараас хасахаар нэр дэвшсэн
ажиглалтын нэгж гэж зэж болноү
( )
( )
2
2
1
1 i
i n
i
i
X X
h
n
X X
=
−
= +
−∑
( )2 1 /ih k n> +
- 24. © 2002 Prentice-Hall, Inc.
Chap 14-24
The Hat Matrix Element hi :
Т лшний жишээү
Oil (Gal) Temp Insulation h i
275.30 40 3 0.1567
363.80 27 3 0.1852
164.30 40 10 0.1757
40.80 73 6 0.2467
94.30 64 6 0.1618
230.90 34 6 0.0741
366.70 9 6 0.2306
300.60 8 10 0.3521
237.80 23 10 0.2268
121.40 63 3 0.2446
31.40 65 10 0.2759
203.50 41 6 0.0676
441.10 21 3 0.2174
323.00 38 3 0.1574
52.50 58 10 0.2268
hi > 0.4 утга байхг йү
загвараас хасахаар
нэр дэвших
ажиглалтын нэгж
байхг йү
( )
15 2
2 1 / 0.4
n k
k n
= =
+ =
- 25. © 2002 Prentice-Hall, Inc.
Chap 14-25
The Studentized Deleted
Residuals ti
*
: i –р ажиглалтын нэгжээс бусад ажиглалтын
нэгжийг оруулан загвар байгуулаад ажиглалтын
болон нэлсэн хоорондын з рү ө үү
: i –р ажиглалтын нэгжээс бусад ажиглалтын
нэгжийг оруулан байгуулсан загварын стандарт
алдаа
Ажиглалтын нэгж бол н л тэй гэжө өө
знэү
нь альфа ач холбогдлын т вшинд хоёр талтү
( )
( )
*
1
i
i
ii
e
t
S h
=
−
iY
ˆ
iY
( )i
S
( )i
e
*
2i n kt t − −>
2n kt − −
- 26. © 2002 Prentice-Hall, Inc.
Chap 14-26
The Studentized Deleted
Residuals ti
*
:Example
Oil (Gal) Temp Insulation ti
*
275.30 40 3 -0.3772
363.80 27 3 0.3474
164.30 40 10 0.8243
40.80 73 6 -0.1871
94.30 64 6 0.0066
230.90 34 6 -1.0571
366.70 9 6 -1.1776
300.60 8 10 -0.8464
237.80 23 10 0.0341
121.40 63 3 -1.8536
31.40 65 10 1.0304
203.50 41 6 -0.6075
441.10 21 3 2.9674
323.00 38 3 1.1681
52.50 58 10 0.2432
2 11
15 2
1.7957n k
n k
t t− −
= =
= =
t10
*
ба t13
*
нь загвараас
хасах боломжтой н лө өө
б хий цэг дү үү
*
10t
*
13t
- 27. © 2002 Prentice-Hall, Inc.
Chap 14-27
Cook’s Distance Statistic Di
нь Studentized residual
Хэрэв бол ажиглалтын нэгж н л тэйө өө
гэж знэү
нь 50% ач холбогдлын т вшин дэхү F
тархалтын критик утга
( )
2
2 1
i i
i
i
SR h
D
h
=
−
1
i
i
YX i
e
SR
S h
=
−
1, 1i k n kD F + − −>
1, 1k n kF + − −
- 28. © 2002 Prentice-Hall, Inc.
Chap 14-28
Cook’s Distance Statistic Di :
Т лшний жишээү
Oil (Gal) Temp Insulation Di
275.30 40 3 0.0094
363.80 27 3 0.0098
164.30 40 10 0.0496
40.80 73 6 0.0041
94.30 64 6 0.0001
230.90 34 6 0.0295
366.70 9 6 0.1342
300.60 8 10 0.1328
237.80 23 10 0.0001
121.40 63 3 0.3083
31.40 65 10 0.1342
203.50 41 6 0.0094
441.10 21 3 0.4941
323.00 38 3 0.0824
52.50 58 10 0.0062
Di > 0.835 утга байхг йү
Загвараас хасахаар нэр
дэвших ажиглалтын нэгж
байхг йү
Гурван шалгуурыг
ашиглахад загвараас
ажиглалтын нэгжийг хасах
хангалттай нотолгоо алга
1, 1 3,12
15 2
0.835k n k
n k
F F+ − −
= =
= =
- 29. © 2002 Prentice-Hall, Inc.
Chap 14-29
Ер нхий ач холбогдлыг шалгахө
Б хү X хувьсагчид болон Y хооронд шугаман
хамааралтай эсэхийг харуул
F тестийг ашигла
Таамаглал:
H0: β1 = β 2 = … = β k = 0 (шугаман хамаарал байхг йү )
H1: ядаж нэг β i ≠ 0 (ядаж нэг л хамааран хувьсагчү
Y-т н л лнө өө ө)
Тэг таамаглал нь маш х чтэй таамаглал юмү
Бараг б х тохиолдолд тэг таамаглалү
няцаагддаг
- 30. © 2002 Prentice-Hall, Inc.
Chap 14-30
Ер нхий ач холбогдлыг шалгахө
Test statistic:
F –ийн х ртвэрийн ч л ний зэрэг ньү ө өө p
хуваарийн ч л ний зэрэг ньө өө (n-p-1)
( ргэлжлэлү )
( )
( )
all /
all
SSR pMSR
F
MSE MSE
= =
- 31. © 2002 Prentice-Hall, Inc.
Chap 14-31
Ер нхий ач холбогдлыг шалгахө
Excel Output: Жишээ
ANOVA
df SS MS F Significance F
Regression 2 228014.6 114007.3 168.4712 1.65411E-09
Residual 12 8120.603 676.7169
Total 14 236135.2
p = 2, л хамааранү
хувьсагчдын тоо n - 1
p value
Test Statistic
MSR
F
MSE
=
- 32. © 2002 Prentice-Hall, Inc.
Chap 14-32
Ер нхий ач холбогдлыг шалгахө
Жишээ шийдэл
F0 3.89
H0: β 1 = β 2= … = β p = 0
H1: At least one β i β ≠ 0
α = .05
df = 2 ба 12
Критик утга (s):
Тест статистик:
Шийдвэр:
Д гнэлтү :
α = 0.05 ед няцаанаү
Ядаж нэг л хамааранү
хувьсагч Y-т н л лнө өө ө
α =
0.05
F = 168.47
(Excel Output)
- 33. © 2002 Prentice-Hall, Inc.
Chap 14-33
Ач холбогдлыг шалгах:
Бие даасан хувьсагчид
Xi болон Y хувьсагчийн хооронд шугаман
хамаарал байгаа эсэхийг харуул
t тест ашиглана
Таамаглал:
H0: β i = 0 (Шугаман хамааралг йү )
H1: β i ≠ 0 (Xi болон Y хоорондоо шугаман
хамааралтай)
- 34. © 2002 Prentice-Hall, Inc.
Chap 14-34
t Test Statistic
Excel Output: Example
Coefficients Standard Error t Stat
Intercept 562.1510092 21.09310433 26.65093769
X Variable 1 -5.436580588 0.336216167 -16.16989642
X Variable 2 -20.01232067 2.342505227 -8.543127434
t Test Statistic for X1
(Temperature)
t Test Statistic for X2
(Insulation)
i
i
b
b
t
S
=
- 35. © 2002 Prentice-Hall, Inc.
Chap 14-35
t тест: Жишээ шийдэл
H0: β 1 = 0
H1: β 1 ≠ 0
df = 12
Critical Value(s):
Тест статистик:
Шийдвэр:
р д нҮ ү :
α = 0.05 т вшиндү H0
няцаагдана
Температур т лшнийү
хэрэглээнд н л тэйг баталнаө өөt0 2.1788-2.1788
.025
Reject H0 Reject H0
.025
Температур т лшний сарын хэрэглээндү
н л тэй юуө өө ? α = 0.05 т вшинд шалгаяү .
t Test Statistic = -16.1699
- 36. © 2002 Prentice-Hall, Inc.
Chap 14-36
Венний диаграмм ба
регрессийн загварын нэлэлтү
Oil
Temp
Insulation
Only this
information is
used in the
estimation of 2β
Only this
information is
used in the
estimation of
1β This
information
is NOT used
in the
estimation of
nor1β 2β
- 37. © 2002 Prentice-Hall, Inc.
Chap 14-37
Параметрийн итгэх интервал
Эх олонлогийн β1 параметрийг 95% итгэх завсраар
хангана (түлшинд температурын нөлөө).
11 1n p bb t S− −±
Coefficients Lower 95% Upper 95%
Intercept 562.151009 516.1930837 608.108935
X Variable 1 -5.4365806 -6.169132673 -4.7040285
X Variable 2 -20.012321 -25.11620102 -14.90844
-6.169 ≤ β1 ≤ -4.704
Температур 10
өсөхөд үнэлсэн түлшний дундаж хэрэглээ
4.7 галлоноос 6.17 галлоноор буурна.
- 38. © 2002 Prentice-Hall, Inc.
Chap 14-38
Нэг л хамааран хувьсагчү
-ийн хувь нэмэр
Xk сонирхсон л хамааран хувьсагч гэеү
Y (SST)-ийн нийт хэлбэлзлийг тайлбарлахад Xk
хувьсагчийн хувь нэмрийг хэмжих
kX
( )
( ) ( )
| all others except
all all others except
k k
k
SSR X X
SSR SSR X= −
- 39. © 2002 Prentice-Hall, Inc.
Chap 14-39
Нэг л хамааран хувьсагчү
-ийн хувь нэмэрkX
( )
( ) ( )
1 2 3
1 2 3 2 3
| and
, and and
SSR X X X
SSR X X X SSR X X= −
SST-г тайлбарлахад -ийн хувь нэмрийг хэмжих1X
Дараах регрессийн
ANOVA хэсгээс
Дараах регрессийн ANOVA
хэсгээс
0 1 1 2 2 3 3
ˆ
i i i iY b b X b X b X= + + + 0 2 2 3 3
ˆ
i i iY b b X b X= + +
- 40. © 2002 Prentice-Hall, Inc.
Chap 14-40
-ийн хэсгийн детерминацийн
коэффициент
Бусад л хамааран хувьсагчид тогтмол едү ү Xk
–аар тайлбарлагдах хамааран хувьсагчийн
хэлбэлзлийн хувийг хэмждэг
( )
( ) ( )
2
all others
| all others
all | all others
Yk
k
k
r
SSR X
SST SSR SSR X
• =
− +
kX
- 41. © 2002 Prentice-Hall, Inc.
Chap 14-41
-ийн хэсгийн детерминацийн
коэффициент
kX
( ргэлжлэлү )
( )
( ) ( )
1 22
1 2
1 2 1 2
|
, |
Y
SSR X X
r
SST SSR X X SSR X X
• =
− +
Жишээ: Хоёр л хамааран хувьсагчтай загварү
- 42. © 2002 Prentice-Hall, Inc.
Chap 14-42
Венний диаграмм ба -ийн хэсгийн
детерминацийн коэффициент
kX
Oil
Temp
Insulation
( )1 2|SSR X X
( )
( ) ( )
2
1 2
1 2
1 2 1 2
|
, |
Yr
SSR X X
SST SSR X X SSR X X
• =
− +
=
- 43. © 2002 Prentice-Hall, Inc.
Chap 14-43
л хамааран хувьсагчдынҮ
багцын хувь нэмэр
Xs нь сонирхсон л хамааран хувьсагчдын багцү
гэе
SST-г тайлбарлах xsбагцын хувь нэмрийг хэмждэг
( )
( ) ( )
| all others except
all all others except
s s
s
SSR X X
SSR SSR X= −
- 44. © 2002 Prentice-Hall, Inc.
Chap 14-44
л хамааран хувьсагчдынҮ
багцын хувь нэмэр: Жишээ
Xs нь X1 ба X3 гэе
( )
( ) ( )
1 3 2
1 2 3 2
and |
, and
SSR X X X
SSR X X X SSR X= −
Дараах регрессийн ANOVA
хэсгээс
Дараах
регрессийн
ANOVA хэсгээс
0 1 1 2 2 3 3
ˆ
i i i iY b b X b X b X= + + + 0 2 2
ˆ
i iY b b X= +
- 45. © 2002 Prentice-Hall, Inc.
Chap 14-45
Загварын тест
л хамааран хувьсагчдынҮ Xs багцын Y
хувьсагчтай хамааралтай хувь нэмрийг
судална
Тэг таамаглал:
Багц дахь хувьсагчид нь бусад хувьсагчдыг
авч зсэн ед загварыг сайжруулахад ачү ү
холбогдолг йү
Альтернатив таамаглал:
Ядаж нэг хувьсагч нь ач холбогдолтой
- 46. © 2002 Prentice-Hall, Inc.
Chap 14-46
Загварын тест
ргэлж нэг талт няцаах мужтай байдагҮ
Хоёр регрессийг харьцуулахад хэрэгтэй
Нэг регресс нь б гдийг оруулнаү
Н г регресс нь тест хийж байгаа хэсгээс бусдыгө өө
оруулна
( ргэлжлэлү )
- 47. © 2002 Prentice-Hall, Inc.
Chap 14-47
Partial F Test For Contribution of
Subset of X variables
Таамаглал:
H0 : Бусад хувьсагчдыг авч зсэн едү ү Xs хувьсагчид
загварыг сайжруулахад ач холбогдолг йү
H1 : Бусад хувьсагчдыг авч зсэн едү ү Xs хувьсагчид
загварыг сайжруулахад ач холбогдолтой
Test Statistic:
df = m ба (n-p-1)
m = Xsбагц дахь хувьсагчдын тоо
( )
( )
| all others /
all
sSSR X m
F
MSE
=
- 48. © 2002 Prentice-Hall, Inc.
Chap 14-48
Partial F Test For Contribution of
A Single
Таамаглал:
H0 : Бусад хувьсагчдыг авч зсэн едү ү Xj хувьсагч
загварыг сайжруулахад ач холбогдолг йү
H1 : Бусад хувьсагчдыг авч зсэн едү ү Xj хувьсагч
загварыг сайжруулахад ач холбогдолтой
Test Statistic:
df = 1 ба (n-p-1)
m = 1
jX
( )
( )
| all others
all
jSSR X
F
MSE
=
- 49. © 2002 Prentice-Hall, Inc.
Chap 14-49
Testing Portions of Model:
Жишээ
Тусгаарлагчийг авч үзсэн
үед дундаж температур
хувьсагч загварыг
сайжруулахад ач
холбогдолтой эсэхийг
α = .05 түвшинд шалга.
- 50. © 2002 Prentice-Hall, Inc.
Chap 14-50
Testing Portions of Model:
Жишээ
H0: X2 (тусгаарлагч)-г авч
зсэн едү ү X1 (температур)
загварыг сайжруулахг йү
H1: X1 загварыг сайжруулна
α = .05, df = 1 ба 12
Критик утга = 4.75
ANOVA
SS
Regression 51076.47
Residual 185058.8
Total 236135.2
ANOVA
SS MS
Regression 228014.6263 114007.313
Residual 8120.603016 676.716918
Total 236135.2293
(For X1 and X2) (For X2)
Дүгнэлт: H0 няцаагдана; X1 загварыг сайжруулна
( )
( )
( )1 2
1 2
| 228,015 51,076
261.47
, 676.717
SSR X X
F
MSE X X
−
= = =
- 51. © 2002 Prentice-Hall, Inc.
Chap 14-51
F тест ашиглах едү
Загварт бусад б х хувьсагчдыг оруулсныү
дараа ганц хувьсагч нэмэх талаарх F тест нь
t тестээр тухайн хувьсагчийн нцгийнө
коэффициентийг шалгахтай адил юм
F тест хийх ганц шалтгаан нь хэд хэдэн
хувьсагчийг хамтад нь шалгах явдал юм
- 52. © 2002 Prentice-Hall, Inc.
Chap 14-52
Chapter Summary
Developed the multiple regression model
Discussed residual plots
Presented influence analysis
Addressed testing the significance of the
multiple regression model
Discussed inferences on population
regression coefficients
Addressed testing portion of the multiple
regression model
- 53. © 2002 Prentice-Hall, Inc.
Chap 14-53
nieXXY iippii ,,2,1,110 =++++= βββ
Multiple Linear Regression
=
=
=
=
npnpn
p
p
n e
e
e
e
XX
XX
XX
X
Y
Y
Y
whereY
2
1
1
0
1
221
111
2
1
,,
1
1
1
,
β
β
β
β
Data
Model:
Matrix
Model: eXY += β
- 54. © 2002 Prentice-Hall, Inc.
Chap 14-54
( )
( ) ( )
( )ppp
n
i
ippiip
p
XXXXwhereXYXXY
XXYQ
Q
FittingSquaresLeast
,,,,1
,,,
,,,,min.1
:
21
22
110
1
2
11010
10
=−=−−−−=
−−−−= ∑=
ββββ
ββββββ
βββ
( )
ββββ
βββββ
ˆˆˆˆˆ
,,,minˆ,,ˆ.2
110
100
XXXY
valuefittedtheThen
QimizeLet
pp
pp
=+++=
noningularisXXiff
YXXXXYXXYYSince
T
TTT
)(
)(ˆ0)ˆ(ˆ 1−
=⇒=−⇒⊥− ββ
- 55. © 2002 Prentice-Hall, Inc.
Chap 14-55
YYXXY rR t ˆ,,,; 1
=
Multiple Correlation Coefficient:
Multiple Coefficient of Determination: may be interpreted
as the proportion of variance explained by the regression of
Y on X.
2
ˆ,
2
,,;
2
2
ˆ
2
ˆ
2
1
,
YYXXY
eYY
rRR
SSS
Moreover
t
==
+=
2
2
ˆ2
Y
Y
S
S
R =
- 56. © 2002 Prentice-Hall, Inc.
Chap 14-56
( ) ( ) )
0
0
..(,0~
2
2
2
..
=
+=
σ
σ
σ
β
eVareiINeassume
eXYModel
dii
( ) ( )( )YXXXEESolve TT 1
ˆ:
−
=β
( )( )12
,~ˆ −
XXN T
σββTheorem:
( ) ( )YEXXX TT 1−
=
( ) ( )
( ) ( )
( )
β
β
β
β
=
=
=
+=
−
−
−
XXXX
XEXXX
eXEXXX
TT
TT
TT
1
1
1
- 57. © 2002 Prentice-Hall, Inc.
Chap 14-57
( )( )12
,~ˆ −
XXN T
σββ
( ) ( )βββ ˆ,ˆˆ: CovVarSolve =
( ) ( )[ ]YXXXYXXXCov TTTT 11
,
−−
=
( ) ( ) ( )[ ]T
TTTT
XXXYYCovXXX
11
,
−−
=
( ) ( ) ( )[ ]T
TTTT
XXXeXVarXXX
11 −−
+= β
( ) ( )[ ]T
TTT
XXXIXXX
121 −−
⋅= σ
( ) ( )( ) 112 −−
= XXXXXX TTT
σ
( ) 12 −
= XX T
σ
( ) 1
ˆ
1
1
1
ˆ
ˆ
1
2
1
2
2
−−
=−
−−
=
−−
= ∑
∑
=
=
pn
RSS
YY
pnpn
e
where
n
i
ii
n
i
i
σ
- 58. © 2002 Prentice-Hall, Inc.
Chap 14-58
DATA;
INPUT X1 X2 Y;
CARDS;
68 60 75
49 94 63
60 91 57
.
77 78 72
;
PROC PRINT;
PROC REG;
MODEL Y=X1 X2 / COVB CORRB R INFLUENCE;
RUN;
- 59. © 2002 Prentice-Hall, Inc.
Chap 14-59
Model: MODEL1
Dependent Variable: Y Analysis of Variance
Sum of Mean
Source DF Squares Square F Value Pr > F
Model 2 1966.20840 983.10420 14.86 0.0002
Error 17 1124.79160 66.16421
Corrected Total 19 3091.00000
Root MSE 8.13414 R-Square 0.6361
Dependent Mean 74.50000 Adj R-Sq 0.5933
Coeff Var 10.91831
Parameter Estimates
Parameter Standard
Variable DF Estimate Error t Value Pr > |t|
Intercept 1 14.49614 14.20435 1.02 0.3218
X1 1 0.56319 0.11801 4.77 0.0002
X2 1 0.26736 0.15704 1.70 0.1069
- 60. © 2002 Prentice-Hall, Inc.
Chap 14-60
Covariance of Estimates
COVB Intercept X1 X2
Intercept 201.7635339 -0.635820247 -1.851491131
X1 -0.635820247 0.0139252459 -0.003440529
X2 -1.851491131 -0.003440529 0.0246625524
Correlation of Estimates
COVB Intercept X1 X2
Intercept 1.0000 -0.3793 -0.8300
X1 -0.3793 1.0000 -0.1857
X2 -0.8300 -0.1857 1.0000
- 61. © 2002 Prentice-Hall, Inc.
Chap 14-61
Dep Var Predicted Std Error Std Error Student Cook's
Obs Y Value Predict Residual Residual Residual -2-1 0 1 2 D
1 75.0000 68.8346 4.2678 6.1654 6.925 0.890 | |* | 0.100
2 63.0000 67.2242 3.3214 -4.2242 7.425 -0.569 | *| | 0.022
3 57.0000 72.6172 2.2988 -15.6172 7.803 -2.002 | ****| | 0.116
4 88.0000 74.4491 1.9107 13.5509 7.907 1.714 | |*** | 0.057
5 88.0000 90.5143 4.2002 -2.5143 6.966 -0.361 | | | 0.016
6 79.0000 85.2747 2.6984 -6.2747 7.674 -0.818 | *| | 0.028
7 82.0000 67.5089 2.4898 14.4911 7.744 1.871 | |*** | 0.121
8 73.0000 66.4506 2.8567 6.5494 7.616 0.860 | |* | 0.035
9 90.0000 81.2755 2.5928 8.7245 7.710 1.132 | |** | 0.048
10 62.0000 59.7208 3.8097 2.2792 7.187 0.317 | | | 0.009
11 70.0000 77.4755 1.8990 -7.4755 7.909 -0.945 | *| | 0.017
12 96.0000 93.1309 3.8760 2.8691 7.151 0.401 | | | 0.016
13 76.0000 73.9825 2.5281 2.0175 7.731 0.261 | | | 0.002
14 75.0000 80.1776 2.3793 -5.1776 7.778 -0.666 | *| | 0.014
15 85.0000 84.6150 3.2590 0.3850 7.453 0.0517 | | | 0.000
16 40.0000 50.3917 5.9936 -10.3917 5.499 -1.890 | ***| | 1.414
17 74.0000 76.2637 2.1866 -2.2637 7.835 -0.289 | | | 0.002
18 70.0000 69.0846 2.0768 0.9154 7.865 0.116 | | | 0.000
19 75.0000 72.2929 2.6787 2.7071 7.680 0.352 | | | 0.005
20 72.0000 78.7158 2.5093 -6.7158 7.737 -0.868 | *| | 0.026
21 . 83.7560 3.0157 . . . .
- 62. © 2002 Prentice-Hall, Inc.
Chap 14-62
Hat Diag
Obs Residual RStudent H
1 6.1654 0.8846 0.2753
2 -4.2242 -0.5572 0.1667
3 -15.6172 -2.2211 0.0799
4 13.5509 1.8281 0.0552
5 -2.5143 -0.3515 0.2666
6 -6.2747 -0.8094 0.1100
7 14.4911 2.0374 0.0937
8 6.5494 0.8530 0.1233
9 8.7245 1.1417 0.1016
10 2.2792 0.3086 0.2194
11 -7.4755 -0.9420 0.0545
12 2.8691 0.3911 0.2271
13 2.0175 0.2537 0.0966
14 -5.1776 -0.6543 0.0856
15 0.3850 0.0501 0.1605
16 -10.3917 -2.0627 0.5429
17 -2.2637 -0.2810 0.0723
18 0.9154 0.1130 0.0652
19 2.7071 0.3432 0.1084
20 -6.7158 -0.8613 0.0952
- 63. © 2002 Prentice-Hall, Inc.
Chap 14-63
100 +
|
| o
| o o o o o
| o o o
90 + o
| o
| o
H |
O | o o
M 80 + o o
E | o
W |
O | o
R |
K 70 +
|
|
|
|
60 + o
|
|
|
|
50 + o
|
-+------------+------------+------------+------------+------------+------------+------------+
30 40 50 60 70 80 90 100
- 64. © 2002 Prentice-Hall, Inc.
Chap 14-64
≠
=
++=
0
00
11 ,.1
rrH
rrH
hypothesisthetesttowantweccrLet
a
pp
:
:
ββ
( ) ( )rdtspntr
rforICaConstruct
cccrLet pp
ˆˆ1ˆ
..%95
.2
025.0
1100
−−±⇒
+++= βββ
( )
( )
( )
( ) ( ) ( ) T
ccVarcVarrVar
andpnt
rdts
rEr
tisstatistictesttheThen
ββ ˆˆˆ
,1~
ˆˆ
ˆˆ
==
−−
−
=
.
ˆ
ˆ
ˆ),,,(,ˆˆˆ
0
000
==++=
p
ppp cccwhereccrchooseWe
β
β
βββ
- 65. © 2002 Prentice-Hall, Inc.
Chap 14-65
setdataaforelbetterachoosetoHow mod
Goodness of Fit
( )1,~
1 0
−−−
−
⋅
−
−−
=⇒ pnqpF
RSS
RSSRSS
qp
pn
F
pqjoneleastatH
H
eldrestriceteatoeledunrestrictanreducetoHow
j
pq
,,1,0
0
?modmod
1
10
+=≠
===⇒ +
β
ββ
:
:
eXXY
elstricted
eXXY
eledUnrestrict
pqAssume
qq
pp
++++=
++++=
<
βββ
βββ
110
110
modRe
mod
- 66. © 2002 Prentice-Hall, Inc.
Chap 14-66
?mod datathefittoelbetterachoosetoHow
eYelrestricted
eXYeledunrestrictEx
+=
++=
α
βα
mod
mod:
00 0 =⇒= ββ :H
( )2,1~
1
2
0.0
20
10
−
−
⋅
−
=
≠=
n
RSS
RSSRSSn
F
HsvHSolve
χ
ββ :::
( )
( ) .ˆˆ
1
2
1
2
0
∑
∑
=
=
−−=
−=
n
i
ii
n
i
i
XYRSS
YYRSSwhere
βα
- 67. © 2002 Prentice-Hall, Inc.
Chap 14-67
Regression Effect
eY
elstricted
eXXY
eledUnrestrict
pp
+=
++++=
0
110
modRe
mod
β
βββ
2
ˆ
2
ˆ0 11
:
e
Y
S
S
p
pn
RSS
RSSRSS
p
pn
FSolve ⋅
−−
=
−
⋅
−−
=
,
0
0210
≠
===
⇒
ja
p
oneleastatH
H
β
βββ
:
:
2
2
1
1
R
R
p
pn
Fthen
−
⋅
−−
=
22
ˆ
22
ˆ1
Ye
YY
SS
SS
p
pn
⋅
−−
=
2
2
1
1
R
R
p
pn
−
⋅
−−
=
- 68. © 2002 Prentice-Hall, Inc.
Chap 14-68
( )
( )
i
ijiij
ijiij
njkifor
RSSeYeledUnrestrict
RSSeXYelstricted
,,2,1,,2,1
:mod
:modRe 0
==
+=
++=
;
α
βα
∑=
=
−
⋅
−
−
=⇒
k
i
inn
RSS
RSSRSS
k
kn
F
1
0
,
2
≠
=
==+++=
jiif
jiif
dkidddLet ijikkiii
,0
,1
,,,2,1,2211 αααα
Goodness of Fit for using replicate observations
)(
mod
2211 RSSedddY
asrewrittenbecaneledunrestricttheThen
ijikkiiij ++++= ααα