1. Chương 4
Mô hình hồi qui bội
1. Mô hình :
Mô hình hồi qui tuyến tính k biến (PRF) :
E(Y/X2i,…,Xki) = β1+ β2X2i +…+ βkXki
Yi = β1+ β2X2i + …+ βkXki + Ui
Trong đó :
Y - biến phụ thuộc
X2,…,Xk - các biến độc lập
2. β1 là hệ số tự do
βj là các hệ số hồi qui riêng,
βj cho biết khi Xj tăng 1 đvị thì trung bình
của Y sẽ thay đổi βj đvị trong trường
hợp các yếu tố khác không đổi (j=2,
…,k).
Khi k = 3 thì ta có mô hình hồi qui tuyến
tính ba biến :
E(Y/X2, X3) = β1+ β2X2 + β3X3 (PRF)
Yi = β1+ β2X2i + β3X3i + Ui
3. 2. Các giả thiết của mô hình
• Giả thiết 1: Các biến độc lập phi ngẫu
nhiên, giá trị được xác định trước.
• Giả thiết 2 : E(Ui) = 0 ∀i
• Giả thiết 3 : Var(Ui) =σ2 ∀i
• Giả thiết 4 : Cov(Ui, Uj) = 0 i ≠j
• Giả thiết 5 : Cov(Xi, Ui) = 0 ∀i
• Giả thiết 6 : Ui ~ N (0, σ2) ∀i
• Giả thiết 7 : Không có hiện tượng cộng
tuyến giữa các biến độc lập.
4. 3. Ước lượng các tham số
a. Mô hình hồi qui ba biến :
Yi = β1+ β2X2i + β3X3i + Ui (PRF)
Hàm hồi qui mẫu :
ˆ ˆ ˆ ˆ
Yi = Yi + ei = β1 + β 2 X2i + β 3 X3i + ei
Giả sử có một mẫu gồm n quan sát các giá
trị (Yi, X2i, X3i). Theo phương pháp OLS,
ˆ
β j (j= 1,2,3) phải thoả mãn :
∑e 2
i → min
6. Giải hệ ta có :
ˆ
β2 =
∑x y∑x −∑x x ∑x
2i i
2
3i 2i 3i y
3i i
∑x ∑x −(∑x x )
2
2i
2
3i 2i 3i
2
ˆ
β3 =
∑x y∑x −∑x x ∑x
3i i
2
2i 2i 3i y
2i i
∑x ∑x −(∑x x )
2
2i
2
3i 2i 3i
2
ˆ ˆ ˆ
β1 = Y − β 2X2 − β 3 X3
7. * Phương sai của các hệ số ước lượng
∑ (X x ) 2
1 − X3x 2i
ˆ
Var( β1 ) = + 2 3i
×σ 2
n
∑ x 2i ∑ x 3i − ( ∑ x 2i x 3i )
2 2 2
ˆ2) =
Var( β
∑ x 3i2
×σ 2
∑ x 2i ∑ x 3i − ( ∑ x 2i x 3i )
2 2 2
ˆ
Var( β 3 ) =
∑x 2
2i
×σ 2
∑x ∑x
2
2i
2
3i − ( ∑ x 2i x 3i ) 2
8. Trong đó : σ2 = Var(Ui)
σ2 chưa biết nên dùng ước lượng của nó là :
ˆ
σ 2
=
∑e 2
i
n−3
Với :
∑ ei2 = TSS− ESS= ∑ ˆ ˆ
y i2 − β 2 ∑ x 2i y i − β 3 ∑ x 3i y i
9. b. Mô hình hồi qui tuyến tính k biến
Yi = β1+ β2X2i + …+ βkXki+ Ui (PRF)
(i = 1,…, n)
Hàm hồi qui mẫu :
ˆ ˆ ˆ ˆ
Yi = Yi + ei = β1 + β 2 X2i + ... + β k Xki + ei
Theo phương pháp OLS,
ˆ
β j (j= 1,2,…,k) phải thoả mãn :
∑e 2
i → min
10. Tức là :
∂ ∑ ei2
ˆ =0 ˆ ˆ ˆ
∑ 2( Yi − β1 − β 2 X2i − ... − β k Xki )( − 1) = 0
∂ β1
⇔
∂ e2
∑ i =0
ˆ ˆ ˆ
∑ 2( Yi − β1 − β 2 X2i − ... − β k Xki )( − Xki ) = 0
ˆ
∂ βk
ˆ = XT Y
Viết hệ dưới dạng ma trận : X X β ( T
)
ˆ
⇒ β = X X ( T
) ( X Y)
−1 T
11. ˆ
β1 ∑ Yi
ˆ
β=
ˆ
β2 X Y=
T ∑ X2i Yi
ˆ
βk
∑ Xki Yi
n
∑X 2i ∑X 3i ... ∑ X
ki
∑ X2i ∑X ∑X X ∑X X
2
T 2i 2i 3i ... 2i ki
X X=
2
∑ Xki
∑X X ∑X X
ki 2i ki 3i ... ∑ Xki
12. 4. Hệ số xác định
2
R =
ESS
=1−
RSS
=1−
∑ ei2
TSS TSS ∑ y i2
∑e 2
i = RSS= TSS− ESS
ˆ ˆ
= ∑ y i2 − β 2 ∑ x 2i y i − ... − β k ∑ x ki y i
* Chú ý : Khi tăng số biến độc lập trong
mô hình thì R2 cũng tăng cho dù các biến
độc lập thêm vào có ảnh hưởng mô hình
hay không . Do đó không thể dùng R2 để
quyết định có hay không nên thêm
13. biến vào mô hình mà thay vào đó có thể sử
dụng hệ số xác định được hiệu chỉnh :
R 2
=1−
∑e
2
i /( n − k )
∑y
i
2
/( n − 1)
Hay:
2 n −1
2
R = 1 − (1 − R )
n−k
Tính chất của R2 :
- Khi k > 1, R2 ≤ R2 ≤ 1
- R2 có thể âm, trong trường hợp âm, ta coi
giá trị của nó bằng 0.
14. 2
* Cách sử dụng R để quyết định đưa
thêm biến vào mô hình :
Mô hình hai biến Mô hình ba biến
ˆ ˆ ˆ
Yi = β1 + β 2 X2i (1) ˆ ˆ ˆ ˆ
Yi = β1 + β 2 X2i + β 3 X3i ( 2)
2
R1 R2
2
2 2
R 1 R 2
2 2
- Nếu R > R thì chọn mô hình (1) ,
1 2
tức là không cần đưa thêm biến X3 vào
mô hình. Ngược lại, ta chọn mô hình (2).
15. • So sánh hai giá trị R2 :
Nguyên tắc so sánh :
- Cùng cỡ mẫu n .
- Cùng các biến độc lập.
- Biến phụ thuộc phải ở dạng giống
nhau. Biến độc lập có thể ở bất cứ dạng
nào.
Ví dụ :
16. 5. Ma trận tương quan
ˆ ˆ ˆ ˆ
Xét mô hình : Yi = β1 + β 2 X2i + ... + β k Xki
Gọi rtj là hệ số tương quan tuyến tính
giữa biến thứ t và thứ j. Trong đó Y
được xem là biến thứ 1.
Ma trận tương quan tuyến tính có dạng :
1 r12 ... r1k
r 1 ... r2k
21
... ...
rk1 rk 2 ... 1
17. 6. Ma trận hiệp phương sai
var( β1 )ˆ ˆ ˆ
cov( β1 , β 2 ) ˆ ˆ
... cov( β1 , β k )
ˆ ˆ
cov( β 2 , β1 ) ˆ
var( β 2 ) ˆ ˆ
... cov( β 2 , β k )
cov( β ) =
ˆ
... ...
ˆ ˆ ˆ ˆ
cov( β k , β1 ) cov( β k , β 2 ) ... ˆ
var( β k )
Để tính ma trận hiệp phương sai của các hệ
số, áp dụng công thức :
ˆ ) = ( XT X) −1σ 2 RSS
cov( β ˆ
với σ = 2
n−k
Trong đó, k là số tham số trong mô hình.
18. 7. Khoảng tin cậy của các hệ số hồi qui
Khoảng tin cậy của β j (j =1,2, …, k) là :
ˆ e ˆ
β j ± sˆ ( β j ) t α / 2 ( n − k )
Trong đó, k là số tham số trong mô hình.
19. 8. Kiểm định giả thiết
a. Kiểm định H0 : β j = a (=const)
( j = 1, 2, …, k)
Phần này hoàn toàn tương tự như ở mô
hình hồi qui hai biến, khác duy nhất ở chỗ
bậc tự do của thống kê t là (n-k).
20. b. Kiểm định giả thiết đồng thời :
H0 : β 2 = β 3 =…= β k = 0 ⇔ H0 : R2 = 0
H1: ∃ β j ≠ 0 (2 ≤ j ≤ k) ⇔ H1 : R2 ≠ 0
Cách kiểm định : 2
-Tính R /( k − 1)
F= 2
(1 − R ) /( n − k )
Nếu p(F* > F) ≤ α ⇒ bác bỏ H0,
Nếu F > Fα(k-1, n-k)
Tức là các hệ số hồi qui không đồng thời
bằng 0 hay hàm hồi qui phù hợp.
21. c. Kiểm định Wald
Xét mô hình (U) sau đây :
Yi = β1+ β2X2i + β3X3i+ β4X4i+ β5X5i+ Ui
(U) được xem là mô hình không hạn chế.
Ví dụ 1 : Với mô hình (U), cần kiểm định
H0 : β 3 = β 5 = 0
Áp đặt giả thiết H0 lên mô hình (U), ta có
mô hình hạn chế (R) như sau :
Yi = β1+ β2X2i + β4X4i+ Ui (R)
Để kiểm định H0, ta dùng kiểm định Wald.
22. Các bước kiểm định Wald :
- Hồi qui mô hình (U) thu được RSSU.
- Hồi qui mô hình (R) thu được RSSR.
- Tính F = (RSS − RSS ) /( dfR − dfU )
R u
RSS / dfU
U
dfU : bậc tự do của (U)
dfR : bậc tự do của (R)
- Nếu p (F* > F) ≤ α
⇒ bác bỏ H0,
Nếu F > Fα(dfR- dfU, dfU)
23. Ví dụ 2 : VớI mô hình (U), kiểm định
H0 : β 2 = β 3 = β 4
Áp đặt H0 lên (U), ta có mô hình (R):
Yi = β1+ β2X2i + β2X3i+ β2X4i+ β5X5i+ Ui
hay
Yi = β1+ β2(X2i+X3i+X4i) + β5X5i+ Ui
Đến đây, áp dụng các bước kiểm định Wald
cho giả thiết H0.
24. Ví dụ 3 : VớI mô hình (U), kiểm định
H 0 : β 2+ β3= 1
Thực hiện tương tự như các ví dụ trên, bằng
các áp đặt H0 lên (U), ta có mô hình hạn
chế (R) :
Yi= β1+ β2X2i+(1- β2)X3i+ β4X4i+ β5X5i+Ui
(Yi - X3i) = β1+ β2(X2i -X3i)+ β4X4i+ β5X5i+Ui
* Chú ý : Trong Eviews, thủ tục kiểm định
Wald được viết sẵn, bạn chỉ cần gõ vào giả
25. 9. Dự báo :
a. Dự báo giá trị trung bình
Cho X20, X30, …, Xk0. Dự báo E(Y).
- Dự báo điểm của E(Y) là :
ˆ ˆ 0 ˆ 0
ˆ 0 = β1 + β 2 X2 + ... + β k Xk
Y
- Dự báo khoảng của E(Y) :
ˆ eˆ ˆ eˆ
[ Y0 − sˆ ( Y0 ) t α / 2 (n − k ) ; Y0 + sˆ ( Y0 ) t α / 2 (n − k )]
26. 1
Trong đó : X0
Var( Y0) = X0T(XTX)-1X0 σ2
ˆ 0
X = 2
0
Xk
b. Dự báo giá trị cá biệt của Y khi X=X0.
ˆ e ˆ ˆ e ˆ
[ Y0 − sˆ ( Y0 − Y0 ) t α / 2 (n − k ) ; Y0 + sˆ ( Y0 − Y0 ) t α / 2 (n − k )]
Trong đó :
ˆ 0 ) = Var( Y0 ) + σ 2
Var( Y0 − Y ˆ