Luận văn: Hồi quy bội tuyến tính và Hồi quy phi tuyến, HOT, 9đ

ĐẠI HỌC KHOA HỌC TỰ NHIÊN
TRƯỜNG ĐẠI HỌC QUỐC GIA HÀ NỘI
PHẠM THỊ HƯƠNG
HỒI QUY BỘI TUYẾN TÍNH
HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG
LUẬN VĂN THẠC SĨ KHOA HỌC
HÀ NỘI - NĂM 2015

ĐẠI HỌC KHOA HỌC TỰ NHIÊN
TRƯỜNG ĐẠI HỌC QUỐC GIA HÀ NỘI
PHẠM THỊ HƯƠNG
HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG
Chuyên ngành: LTXS & TKT
Mã số: 60460106
LUẬN VĂN THẠC SĨ KHOA HỌC
Người hướng dẫn khoa học:
GS. TSKH. ĐẶNG HÙNG THẮNG
HÀ NỘI - NĂM 2015

MỞ ĐẦU
Phân tích hồi quy là phương pháp có ứng dụng rộng rãi nhất
trong các phương pháp thống kê. Hiện nay, các mô hình hồi quy
được sử dụng nhiều trong quản trị kinh doanh, kinh tế, kỹ thuật
và xã hội, y tế, khoa học và sinh học. . . ..Các mô hình hồi quy rất
đa dạng bao gồm: hồi quy tuyến tính, hồi quy phi tuyến. Các loại
mô hình gồm nhiều dạng nhỏ khá phức tạp. Ứng dụng thành công
của các mô hình đòi hỏi một sự hiểu biết sâu về cả lý thuyết cơ
bản và những vấn đề thiết thực mà đang gặp phải trong việc sử
dụng các mô hình trong các tình huống thực tế cuộc sống. Anon
từng viết "Cho con người 3 vũ khí: hệ số tương quan, hồi quy
tuyến tính và một cây bút, con người sẽ sử dụng cả 3". Là một
giảng viên trường cao đẳng, tôi muốn nghiên cứu sâu hơn về hồi
quy tuyến tính và hồi quy phi tuyến nhằm nâng cao chuyên môn
phục vụ cho quá trình giảng dạy, vậy nên tôi đã chọn đề tài làm
luận văn thạc sĩ của mình là:
"Hồi quy bội tuyến tính
Hồi quy phi tuyến và ứng dụng"
Mục đích của luận văn này là đưa ra các dạng cơ bản của hồi quy
tuyến tính bội, hồi quy phi tuyến, các kết quả phân tích để ứng
dụng vào các mô hình hữu ích trong thực tế.
Bản luận văn được chia làm 3 chương:
Chương 1: Hồi quy bội tuyến tính
Trình bày các mô hình hồi quy bội tuyến tính, các ước lượng
hồi quy bội và các phân tích về các ước lượng hồi quy đó.
1

2
Chương 2: Hồi quy phi tuyến và mô hình mạng Nơ ron
Chương này trình bày một số mô hình hồi quy phi tuyến
thường gặp, các ước lượng của mô hình và việc phân tích, xây
dựng chẩn đoán mô hình.
Chương 3: Ứng Dụng
Đề cập đến các ứng dụng của mô hình hồi quy bội tuyến tính
và hồi quy phi tuyến ngoài thực tế. Trong mỗi ứng dụng có nhấn
mạnh đến việc xây dựng mô hình, ước lượng tham số và đánh giá
mô hình.
Mặc dù có nhiều cố gắng, xong do nhiều yếu tố khách quan và
chủ quan, nên trong quá trình chọn lọc tư liệu và trình bày nội
dung khó tránh khỏi những thiếu sót. Vì vậy tôi rất mong nhận
được những ý kiến chỉ bảo của thầy cô, sự góp ý chân thành của
các bạn học viên để luận văn được hoàn thiện hơn.

Lời cảm ơn
Tôi xin được bày tỏ lòng kính trọng và lòng biết ơn sâu sắc đến GS.
TSKH Đặng Hùng Thắng, người thầy đã tận tình giảng dạy, truyền
thụ những kiến thức bổ ích và tạo điều kiện để tôi hoàn thành luận
văn này. Thầy đã dành nhiều thời gian hướng dẫn cũng như giải đáp
các thắc mắc của tôi trong suốt quá trình tôi thực hiện đề tài.
Tôi xin gửi lời cảm ơn chân thành tới các thầy cô Khoa Toán - Cơ
- Tin học, Phòng sau đại học Trường Đại học Khoa học Tự nhiên, Đại
học Quốc gia Hà Nội; các thầy cô đã tham gia giảng dạy khóa cao học
2013 -2015; Ban giám hiệu và các đồng nghiệp trường Cao Đẳng Kinh
Tế Kỹ Thuật Thương Mại Hà Nội đã tạo điều kiện thuận lợi cho tôi
hoàn thành luận văn của mình.
Cuối cùng, tôi xin chân thành cảm ơn gia đình đã luôn động viên
tôi trong suốt quá trình học tập và nghiên cứu khoa học.
Hà Nội, tháng 12 năm 2015
Học viên
Phạm Thị Hương
3

Mục lục
1 HỒI QUY BỘI TUYẾN TÍNH 6
1.1 Nhắc lại hồi quy đơn tuyến tính . . . . . . . . . . . . . . . . . . . 6
1.2 Các mô hình hồi quy bội . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.1 Sự cần thiết phải đưa ra nhiều biến dự báo . . . . . . . . 13
1.2.2 Mô hình bậc nhất với hai biến dự báo . . . . . . . . . . . . 14
1.2.3 Mô hình bậc nhất với nhiều hơn hai biến dự báo . . . . . . 17
1.2.4 Mô hình hồi quy tuyến tính tổng quát . . . . . . . . . . . . 17
1.3 Dạng ma trận của mô hình hồi quy tuyến tính tổng quát . . . . . 23
1.4 Ước lượng các hệ số hồi quy . . . . . . . . . . . . . . . . . . . . . . 25
1.5 Ước lượng mẫu và phần dư . . . . . . . . . . . . . . . . . . . . . . . 26
1.6 Các kết quả phân tích phương sai . . . . . . . . . . . . . . . . . . . 26
1.7 Các kết luận về các tham số hồi quy . . . . . . . . . . . . . . . . . 30
1.8 Ước lượng trung bình đáp ứng và dự báo quan sát mới . . . . . . 31
1.9 Chẩn đoán và biện pháp khắc phục . . . . . . . . . . . . . . . . . . 35
2 HỒI QUY PHI TUYẾN VÀ MÔ HÌNH MẠNG NƠ RON 42
2.1 Mô hình hồi quy tuyến tính và phi tuyến . . . . . . . . . . . . . . 42
2.2 Ước lượng các tham số hồi quy . . . . . . . . . . . . . . . . . . . . 47
2.3 Ước lượng bình phương cực tiểu trong hồi quy phi tuyến . . . . . 48
2.3.1 Nghiệm của phương trình chuẩn . . . . . . . . . . . . . . . 49
2.3.2 Tìm kiếm số trực tiếp - Phương pháp Gauss-Newton . . . 50
2.3.3 Các thủ tục tìm kiếm trực tiếp khác . . . . . . . . . . . . . 55
2.4 Xây dựng và chẩn đoán mô hình . . . . . . . . . . . . . . . . . . . 56
2.5 Các kết luận về tham số hồi quy phi tuyến . . . . . . . . . . . . . 57
2.5.1 Ước lượng phương sai sai số . . . . . . . . . . . . . . . . . . 57
2.5.2 Định lí mẫu lớn . . . . . . . . . . . . . . . . . . . . . . . . . 57
2.5.3 Khi nào định lý mẫu lớn dùng được? . . . . . . . . . . . . . 58
4

Luận văn thạc sỹ khoa học Phạm Thị Hương
2.5.4 Biện pháp khắc phục hậu quả. . . . . . . . . . . . . . . . . 60
2.5.5 Khoảng ước lượng của γk . . . . . . . . . . . . . . . . . . . 60
2.5.6 Khoảng tin cậy đồng thời cho một số γk . . . . . . . . . . . 61
2.5.7 Kiểm tra tính liên quan của một tham số γk . . . . . . . . 61
2.5.8 Kiểm định đồng thời một số γk . . . . . . . . . . . . . . . . 61
2.6 Giới thiệu về mô hình mạng Nơ ron . . . . . . . . . . . . . . . . . 62
2.6.1 Mô hình mạng Nơ ron . . . . . . . . . . . . . . . . . . . . . 62
2.6.2 Mạng đại diện . . . . . . . . . . . . . . . . . . . . . . . . . . 65
2.6.3 Mạng Nơ ron như sự tổng quát của hồi quy tuyến tính. . . 67
2.6.4 Ước lượng tham số: Bình phương cực tiểu penalized . . . . 68
2.6.5 Một số bình luận cuối về mô hình mạng Nơ ron . . . . . . 69
3 Ứng dụng 71
3.1 Ứng dụng 1: Dự báo doanh số bán hàng . . . . . . . . . . . . . . . 71
3.1.1 Đặt bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.1.2 Các tính toán cơ bản . . . . . . . . . . . . . . . . . . . . . . 73
3.1.3 Ước lượng hàm hồi quy . . . . . . . . . . . . . . . . . . . . 75
3.1.4 Các ước lượng mẫu và phần dư . . . . . . . . . . . . . . . . 76
3.1.5 Phân tích sự phù hợp của mô hình . . . . . . . . . . . . . . 77
3.1.6 Phân tích phương sai . . . . . . . . . . . . . . . . . . . . . . 79
3.1.7 Ước lượng các tham số hồi quy . . . . . . . . . . . . . . . . 81
3.1.8 Ước lượng trung bình đáp ứng . . . . . . . . . . . . . . . . 82
3.1.9 Giới hạn dự báo cho các quan sát mới . . . . . . . . . . . . 83
3.2 Ứng dụng 2: Dự báo mức độ phục hồi sau khi xuất viện . . . . . . 84
3.3 Ứng dụng 3: Đường cong học tập . . . . . . . . . . . . . . . . . . . 95
3.4 Ứng dụng 4: Bệnh thiếu máu cơ tim . . . . . . . . . . . . . . . . . 99
KẾT LUẬN 105
Tài liệu tham khảo 106
5

Chương 1
1.1 Nhắc lại hồi quy đơn tuyến tính
1.1.1 Mô hình dạng chuẩn
Xét mô hình hồi quy đơn tuyến tính (còn gọi là hồi quy tuyến tính đơn hay
gọi tắt là hồi quy đơn) với một biến dự báo và hàm hồi quy là tuyến tính. Mô
hình được xây dựng như sau:
Yi = β0 + β1Xi + εi (1.1)
Trong đó:
Yi: Giá trị biến đáp ứng trong thử nghiệm thứ i
β0, β1: Tham số
Xi: Hằng số, giá trị biến dự báo trong thử nghiệm thứ i
εi: Sai số ngẫu nhiên với trung bình E{εi} = 0; phương sai σ2{εi} = σ2;
εi và εj không tương quan.
Mô hình hồi quy (1.1) được gọi là đơn, tuyến tính với các tham số và tuyến
tính với biến dự báo. "Đơn" ở đây là chỉ một biến dự báo.
1.1.2 Các đặc trưng quan trọng của mô hình
1. Giá trị đáp ứng Yi trong thử nghiệm thứ i là tổng của hai thành phần: (1)
điều kiện hằng số β0 + β1Xi và (2) là điều kiện ngẫu nhiên εi. Do đó, Yi là biến
ngẫu nhiên.
2. Do E{εi} = 0 nên
E{Yi} = β0 + β1Xi (1.2)
6

Vậy hàm hồi quy cho mô hình (1.1) là:
E{Y } = β0 + β1X (1.3)
3. Giá trị đáp ứng Yi trong thử nghiệm thứ i sai khác với giá trị hàm hồi quy
một lượng là sai số εi.
4. Sai số εi được giả định là có phương sai không đổi σ2 nên đáp ứng Yi cũng
có phương sai không đổi:
σ2
{Yi} = σ2
(1.4)
Do vậy, mô hình hồi quy (1.1) được giả định rằng phân phối xác suất của Y có
cùng phương sai σ2.
5. Các sai số được giả định là không tương quan. Do εi và εj là không tương
quan nên đáp ứng Yi và Yj cũng không tương quan.
6. Tóm lại, mô hình (1.1) chỉ ra rằng đáp ứng Yi có phân phối xác suất mà
trung bình của nó là E{Yi} = β0 + β1Xi và phương sai của nó là σ2 và là như
nhau với mọi giá trị của X. Hơn nữa, hai giá trị đáp ứng Yi và Yj là không
tương quan.
1.1.3 Dạng biến đổi của mô hình hồi quy
Đôi khi mô hình hồi quy (1.1) được viết dưới dạng khác. Đặt X0 là hằng số
có giá trị bằng 1. Khi đó mô hình (1.1) có thể được viết như sau:
Yi = β0X0 + β1Xi + εi X0 ≡ 1 (1.5)
ở dạng này ứng với mỗi giá trị biến X đều có một hệ số hồi quy.
Phép biến đổi sau được dùng cho độ lệch của biến dự báo Xi − ¯X thay cho
Xi. Từ (1.1) chúng ta có thể viết:
Yi = β0 + β1(Xi − ¯X) + β1
¯X + εi
= (β0 + β1
¯X) + β1(Xi − ¯X) + εi
= β∗
0 + β1(Xi − ¯X) + εi
7

Do vậy dạng mô hình biến đổi là:
Yi = β∗
0 + β1(Xi − ¯X) + εi (1.6)
trong đó:
β∗
0 = β1
¯X (1.6a)
1.1.4 Ước lượng hàm hồi quy
Các dữ liệu quan sát hoặc thí nghiệm được sử dụng cho việc ước lượng các
tham số của hàm hồi quy bao gồm các quan sát của biến dự báo X và biến đáp
ứng Y. Với mỗi thử nghiệm, có một giá trị của quan sát X tương ứng một giá
trị quan sát Y. Chúng ta biểu diễn các quan sát (X, Y ) cho thử nghiệm thứ nhất
là (X1, Y1), cho thử nghiệm thứ hai là (X2, Y2) và tổng quát cho thử nghiệm thứ
i là (Xi, Yi) trong đó i = 1, 2, . . . , n.
Phương pháp bình phương cực tiểu
Để tìm các ước lượng "tốt" cho các tham số hồi quy β0 và β1 thường dùng
phương pháp bình phương cực tiểu. Đối với các quan sát (Xi, Yi), phương pháp
bình phương cực tiểu xem xét độ lệch của Yi với kì vọng của nó:
Yi − (β0 + β1Xi) (1.7)
Phương pháp này đòi hỏi xem xét tổng của n độ lệch bình phương. Tổng này
được gọi là hàm tiêu chuẩn Q:
Q =
n
i=1
(Yi − β0 − β1Xi)2
(1.8)
Theo phương pháp bình phương cực tiểu, các ước lượng của β0 và β1 tương
ứng là b0 và b1 làm cực tiểu hóa hàm tiêu chuẩn Q đối với các mẫu quan sát
(X1, Y1), (X2, Y2), . . . , (Xn, Yn) đưa ra.
Các ước lượng b0 và b1 thỏa mãn hàm tiêu chuẩn bình phương cực tiểu có
thể được xác định bằng hai cách:
1. Các thủ tục tìm kiếm số có thể được sử dụng ước lượng một cách có hệ
thống các ước lượng b0 và b1 khác nhau cho tới khi tìm được giá trị cực tiểu
8

hàm tiêu chuẩn Q.
2. Các thủ tục phân tích thường được sử dụng để tìm các giá trị b0 và b1 mà
cực tiểu hóa hàm Q. Phép phân tích gần đúng được thực hiện khi mô hình hồi
quy không quá phức tạp.
Khi áp dụng phân tích gần đúng đối với mô hình (1.1), các giá trị ước lượng
b0 và b1 cực tiểu hóa hàm Q thỏa mãn các phương trình sau:
Yi =nb0 + b1 Xi
XiYi =b0 Xi + b1 X2
i
(1.9)
Các phương trình (1.9) được gọi là phương trình chuẩn; b0 và b1 được gọi là các
ước lượng điểm của β0 và β1.
Từ các phương trình chuẩn (1.9) ta có:
b1 =
(Xi − ¯X)(Yi − ¯Y )
(Xi − ¯X)2
b0 =
1
n
Yi − b1 Xi = ¯Y − b1
¯X
(1.10)
Trong đó, ¯X và ¯Y là các giá trị trung bình của các quan sát Xi và Yi.
Tính chất của các ước lượng bình phương cực tiểu:
Định lí 1.1.1. (Gauss-Markov): Với các điều kiện của mô hình hồi quy (1.1),
các ước lượng bình phương cực tiểu b0 và b1 trong (1.10) là không chệch và có
phương sai nhỏ nhất trong tất cả các ước lượng tuyến tính không chệch khác.
Theo định lí ta thấy:
E{b0} = β0 E{b1} = β1
Hơn nữa, định lí cũng chỉ ra rằng các ước lượng b0 và b1 là chính xác hơn bất kì
ước lượng nào khác trong lớp các ước lượng không chệch mà là hàm tuyến tính
của các quan sát Y1, . . . , Yn. Ví dụ, từ (1.10) ta có:
b1 =
(Xi − ¯X)(Yi − ¯Y )
(Xi − ¯X)2
9

là hàm tuyến tính đối với Yi.
Ước lượng điểm của trung bình đáp ứng
Từ các ước lượng b0 và b1 của các tham số trong hàm hồi quy (1.3):
E{Y } = β0 + β1X
ta ước lượng hàm hồi quy như sau:
ˆY = b0 + b1X (1.11)
với ˆY là giá trị ước lượng của hàm hồi quy ứng với giá trị X của biến dự báo.
Gọi giá trị của biến đáp ứng là đáp ứng và E{Y } là trung bình đáp ứng nên
trung bình đáp ứng là trung bình phân phối xác suất của Y ứng với giá trị
biến dự báo X. ˆY là ước lượng điểm của trung bình đáp ứng khi giá trị biến dự
báo là X. Định lí Gauss-Markov chỉ ra rằng ˆY là ước lượng không chệch của
E{Y } và có phương sai nhỏ nhất trong lớp các ước lượng tuyến tính không chệch.
Ta gọi ˆYi:
ˆYi = b0 + b1Xi i = 1, . . . , n (1.12)
là ước lượng mẫu cho thử nghiệm thứ i.
Từ mô hình biến đổi (1.6) :
Yi = β∗
0 + β1(Xi − ¯X) + ε
b1 là ước lượng bình phương cực tiểu của β1. Khi đó, b∗
0 là ước lượng bình phương
cực tiểu của β∗
0 được xác định như sau:
b∗
0 = b0 + b1
¯X = (¯Y − b1
¯X) + b1
¯X = ¯Y (1.13)
Do đó, ước lượng mẫu cho mô hình hồi quy biến đổi (1.6) là:
ˆY = ¯Y + b1(X − ¯X) (1.14)
Khi đó, phần dư thứ i là sự khác biệt giữa giá trị quan sát Yi và ước lượng
mẫu ˆYi, được kí hiệu là ei và được định nghĩa một cách tổng quát như sau:
ei = Yi − ˆYi (1.15)
10

Tính chất của đường hồi quy mẫu
Đường hồi quy ước lượng (1.11) có một số tính chất quan trọng sau:
1. Tổng phần dư bằng 0:
n
i=1
ei = 0 (1.16)
2. Tổng bình phương phần dư, e2
i , là nhỏ nhất.
3. Tổng các giá trị quan sát Yi bằng tổng ước lượng mẫu ˆYi:
Yi = ˆYi (1.17)
4. Tổng các phần dư có trọng số bằng 0 khi trọng số của nó trong thử nghiệm
thứ i là giá trị biến dự báo:
Xiei = 0 (1.18)
5. Tổng phần dư có trọng số bằng 0 khi trọng số của nó trong thử nghiệm
thứ i là ước lượng mẫu của biến đáp ứng:
ˆYiei = 0 (1.19)
6. Đường hồi quy luôn luôn đi qua điểm ( ¯X, ¯Y ).
1.1.5 Ước lượng phương sai sai số σ2
Đám đông duy nhất: Single population.
Như chúng ta biết, phương sai σ2 của đám đông duy nhất được ước lượng bởi
phương sai mẫu s2. Để có được phương sai mẫu s2, ta xem xét độ lệch giữa Yi
và trung bình ước lượng ¯Y , bình phương độ lệch đó, và lấy tổng bình phương
các độ lệch:
n
i=1
(Yi − ¯Y )2
Tổng này được gọi là tổng bình phương. Sau đó lấy tổng bình phương chia
cho bậc tự do ứng với nó. Ở đây bậc tự do đó là n − 1 vì một bậc tự do bị mất
11

do việc sử dụng ¯Y như là một ước lượng của trung bình đám đông µ. Khi đó,
ta có:
s2
=
n
i=1(Yi − ¯Y )2
n − 1
là ước lượng không chệch của phương sai σ2.
Mô hình hồi quy.
Một cách logic để phát triển ước lượng σ2 cho mô hình hồi quy là tương tự
như cho đám đông duy nhất. Phương sai của mỗi quan sát Yi là σ2 và giống với
phương sai sai số εi. Cần tính lại tổng các độ lệch bình phương, nhưng lúc này
Yi có phân phối xác suất khác nhau với các trung bình khác nhau phụ thuộc
vào giá trị của Xi. Do vậy, độ lệch của quan sát Yi phải được tính toán quanh
trung bình ước lượng ˆY . Do đó, độ lệch chính là phần dư:
Yi − ˆYi = ei
và tổng bình phương, kí hiệu là SSE như sau:
SSE =
n
i=1
(Yi − ¯Y )2
=
n
i=1
e2
i (1.20)
trong đó, SSE là tổng bình phương sai số hay tổng bình phương phần dư.
Tổng bình phương SSE có n − 2 bậc tự do. Hai bậc tự do bị mất vì cả β0
và β1 có ước lượng trong ước lượng trung bình ˆYi. Vì vậy, trung bình tổng bình
phương, kí hiệu là MSE hay s2 là:
s2
= MSE =
SSE
n − 2
=
n
i=1(Yi − ¯Y )2
n − 2
=
n
i=1 e2
i
n − 2
(1.21)
ở đây, MSE là trung bình bình phương sai số hay trung bình bình phương phần
dư.
MSE là ước lượng không chệch của σ2 đối với mô hình hồi quy (1.1)
E{MSE} = σ2
(1.22)
Và ước lượng của độ lệch chuẩn đơn giản là s =
√
MSE.
12

1.2 Các mô hình hồi quy bội
1.2.1 Sự cần thiết phải đưa ra nhiều biến dự báo
Các mô hình hồi quy bao gồm một biến đáp ứng hay biến phản hồi và một
số lượng các biến dự báo. Ta xét một mô hình mà biến đáp ứng là doanh thu
của một công ty và biến dự báo được quan tâm bao gồm chi phí cho quảng
cảo và lương trả cho nhân viên tiếp thị. Một mô hình khác mà biến đáp ứng là
lương thu nhập của mỗi cá nhân và các biến dự báo liên quan là giới tính, Tuổi,
số con phải nuôi, trình độ học vấn. Mặt khác, khi chúng ta nghiên cứu những
đứa trẻ thấp lùn thì biến đáp ứng là mức hormon lớn dần trong huyết tương,
và các biến dự báo gồm giới tính, tuổi, và các thông số cơ thể khác. Trong tất
cả các ví dụ này, một biến dự báo đơn lẻ trong mô hình không cung cấp sự mô
tả đầy đủ vì một số lượng các biến dự báo chìa khóa tác động đến biến đáp ứng
theo các cách đặc biệt và quan trọng. Hơn nữa, trong những tình huống này,
chúng ta thường thấy rằng các dự báo của biến đáp ứng dựa vào mô hình chỉ
có một biến dự báo riêng lẻ là việc sử dụng không chính xác. Vì vậy các mô
hình hồi quy bội tuyến tính (còn gọi là hồi quy tuyến tính bội hay gọi tắt là
hồi quy bội) được đưa ra.
Trong mỗi ví dụ vừa đề cập, sự phân tích đều dựa trên dữ liệu quan sát vì
các biến dự báo không được điều chỉnh, thường thì vì chúng không dễ để điều
chỉnh trực tiếp. Phân tích hồi quy bội cũng rất hữu ích trong các trường hợp
thí nghiệm mà người làm thí nghiệm có thể điều chỉnh các biến dự báo. Một
người làm thí nghiệm sẽ muốn điều tra một số lượng các biến dự báo cùng một
lúc vì hầu hết luôn luôn nhiều hơn một biến dự báo chìa khóa ảnh hưởng đến
biến đáp ứng. Ví dụ, trong nghiên cứu về năng suất của các đội làm việc, một
người làm thí nghiệm có thể muốn điều chỉnh trực tiếp cả quy mô của đội và
mức tiền thưởng. Tương tự như vậy, khi nghiên cứu về phản ứng của một loại
thuốc, người thử nghiệm có thể điều chỉnh cả liều lượng của thuốc và phương
pháp quản lý.
Các mô hình hồi quy bội tuyến tính mà chúng ta mô tả bây giờ có thể được
sử dụng cho mỗi dữ liệu quan sát hoặc cho dữ liệu thí nghiệm từ các thiết kế
hoàn toàn ngẫu nhiên.
13

1.2.2 Mô hình bậc nhất với hai biến dự báo
Khi có hai biến dự báo X1 và X2 mô hình hồi quy:
Yi = β0 + β1Xi1 + β2Xi2 + εi (1.23)
được gọi là mô hình bậc nhất với hai biến dự báo. Yi biểu thị giá trị đáp
ứng trong thử nghiệm thứ i, Xi1 và Xi2 là các giá trị của hai biến dự báo
trong thử nghiệm thứ i. Các tham số trong mô hình là β0, β1, β2 và các sai số là εi.
Giả định rằng E{εi} = 0, hàm hồi quy cho mô hình (1.23) là:
E{Y } = β0 + β1X1 + β2X2 (1.24)
Với mô hình hồi quy đơn tuyến tính, hàm hồi quy E{Y } = β0 + β1X1 là một
đường thẳng. Ở đây, hàm hồi quy (1.24) là một mặt phẳng. Hình (1.1) đưa ra
một phần mặt phẳng đáp ứng:
E{Y } = 10 + 2X1 + 5X2 (1.25)
Chú ý rằng điểm bất kỳ trên mặt phẳng đáp ứng (1.25) tương ứng với giá trị
trung bình E{Y } ứng với X1 và X2.
Hình (1.1) chỉ ra một quan sát Yi tương ứng với giá trị (Xi1, Xi2) của các
biến dự báo. Đoạn thẳng dọc giữa Yi và mặt phẳng đáp ứng biểu thị cho sự
khác biệt giữa Yi và giá trị trung bình E{Y }. Do đó, khoảng cách từ Yi tới mặt
phẳng đáp ứng biểu thị cho sai số εi = Yi − E{Yi}.
Thông thường, trong hồi quy bội, hàm hồi quy được gọi là mặt hồi quy hay
mặt đáp ứng. Trong hình (1.1), mặt đáp ứng là một mặt phẳng nhưng trong
các trường hợp khác mặt đáp ứng có thể phức tạp hơn.
Ý nghĩa của các tham số hồi quy.
Với mặt đáp ứng (1.25), tham số β0 = 10 là giá trị chặn của Y. Nếu xét tại
X1 = 0, X2 = 0 thì β0 = 20 biểu thị cho giá trị trung bình tương ứng của E{Y }
tại X1 = 0, X2 = 0. Ngoài ra, β0 không có một ý nghĩa đặc biệt nào trong mô
14

Hình 1.1: Hàm đáp ứng là một mặt phẳng
hình hồi quy.
Tham số β1 chỉ ra sự biến đổi của giá trị trung bình đáp ứng E{Y } khi X1
thay đổi và X2 được giữ cố định. Giống như vậy, β2 chỉ ra sự biến đổi của giá trị
trung bình E{Y } khi X2 biến đổi và X1 được giữ cố định. Để thấy rõ điều này,
trong ví dụ ta cố định X2 = 2. Hàm hồi quy (1.25) bây giờ là:
E{Y } = 10 + 2X1 + 5(2) = 20 + 2X1 X2 = 2 (1.26)
Chú ý rằng, hàm đáp ứng là một đường thẳng với hệ số dốc β1 = 2. Điều này
vẫn đúng với bất kỳ giá trị khác của X2; chỉ giá trị chặn của hàm đáp ứng là
khác nhau. Do đó, β1 = 2 chỉ ra rằng trung bình đáp ứng tăng lên 2 lần đơn vị
tăng của X1 khi X2 được cố định, không phụ thuộc vào giá trị của X2. Vì vậy
chúng ta thừa nhận rằng β1 chỉ sự biến đổi của E{Y } khi X1 thay đổi và X2
được cố định.
Tương tự, β2 = 5 trong hàm hồi quy (1.25) chỉ ra rằng trung bình đáp ứng
E{Y } tăng 5 lần đơn vị tăng của X2 khi X1 được cố định.
Khi ảnh hưởng của X1 trong trung bình đáp ứng không phụ thuộc vào giá trị
15

của X2 và ảnh hưởng của X2 không phụ thuộc vào giá trị của X1 thì hai biến dự
báo được nói là có ảnh hưởng cộng tính (additive effects) hay không tương tác
(not to interact). Vậy nên mô hình hồi quy bậc nhất (1.23) được thiết kế cho
các biến dự báo không có ảnh hưởng tương tác của chúng lên trung bình đáp ứng.
Tham số β1, β2 đôi khi được gọi là hệ số hồi quy cục bộ vì chúng chỉ phản
ánh ảnh hưởng cục bộ của một biến dự báo khi biến kia trong mô hình được
coi như là hằng số.
Ví dụ: Mặt đáp ứng (1.25) được chỉ ra trong hình (1.1) là cho mô hình
hồi quy liên quan đến việc kiểm tra doanh thu bán hàng (Y, đơn vị 10 nghìn
đô la) tại các điểm bán hàng trực tiếp (X1, đơn vị nghìn đô la) và bán hàng
qua TV (X2, đơn vị nghìn đô la). Vì β1 = 2 nên nếu cố định điểm bán hàng
TV, điểm bán hàng trực tiếp tại một địa phương tăng 1 đơn vị là 1 nghìn
đô la thì kỳ vọng doanh thu sẽ tăng 2 đơn vị là 20 nghìn đô la. Tương
tự, vì β2 = 5 nếu cố định điểm bán hàng trực tiếp, điểm bán hàng TV tăng
1 đơn vị là 1 nghìn đô la thì kỳ vọng bán hàng sẽ tăng 5 đơn vị là 50 nghìn đô la.
Bình luận:
1. Một mô hình hồi quy với mặt đáp ứng là một mặt phẳng có thể được sử
dụng trong trường hợp riêng khi nó là phù hợp hoặc xấp xỉ đến một mặt đáp
ứng phức tạp hơn. Nhiều mặt đáp ứng phức tạp có thể được xấp xỉ tốt bởi một
mặt phẳng với các hạn chế của X1 và X2.
2. Dễ dàng chứng minh ý nghĩa của β1 và β2 bằng tính toán. Lấy đạo hàm
riêng của mặt đáp ứng (1.24) theo X1, X2 ta có:
∂E{Y }
∂X1
= β1
∂E{Y }
∂X2
= β2
Các đạo hàm riêng đo tỷ lệ thay đổi trong E{Y } đối với mỗi biến dự báo khi
biến kia được cố định.
16

1.2.3 Mô hình bậc nhất với nhiều hơn hai biến dự báo
Bây giờ chúng ta xem xét trường hợp có p − 1 biến dự báo X1, ...,Xp−1. Mô
hình hồi quy:
Yi = β0 + β1Xi1 + β2Xi2 + ... + βp−1Xip−1 + εi (1.27)
được gọi là mô hình bậc nhất với p − 1 biến dự báo. Cũng có thể viết:
Yi = β0 +
p−1
k=1
βkXik + εi (1.27a)
hoặc nếu lấy Xi0 ≡ 1 mô hình tương ứng là:
Yi =
p−1
k=0
βkXik + εi (1.27b)
Giả sử rằng E{εi} = 0, hàm đáp ứng cho mô hình (1.27) là:
E{Y } = β0 + β1X1 + β2X2 + ... + βp−1Xp−1 (1.28)
Hàm đáp ứng này là một siêu phẳng, là mặt có nhiều hơn hai kích thước
và có hình dáng không giống với mặt đáp ứng trong trường hợp mô hình có
hai biến dự báo (hình 1.1). Tuy nhiên, ý nghĩa của các tham số là giống nhau.
Tham số βk chỉ sự thay đổi của trung bình đáp ứng E{Y } với 1 đơn vị tăng
trong biến dự báo Xk khi tất cả các biến dự báo còn lại được coi là hằng số.
Chú ý rằng, với mô hình (1.27), ảnh hưởng của biến dự báo bất kỳ trong trung
bình đáp ứng là như nhau khi các biến dự báo khác được cố định. Do đó, mô
hình hồi quy bậc nhất (1.27) được thiết kế cho các biến dự báo mà ảnh hưởng
của nó trên trung bình đáp ứng là cộng tính hay không có tương tác.
Bình luận:
Khi p − 1 = 1, mô hình hồi quy (1.27) là:
Yi = β0 + β1Xi1 + εi
đây là mô hình hồi quy đơn tuyến tính.
1.2.4 Mô hình hồi quy tuyến tính tổng quát
Tổng quát, định nghĩa mô hình tuyến tính tổng quát với điều kiện các sai số
chuẩn như sau:
17

Trong đó:
β0, β1,. . . , βp−1: là các tham số
Xi1,...,Xip−1: là các hằng số đã biết
εi ∼ N(0, σ2)
i = 1, ..., n
Nếu Xi0 ≡ 1 mô hình hồi quy (1.29) có thể được viết như sau:
Yi = β0Xi0 + β1Xi1 + β2Xi2 + ... + βp−1Xip−1 + εi (1.29a)
Hoặc
Yi =
p−1
k=0
βkXik + εi (1.29b)
Vì E{εi} = 0 nên hàm đáp ứng cho mô hình hồi quy (1.29) là :
E{Y } = β0 + β1X1 + β2X2 + ... + βp−1Xp−1 (1.30)
Do vậy, mô hình hồi quy tuyến tính tổng quát với điều kiện sai số chuẩn có
các quan sát Yi là các biến chuẩn độc lập, với trung bình E{Y } như (1.30) và
phương sai không đổi σ2.
Mô hình tuyến tính tổng quát bao gồm một loạt các tình huống rất đa dạng.
Bây giờ chúng ta xem xét một số vấn đề trong số những tình huống đó:
p-1 biến dự báo
Khi X1, . . . , Xp−1 biểu diễn p − 1 biến dự báo khác nhau, mô hình tuyến tính
tổng quát (1.29) là mô hình bậc nhất không có các ảnh hưởng tương tác giữa
các biến dự báo. Ví dụ trong hình (1.1) liên quan đến mô hình bậc nhất với hai
biến dự báo.
Các biến dự báo định tính
Mô hình hồi quy tuyến tính tổng quát (1.29) bao gồm không chỉ các biến
dự báo định lượng mà còn bao gồm các biến dự báo định tính, ví dụ giới tính
(nam, nữ) hay trạng thái khuyết tật (không khuyết tật, khuyết tật một phần,
khuyết tật toàn phần). Chúng ta sử dụng các biến chỉ số nhận giá trị 0 và 1 để
18

định nghĩa các lớp giá trị của biến định tính.
Xét một phân tích hồi quy dự đoán thời gian nằm viện (Y) dựa vào tuổi (X1)
và giới tính (X2) của bệnh nhân. Chúng ta định nghĩa X2 như sau:
X2 =
1 Nếu bệnh nhân là nữ
0 Nếu bệnh nhân là nam
Mô hình hồi quy bậc nhất là:
Yi = β0 + β1Xi1 + β2Xi2 + εi (1.31)
Trong đó:
Xi1: tuổi của bệnh nhân
Xi2 =
Hàm đáp ứng cho mô hình hồi quy (1.31) là:
E{Y } = β0 + β1X1 + β2X2 (1.32)
Đối với bệnh nhân nam, X2 = 0, ta có:
E{Y } = β0 + β1X1 (1.32a)
Đối với bệnh nhân nữ, X2 = 1, ta có:
E{Y } = (β0 + β2) + β1X1 (1.32b)
Cả hai hàm đáp ứng này đều là các đường thẳng song song với các giá trị chặn
khác nhau.
Tổng quát, chúng ta biểu diễn một biến định tính với c lớp là c − 1 biến chỉ
số. Ví dụ, nếu trong ví dụ về thời gian nằm viện, biến định tính chỉ tình trạng
khuyết tật được thêm vào như một biến dự báo khác, nó có thể được biểu diễn
bởi hai biến chỉ số X3, X4 như sau:
X3 =
1 Nếu bệnh nhân không khuyết tật
0 Nếu ngược lại
X4 =
1 Nếu bệnh nhân khuyết tật một phần
Mô hình bậc nhất với các biến dự báo: tuổi, giới tính và tình trạng khuyết tật
như sau:
Yi = β0 + β1Xi1 + β2Xi2 + β3Xi3 + β4Xi4 + εi (1.33)
19

Trong đó:
Xi1: tuổi của bệnh nhân
Xi2 =
Xi3 =
1 Nếu bệnh nhân không khuyết tật
Xi4 =
1 Nếu bệnh nhân khuyết tật một phần
Hồi quy đa thức
Các mô hình hồi quy đa thức là trường hợp đặt biệt của mô hình hồi quy
tuyến tính tổng quát. Nó chứa các điều kiện bình phương hoặc mũ cao hơn của
các biến dự báo, khi đó hàm đáp ứng là một đường cong. Đây là mô hình hồi
quy đa thức với một biến dự báo:
Yi = β0 + β1Xi + β2X2
i + εi (1.34)
Mặc dù hàm đáp ứng của mô hình hồi quy (1.34) là đường cong nhưng nó chỉ
là trường hợp đặc biệt của mô hình hồi quy tuyến tính tổng quát (1.29). Nếu
chúng ta cho Xi1 = Xi và Xi2 = X2
i thì có thể viết (1.34) như sau:
Yi = β0 + β1Xi1 + β2Xi2 + εi
Đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29).(1.34) minh
họa một mô hình hồi quy tuyến tính mà hàm đáp ứng là phương trình bậc hai,
các mô hình với hàm đáp ứng đa thức bậc cao hơn cũng là trường hợp đặc biệt
của mô hình hồi quy tuyến tính tổng quát.
Biến biến đổi
Các mô hình với biến biến đổi liên quan đến hàm đáp ứng là các đường cong
phức tạp vẫn là trường hợp đặc biệt của mô hình hồi quy tuyến tính tổng quát.
Xét mô hình sau với biến biến đổi Y:
logYi = β0 + β1Xi1 + β2Xi2 + β3Xi3 + εi (1.35)
Ở đây mặt đáp ứng khá phức tạp, mô hình (1.35) vẫn có thể đưa về mô hình
hồi quy tuyến tính tổng quát. Nếu đặt Yi = logYi ta có:
Yi = β0 + β1Xi1 + β2Xi2 + β3Xi3 + εi
20

đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29) mà biến đáp ứng
là hàm logarit của Y.
Nhiều mô hình khác có thể biến đổi được thành mô hình hồi quy tuyến tính
tổng quát. Ví dụ mô hình:
Yi =
1
β0 + β1Xi1 + β2Xi2 + εi
(1.36)
có thể đưa về mô hình hồi quy tuyến tính tổng quát bằng cách đặt Yi = 1/Yi ta
có:
Yi = β0 + β1Xi1 + β2Xi2 + εi
Ảnh hưởng tương tác.
Khi các ảnh hưởng của các biến dự báo lên biến đáp ứng là không cộng tính,
ảnh hưởng của một biến dự báo phụ thuộc vào biến dự báo khác. Mô hình hồi
quy tuyến tính tổng quát (1.29) bao gồm các mô hình hồi quy với các ảnh hưởng
không cộng tính hay các ảnh hưởng tương tác. Ví dụ một mô hình hồi quy không
cộng tính với hai biến dự báo X1, X2 là:
Yi = β0 + β1Xi1 + β2Xi2 + β3Xi1Xi2 + εi (1.37)
Với trường hợp này, hàm đáp ứng khá phức tạp do điều kiện tương tác β3Xi1Xi2.
Mô hình (1.37) vẫn là một trường hợp đặc biệt của mô hình hồi quy tuyến tính
(1.29). Đặt Xi3 = Xi1Xi2 và viết lại (1.37) như sau:
Yi = β0 + β1Xi1 + β2Xi2 + β3Xi3 + εi
đây chính là dạng của mô hình hồi quy tuyến tính tổng quát (1.29).
Sự kết hợp của các trường hợp.
Một mô hình hồi quy có thể có sự kết hợp của một số trường hợp ở trên và ta
vẫn có thể đưa được về mô hình hồi quy tuyến tính tổng quát. Xét mô hình hồi
quy với hai biến dự báo sau có chứa các điều kiện tuyến tính và bình phương
cho mỗi biến và một điều kiện tương tác:
Yi = β0 + β1Xi1 + β2X2
i1 + β3Xi2 + β4X2
i2 + β5Xi1Xi2 + εi (1.38)
21

Hình 1.2: Ví dụ cộng tính của hàm đáp ứng
Định nghĩa:
Zi1 = Xi1 Zi2 = X2
i1 Zi3 = Xi2 Zi4 = X2
i2 Zi5 = Xi1Xi2
Khi đó mô hình hồi quy (1.38) như sau:
Yi = β0 + β1Zi1 + β2Zi2 + β3Zi3 + β4Zi4 + β5Zi5 + εi
đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29).
Mô hình hồi quy tuyến tính tổng quát (1.29) bao gồm nhiều mô hình phức
tạp, một số mô hình có thể rất phức tạp. Hình 1.2 minh họa cho hai mặt đáp
ứng phức tạp có hai biến dự báo, đó có thể được biểu diễn bởi mô hình hồi quy
tuyến tính tổng quát (1.29).
Ý nghĩa tuyến tính trong mô hình hồi quy tuyến tính tổng quát.
Ý nghĩa này cần thể hiện rõ ràng từ các ví dụ khác nhau của mô hình tuyến
tính tổng quát (1.29) không giới hạn đến mặt đáp ứng tuyến tính. Điều kiện
mô hình tuyến tính đề cập đến một thực tế là mô hình (1.29) là tuyến tính với
các tham số, không phải đề cập đến hình dáng của mặt đáp ứng.
22

Nói một mô hình hồi quy là tuyến tính với các tham số khi nó có thể được
viết dưới dạng:
Yi = ci0β0 + ci1β1 + ci2β2 + ... + cip−1βp−1 + εi (1.39)
trong đó các giá trị ci0, ci1,... là các hệ số liên quan đến biến dự báo. Ví dụ trong
mô hình bậc nhất (1.1) với hai biến dự báo:
Yi = β0 + β1Xi1 + β2Xi2 + εi
là tuyến tính với các tham số, trong đó ci0 = 1, ci1 = Xi1, ci2 = Xi2
Mô hình:
Yi = β0exp(β1Xi) + εi
là mô hình hồi quy phi tuyến vì nó không thể đưa về dạng (1.29).
1.3 Dạng ma trận của mô hình hồi quy tuyến tính tổng quát
Mô hình hồi quy tuyến tính tổng quát (1.29) có thể được biểu diễn dưới
dạng ma trận. Mô hình này gồm nhiều trường hợp khác nhau, các kết quả dưới
dạng ma trận phải thể hiện được hết các trường hợp đó.
Một tính chất đáng chú ý của ma trận đại số là các kết quả cho mô hình hồi
quy tuyến tính tổng quát (1.29) ở dạng ma trận cũng giống như mô hình hồi
quy đơn tuyến tính. Chỉ bậc tự do, các hằng số liên quan đến số lượng các biến
X và kích thước của ma trận là khác. Do đó, chúng ta có thể biểu diễn các kết
quả này rất chính xác.
Để đơn giản, các ký hiệu ma trận có thể ẩn lượng lớn các tính toán phức tạp.
Ví dụ, tìm nghịch đảo của một ma trận cấp 10 × 10 đòi hỏi một lượng lớn các
tính toán, để đơn giản biểu diễn là A−1. Lý do cho việc nhấn mạnh ma trận đại
số là để chỉ ra các bước định nghĩa trong lời giải. Trong tất cả các trường hợp
đơn giản nhất, các tính toán thực tế được làm bởi máy tính. Do đó, không quan
trọng khi tìm ma trận nghịch đảo của các ma trận cấp 2 × 2 hay cấp 10 × 10.
Điều quan trọng là biết ma trận nghịch đảo đại diện cho cái gì.
23

Để biểu diễn cho mô hình hồi quy tuyến tính tổng quát (1.29):
Yi = β0 + β1Xi1 + β2X2
i1 + ... + βp−1Xip−1 + εi
ở dạng ma trận chúng ta cần định nghĩa cho các ma trận sau:
Y
n×1
=



Y1
Y2
...
Yn


 (1.40a) X
n×p
=



1 X11 X12 . . . X1,p−1
1 X21 X22 . . . X2,p−1
...
...
... . . .
...
1 Xn1 Xn2 . . . Xn,p−1


 (1.40b)
β
p×1
=



β0
β1
...
βp


 (1.40c) ε
n×1
=



ε1
ε2
...
εn


 (1.40d) (1.40)
Các véc tơ Y và ε giống như hồi quy đơn tuyến tính. Véc tơ β chứa các
tham số hồi quy và ma trận X có một cột toàn số 1, mỗi cột khác có n
quan sát và mỗi cột là một biến trong p − 1 biến X của mô hình hồi quy. Mỗi
hàng i các phần tử Xik trong ma trận xác định một phép thử hay một trường hợp.
Dạng ma trận của mô hình hồi quy tuyến tính tổng quát (1.29) là:
Y
n×1
= X
n×p
β
p×1
+ ε
n×1
(1.41)
Trong đó:
Y: Véc tơ đáp ứng
β: véc tơ tham số
X: ma trận hằng số
ε: véc tơ các biến ngẫu nhiên độc lập cùng phân phối chuẩn với kỳ vọng E{Y } = 0
và ma trận hiệp phương sai:
σ2
{ε}
n×n
=




σ2 0 . . . 0
0 σ2 . . . 0
...
...
...
0 0 . . . σ2



 = σ2
I
Do đó, véc tơ ngẫu nhiên Y có kỳ vọng:
E{Y }
n×1
= Xβ (1.42)
và ma trận hiệp phương sai của Y là giống với ε
σ2
{Y }
n×n
= σ2
I (1.43)
24

1.4 Ước lượng các hệ số hồi quy
Tiêu chuẩn bình phương cực tiểu (1.8) được tổng quát hóa cho mô hình hồi
quy tuyến tính tổng quát (1.29) như sau:
Q =
n
i=1
ε2
i =
n
i=1
(Yi − β0 − · · · − βp−1Xi,p−1)2
(1.44)
Các ước lượng bình phương cực tiểu là các giá trị của β0, β1,. . . ,βp−1 làm cực
tiểu hóa Q. Chúng ta biểu diễn véc tơ ước lượng các hệ số hồi quy b0, b1, . . . ,
bp−1 là b:
b
p×1
=



b0
b1
...
bp−1


 (1.45)
Các phương trình chuẩn bình phương cực tiểu cho mô hình hồi quy tuyến
tính tổng quát (1.41) là:
(X X)
p×p
b
p×1
= X
p×n
Y
n×1
(1.46)
và các ước lượng bình phương cực tiểu là:
b
p×1
= (X X)−1
p×p
X Y
p×1
(1.47)
Với phương pháp hợp lý cực đại đưa ra các ước lượng tương tự cho mô hình
hồi quy sai số chuẩn (1.41). Hàm hợp lý cho hồi quy bội như sau:
L(β, σ2
) =
1
(2πσ2)n/2
exp
−1
2σ2
n
i=1
(Yi − β0 − β1Xi1 − · · · − βp−1Xi,p−1)2
(1.48)
Các ước lượng của β0, β1, . . . , βp−1 làm cực đại hàm hợp lý này được đưa ra
trong công thức (1.47). Các ước lượng này là ước lượng bình phương cực tiểu và
là ước lượng hợp lý cực đại và có tính chất: các ước lượng phương sai cực tiểu
không chệch, ước lượng vững và ước lượng đủ.
25

1.5 Ước lượng mẫu và phần dư
Gọi ˆY là véc tơ ước lượng mẫu ˆYi và e là véc tơ phần dư ei = Yi − ˆYi, ta có:
(1.49a) ˆY
n×1
=




ˆY1
ˆY2
...
ˆYn



 (1.49b) e
n×1
=



e1
e2
...
en


 (1.49)
Khi đó, các ước lượng mẫu được xác định bởi:
ˆY
n×1
= Xb (1.50)
và phần dư
e
n×1
= Y − ˆY = Y − Xb (1.51)
Véc tơ ước lượng mẫu có thể được biểu diễn dưới dạng ma trận mũ H như sau:
ˆY
n×1
= HY (1.52)
trong đó
H
n×n
= X(X X)−1
X (1.52a)
Tương tự vậy, véc tơ phần dư có thể được biểu diễn như sau:
e
n×1
= (I − H)Y (1.53)
Ma trận hiệp phương sai của phần dư là:
σ2
{e}
n×n
= σ2
(I − H) (1.54)
được ước lượng bởi:
s2
{e}
n×n
= MSE(I − H) (1.55)
1.6 Các kết quả phân tích phương sai
1.6.1 Tổng bình phương và trung bình bình phương
26

Tổng bình phương cho phân tích phương sai dạng ma trận là:
SSTO = Y Y −
1
n
Y JY = Y I −
1
n
J Y (1.56)
SSE = e e = (Y − Xb) (Y − Xb) = Y Y − b X Y = Y (I − H)Y (1.57)
SSR = b X Y −
1
n
Y JY = Y H −
1
n
J Y (1.58)
Trong đó, J là ma trận cấp n × n các số 1 và H là ma trận mũ được định nghĩa
trong công thức (1.52a).
SSTO có n − 1 bậc tự do, SSE có n − p bậc tự do vì p tham số cần được ước
lượng trong hàm hồi quy cho mô hình (1.41) và SSR có p − 1 bậc tự do biểu
diễn cho số lượng các biến X: X1, . . . , Xp−1.
Bảng 1.1 chỉ ra các kết quả phân tích phương sai, cũng như trung bình bình
phương MSR và MSE:
MSR =
SSR
p − 1
(1.59)
MSE =
SSE
n − p
(1.60)
Kỳ vọng của MSE là σ2 giống như hồi quy đơn. Kỳ vọng của MSR là σ2 cộng
thêm một lượng không âm. Ví dụ, khi p − 1 = 2, ta có:
E(MSR) = σ2
+ [β2
1 (Xi1 − ¯X1)2
+ β2
2 (Xi2 − ¯X2)2
+
2β1β2 (Xi1 − ¯X1)(Xi2 − ¯X2)]/2 (1.61)
Nếu cả β1 và β2 bằng 0 thì E(MSR) = σ2, ngược lại E(MSR) > σ2.
Nguồn biến đổi SS df MS
Hồi quy SSR = b X Y − 1
n Y JY p − 1 MSR = SSR
p−1
Sai số SSE = Y Y − b X Y n − p MSE = SSE
n−p
Tổng số SSTO = Y Y − 1
n Y JY n − 1
Bảng 1.1: Bảng Anova cho mô hình hồi quy tuyến tính tổng quát (1.41)
1.6.2. Kiểm định F cho quan hệ hồi quy
Để kiểm định liệu có hay không quan hệ hồi quy giữa biến đáp ứng và các
27

biến X: X1, . . . , Xp−1, tức là lựa chọn giữa các giả thiết:
H0 : β1 = β2 = . . . = βp−1 = 0
Ha : không phải tất cả βk(k=1,. . . ,p-1) bằng 0 (1.61a)
ta dùng một thống kê kiểm định:
F∗
=
MSR
MSE
(1.61b)
Quy tắc để kiểm tra sai lầm loại I tại mức α là:
Nếu F∗
≤ F(1 − α; p − 1; n − p) chấp nhận H0
Nếu F∗
> F(1 − α; p − 1; n − p) chấp nhận Ha (1.61c)
Sự tồn tại của một mối quan hệ hồi quy không đảm bảo rằng các dự báo
hữu ích có thể được thực hiện bởi việc sử dụng nó.
Khi p − 1 = 1 thì kiểm định F cho mô hình hồi đơn quy tuyến tính là có hay
không β1 = 0.
1.6.3. Hệ số xác định bội
Hệ số xác định bội, ký hiệu R2, được định nghĩa như sau:
R2
=
SSR
SSTO
= 1 −
SSE
SSTO
(1.62)
Hệ số xác định bội cho biết các biến dự báo trong mô hình giải thích được bao
nhiêu phần trăm sự thay đổi của biến đáp ứng. Hệ số xác định R2 trở thành hệ
số xác định đơn cho hồi quy tuyến tính đơn khi p − 1 = 1, tức là, khi biến dự
báo X nằm trong mô hình (1.41). Theo trên ta có:
0 ≤ R2
≤ 1 (1.63)
R2 = 0 khi tất cả các giá trị bk = 0 (k = 1, . . . , p − 1) và R2 = 1 khi tất cả các
quan sát nằm trên mặt đáp ứng, tức là khi Yi = ˆYi với mọi i.
Thêm nhiều hơn các biến dự báo X vào mô hình có thể chỉ làm tăng R2 mà
không làm giảm nó, vì SSE có thể không lớn hơn khi nhiều hơn các biến X
nhưng SSTO luôn luôn là như nhau cho mỗi tập các đáp ứng đưa ra. Do R2
thường lớn hơn bởi lượng lớn hơn các biến dự báo nên đôi khi cho rằng nó là
28

một độ đo thay đổi được dùng để nhận ra số lượng các biến dự báo trong mô hình.
Hệ số xác định bội hiệu chỉnh, ký hiệu R2
a, điều chỉnh R2 bằng cách chia mỗi
tổng bình phương cho bậc tự do của nó:
R2
a = 1 −
SSE
n−p
SSTO
n−1
= 1 −
n − 1
n − p
SSE
SSTO
(1.64)
Hệ số xác định bội hiệu chỉnh thực sự có thể nhỏ hơn khi biến X khác được
đưa vào trong mô hình, vì sự tăng nào đó trong SSE có thể được bù đắp nhiều
hơn do mất một bậc tự do trong mẫu số n − p.
Bình luận:
1. Để phân biệt giữa hệ số xác định cho hồi quy đơn và hồi quy bội, từ giờ
chúng ta coi hệ số xác định cho hồi quy đơn là hệ số xác định đơn.
2. Có thể chỉ ra rằng hệ số xác định bội R2 được xem như hệ số xác định
đơn giữa đáp ứng Yi và ước lượng mẫu ˆYi.
3. R2 lớn không có nghĩa mô hình phù hợp là mô hình hữu ích. Ví dụ, các
quan sát có thể được lấy tại chỉ một vài mức của các biến dự báo. Mặc dù R2
trong trường hợp này cao nhưng mô hình có thể không hữu dụng vì hầu hết
các dự đoán sẽ yêu cầu ngoại suy ngoài khu vực của các quan sát. Thêm nữa,
mặc dù R2 là lớn, MSE có thể vẫn quá lớn cho việc kết luận sự hữu ích trong
trường hợp yêu cầu độ chính xác cao.
1.6.4. Hệ số tương quan bội
Hệ số tương quan bội R là căn bậc hai của R2:
R =
√
R2 (1.65)
Khi có một biến X trong mô hình hồi quy (1.41), tức là, khi p − 1 = 1, hệ số
tương quan bội R bằng trị tuyệt đối của hệ số tương quan r trong tương quan
đơn.
29

1.7 Các kết luận về các tham số hồi quy
Các ước lượng bình phương cực tiểu và hợp lý cực đại b là không chệch:
E(b) = β (1.66)
Ma trận hiệp phương sai σ2(b):
σ2
(b)
p×p
=




σ2(b0) σ(b0, b1) . . . σ(b0, bp−1)
σ(b1, b0) σ2(b1) . . . σ(b1, bp−1)
...
...
...
σ(bp−1, b0) σ(bp−1, b1) . . . σ2(bp−1)



 (1.67)
được xác định bởi:
σ2
(b)
p×p
= σ2
(X X)−1
(1.68)
Ma trận hiệp phương sai ước lượng s2(b):
s2
(b)
p×p
=




s2(b0) s(b0, b1) . . . s(b0, bp−1)
s(b1, b0) s2(b1) . . . s(b1, bp−1)
...
...
...
s(bp−1, b0) s(bp−1, b1) . . . s2(bp−1)



 (1.69)
được xác định bởi:
s2
(b)
p×p
= MSE(X X)−1
(1.70)
Từ s2(b) ta có thể có s2(b0), s2(b1) hoặc bất kỳ phương sai, hiệp phương sai cần
thiết khác.
1.7.1 Ước lượng khoảng tin cậy cho βk
Đối với mô hình hồi quy sai số chuẩn (1.41), ta có:
bk − βk
s(bk)
∼ t(n − p) k = 0, 1, . . . , p − 1 (1.71)
nên khoảng tin cậy cho βk với độ tin cậy 1 − α là:
bk ± t(1 − α/2; n − p)s{bk} (1.72)
1.7.2 Kiểm định cho βk
30

Kiểm định cho βk được thiết lập theo cách thông thường. Để kiểm định:
H0 : βk = 0
Ha : βk = 0 (1.72a)
ta dùng thống kê t:
t∗
=
bk
s{bk}
(1.72b)
và kết luận theo quy tắc:
nếu |t∗
| ≤ t(1 − α/2; n − p) chấp nhận H0
Ngược lại chấp nhận Ha (1.72c)
Như hồi quy đơn tuyến tính, kiểm định F cũng có thể dùng để quyết định có
hay không βk = 0 trong mô hình hồi quy bội tuyến tính.
Kết luận chung
Khoảng tin cậy Bonferroni có thể dùng để ước lượng đồng thời một số hệ số
hồi quy khác nhau. Nếu g tham số cùng được ước lượng (g ≤ p), khoảng tin cậy
với cùng độ tin cậy 1 − α là:
bk ± Bs{bk} (1.73)
trong đó:
B = t(1 − α/2; n − p) (1.73a)
1.8 Ước lượng trung bình đáp ứng và dự báo quan sát mới
1.8.1 Ước lượng khoảng tin cậy của E{Yh}
Các giá trị của X1, X2,. . . ,Xp−1 được kí hiệu là Xh1, Xh2,. . . ,Xh,p−1, trung
bình đáp ứng được kí hiệu là E{Yh}. Định nghĩa véc tơ Xh như sau:
Xh
p×1
=



1
Xh1
...
Xh,p−1


 (1.74)
31

Khi đó, trung bình đáp ứng được ước lượng là:
E{Yh} = Xhb (1.75)
Ước lượng trung bình đáp ứng theo Xh kí hiệu là ˆYh:
ˆYh = Xhb (1.76)
đây là ước lượng không chệch:
E{ˆYh} = Xhb = E{Yh} (1.77)
và phương sai:
σ2
{ˆYh} = Xh(X X)−1
Xh (1.78)
Phương sai này là một hàm của ma trận hiệp phương sai của các ước lượng hệ
số hồi quy:
σ2
{ˆYh} = Xhσ2
{b}Xh (1.78a)
Từ (1.78a) ta thấy phương sai σ2{ˆYh} là một hàm của phương sai σ2{bk} và của
hiệp phương sai σ{bk; bk }, giống như hồi quy tuyến tính đơn. Các ước lượng
phương sai s2{ˆYh} được tính như sau:
s2
{ˆYh} = MSE(Xh(X X)−1
Xh)) = Xhs2
{b}Xh (1.79)
Giới hạn tin cậy 1 − α cho E{Yh} là:
ˆYh ± t(1 − α/2; n − p)s{ˆYh} (1.80)
1.8.2 Miền tin cậy cho mặt hồi quy
Miền tin cậy 1 − α cho toàn bộ mặt hồi quy được một mở rộng từ khoảng tin
cậy Working Hotelling cho đường hồi quy trong trường hợp có một biến dự báo.
Các điểm giới hạn của miền tin cậy tại Xh có được từ:
ˆYh ± Ws{ˆYh} (1.81)
trong đó:
W2
= pF(1 − α; p, n − p) (1.81a)
Độ tin cậy 1 − α đảm bảo rằng miền tin cậy chứa toàn bộ mặt hồi quy trên
tất cả các kết hợp của các biến X.
32

1.8.3 Khoảng tin cậy đồng thời cho một số trung bình đáp ứng
Để ước lượng đồng thời một số trung bình đáp ứng E{Y } tương ứng với các
véc tơ Xh khác nhau với cùng độ tin cậy 1 − α dùng hai điểm cơ bản sau:
1. Sử dụng miền giới hạn tin cậy Working-Hotelling (1.81) cho các véc tơ Xh
khác nhau:
ˆYh ± Ws{ˆYh} (1.82)
trong đó ˆYh, W và s{ˆY } tương ứng được định nghĩa ở (1.76), (1.81a), (1.79).
Với hệ số tin cậy 1 − α, miền tin cậy Working - Hotelling chứa các trung bình
đáp ứng ứng với các véc tơ Xh nên các giá trị giới hạn được lựa chọn sẽ bao
gồm các trung bình đáp ứng ứng với các véc tơ Xh với độ tin cậy đồng thời lớn
hơn 1 − α.
2. Sử dụng khoảng tin cậy đồng thời Bonferroni. Khi thực hiện g ước lượng
khoảng, khoảng tin cậy Boferroni là:
ˆYh ± Bs{ˆYh} (1.83)
trong đó:
B = t(1 − α/2g; n − p) (1.83a)
Với các ứng dụng, có thể so sánh W và B nhiều lần để xem thủ tục
nào đưa ra khoảng tin cậy hẹp hơn. Nếu các mức của Xh không được chỉ
định trước nhưng được xác định là tiến trình phân tích thì tốt hơn nên dùng
giới hạn Working - Hotelling (1.82) do nó bao gồm tất cả các mức có thể của Xh.
1.8.4 Dự báo quan sát mới Yh(new)
Giới hạn dự báo 1 − α cho quan sát mới Yh(new) ứng với Xh là:
ˆYh ± t(1 − α/2; n − p)s{pred} (1.84)
trong đó:
s2
{pred} = MSE + s2
{ˆYh} = MSE(1 + Xh(X X)−1
Xh) (1.84a)
33

và s2{ˆYh} được xác định bởi (1.79).
1.8.5 Dự báo trung bình của m quan sát mới tại Xh
Khi m quan sát mới được lựa chọn với cùng mức Xh và trung bình của chúng
¯Yh(new) được dự báo, khoảng dự báo 1 − α là:
ˆYh ± t(1 − α/2; n − p)s{predmean} (1.85)
trong đó:
s2
{predmean} =
MSE
m
+ s2
(ˆYh) =
MSE
m
+ Xhs2
(b)Xh
= MSE
1
m
+ Xh(X X)−1
Xh (1.85a)
1.8.6 Các dự đoán của g quan sát mới
Khoảng dự báo đồng thời cho g quan sát mới tại g mức khác nhau của Xh
với độ tin cậy 1 − α được đưa ra bởi:
ˆYh ± Ss(pred) (1.86)
trong đó:
S2
= gF(1 − α; g, n − p) (1.86a)
và s2{pred} được xác định bởi (1.84a)
Có thể dùng khoảng dự báo đồng thời Bonferroni để đưa ra khoảng tin cậy
đồng thời 1 − α cho g dự báo mới:
ˆYh ± Bs{pred} (1.87)
trong đó:
B = t(1 − α/2g; n − p) (1.87a)
Với các ứng dụng, so sánh S và B ở trên để xem thủ tục nào đưa ra khoảng
dự báo hẹp hơn.
1.8.7 Thận trọng về phép ngoại suy ẩn
34

Khi ước lượng trung bình đáp ứng hoặc dự đoán quan sát mới trong hồi quy
bội, cần đặc biệt cẩn thận khi ước lượng hoặc dự báo không nằm ngoài phạm
vi của mô hình. Tất nhiên, vấn đề là mô hình có thể không thích hợp khi mở
rộng miền quan sát. Trong hồi quy bội, rất dễ mất quan sát miền này vì định
nghĩa miền dựa vào sự kết hợp mức của X1, . . . , Xp−1. Do vậy, người ta không
đơn thuần chỉ nhìn vào miền của mỗi biến dự báo.
Hình 1.3: miền quan sát X1, X2 và so sánh với phạm vi của X1, X2
Trong hình 1.3, miền bóng mờ là miền quan sát của một ứng dụng hồi quy
bội với hai biến dự báo và các điểm chấm biểu diễn các giá trị (Xh1, Xh1) cho
biến dự báo được thực hiện. Điểm chấm tròn là phạm vi của biến dự báo X1 và
X2 riêng lẻ nằm ngoài miền quan sát. Rất dễ để phát hiện các ngoại suy này
khi chỉ có hai biến dự báo, nhưng nó trở nên khó khăn hơn khi số lượng biến dự
báo lớn hơn.
1.9 Chẩn đoán và biện pháp khắc phục
Chẩn đoán đóng vai trò quan trọng trong sự phát triển và đánh giá các mô
hình hồi quy bội. Hầu hết các thủ tục chẩn đoán cho mô hình hồi quy đơn cũng
35

áp dụng được với hồi quy bội. Các thủ tục chẩn đoán hiện nay cũng như các
biện pháp khắc phục hậu quả cho hồi quy đơn cũng có thể áp dụng cho hồi quy
bội. Các chẩn đoán chuyên biệt và biện pháp khắc phục hậu quả cho hồi quy
bội cũng được phát triển.
1.9.1 Ma trận đồ phân tán
Biểu đồ hộp, biểu đồ trình tự, biểu đồ thân lá cành và biểu đồ điểm cho mỗi
biến dự báo và biến đáp ứng có thể rất hữu ích vì nó đưa ra thông tin sơ bộ về
các biến này. Biểu đồ phân tán của biến đáp ứng ứng với mỗi biến dự báo có
thể hỗ trợ trong việc xác định bản chất và độ mạnh của mối quan hệ giữa mỗi
biến dự báo với biến đáp ứng và trong việc xác định những khoảng trống trong
các điểm dữ liệu cũng như các điểm nằm ngoài dữ liệu. Biểu đồ phân tán của
mỗi biến dự báo đối với biến dự báo khác là hữu ích cho việc nghiên cứu quan
hệ giữa hai biến trong các biến dự báo và cho việc tìm kiếm các khoảng trống
và phát hiện các giá trị ngoại lai.
Phân tích được dễ dàng hơn nếu các biểu đồ phân tán được lắp ráp trong
một ma trận đồ phân tán, ví dụ hình 1.4:
Hình 1.4: Ma trận đồ phân tán & ma trận tương quan
Trong ma trận đồ phân tán, biến Y có tên nằm trên hàng và biến X có tên
nằm trên cột. Do vậy, ma trận đồ phân tán trong hình 1.4 chỉ ra trong hàng đầu
tiên các biểu đồ của Y (SALES) đối với X1 (TARGETPOP) và X2 (DISPOINC),
các biểu đồ của X1 đối với Y và X2 trong hàng thứ hai, và các biểu đồ của X2 với
36

Y và X1 trong hàng thứ 3. Một cách khác, bằng cách xem cột đầu tiên, người ta
có thể so sánh biểu đồ của X1 và X2 đối với Y, và tương tự cho hai cột khác. Một
ma trận đồ phân tán tạo điều kiện cho việc nghiên cứu mối quan hệ giữa các biến
bằng cách so sánh các biểu đồ phân tán trong cùng một cột hoặc cùng một hàng.
Hơn nữa, ma trận đồ phân tán rất hữu ích trong trường hợp ma trận tương
quan. Ma trận chứa các hệ số tương quan đơn rY 1, rY 2,. . . , rY,p−1 giữa Y và các
biến dự báo, cũng như là các hệ số tương quan đơn giữa các biến dự báo, r12
giữa X1 và X2, r13 giữa X1 và X3,. . . . Định dạng của ma trận tương quan sau là
của ma trận đồ phân tán:



1 rY 1 rY 2 . . . rY,p−1
rY 1 1 r12 . . . r1,p−1
...
...
...
...
rY,p−1 r1,p−1 r2,p−1 . . . 1


 (1.88)
Ma trận tương quan là đối xứng và có đường chéo bằng 1 vì hệ số tương
quan giữa một biến với chính nó bằng 1. Nhiều gói phân tích lựa chọn đưa ra
ma trận tương quan. Do ma trận này đối xứng, các phần tử ở nửa tam giác
dưới thường bị loại bỏ.
Một số gói thống kê cho phép người dùng sử dụng brushing với các ma trận
đồ phân tán. Trong mỗi biểu đồ phân tán, khi một điểm được loại bỏ nó được
xuất hiện trên màn hình máy tính. Brushing cũng hữu dụng khi xem một
trường hợp ở cách xa trung tâm trong một biểu đồ phân tán có xa trung tâm
trong một số hay tất cả các biểu đồ phân tán khác hay không.
1.9.2 Biểu đồ phân tán ba chiều
Một số gói thống kê tương tác đưa ra biểu đồ phân tán ba chiều hay đám
mây điểm, và cho phép quay các biểu đồ này để người xem thấy đám mây điểm
từ các quan điểm khác nhau. Điều này có thể rất hữu ích cho việc xác định mô
hình mà chỉ có thể làm rõ từ những quan điểm nhất định.
1.9.3 Biểu đồ phần dư
37

Hình 1.5: Biểu đồ phân tán ba chiều
Biểu đồ phần dư ứng với các ước lượng mẫu rất hữu ích cho việc đánh giá
sự phù hợp của hàm hồi quy bội và tính không đổi của phương sai các sai số,
cũng như là việc cung cấp thông tin về các giá trị ngoại lai, giống như hồi quy
đơn. Tương tự như vậy, một biểu đồ phần dư đối với thời gian hoặc với một số
trình tự khác cung cấp các thông tin chẩn đoán về sự tương quan giữa các sai
số trong hồi quy bội. Biểu đồ hộp và các biểu đồ phân phối chuẩn của các phần
dư rất có ý nghĩa cho việc kiểm tra xem các sai số có phân phối chuẩn hay không.
Hơn nữa, nên vẽ biểu đồ giữa phần dư và mỗi biến dự báo. Mỗi biểu đồ này
có thể cung cấp nhiều thông tin hơn về sự phù hợp của hàm hồi quy đối đối với
biến dự báo đó và về sự thay đổi có thể trong độ lớn của phương sai sai số liên
quan đến biến dự báo này.
Cũng nên vẽ biểu đồ giữa phần dư và các biến dự báo quan trọng đã bị loại
bỏ khỏi mô hình, để xem liệu các biến bị loại bỏ có tác dụng bổ sung đáng kể
đến biến đáp ứng mà chưa được ghi nhận trong mô hình. Nên vẽ biểu đồ giữa
phần dư với các điều kiện tương tác cho các ảnh hưởng tương tác tiềm năng
mà không được bao gồm trong mô hình hồi quy, ví dụ đối với X1X2, X1X3, và
X2X3, để xem liệu có hay không một số hay tất cả các điều kiện tương tác này
là cần thiết với mô hình.
38

Một biểu đồ các phần dư tuyệt đối hay các phần dư bình phương đối với các
ước lượng mẫu là hữu ích cho việc kiểm tra điều kiện không đổi của phương sai
sai số. Nếu có sự biến đổi, một biểu đồ các phần dư tuyệt đối hay các phần dư
bình phương đối với mỗi biến dự báo có thể xác định một hay một số các biến
dự báo có liên quan đến độ lớn của sự biến đổi sai số.
1.9.3 Kiểm định tương quan cho tính chuẩn
Kiểm định tương quan cho tính chuẩn của hồi quy bội áp dụng tương tự từ
hồi quy đơn.
1.9.4 Kiểm định Brown-Forsythe cho phương sai sai số không đổi
Thống kê kiểm định Brown-Forsythe của hồi quy đơn cho giả định phương
sai sai số không đổi có thể được sử dụng một cách dễ dàng cho hồi quy bội khi
phương sai sai số tăng hoặc giảm với một trong các biến dự báo. Để điều khiển
kiểm định Brown-Forsythe, chúng ta chia dữ liệu thành hai nhóm, như hồi quy
đơn, trong đó một nhóm bao gồm các trường hợp mà mức của biến dự báo là
tương đối thấp và nhóm kia bao gồm các trường hợp mà mức của biến dự báo
là tương đối cao. Kiểm định Brown-Forsyth sau đó được tiến hành như đối với
hồi đơn.
1.9.5 Kiểm định Breusch-Pagan cho phương sai sai số không đổi
Kiểm định Breusch-Pagan cho phương sai sai số không đổi trong hồi quy bội
được áp dụng từ hồi quy đơn khi phương sai sai số tăng hoặc giảm với một
trong các biến dự báo. Các phần dư bình phương đơn giản là hồi quy đối với
các biến dự báo được chứa trong tổng bình phương hồi quy SSR∗, và kiểm định
tiến hành như trong hồi quy đơn, sử dụng tổng bình phương sai số SSE cho
toàn bộ mô hình hồi quy bội.
Khi phương sai sai số là một hàm của nhiều hơn một biến dự báo, hồi quy
bội của sai số bình phương đối với các biến dự báo này được tiến hành và có
được tổng bình phương hồi quy SSR∗ . Phân tích kiểm định lại dùng SSE cho
mô hình hồi quy bội, nhưng lúc này, phân phối Khi bình phương q bậc tự do,
39

trong đó q là số lượng các biến dự báo mà các phần dư bình phương được hồi quy.
1.9.4 Kiểm định F cho sự không phù hợp
Kiểm định F cho sự không phù hợp được áp dụng tương tự hồi quy đơn, kiểm
định xem liệu hàm đáp ứng hồi quy bội:
E{Y } = β0 + β1X1 + . . . + βp−1Xp−1
có mặt đáp ứng thích hợp hay không. Các quan sát lặp lại trong hồi quy bội là
các quan sát được nhân rộng trên Y ứng với mức của mỗi biến X được cố định
trong các thí nghiệm. Ví dụ, với hai biến dự báo, những quan sát lặp lại yêu
cầu các biến X1 và X2 vẫn ở các mức nhất định trong các thí nghiệm.
Trong bảng ANOVA 1.1, SSE được tách thành sai số thuần túy và các thành
phần không phù hợp. Để tính tổng bình phương sai số thuần túy SSPE, trước
tiên tính cho mỗi nhóm lặp tổng độ lệch bình phương của các quan sát Y quanh
trung bình nhóm, mỗi nhóm lặp có cùng giá trị các biến X. Đặt c là số lượng
các nhóm với các bộ mức riêng cho các biến X, và đặt trung bình các quan sát
Y cho nhóm thứ j là ¯Yj. Sau đó tính tổng bình phương cho nhóm thứ j:
i
(Yij − ¯Yj)2
và tổng bình phương sai số thuần túy là tổng của các tổng bình phương này:
SSPE =
j i
(Yij − ¯Yj)2
Tổng bình phương của các thành phần không phù hợp:
SSLF = SSE − SSPE
Bậc tự do của SSPE là n − c, và bậc tự do của SSLF là (n − p) − (n − c) = c − p.
Do vậy, với việc kiểm định:
H0 : E{Y } = β0 + β1X1 + . . . + βp−1Xp−1
Ha : E{Y } = β0 + β1X1 + . . . + βp−1Xp−1 (1.89a)
thống kê kiểm định thích hợp là:
F∗
=
SSLF
c − p
÷
SSPE
n − c
=
MSLF
MSPE
(1.89b)
40

trong đó, MSLF là kí hiệu cho bình phương trung bình không phù hợp, MSPE
là kí hiệu cho bình phương trung bình thuần túy. và kết luận:
nếu F∗
≤ F(1 − α; c − p, n − c) chấp nhận H0
nếu F∗
≥ F(1 − α; c − p, n − c) chấp nhận Ha (1.89c)
1.9.7 Biện pháp khắc phục
Biện pháp khắc phục của hồi quy đơn tuyến tính đơn cũng có thể áp dụng
cho hồi quy bội. Khi mô hình phức tạp hơn đòi hỏi nhận ra tác động cong hay
các ảnh hưởng tương tác. Mô hình hồi quy bội có thể giải thích các ảnh hưởng
này. Ví dụ, X2
2 có thể được thêm vào như một biến để tính đến ảnh hưởng
cong của X2, hoặc X1X3 có thể được thêm vào như một biến để nhận ra ảnh
hưởng tương tác giữa X1 và X3 đến biến đáp ứng. Cách khác, phép biến đổi
trên các biến đáp ứng và/hoặc các biến dự báo có thể được thực hiện, theo
nguyên tắc đã làm với hồi quy đơn, để khắc phục sự thiếu hụt của mô hình.
Phép biến đổi trên biến đáp ứng Y có thể hữu ích khi phân phối của các sai
số là khá lệch và phương sai không là hằng số. Sự thay đổi của vài biến dự
báo có thể hữu ích khi các ảnh hưởng của các biến này là do đường cong lập
thành (phi tuyến). Thêm nữa, phép biến đổi trên Y và/hoặc các biến dự báo
có thể hữu ích trong việc loại bỏ hoặc làm giảm đáng kể các ảnh hưởng tương tác.
Như đối với hồi quy đơn, tính hữu dụng của các phép biến đổi tiềm năng cần
phải được kiểm tra bằng các phương pháp biểu đồ phần dư và các công cụ chẩn
đoán khác để xác định xem mô hình hồi quy bội cho phép biến đổi dữ liệu có
thích hợp hay không.
41

Chương 2
HỒI QUY PHI TUYẾN VÀ MÔ
HÌNH MẠNG NƠ RON
Nói chung, các mô hình hồi quy tuyến tính rất hữu ích đối với hầu hết các
ứng dụng hồi quy. Tuy nhiên, có những khi một thực nghiệm hay một mô hình
hồi quy phi tuyến lý thuyết hợp lý lại thích hợp hơn. Ví dụ, trong tự nhiên, sự
tăng trưởng từ khi sinh ra đến khi trưởng thành của con người thường là phi
tuyến, đặc trưng là sự tăng trưởng nhanh chóng trong thời gian ngắn sau khi
sinh, tăng trưởng rõ rệt ở tuổi dậy thì, và thường chững lại trước khi đến tuổi
trưởng thành. Một ví dụ khác, quan hệ độ nhạy có xu hướng phi tuyến với sự
biến đổi ít hoặc không có sự biến đổi để đáp ứng cho các mức liều thấp của một
loại thuốc, tiếp theo là thay đổi hình chữ S nhanh chóng xảy ra với liều tích cực
hơn, và cuối cùng với liều lượng đáp ứng chững lại khi nó đạt đến một mức độ
bão hòa. Chúng ta sẽ xem xét trong chương này các mô hình hồi quy phi tuyến,
các ước lượng cho các tham số hồi quy của mô hình và làm thế nào để kết luận
về các tham số hồi quy này. Trong chương này, chúng ta cũng giới thiệu các mô
hình mạng Nơ Ron mà hiện nay được sử dụng rộng rãi trong các ứng dụng khai
thác dữ liệu.
2.1 Mô hình hồi quy tuyến tính và phi tuyến
2.1.1 Mô hình hồi quy tuyến tính
Chương trước đã xem xét các mô hình hồi quy tuyến tính tức là mô hình
tuyến tính về các tham số. Các mô hình đó có thể được biểu diễn bởi mô hình
hồi quy tuyến tính tổng quát (1.29):
42

Các mô hình hồi quy tuyến tính, bao gồm không chỉ mô hình bậc nhất của
p − 1 biến dự báo mà có thể phức tạp hơn. Ví dụ, một mô hình hồi quy đa thức
với một hay nhiều hơn các biến dự báo có sự tuyến tính của các tham số, ví
như mô hình sau đây với hai biến dự báo là mô hình tuyến tính bậc hai, có ảnh
hưởng tương tác:
Yi = β0 + β1Xi1 + β2X2
i1 + β3Xi2 + β4X2
i2 + β5X1Xi2 + εi (2.2)
Cũng như vậy, các mô hình với các biến thay đổi mà tuyến tính về tham số
cũng thuộc về lớp các mô hình hồi quy tuyến tính, ví dụ mô hình sau:
log10 Yi = β0 + β1 Xi1 + β2 exp(Xi2) + εi (2.3)
Trường hợp tổng quát, ta có thể phát biểu một mô hình tuyến tính có dạng:
Yi = f(Xi, β) + εi (2.4)
trong đó, Xi là véc tơ các quan sát của các biến dự báo cho trường hợp thứ i:
Xi =



1
Xi1
...
Xi,p−1


 (2.4a)
β là véc tơ các hệ số hồi quy trong (1.40c) và f(Xi, β) đại diện cho kỳ vọng
E{Yi} của các mô hình hồi quy tuyến tính xác định ở (1.75):
f(Xi, β) = Xiβ (2.4b)
2.1.2 Mô hình hồi quy phi tuyến
Mô hình hồi quy phi tuyến cơ bản có dạng tương tự như dạng (2.4) của mô
hình hồi quy tuyến tính:
43

Yi = f(Xi, γ) + εi (2.5)
Mỗi quan sát Yi vẫn là tổng của trung bình đáp ứng f(Xi, γ) xác định bởi
hàm đáp ứng phi tuyến f(X, γ) và sai số εi. Các sai số thường được giả định là
có kỳ vọng bằng 0, phương sai không đổi và không tương quan, cũng như mô
hình hồi quy tuyến tính. Thông thường, khi sử dụng một mô hình sai số chuẩn
thì giả định rằng các biến ngẫu nhiên độc lập cùng phân phối chuẩn với phương
sai không đổi.
Ở đây, Véc tơ tham số trong hàm đáp ứng f(X, γ) là γ thay cho dùng β
như để ghi nhớ rằng hàm đáp ứng ở đây là phi tuyến về các tham số. Sau
đây là hai ví dụ về mô hình hồi quy phi tuyến được dùng rộng rãi trong thực tiễn.
2.1.3 Mô hình hồi quy dạng mũ.
Một ứng dụng rộng rãi của hồi quy phi tuyến là mô hình hồi quy dạng mũ.
Mô hình chỉ có duy nhất một biến dự báo và sai số chuẩn:
Yi = γ0 exp(γ1Xi) + εi (2.6)
trong đó:
γ0, γ1 là các tham số
Xi là hằng số cho trước
εi là độc lập có phân phối N(0, σ2)
Hàm đáp ứng cho mô hình là:
f(X, γ) = γ0 exp(γ1X) (2.7)
Mô hình này không tuyến tính với các tham số γ0 và γ1.
Một dạng hồi quy phi tuyến dạng mũ tổng quát hơn với một biến dự báo và sai
số chuẩn là:
Yi = γ0 + γ1 exp(γ2Xi) + εi (2.8)
trong đó các sai số là độc lập cùng phân phối chuẩn với phương sai không đổi
σ2. Hàm đáp ứng cho mô hình này là:
f(X, γ) = γ0 + γ1 exp(γ2X) (2.9)
44

Mô hình hồi quy dạng mũ (2.8) được sử dụng rộng rãi trong nghiên cứu sự
phát triển. Ở đó, tỉ lệ trưởng thành tại thời điểm X tỉ lệ thuận lượng tăng trưởng
còn lại khi thời gian tăng, với γ0 biểu diễn giá trị tăng trưởng lớn nhất. Một ứng
dụng khác của mô hình hồi qui này là liên quan đến nồng độ của chất (Y) với
thời gian trôi qua (X). Hình 2.1a chỉ ra hàm đáp ứng (2.9) với tham số γ0 = 100,
γ1 = −50, γ2 = −2.
Hình 2.1: Hàm đáp ứng dạng mũ và logistic
2.1.4 Mô hình hồi quy logistic.
Một mô hình hồi quy phi tuyến quan trọng khác đó là mô hình hồi quy
logistic. Mô hình với một biến dự báo và phương sai có phân phối chuẩn:
Yi =
γ0
1 + γ1 exp(γ2Xi)
+ εi (2.10)
trong đó sai số εi là độc lập cùng phân phối chuẩn với phương sai không đổi σ2.
Ở đây, hàm đáp ứng là:
f(X, γ) =
γ0
1 + γ1 exp(γ2Xi)
(2.11)
trong mô hình này, hàm đáp ứng là hàm không tuyến tính với các tham số γ0,
γ1, γ2.
45

Mô hình hồi quy logistic được dùng trong nghiên cứu đám đông ví dụ mối
liên hệ giữa số lượng loài (Y) và thời gian (X). Hình 2.1b chỉ ra hàm đáp ứng
logistic (2.11) với tham số γ0 = 10, γ1 = 20, γ2 = −2. Tham số γ0 = 10 biểu diễn
giá trị tăng trưởng lớn nhất.
Mô hình hồi quy logistic (2.10) cũng được sử dụng rộng rãi khi biến đáp ứng
là định tính. Ví dụ khi dự báo có hay không việc một gia đình sẽ mua một chiếc
xe mới trong năm (hoặc có, hoặc không) dựa trên biến dự báo là tuổi của người
sở hữu xe, thu nhập gia đình, và quy mô hộ gia đình. Trong ứng dụng này, biến
đáp ứng (hoặc có, hoặc không) là biến định tính và được biểu diễn bởi biến
chỉ số 0 và 1. Do đó, sai số là không có phân phối chuẩn với phương sai không đổi.
2.1.5 Mô hình hồi quy phi tuyến dạng tổng quát.
Như trong các ví dụ đã đề cập, mô hình hồi quy phi tuyến có dạng tương tự
như mô hình hồi quy tuyến tính. Mỗi quan sát Yi được công nhận là tổng của
trung bình đáp ứng f(Xi, γ) dựa trên hàm đáp ứng phi tuyến và sai số ngẫu
nhiên εi. Hơn nữa, sai số εi thường được giả định là biến ngẫu nhiên chuẩn với
phương sai không đổi.
Một khác biệt quan trọng của mô hình hồi quy phi tuyến đó là số lượng các
tham số hồi quy không nhất thiết phải liên quan trực tiếp đến số lượng các biến
X trong mô hình. Trong mô hình hồi quy tuyến tính, nếu có p − 1 biến X trong
mô hình thì có p hệ số hồi quy. Với mô hình hồi quy dạng mũ (2.8), có một biến
X nhưng có 3 hệ số hồi quy. Tương tự ta thấy trong mô hình hồi quy logistic
(2.10). Do đó, nếu biễu diễn số lượng các biến X trong mô hình hồi quy phi tuyến
là q thì phải biểu diễn số lượng các tham số hồi trong hàm đáp ứng là p. Ví
dụ trong mô hình hồi quy dạng mũ (2.6) có p = 2 tham số hồi quy và q = 1 biến X.
Tương tự như trên, ta định nghĩa véc tơ Xi của các quan sát trong biến X
không có phần tử ban đầu bằng 1. Dạng tổng quát của mô hình hồi quy phi
tuyến được biểu diễn như sau:
Yi = f(Xi, γ) + εi (2.12)
46

trong đó:
X
q×1
=



Xi1
Xi2
...
Xiq


 γ
p×1
=



γ0
γ1
...
γp−1


 (2.12a)
Bình luận
Hàm đáp ứng phi tuyến mà có thể tuyến tính hóa bởi một sự biến đổi nào đó
được gọi là hàm đáp ứng có bản chất tuyến tính. Ví dụ, hàm đáp ứng dạng mũ:
f(X, γ) = γ0 exp(γ1Xi)
là một hàm đáp ứng có bản chất tuyến tính vì có thể tuyến tính hóa bằng cách
logarit cơ số e hai vế:
loge f(X, γ) = loge γ0 + γ1X
Khi đó ta có thể viết lại dưới dạng:
g(X, γ) = β0 + β1X
trong đó g(X, γ) = loge f(X, γ), β0 = loge γ0, β1 = γ1.
Một hàm đáp ứng phi tuyến có bản chất tuyến tính không có nghĩa mô hình
hồi quy tuyến tính là thích hợp hơn. Lý do là sự biến đổi để tuyến tính hóa hàm
đáp ứng sẽ ảnh hưởng đến sai số của mô hình. Ví dụ, giả sử rằng mô hình hồi
quy dạng mũ sau có sai số chuẩn với phương sai không đổi:
Yi = γ0 exp(γ1Xi) + εi
Khi logarit để tuyến tính hóa hàm đáp ứng sẽ ảnh hưởng đến điều kiện sai số
chuẩn εi. Trong mô hình tuyến tính hóa sai số sẽ không có phân phối chuẩn và
phương sai không đổi. Do vậy, một điều quan trọng trong nghiên cứu mô hình
hồi quy phi tuyến là cần tuyến tính hóa cho phù hợp.
2.2 Ước lượng các tham số hồi quy
Khi ước lượng các tham số của mô hình hồi quy phi tuyến thường sử dụng
phương pháp bình phương cực tiểu hoặc phương pháp hợp lý cực đại. Cũng
47

như trong hồi quy tuyến tính, cả hai phương pháp ước lượng giá trị các tham
số khi sai số trong mô hình hồi quy phi tuyến (2.12) là độc lập cùng phân phối
chuẩn và phương sai không đổi.
Khác với mô hình hồi quy tuyến tính, thường không thể tìm thấy các biểu
thức giải thích cho các ước lượng bình phương cực tiểu và hợp lý cực đại trong
mô hình hồi quy phi tuyến. Thay vào đó, các thủ tục tìm kiếm số được sử dụng
với cả hai thủ tục dự đoán này, đòi hỏi phải tính toán chuyên sâu. Do đó phân
tích mô hình hồi quy phi tuyến thường dùng các phần mềm máy tính chuyên
dụng.
2.3 Ước lượng bình phương cực tiểu trong hồi quy phi tuyến
Phương pháp bình phương cực tiểu cho hồi quy đơn tuyến tính yêu cầu việc
cực tiểu hóa hàm tiêu chuẩn (1.8):
Q =
n
i=1
[Yi − (β0 + β1Xi)]2
(2.13)
Các giá trị của β0 và β1 cực tiểu hóa hàm Q ứng với các quan sát (Xi, Yi) là
các ước lượng bình phương cực tiểu và được biểu diễn bởi b0 và b1
Phương pháp thứ nhất để tìm các ước lượng bình phương cực tiểu là việc sử
dụng một thủ tục tìm kiếm số. Với phương này, hàm Q trong (2.13) xác định
giá trị cho các giá trị khác nhau của β0 và β1 một cách có hệ thống cho đến khi
giá trị nhỏ nhất của Q được tìm thấy. Giá trị của β0 và β1 mà cực tiểu hóa Q
là các ước lượng bình phương cực tiểu b0 và b1.
Phương pháp thứ hai cho việc tìm kiếm các ước lượng bình phương cực tiểu là
phương trình chuẩn bình phương cực tiểu trung bình. Ở đây, phương trình chuẩn
bình phương cực tiểu được xác định bằng cách đạo hàm riêng hàm tiêu chuẩn Q
theo β0 và β1. Nghiệm của phương trình chuẩn là ước lượng bình phương cực tiểu.
Các khái niệm ước lượng bình phương cực tiểu của hồi quy phi tuyến cũng
tương tự như mô hình hồi quy tuyến tính. Tiêu chuẩn bình phương cực tiểu
48

được viết lại như sau:
Q =
n
i=1
[Yi − f(Xi, γ)]2
(2.14)
trong đó, f(Xi, γ) là trung bình đáp ứng cho trường hợp thứ i tương ứng với
hàm đáp ứng phi tuyến f(X, γ). Tiêu chuẩn bình phương cực tiểu (2.14) phải
được cực tiểu hóa đối với các tham số hồi quy phi tuyến γ0, γ1, . . . , γp−1 để có
được các ước lượng bình phương cực tiểu. Hai phương pháp tương tự để tìm
các ước lượng bình phương cực tiểu - các phương trình chuẩn và phương pháp
tìm kiếm số - cũng được dùng trong mô hình hồi quy phi tuyến. Khác với hồi
quy tuyến tính, thường phải dùng một thủ tục tìm kiếm số lặp để tìm nghiệm
của phương trình chuẩn vì rất khó để xác định được công thức nghiệm cụ thể
của phương trình.
2.3.1 Nghiệm của phương trình chuẩn
Để có phương trình chuẩn cho mô hình hồi quy phi tuyến:
Yi = f(Xi, γ) + εi
cần cực tiểu hóa tiêu chuẩn bình phương cực tiểu Q:
Q =
n
i=1
[Yi − f(Xi, γ)]2
với γ0, γ1, . . . , γp−1. Đạo hàm riêng của Q đối theo γk là:
∂Q
∂γk
=
n
i=1
−2[Yi − f(Xi, γ)]
∂f(Xi, γ)
∂γk
(2.15)
Khi đó, p đạo hàm riêng này được gán bằng 0 và các tham số γk được thay
thế bởi ước lượng bình phương cực tiểu gk, sau đó một số bước biến đổi được p
phương trình chuẩn:
n
i=1
Yi
∂f(Xi, γ)
∂γk γ=g
−
n
i=1
f(Xi, γ)
∂f(Xi, γ)
∂γk γ=g
= 0 k = 0, 1, . . . , p − 1
(2.16)
49

trong đó g là véc tơ các ước lượng bình phương cực tiểu gk:
g
p×1
=



g0
g1
...
gp−1


 (2.17)
Phương trình chuẩn (2.16) cho mô hình hồi quy phi tuyến là phi tuyến với
tham số ước lượng gk và thường rất khó tìm ra nghiệm, thậm chí trong trường
hợp đơn giản nhất. Do đó, thường dùng các thủ tục tìm kiếm số lặp để tìm
nghiệm của phương trình chuẩn. Nếu có nghiệm bội mọi việc còn khó khăn hơn.
2.3.2 Tìm kiếm số trực tiếp - Phương pháp Gauss-Newton
Trong rất nhiều vấn đề hồi quy phi tuyến, thiết thực hơn để tìm các ước
lượng bình phương cực tiểu là dùng các thủ tục tìm kiếm số trực tiếp hơn là
dùng phương trình chuẩn. Dưới đây là một trong những phương pháp tìm kiếm
số trực tiếp.
Phương pháp Gauss-Newton, cũng được gọi là phương pháp tuyến tính hóa,
sử dụng một loạt khai triển Taylor để gần đúng các mô hình hồi quy phi tuyến
với điều kiện tuyến tính và sau đó sử dụng bình phương cực tiểu để ước lượng
các tham số. Nói chung, các bước lặp này sẽ đưa ra lời giải cho vấn đề hồi quy
phi tuyến.
Phương pháp Gauss-Newton bắt đầu với các giá trị khởi đầu cho các tham
số γ0, γ1, . . . , γp−1. Ta đặt các giá trị này là g
(0)
0 , g
(0)
1 , . . . , g
(0)
p−1, các chỉ số trên
biểu thị cho số bước lặp. Các giá trị khởi đầu g
(0)
k có thể có được từ trước hoặc
từ các nghiên cứu liên quan, hoặc tìm kiếm sơ bộ cho các giá trị tham số đó
dẫn đến một giá trị tiêu chuẩn Q tương đối thấp trong (2.14).
Khi đã có các giá trị khởi đầu cho các tham số thì xấp xỉ trung bình đáp ứng
f(Xi, γ) cho n trường hợp bằng các điều kiện tuyến tính trong các khai triển
Taylor quanh giá trị khởi đầu g
(0)
k . Với trường hợp thứ i ta có:
f(Xi, γ) ≈ f(Xi, g(0)
) +
p−1
k=0
∂f(Xi, γ)
∂γk γ=g(0)
(γk − g
(0)
k ) (2.18)
50

trong đó:
g(0)
p×1
=





g
(0)
0
g
(0)
1
...
g
(0)
p−1





(2.18a)
g(0) là véc tơ giá trị khởi đầu của các tham số. Biểu thức trong dấu ngoặc []
của (2.18) là các đạo hàm riêng của hàm hồi quy nhưng xác định tại γk = g
(0)
k
với k = 0, 1, . . . , p − 1.
Để đơn giản, ta ký hiệu như sau:
f
(0)
i = f(Xi, g(0)
) (2.19a)
β
(0)
k = γk − g
(0)
k (2.19b)
D
(0)
ik =
∂f(Xi, γ)
∂γk γ=g(0)
(2.19c) (2.19)
Khi đó, xấp xỉ Taylor (2.18) cho trung bình đáp ứng cho trường hợp thứ i là:
f(Xi, γ) ≈ f
(0)
i +
p−1
k=0
D
(0)
ik β
(0)
k
và xấp xỉ của mô hình hồi quy phi tuyến (2.12) Yi = f(Xi, γ) + εi là:
Yi ≈ f
(0)
i +
p−1
k=0
D
(0)
ik β
(0)
k + εi (2.20)
Chuyển f
(0)
i sang vế trái và đặt Y
(0)
i = Yi − f
(0)
i ta có một mô hình hồi quy
tuyến tính xấp xỉ như sau:
Y
(0)
i ≈
p−1
k=0
D
(0)
ik β
(0)
k + εi (2.21)
trong đó:
Y
(0)
i = Yi − f
(0)
i (2.21a)
Chú ý dạng của mô hình hồi quy tuyến tính xấp xỉ (2.21) là:
Yi = β0 + β1Xi1 + β2Xi2 + ... + βp−1Xip−1 + εi
51

Giá trị đáp ứng Y
(0)
i trong (2.21) là phần dư, sự chênh lệch của các quan
sát xung quanh hàm hồi quy phi tuyến với các tham số được thay thế bởi
các ước lượng khởi đầu. Các giá trị D
(0)
ik là các đạo hàm riêng của trung
bình đáp ứng mà giá trị tham số được thay thế bởi các ước lượng khởi đầu.
Mỗi hệ số hồi quy β
(0)
k là sự khác biệt giữa giá trị thật và giá trị ước lượng
ban đầu của các tham số. Do đó cần điều chỉnh các hệ số hồi quy ban đầu.
Mục đích của việc phù hợp mô hình hồi quy tuyến tính xấp xỉ (2.21) là ước
lượng các hệ số hồi quy β
(0)
k và sử dụng các ước lượng này để điều chỉnh các
ước lượng ban đầu của các tham số hồi quy. Trong việc phù hợp mô hình
hồi quy tuyến tính xấp xỉ này, chú ý rằng mô hình không có giá trị chặn ban đầu.
Dạng ma trận của mô hình hồi quy tuyến tính xấp xỉ (2.21) là:
Y (0)
≈ D(0)
β(0)
+ ε (2.22)
trong đó:
Y (0)
n×1
=



Y1 − f
(0)
1
...
Yn − f
(0)
n


 (2.22a)
D(0)
n×p
=



D10(0) . . . D
(0)
1,p−1
...
...
Dn0(0) . . . D
(0)
n,p−1


 (2.22b)
β(0)
p×1
=



β
(0)
0
...
β
(0)
p−1


 (2.22c)
ε
n×1
=


ε1
...
εn

 (2.22d)
Mô hình xấp xỉ (2.22) là phù hợp với dạng mô hình hồi quy tuyến tính tổng
quát (1.41), với ma trận đạo hàm riêng D đóng vai trò là ma trận X (nhưng
không có cột giá trị 1 các giá trị chặn). Do đó chúng ta có thể ước lượng các
tham số β(0) bằng bình phương cực tiểu thông thường và có được như sau:
b(0)
= (D(0)
D(0)
)−1
D(0)
Y (0)
(2.23)
52

ở đây, b(0) là véc tơ ước lượng bình phương cực tiểu các hệ số hồi quy. Có thể
dùng một chương trình máy tính trong hồi quy bội thông thường để tìm các ước
lượng hệ số hồi quy b(0), với chú ý là không có giá trị chặn. Sau đó dùng các ước
lượng bình phương cực tiểu này để hiệu chỉnh lại các ước lượng hệ số hồi quy
g
(1)
k bằng công thức (2.19b):
g
(1)
k = g
(0)
k + b
(0)
k
trong đó, g
(1)
k là ước lượng hiệu chỉnh của γk ở cuối bước lặp thứ nhất. Thủ tục
hiệu chỉnh dạng ma trận như sau:
g(1)
= g(0)
+ b(0)
(2.24)
Cần xét xem có hay không các hệ số hồi quy hiệu chỉnh đưa ra điều chỉnh đúng
định hướng. Đánh giá các hệ số hồi quy ban đầu g(0) là SSE(0):
SSE(0)
=
n
i=1
[Yi − f(Xi, g(0)
)]2
=
n
i=1
(Yi − f
(0)
i )2
(2.25)
Ở cuối bước lặp thứ nhất, các ước lượng điều chỉnh là g(1), và tiêu chí đánh giá
bình phương cực tiểu ở bước lặp này là SSE(1):
SSE(1)
=
n
i=1
[Yi − f(Xi, g(1)
)]2
=
n
i=1
(Yi − f
(1)
i )2
(2.26)
Nếu phương pháp Gauss-Newton làm việc hiệu quả trong bước thứ nhất
thì SSE(1) sẽ nhỏ hơn SSE(0) vì các ước lượng điều chỉnh g(1) là ước lượng tốt hơn.
Chú ý rằng, hàm hồi quy phi tuyến f(Xi, g(0)) và f(Xi, g(1)) được dùng để tính
SSE(0) và SSE(1). Các hệ số điều chỉnh g(1) không phải là ước lượng bình phương
cực tiểu cho bài toán hồi quy phi tuyến vì sự phù hợp mô hình (2.22) chỉ là một
xấp xỉ của mô hình. Do đó, lặp lại phương pháp Gauss-Newton với g(1) được là
giá trị khởi đầu mới. Thủ tục thiết lập ước lượng hiểu chỉnh mới là g(2), và tiêu
chí đánh giá bình phương cực tiểu mới là SSE(2). Thủ tục lặp tiếp tục cho tới
khi sự khác biệt giữa các ước lượng hệ số liên tiếp g(S+1) −g(s) và hoặc là sự khác
biệt giữa hai tiêu chí đánh giá bình phương cực tiểu liên tiếp SSE(s+1) − SSE(s)
là không đáng kể. Ở bước cuối cùng, biểu diễn các ước lượng của hệ số hồi quy
là g và tiêu chí đánh giá bình phương cực tiểu có tổng bình phương sai số là SSE.
53

Phương pháp Gauss-Newton làm việc hiệu quả trong nhiều ứng dụng hồi
quy phi tuyến. Tuy nhiên trong một số ví dụ, phương pháp này yêu cầu nhiều
bước lặp trước khi hội tụ, và một số ít trường hợp có thể không hội tụ.
Bình luận
1. Việc lựa chọn của các giá trị khởi đầu là rất quan trọng đối với phương
pháp Gauss-Newton vì sự lựa chọn không tốt có thể cho kết quả hội tụ chậm,
hội tụ tới cực tiểu địa phương, hoặc thậm chí phân kỳ. Các giá trị khởi đầu
tốt sẽ đưa ra sự hội tụ nhanh hơn và nếu tồn tại cực tiểu bội sẽ đưa ra
nghiệm cực tiểu tổng thể chứ không phải cực tiểu địa phương. Sự hội tụ
nhanh hơn, thậm chí khi các ước lượng ban đầu là xa so với nghiệm bình
phương cực tiểu, chỉ ra rằng mô hình xấp xỉ tuyến tính (2.22) là xấp xỉ tốt
tới mô hình hồi quy phi tuyến. Mặt khác, sự hội tụ chậm, đặc biệt cả khi
các ước lượng ban đầu là hợp và lý gần với nghiệm bình phương cực tiểu,
thường chỉ ra rằng mô hình xấp xỉ tuyến tính không xấp xỉ tốt mô hình phi tuyến.
2. Một số các phương pháp có sẵn cách để có được các giá trị khởi đầu cho
các tham số hồi quy. Các nghiên cứu có liên quan có thể dùng các phương pháp
này để cung cấp các giá trị khởi đầu tốt cho các tham số hồi quy. Một khả năng
khác là để lựa chọn các quan sát tiêu biểu, thiết lập hàm hồi quy f(Xi, γ) là Yi
cho mỗi p quan sát (bằng cách đó bỏ qua các sai số ngẫu nhiên), giải p phương
trình cho p tham số và dùng các nghiệm như là các giá trị khởi đầu, đưa chúng
đến sự phù hợp tốt của dữ liệu quan sát. Cũng có một khả năng khác là để làm
một lưới nghiên cứu trong không gian các tham số bằng cách lựa chọn trong một
lưới các lựa chọn thử nghiệm của g, đánh giá tiêu chuẩn bình phương cực tiểu
Q cho mỗi lựa chọn, và sử dụng khi các giá trị khởi đầu là véc tơ g với Q nhỏ nhất.
3. Khi sử dụng phương pháp Gauss-Newton hay một thủ tục tìm kiếm trực
tiếp nào khác, nó thường thử các bộ giá trị khởi đầu sau khi tìm được một
nghiệm để chắc chắn rằng nghiệm tương tự sẽ được tìm thấy.
4. Một vài gói tính toán cho mô hình hồi quy phi tuyến đòi hỏi người dùng
xác định các giá trị khởi đầu với các tham số hồi quy.
54

5. Hầu hết các chương trình tính toán phi tuyến có một thư viện các hàm
hồi quy hay sử dụng. Với hàm đáp ứng phi tuyến không trong thư viện và xác
định bởi người dùng, một vài chương trình tính toán sử dụng phương pháp
Gauss-Newton yêu cầu người dùng nhập các đạo hàm riêng của hàm hồi quy,
trong khi các phương pháp khác xấp xỉ đạo hàm riêng từ hàm hồi quy.
6. Phương pháp Gauss-Newton có thể được lặp lại dao động rộng hay đưa
ra kết quả trong sự tăng của tổng bình phương sai số. Đôi khi, những quang
sai này chỉ tạm thời nhưng thỉnh thoảng tồn tại những vấn đề hội tụ nghiêm
trọng. Các sửa đổi của phương pháp Gauss-Newton được gợi ý để nâng cao
hiệu quả của nó, ví dụ sửa đổi của Hartley.
7. Một số tính chất tồn tại của bình phương cực tiểu hồi quy tuyến tính
không đúng cho bình phương cực tiểu hồi quy phi tuyến. Ví dụ, các phần dư
không nhất thiết có tổng tới không cho bình phương cực tiểu phi tuyến. Hơn
nữa, tổng bình phương sai số SSE và tổng bình phương hồi quy SSR không
nhất thiết có tổng tới tổng bình phương tổng thể SSTO. Do đó, các hệ số xác
định bội R2 = SSR/SSTO không có ý nghĩa thống kê cho hồi quy phi tuyến.
2.3.3 Các thủ tục tìm kiếm trực tiếp khác
Bên cạnh phương pháp Gauss-Newton, hai thủ tục tìm kiếm trực tiếp
khác thường được sử dụng là phương pháp giảm nhanh nhất và thuật
toán Marquardt. Phương pháp giảm nhanh nhất tìm kiếm việc cực tiểu
tiêu chí đánh giá bình phương cực tiểu Q bằng cách xác định lặp phương
hướng cho sự thay đổi hệ số hồi quy g. Phương pháp giảm nhanh nhất có
hiệu quả đặc biệt khi các giá trị khởi đầu g(0) không tốt, khá xa với giá trị cuối g.
Thuật toán Marquardt tìm kiếm tới việc sử dụng các đặc tính tốt nhất của
phương pháp Gauss-Newton và phương pháp giảm nhanh nhất.
55

Luận văn: Hồi quy bội tuyến tính và Hồi quy phi tuyến, HOT, 9đ

Luận văn: Hồi quy bội tuyến tính và Hồi quy phi tuyến, HOT, 9đ

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Luận văn: Hồi quy bội tuyến tính và Hồi quy phi tuyến, HOT, 9đ

Similar to Luận văn: Hồi quy bội tuyến tính và Hồi quy phi tuyến, HOT, 9đ (20)

More from Dịch Vụ Viết Bài Trọn Gói ZALO 0917193864

More from Dịch Vụ Viết Bài Trọn Gói ZALO 0917193864 (20)

Recently uploaded

Recently uploaded (20)

Luận văn: Hồi quy bội tuyến tính và Hồi quy phi tuyến, HOT, 9đ