Luận văn: Một số tiêu chuẩn lựa chọn mô hình, HAY, 9đ

ĐẠI HỌC QUỐC GIA HÀ NỘI
ĐẠI HỌC KHOA HỌC TỰ NHIÊN
PHẠM THỊ HOA
MỘT SỐ TIÊU CHUẨN LỰA CHỌN MÔ HÌNH
LUẬN VĂN THẠC SĨ KHOA HỌC
Hà Nội - 2013

ĐẠI HỌC QUỐC GIA HÀ NỘI
ĐẠI HỌC KHOA HỌC TỰ NHIÊN
PHẠM THỊ HOA
MỘT SỐ TIÊU CHUẨN LỰA CHỌN MÔ HÌNH
Chuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC
Mã số : 60 46 15
LUẬN VĂN THẠC SĨ KHOA HỌC
NGƯỜI HƯỚNG DẪN KHOA HỌC
TS. TRẦN MẠNH CƯỜNG
Hà Nội - 2013

MỞ ĐẦU
Lựa chọn mô hình (Model selection) là một bài toán cơ bản của thống kê
cũng như nhiều ngành khoa học khác như học máy (machine learning), kinh tế
lượng (econometrics), ... Theo R. A. Fisher có 3 bài toán chính trong thống kê
suy luận và dự báo gồm
- Xác định mô hình (model specification)
- Ước lượng tham số (estimation of model parameters)
- Dự báo (prediction)
Trước những năm 1970 hầu hết các nghiên cứu tập trung vào hai bài toán
sau với giả thiết là mô hình đã biết. Sau khi xuất hiện công trình của Akaike
(1973) thì bài toán lựa chọn mô hình thu hút được sự quan tâm của cộng đồng
làm thống kê.
Với một bộ dữ liệu đưa ra, có thể đặt vào nó rất nhiều mô hình và với các
mô hình đưa ra, mô hình nào là tốt nhất? Để trả lời cho câu hỏi trên, người ta
đã đưa ra các tiêu chuẩn thông tin để lựa chọn mô hình phù hợp như tiêu chuẩn
thông tin của Akaike (AIC) và tiêu chuẩn thông tin của Bayesian (BIC)... Việc
lựa chọn một mô hình phù hợp là trung tâm cho tất cả các công tác thống kê
với dữ liệu. Lựa chọn các biến để sử dụng trong một mô hình hồi quy là một
trong những ví dụ quan trọng. Luận văn của tôi trình bày hai tiêu chuẩn thông
tin quan trọng đó là tiêu chuẩn thông tin của Akaike và tiêu chuẩn thông tin
của Bayesian. Luận văn được chia làm ba chương
Chương 1. Kiến thức chuẩn bị
Trong chương này, tôi trình bày các kiến thức cơ bản về lượng thông tin Fisher,
ước lượng hợp lí cực đại, và các dạng của phân tích hồi quy như hồi quy tuyến
tính, hồi quy Poisson và hồi quy logistic.
Chương 2. Một số tiêu chuẩn lựa chọn mô hình
Chương này, trình bày khoảng cách Kullback- Leibler, mối liên hệ giữa ước lượng
hợp lí cực đại và khoảng cách Kullback-Leibler, định nghĩa AIC và mối liên hệ
giữa AIC và khoảng cách Kullback-Leibler, tiêu chuẩn Takeuchi, AIC hiệu chỉnh
cho hồi quy tuyến tính và chuỗi thời gian tự hồi quy, trình bày nguồn gốc và
định nghĩa của BIC.
Chương 3. Áp dụng
Trong chương này giới thiệu về phần mềm R, đưa ra một bộ dữ liệu cụ thể về bốn
phép đo trên hộp sọ của người Ai cập ở năm thời kỳ khác nhau và được lấy trong
website: ”www.econ.kuleuven.be/gerda.claeskens/public/modelselection.”,
i

áp dụng với năm mô hình ứng cử viên và dùng phần mềm R chạy để tìm giá
trị AIC và BIC cho mỗi trong số năm mô hình ứng cử viên để tìm ra mô hình
tốt nhất theo AIC và BIC đối với bộ dữ liệu này, code R cũng được tham khảo
trong website trên .
Do thời gian và trình độ còn hạn chế nên luận văn không tránh khỏi những
thiếu sót, tác giả hy vọng sẽ nhận được nhiều ý kiến đóng góp từ các thầy cô
giáo và bạn đọc để luận văn được hoàn chỉnh hơn.
ii

LỜI CẢM ƠN
Sau một thời gian học tập tại khoa Toán - Cơ - Tin học, Trường Đại học
Khoa học Tự nhiên, dưới sự hướng dẫn và chỉ bảo tận tình của TS. Trần Mạnh
Cường, tôi đã hoàn thành luận văn tốt nghiệp với đề tài: “Một số tiêu chuẩn lựa
chọn mô hình”.
Trong suốt quá trình học tập, triển khai nghiên cứu đề tài, tôi đã nhận được
rất nhiều sự giúp đỡ của các thầy cô trong bộ môn Xác suất thống kê, các thầy
cô trong khoa Toán - Cơ - Tin học, trường Đại học Khoa học Tự nhiên, Đại học
Quốc gia Hà Nội, đặc biệt là TS. Trần Mạnh Cường.
Tôi xin bày tỏ lòng biết ơn chân thành và sâu sắc tới TS. Trần Mạnh Cường
– người đã tận tình chỉ bảo, giúp đỡ tôi trong quá trình nghiên cứu đề tài. Tôi
xin gửi lời cảm ơn tới Ban giám hiệu, Phòng sau đại học, các thầy cô trong khoa
Toán - Cơ - Tin học nói chung và các thầy cô trong bộ môn xác suất thống kê -
Trường Đại học Khoa học Tự nhiên nói riêng đã tạo những điều kiện thuận lợi
nhất để tôi có thể hoàn thành luận văn này.
Hà nội, tháng 02 năm 2013
iii

Danh mục các kí hiệu
AIC Tiêu chuẩn thông tin của Akaike
AICc AIC hiệu chỉnh
a.s. hầu chắc chắn
BIC tiêu chuẩn thông tin Bayesian
BIC∗
xấp xỉ của BIC
BICexact
BIC chính xác
h(.) tỷ lệ nguy hiểm
H(.) tỷ lệ nguy hiểm tích lũy
KL khoảng cách kullback - Leibler
L, Ln hàm hợp lý
, n loga hàm hợp lý
Np(ξ, ) phân phối chuẩn của p biến ngẫu nhiên với vectơ trung bình ξ và
ma trận phương sai
Op(n−1) Xn = Op(n−1) nghĩa là Xn/n−1 hội tụ tới 0 theo xác suất
Var phương sai
d
−→ hội tụ theo phân phối
p
−→ hội tụ theo xác suất
TIC tiêu chuẩn thông tin Takeuchi
Tr vết của ma trận
kết thúc chứng minh hoặc ví dụ.
iv

Mục lục
Lời cảm ơn iii
1 Kiến thức chuẩn bị 1
1.1 Lượng thông tin Fisher . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Ước lượng hợp lý cực đại . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Hồi quy tuyến tính . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3.1 Giới thiệu mô hình hồi quy tuyến tính cổ điển . . . . . . . 4
1.3.2 Phương pháp ước lượng bình phương cực tiểu . . . . . . . 5
1.3.3 Tính chất ước lượng bằng phương pháp bình phương cực
tiểu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 Hồi quy Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5 Hồi quy logistic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2 Một số tiêu chuẩn lựa chọn mô hình 10
2.1 Tiêu chuẩn thông tin Akaike . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1 Khoảng cách Kullback- Leibler . . . . . . . . . . . . . . . . 10
2.1.2 Ước lượng hợp lý cực đại và khoảng cách Kullback- Leibler 11
2.1.3 Định nghĩa AIC . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.4 AIC và khoảng cách Kullback- Leibler . . . . . . . . . . . . 19
2.1.5 Tiêu chuẩn Takeuchi . . . . . . . . . . . . . . . . . . . . . . 24
2.1.6 AIC hiệu chỉnh cho hồi quy tuyến tính . . . . . . . . . . . 25
2.2 Tiêu chuẩn thông tin Bayesian(BIC) . . . . . . . . . . . . . . . . . 28
2.2.1 Nguồn gốc của BIC . . . . . . . . . . . . . . . . . . . . . . . 28
2.2.2 Định nghĩa BIC . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.3 Ai là người viết ’The Quiet Don’? . . . . . . . . . . . . . . 35
3 Áp dụng 38
3.1 Giới thiệu về phần mềm R . . . . . . . . . . . . . . . . . . . . . . 38
3.2 Áp dụng với bộ số liệu . . . . . . . . . . . . . . . . . . . . . . . . . 38
v

MỤC LỤC
Kết luận 46
Phụ lục . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Tài liệu tham khảo 51
vi

Chương 1
Kiến thức chuẩn bị
1.1 Lượng thông tin Fisher
Định nghĩa 1.1.1. Cho X là biến ngẫu nhiên hoặc vectơ ngẫu nhiên có phân
bố phụ thuộc vào tham số chưa biết θ ∈ Θ, với mật độ f(x, θ), θ ∈ Θ. Giả sử rằng
f(x, θ) khả vi theo θ và
X
df(x,θ)
dθ dλ < ∞. Khi đó lượng thông tin Fisher về tham
số θ chứa trong X là
IX(θ) = Eθ[
dlnf(X, θ)
dθ
]2
.
Dễ dàng chỉ ra rằng Eθ[
dlnf(X,θ)
dθ ] = 0. Do đó
IX(θ) = V ar[
dlnf(X, θ)
dθ
]
Với một điều kiện không quá chặt đặt lên f(x, θ) người ta cũng chứng minh được
IX(θ) = −E[
d2lnf(X, θ)
dθ2
]
Chú ý: Nếu X1, X2 là hai biến ngẫu nhiên độc lập cùng phụ thuộc vào tham
số θ thì mật độ đồng thời của X1, X2 là:
f(x1, x2, θ) = fX1
(θ).fX2
(θ)
Nên:
I(X1,X2)(θ) = V ar[
dlnf(X1, X2, θ)
dθ
] = V ar[
dlnfX1
(X1, θ)
dθ
] + V ar[
dlnfX2
(X2, θ)
dθ
]
= IX1
(θ) + IX2
(θ)
Do đó nếu X1, X2, . . . , Xn là một mẫu ngẫu nhiên về X, thì lượng thông tin Fisher
về tham số θ chứa trong mẫu là:
1

I(θ) = I(X1,X2,...,Xn)(θ) = nIX1
(θ)
Ví dụ 1.1.1. Tính lượng thông tin trong mẫu đơn giản (X1, X2, . . . , Xn) lấy từ
họ phân bố chuẩn với tham số (µ, σ2) đối với tham số σ2.
Ta có hàm mật độ đồng thời của X1, X2, . . . , Xn là
p(X, µ, σ2
) =
1
(2πσ2)
n
2
exp[−
1
2σ2
n
i=1
(Xi − µ)2
]
lnp(X, µ, σ2
) = −
n
2
ln2π −
n
2
lnσ2
−
1
2σ2
n
i=1
(Xi − µ)2
∂lnp(X, µ, σ2)
∂σ2
= −
n
2σ2
+
1
2σ4
n
i=1
(Xi − µ)2
⇒ IX(σ2
) = E(
∂lnp(X, µ, σ2)
∂σ2
)2
= V ar(
∂lnp(X, µ, σ2)
∂σ2
)
=
n
4σ8
V ar[(X1 − µ)2
] =
n
2σ4
.
Trường hợp nhiều chiều: Khi phân bố của X phụ thuộc N tham số
θ = (θ1, θ2, . . . , θN )T thì ma trận thông tin Fisher có dạng
[I(θ)]i,j = Eθ[
∂lnf(X, θ)
∂θi
.
∂lnf(X, θ)
∂θj
].
Đây là ma trận đối xứng, xác định không âm. Với một số điều kiện chính quy
người ta chỉ ra được rằng
[I(θ)]i,j = −Eθ[
∂2lnf(X, θ)
∂θi∂θj
].
1.2 Ước lượng hợp lý cực đại
Cho một mô hình thống kê (X, B, Pθ, θ ∈ Θ), trong đó Θ là khoảng mở trong
không gian Euclide k chiều và Pθ µ với µ là độ đo σ− hữu hạn trên B. Đặt
p(x, θ) =
dPθ
dµ
2

Nếu p(xi, θ) là hàm mật độ theo nghĩa rộng của biến ngẫu nhiên Xi thì p(x, θ) =
n
i=1 p(xi, θ)
Định nghĩa 1.2.1. Hàm L(X, θ) =
n
i=1 p(Xi, θ) được xét như hàm của tham ẩn
θ với X cố định gọi là hàm hợp lý.
Định nghĩa 1.2.2. Thống kê ˆθ(X) : X −→ Θ được gọi là ước lượng hợp lý cực
đại của tham ẩn θ nếu:
L(X, ˆΘ(X)) = sup
θ∈Θ
L(X, θ)
Từ định nghĩa suy ra muốn tìm ước lượng hợp lý cực đại phải tìm điểm dừng.
• Nếu θ ∈ R1, ta giải phương trình sau gọi là phương trình hợp lý
∂L(X, θ)
∂θ
= 0;
phương trình trên tương đương với phương trình
∂ ln L(X, θ)
∂θ
= 0.
• Nếu θ = (θ1, . . . , θp) thì phương trình hợp lý là
∂L(X, θ)
∂θi
= 0; i = 1, p
tương đương với phương trình
∂lnL(X, θ)
∂θi
= 0; i = 1, p
Nghiệm của phương trình hợp lý gọi là ước lượng hợp lý cực đại. Để xét xem
nghiệm của phương trình hợp lý có là ước lượng hợp lý cực đại không thì không
dễ dàng. Người ta chứng minh được rằng nếu nghiệm của phương trình hợp lý
không phải là hằng số thì nghiệm đó sẽ làm cực đại hàm hợp lý, do đó nó là ước
lượng hợp lý cực đại.
Ví dụ 1.2.1. Giả sử (X1, X2, . . . , Xn) là mẫu ngẫu nhiên từ phân phối chuẩn
N(µ; σ2). Tìm ước lượng hợp lý cực đại của (µ; σ2).
Ta có
L(X, µ, σ2
) =
1
(2πσ2)n/2
.e− 1
2σ2
n
i=1(Xi−µ)2
.
3

Khi đó phương trình hợp lý là
∂lnL(X,µ,σ2
)
∂µ =
n
i=1(Xi − µ) = 0
∂lnL(X,µ,σ2
)
∂σ2 = − n
2σ2 + 1
2σ4
n
i=1(Xi − µ)2 = 0
Suy ra
ˆµ = 1
n
n
i=1 Xi = X
ˆσ2 = 1
n
n
i=1(Xi − X)2 = s2
1.3 Hồi quy tuyến tính
1.3.1 Giới thiệu mô hình hồi quy tuyến tính cổ điển
Giả sử X1, . . . , Xk là k biến độc lập dùng để dự báo và Y là biến phụ thuộc
cần dự báo. Ví dụ, ta giả sử Y là giá nhà ở hiện hành. Khi đó Y phụ thuộc chủ
yếu vào các yếu tố sau:
• X1 là diện tích sử dụng (m2),
• X2 là vị trí vùng,
• X3 là giá của năm qua,
• X4 là chất lượng xây dựng (giá xây dựng trên một m2).
Sự phụ thuộc giữa biến Y theo các biến X1, . . . , Xk nói chung là rất phức tạp.
Tuy nhiên có một số trường hợp sự phụ thuộc đó tương đối đơn giản. Mô hình
hồi quy tuyến tính cổ điển khẳng định rằng Y phụ thuộc tuyến tính vào các Xi
(nghĩa là Y là một biểu thức bậc nhất của X1, . . . , Xk) và sai số ngẫu nhiên ε.
Như vậy,
Y = β0 + β1X1 + . . . + βkXk + ε,
trong đó βi, i = 0, k là các hệ số chưa biết.
Bây giờ ta tiến hành n quan sát độc lập đồng thời về k + 1 biến X1, . . . , Xk, Y.
Giả sử các số liệu quan sát tuân theo mô hình sau:
y1 = β0 + β1x11 + . . . + βkx1k + ε1
y2 = β0 + β1x21 + . . . + βkx2k + ε2
.....................................................
yn = β0 + β1xn1 + . . . + βkxnk + εn
4

trong đó các sai số ε1, . . . , εn thỏa mãn 3 điều kiện sau:
(i) E(εj) = 0 (việc đo đạc không chịu sai lệch hệ thống),
(ii) D(εj) = σ2 (phương sai không đổi hay độ chuẩn xác đo đạc như nhau)
(iii) cov(εi, εj) = 0 với mọi i = j = 1, n (các sai lệch từng bước không ảnh hưởng
đến nhau)
Mô hình trên có thể viết dưới dạng ma trận như sau:





y1
y2
...
yn





=





1 x11 . . . x1k
1 x21 . . . x2k
...
... . . .
...
1 xn1 . . . xnk










β0
β1
...
βk





+





ε1
ε2
...
εn





hoặc đơn giản hơn
Y = Xβ + ε, (1.1)
ở đó
X =





1 x11 . . . x1k
1 x21 . . . x2k
...
... . . .
...
1 xn1 . . . xnk





;
Y = [y1, y2, . . . , yn]T ; β = [β0, β1, . . . , βk]T ; ε = [ε1, ε2, . . . , εn]T ;
và
1.E(ε) = 0,
2.cov(ε) = E(εεT
) = σ2
In.
(1.2)
1.3.2 Phương pháp ước lượng bình phương cực tiểu
Một bài toán đặt ra là hãy dựa trên ma trận X và vectơ Y của các giá trị
quan sát hãy ước lượng vectơ tham số β và σ2.
Nếu chúng ta sử dụng b là giá trị thử của β thì giữa các quan sát yj và
5

b1xj1 + . . . + bkxjk sẽ bị một độ lệch
yj − b0 − (b1xj1 + . . . + bkxjk),
nói chung độ lệch này sẽ khác không.
Phương pháp ước lượng bình phương tối thiểu là hãy chọn giá trị của vectơ
b sao cho
S(b) =
n
j=1
(yj − b0 − b1xj1 − . . . − bkxjk)2
= (Y − Xb)T
(Y − Xb) → min.
Đại lượng ˆβ làm cực tiểu hóa phiếm hàm S(b) được gọi là ước lượng bình phương
cực tiểu của β, còn
ˆεj = yj − (ˆβ0 + ˆβ1xj1 + . . . + ˆβkxjk), j = 1, n
gọi là các phần dư của phép hồi quy. Trong trường hợp này, vì biểu thức theo
X1, . . . , Xk là tuyến tính, nên phương trình
ˆY = ˆβ0 + ˆβ1x1 + . . . + ˆβkxk
được gọi là phương trình hồi quy tuyến tính mẫu.
Ta có kết quả sau:
Đặt
ˆyj = ˆβ0 + ˆβ1xj1 + . . . + ˆβkxjk
ˆY = (ˆy1, . . . , ˆyn)T .
Mệnh đề 1.3.1. Nếu ma trận X không ngẫu nhiên có hạng k + 1 ≤ n thì ước
lượng bình phương cực tiểu có dạng:
ˆβ = (XT
X)−1
XT
Y
Khi đó
ˆY = X ˆβ = X(XT
X)−1
Y = HY,
trong đó,
H = X(XT
X)−1
XT
; ˆε = Y − ˆY = (In − H)Y,
6

thỏa mãn
XT ˆε = 0 và ˆY T ˆε = 0, (ˆβT XT ˆε = 0).
Tổng các phần dư
n
j=1
ˆε2
j = ˆεT
ˆε = Y T
Y − Y T
X ˆβ
1.3.3 Tính chất ước lượng bằng phương pháp bình phương cực tiểu
1) Ước lượng ˆβ là ước lượng không chệch với
E ˆβ = β; cov(ˆβ) = σ2
(XT
X)−1
,
2) Phần dư ˆε có tính chất: ˆε = 0 (điều này cũng tương đương với Y = ˆY )
E(ˆε) = 0; cov(ˆε) = σ2
(I − H),
3) ˆσ2 = ˆεT ˆε/(n − k − 1) =
n
1 ˆε2
j/(n − k − 1) là ước lượng không chệch của σ2,
tức là E(ˆσ2) = σ2,
4) ˆβ và ˆε là không tương quan
cov(ˆβ, ˆε) = 0, cov(ˆβ, ˆσ2
) = 0
Định lí 1.3.2. (Định lý Gauss về ước lượng bình phương cực tiểu)
1.Trong mô hình tuyến tính cổ điển (1.1) và (1.2) với hạng đầy đủ k + 1 ≤ n
thì ước lượng
cT ˆβ = c0
ˆβ0 + c1
ˆβ1 + . . . + ck
ˆβk
của cT β = c0β0 +c1β1 +. . .+ckβk là ước lượng không chệch với phương sai bé nhất
so với bất kỳ ước lượng tuyến tính không chệch dạng aT Y = a1y1 + . . . + anyn.
2. Nếu thêm giả thiết rằng ε có phân bố chuẩn Nn(0, σ2In) thì cT ˆβ là một ước
lượng không chệch với phương sai cực tiểu của cT β so với bất kỳ ước lượng không
chệch nào khác.
1.4 Hồi quy Poisson
Trong mô hình hồi quy, khi biến đáp ứng là biến đếm người ta thường sử
dụng mô hình hồi quy poisson (hay còn gọi là mô hình loga tuyến tính). Trong
7

mô hình này biến đáp ứng Y được giả thiết là có phân bố Poisson và phụ thuộc
vào các biến độc lập theo mô hình
ln E(Y | x) = a1x1 + a2x2 + . . . + akxk + a0
= θT
x; θ = (a0, a1, . . . , ak)T
; x = (1, x1, . . . , xk)T
.
Người ta ước lượng các tham số của mô hình dựa trên ý tưởng phương pháp
hợp lý cực đại như sau:
Khi biết x, θ thì
E(Y | x) = eθT
x
.
Do đó mật độ của phân bố Poisson là (λ = eθT
x)
P(y | x; θ) = e−λ
.
λy
y!
=
eyθT
x.e−eθT x
y!
.
Giả sử ta có bộ dữ liệu gồm m vectơ xi ∈ R, i = 1, m và m giá trị y1, y2, . . . , ym ∈ R.
Với mỗi θ, xác suất thu được bộ dữ liệu này là
P(y1, . . . , ym | x1, . . . , xm, θ) =
m
i=1
eyiθT
xi
.e−eθT xi
yi!
.
Theo phương pháp hợp lý cực đại ta chọn tham số θ cực đại xác suất trên, tức
là tìm ˆθ
ˆθ = argmax (θ, X, Y )
trong đó:
(θ, X, Y ) = ln L(θ | X, Y ) =
m
i=1
[yiθT
xi − eθT
xi
− ln(yi!)]
L(θ | X, Y ) =
m
i=1
eyiθT
xi
.e−eθT xi
yi!
1.5 Hồi quy logistic
Khi biến phụ thuộc là biến nhị giá (thất nghiệp hay không thất nghiệp, đã
lập gia đình hay chưa lập gia đình, có tội hay vô tội,...) người ta thường dùng
8

mô hình hồi quy logistic. Trong mô hình hồi quy logistic người ta giả sử rằng
log(
π
1 − π
) = βT
X,
trong đó:
π là xác suất nhận giá trị 1 của biến phụ thuộc Y, tức
Y =
1 xác suất π
0 xác suất 1 − π
β = (β0, β1, . . . , βk)T ; X = (1, x1, . . . , xk)T
Dựa trên các quan sát (Yi, Xi) = (yi, xi1, xi2, . . . , xik) = (yi, xiT ) người ta cần ước
lượng β.
Hàm xác suất đồng thời là:
g(y1, . . . , yn) =
n
i=1
fi(Yi) =
n
i=1
πYi
i (1 − πi)1−Yi
,
trong đó
πi = P(Yi = 1 | xi
) =
eβT
xi
1 + eβT xi
Do đó
ln[g(Y1, . . . , Yn)] =
n
i=1
YiβT
Xi
−
n
i=1
ln[1 + eβT
Xi
]
= (β)
Ước lượng hợp lý cực đại của β là
ˆβ = argmax
β
(β)
9

Chương 2
Một số tiêu chuẩn lựa chọn mô hình
Dữ liệu có thể được mô phỏng bằng những cách khác nhau. Có thể có những
phương pháp đơn giản hơn mà cũng có thể có nhiều tham số hơn. Khi có nhiều
covarian được đo chúng ta có thể sử dụng tất cả chúng trong mô hình, hoặc chỉ
một vài trong số chúng. Với một danh sách các mô hình ứng cử viên, lựa chọn
mô hình nào là tốt nhất? Để lựa chọn mô hình tốt nhất người ta đưa ra các tiêu
chuẩn thông tin. Trong chương này sẽ trình bày hai tiêu chuẩn thông tin quan
trọng là tiêu chuẩn thông tin của Akaike và tiêu chuẩn thông tin Bayesian.
2.1 Tiêu chuẩn thông tin Akaike
2.1.1 Khoảng cách Kullback- Leibler
Trong lý thuyết xác suất và lý thuyết thông tin, khoảng cách Kullback- Leibler
là một ”độ đo” không đối xứng dùng để đo sự khác nhau giữa hai phân bố P và
Q. Cụ thể hơn, độ lệch Kullback- Leibler của Q khỏi P ký hiệu là KL(P Q) là
độ đo lượng thông tin mất đi khi dùng Q để xấp xỉ P. Chính xác hơn khoảng
cách Kullback- Leibler đo số bit trung bình dư ra để mã hóa một mẫu khi dùng
Q thay vì dùng P. Khái niệm này xuất hiện trong lý thuyết thông tin và được
đưa ra bởi Solomon Kullback và Richard Leibler năm 1951.
Định nghĩa 2.1.1. (i) Cho các phân phối xác suất rời rạc P và Q. Khoảng
cách Kullback- Leibler của Q từ P được định nghĩa là
KL(P Q) =
i
P(i) ln
P(i)
Q(i)
(ii) Cho các phân phối xác suất liên tục P và Q. Khoảng cách Kullback- Leibler
của Q từ P được định nghĩa là tích phân
10

KL(P Q) =
+∞
−∞
p(x) ln
p(x)
q(x)
dx
ở đó p và q là kí hiệu mật độ của P và Q.
(iii) Tổng quát hơn, nếu P và Q là các độ đo xác suất trên một tập X và Q liên
tục tuyệt đối theo P, khi đó khoảng cách Kullback- Leibler từ P tới Q được
định nghĩa là
KL(P Q) =
X
ln
dP
dQ
dP
ở đó dP
dQlà đạo hàm Radon-Nikodym của Q theo P.
Nếu µ là một độ đo nào đó trên X mà p = dP
dµ và q = dQ
dµ tồn tại, khi đó
khoảng cách Kullback- Leibler từ P tới Q là
KL(P Q) =
X
p ln
p
q
dµ
Tính chất
(i) KL(P Q) ≥ 0
KL(P Q) = 0 ⇔ P = Q hầu khắp nơi.
(ii) Khoảng cách Kullback- Leibler là định nghĩa tốt cho phân phối liên tục và
bất biến dưới các phép biến đổi tham số.
(iii) Khoảng cách Kullback- Leibler là cộng tính đối với các phân phối độc lập.
Nếu P1, P2 là các phân phối độc lập với P(x, y) = P1(x).P2(y) và Q(x, y) =
Q1(x).Q2(y) khi đó
KL(P Q) = KL(P1 Q1) + KL(P2 Q2)
(iv) Khoảng cách Kullback- Leibler của phân phối Q từ phân phối P không phải
là khoảng cách thông thường, mà là độ đo lượng thông tin mất đi khi dùng
Q để xấp xỉ P.
2.1.2 Ước lượng hợp lý cực đại và khoảng cách Kullback- Leibler
Mục tiêu của phần này là tìm hiểu về mối liên hệ giữa phương pháp hợp lý
cực đại và khoảng cách Kullback- Leibler trong hai trường hợp độc lập cùng
11

phân bố và trường hợp hồi quy. Trước hết, chúng ta bắt đầu với một minh họa
đơn giản để thấy được cách hoạt động của phương pháp hợp lý cực đại, nó sử
dụng dữ liệu và một mô hình tham số để cung cấp một mô hình ước lượng.
Ví dụ 2.1.1. Ước lượng dữ liệu trọng lượng sinh thấp
Trong bộ dữ liệu về trọng lượng sinh thấp (Hosmer and Lemeshow, 1999) có
một tổng của n = 189 phụ nữ và những đứa trẻ mới sinh. Ở đây chúng ta chỉ
ra cách mà phương pháp hợp lý cực đại sử dụng để ước lượng các tham số của
mô hình đưa ra. Các biến kết quả Y1, . . . , Yn độc lập là các biến ngẫu nhiên nhị
phân (0-1), tức cho giá trị là 1 khi đứa trẻ có trọng lượng sinh thấp và 0 trong
trường hợp ngược lại. Các biến khác x2,i là trọng lượng của người mẹ; x3,i là
tuổi của người mẹ; x4,i chỉ chủng tộc đen; x5,i chỉ các chủng tộc khác. Chúng ta
có xi = (1, x2,i, x3,i, x4,i, x5,i)t. Hầu hết mô hình thông thường cho các tình huống
như vậy là mô hình hồi quy logistic, cho công thức
P(Yi = 1 | xi) = pi =
exp(xt
iθ)
1 + exp(xt
iθ)
với i = 1, . . . , n; θ là một vectơ tham số 5 chiều. Hàm hợp lý Ln(θ) là tích của
các số hạng pyi
i (1 − pi)1−yi
, dẫn đến loga hàm hợp lý có dạng
n(θ) =
n
i=1
{yi ln pi + (1 − yi) ln(1 − pi)}
=
n
i=1
[yixt
iθ − ln{1 + exp(xt
iθ)}]
Một ước lượng hợp lý cực đại cho θ được tìm thấy bằng cách cực đại n(θ) theo
θ, ˆθ = (1.307, −0.014, −0.026, 1.004, 0.443)t.
Nhìn chung các mô hình mà chúng ta xây dựng cho các quan sát Y =
(Y1, . . . , Yn) chứa một số các tham số θ = (θ1, . . . , θp)T , kí hiệu f(y, θ) là hàm
mật độ đồng thời cho Y. Khi đó hàm hợp lý sẽ là
Ln(θ) = f(yobs, θ),
với yobs là giá trị dữ liệu quan sát. Chúng ta thường làm việc với loga hàm hợp
lý n(θ) = log Ln(θ) thay vì hàm hợp lý. Ước lượng hợp lý cực đại của θ làm cực
đại Ln(θ)
12

ˆθ = ˆθML = argmax
θ
(Ln) = argmax
θ
( n).
a. Trường hợp độc lập và cùng phân phối
Hàm hợp lý và loga hàm hợp lý có thể được viết là
Ln(θ) =
n
i=1 f(yi, θ) và n(θ) =
n
i=1 log f(yi, θ)
Khoảng cách gắn liền với phương pháp hợp lý cực đại là khoảng cách Kullback-
Leibler
KL(g, f(., θ)) = g(y) log
g(y)
f(y, θ)
dy
= g(y) log g(y)dy − g(y) log f(y, θ)dy
(2.1)
nó là khoảng cách từ mật độ đúng g tới xấp xỉ của nó là f(., θ).
Áp dụng luật số lớn
1
n
n(θ)
a.s.
−−→ g(y) log f(y, θ)dy = Eg log f(Y, θ)
Ước lượng hợp lý cực đại ˆθ mà cực đại n(θ) có xu hướng hội tụ hầu chắc chắn
tới θ0 là giá trị cực tiểu của khoảng cách Kullback- Leibler từ mô hình thật tới
mô hình xấp xỉ. Như vậy
ˆθ
a.s.
−−→ θ0 = argmin
θ
{KL(g, f(., θ))},
giá trị θ0 gọi là sai số nhỏ nhất hoặc xấp xỉ tốt nhất.
Nhận xét:
Như vậy ước lượng hợp lý cực đại nhằm cung cấp xấp xỉ tham số tốt nhất với
mật độ đúng g trong lớp tham số f(., θ). Nếu mô hình tham số là thật sự đầy
đủ và chính xác, khi đó g(y) = f(y, θ0) và cực tiểu của khoảng cách Kullback-
Leibler là bằng 0.
Ta xác định
u(y, θ) =
∂log f(y,θ)
∂θ và I(y, θ) =
∂2
log f(y,θ)
∂θ∂θt
u(y, θ) là một hàm vectơ p-chiều thường gọi là vectơ điểm số của mô hình với
các thành phần ∂log f(y,θ)
∂θj
với j = 1, . . . , p; I(y, θ) là một ma trận cỡ p × p gọi là
hàm ma trận thông tin của mô hình, các thành phần của nó là các đạo hàm cấp
13

hai ∂2
log f(y,θ)
∂θj∂θk
với j, k = 1, . . . , p. Chú ý rằng vì tham số sai số nhỏ nhất cực tiểu
khoảng cách Kullback- Leibler nên
Egu(Y, θ0) = g(y)u(y, θ0)dy = 0.
Chúng ta cũng cần xác định
J = −EgI(Y, θ0) và K = Vargu(Y, θ0) (2.2)
Các ma trận cỡ p × p là giống nhau khi g(y) bằng với f(y, θ0), ∀y. Trong các
trường hợp như vậy, ma trận
J(θ0) = f(y, θ0)u(y, θ0)u(y, θ0)t
dy = − f(y, θ0)I(y, θ0)dy (2.3)
được gọi là ma trận thông tin Fisher của mô hình.
Dưới các điều kiện chính quy và cơ bản khác nhau, có thể chứng minh rằng
ˆθ = θ0 + J−1
Un + Op(n−1/2
),
ở đó, Un = n−1 n
i=1 u(Yi, θ0).
Ký hiệu Zn = Op(n−1/2), nghĩa là
√
nZn = Op(1) hội tụ tới 0 theo xác suất.
Từ định lý giới hạn trung tâm có sự hội tụ theo phân phối
√
nUn
d
−→ U ∼ Np(0, K).
Kết hợp với trên suy ra
√
n(ˆθ − θ0)
d
−→ J−1
U = Np(0, J−1
KJ−1
).
b. Trường hợp hồi quy
Các mô hình hồi quy bao gồm các quan sát (xi, Yi). Ký hiệu g(y | x) là mật độ
thật cho Y | x. Mô hình tham số sử dụng mật độ f(y | x, θ), khi đó loga hàm hợp
lý sẽ là
n(θ) =
n
i=1
log f(yi | xi, θ).
Giả sử xa hơn rằng có một số phân phối covarian cơ sở C mà tạo ra các vectơ
covarian x1, . . . , xn. Khi đó 1
n
n
i=1 a(xi) hội tụ tới a(x)dC(x), với một hàm a
14

bất kỳ sao cho tích phân này tồn tại và loga hàm hợp lý
1
n
n(θ) −→ g(y | x) log f(y | x, θ)dydC(x)
Đối với vectơ covarian x đã cho, khoảng cách Kullback-Leibler được xác định
như sau
KLx(g(. | x), f(. | x, θ)) = g(y | x) log
g(y | x)
f(y | x, θ)
dy
Một cách đầy đủ khoảng cách Kullback-Leibler đạt được bởi tích phân KLx theo
phân phối covarian
KL(g, fθ) = g(y | x) log
g(y | x)
f(y | x, θ)
dydC(x).
Ước lượng hợp lý cực đại ˆθ có xu hướng hội tụ hầu chắc chắn tới giá trị tham
số sai số nhỏ nhất mà cực tiểu KL(g, fθ).
Để đưa ra các kết quả, ta cần hàm điểm số px1 và hàm ma trận thông tin
pxp của mô hình
u(y | x, θ) =
∂log f(y|x,θ)
∂θ và I(y | x, θ) =
∂2
log f(y|x,θ)
∂θ∂θt
Cho θ0,n là giá trị tham số sai số nhỏ nhất liên quan với mật độ g(y | x). Xác
định các ma trận
Jn = −n−1
n
i=1
g(y | xi)I(y | xi, θ0,n)dy,
Kn = n−1
n
i=1
V argu(Y | xi, θ0,n);
đây là những mô hình hồi quy tương đồng của J và K. Dưới các điều kiện bản
chất của loại tuyến tính có một sự hội tụ theo xác suất của Jn và Kn tới các giới
hạn J và K và
√
nUn = n−1/2
n
i=1
u(Yi | xi, θ0,n)
hội tụ theo phân phối tới U ∼ Np(0, K). Một đại diện quan trọng cho ước lượng
hợp lý cực đại là
15

√
n(ˆθ − θ0,n) = J−1
n
√
nUn + Op(1),
mà cũng dẫn đến phân phối giới hạn chuẩn, thậm chí khi mô hình giả định
không bằng mô hình thật,
√
n(ˆθ − θ0,n)
d
−→ J−1
U ∼ Np(0, J−1
KJ−1
).
Các ước lượng cho Jn và Kn là
ˆJn = −n−1
∂2
n(ˆθ) | ∂θ∂θt
= −n−1
n
i=1
I(yi | xi, ˆθ)
ˆKn = n−1
n
i=1
u(yi | xi, ˆθ)u(yi | xi, ˆθ)t
.
(2.4)
Chú ý rằng Jn = Kn khi mô hình giả định bằng với mô hình thật và trong
trường hợp này ˆJn và ˆKn là các ước lượng của cùng một ma trận.
Ví dụ 2.1.2. Hồi quy tuyến tính chuẩn
Giả sử Yi = xt
iβ + σεi với β là một vectơ p-chiều của các hệ số hồi quy, ở đó
ε1, . . . , εn là độc lập cùng phân phối. Hàm hợp lý là
Ln(σ) =
1
(σ
√
2π)n
e
− n
i=1(yi−xt
iβ)2
2σ2
.
Khi đó loga hàm hợp lý là
n(σ) =
n
i=1
{−
1
2
(yi − xt
iβ)2
/σ2
− ln σ −
1
2
ln(2π)}.
Giả sử rằng εi không nhất thiết là chuẩn nhưng có trung bình không, độ lệch
chuẩn 1. Sau khi tính toán dẫn đến
Jn =
1
σ2
n 0
0 2
và
Kn =
1
σ2
n k3xn
k3xt
n 2 + k4
với n = n−1 n
i=1 xixt
i, k3 = Eε3
i và k4 = Eε4
i − 3.
16

Ví dụ 2.1.3. Hồi quy Poisson
Xem xét mô hình hồi quy Poisson cho dữ liệu độc lập Y1, . . . , Yn trong các
số hạng của các vectơ covarian p-chiều x1, . . . , xn mà Yi là Poisson với tham số
ξi = exp(xt
iβ). Ta có:
f(Yi | xi, β) =
e−ξi
.(ξi)Yi
Yi!
⇒ lnf(Yi | xi, β) = −ξi + Yilnξi − lnYi! = −exp(xt
iβ) + Yi(xt
iβ) − lnYi!
⇒ u(Yi | xi, β) =
∂lnf(Yi | xi, β)
∂β
= −xt
iexp(xt
iβ) + Yixt
i,
∂2lnf(Yi | xi, β)
∂β∂β
= −exp(xt
iβ)xixt
i
⇒ I(Yi | xi, β) = −exp(xt
iβ)xixt
i
⇒ ˆJn = −n−1
n
i=1
I(Yi | xi, ˆβ) = n−1
n
i=1
ˆξixixt
i,
ở đó, ˆξi = exp(xt
i
ˆβ).
Ước lượng cho Kn là
ˆKn = n−1
n
i=1
u(Yi | xi, ˆβ)u(Yi | xi, ˆβ)t
= n−1
n
i=1
(Yi − ˆξi)2
xixt
i.
Khi mô hình giả định bằng mô hình thật các ma trận ước lượng này là như
nhau.
2.1.3 Định nghĩa AIC
Đối với một mô hình tham số M, tiêu chuẩn thông tin Akaike(AIC) được xác
định như sau:
AIC(M) = 2 n(ˆθ) − 2length(θ) = 2 n,max − 2length(θ), (2.5)
ở đó length(θ) là số các tham số ước lượng trong mô hình, n,max là cực đại của
loga hàm hợp lý.
17

Ví dụ 2.1.4. Phân phối mũ và Weibull
Mô hình Weibull có hàm phân phối tích lũy là
F(y, θ, γ) = 1 − exp{−(θy)γ
}, ∀y > 0
Mật độ chính là đạo hàm của hàm phân phối tích lũy,
f(y, θ, γ) = exp{−(θy)γ
}θγ
γ.yγ−1
.
Hàm hợp lý là
Ln(y, θ, γ) = e−θγ n
i=1 yγ
i .θnγ
.γn
. n
i=1 yγ−1
i
⇒ n(y, θ, γ) = lnLn(y, θ, γ) = −θγ n
i=1 yγ
i + nγlnθ + nlnγ + (γ − 1)
n
i=1 lnyi.
⇒ AIC(wei) = 2 n(y, ˆθ, ˆγ) − 4 = 2
n
i=1{−(ˆθyi)ˆγ + ˆγlnˆθ + lnˆγ + (ˆγ − 1)lnyi} − 4.
Chú ý rằng với γ = 1 tương ứng với mô hình đơn giản hơn là mô hình mũ. Khi
đó, ta có:
AIC(exp) = 2
n
i=1
(ln θ − θyi) − 2
ở đây θ là ước lượng hợp lý cực đại cho θ trong mô hình mũ, (ˆθ, ˆγ) là ước lượng
hợp lý cực đại trong mô hình Weibull. Mô hình với giá trị lớn nhất của AIC
được chọn như là một thích hợp nhất cho dữ liệu.
Ví dụ 2.1.5. Hồi quy tuyến tính
Mô hình hồi quy tuyến tính truyền thống cho phân tích dữ liệu yi trong mối
quan hệ với các vectơ covarian xi = (xi,1, . . . , xi,p)t, với i = 1, . . . , n, đưa đến
Yi = xi,1β1 + . . . + xi,pβp + εi,
với i = 1, . . . , n; ε1, . . . , εn độc lập từ phân phối chuẩn N(0, σ2) và β = (β1, . . . , βp)t
là một vectơ của hệ số hồi quy. Thông thường, một xi,j nói đầu tiên là bằng
hằng số 1, vì vậy β1 là tham số bị chắn. Mô hình này được viết gọn hơn dưới
dạng ma trận là Y = Xβ + ε, ở đó Y = (Y1, . . . , Yn)t; ε = (ε1, . . . , εn)t và X là ma
trận cỡ nxp, có xt
i là hàng thứ i của ma trận X.
Hàm hợp lý là
Ln(β, σ) =
1
σn(2π)n/2
e− 1
2σ2
n
i=1(yi−xt
iβ)2
.
Loga hàm hợp lý là
18

n(β, σ) = −
1
2σ2
n
i=1
(yi − xt
iβ)2
− nlnσ −
n
2
ln(2π)
=
n
i=1
{−lnσ −
1
2
(yi − xt
iβ)2
/σ2
−
1
2
ln(2π)}
n(β, σ) tăng theo β tương đương với cực tiểu
SSE(β) =
n
i=1
(yi − xt
iβ)2
= ||Y − Xβ||2
.
Khi đó, ước lượng
ˆβ = (Xt
X)−1
Xt
Y =
−1
n
n−1
n
i=1
xiYi,
ở đó n = n−1XtX = n−1 n
i=1 xixt
i, giả sử X có hạng đủ p. Ước lượng hợp lý
cực đại của σ là cực đại của n(ˆβ, σ) và là căn bậc hai của
ˆσ2
= n−1
SSE(ˆβ) = n−1
n
i=1
res2
i = n−1
||res||2
; resi = Yi − xt
i
ˆβ.
⇒ n,max = −nlnˆσ − 1
2n − n
2 ln(2π)
và ta có
AIC = −2nlnˆσ − 2(p + 1) − n − nln(2π).
Vì vậy tập hợp con tốt nhất của các covarian để sử dụng theo phương pháp AIC
được xác định bằng cách giảm thiểu nlnˆσ + p, qua tất cả các mô hình ứng cử
viên.
2.1.4 AIC và khoảng cách Kullback- Leibler
Ý tưởng của AIC là ”phạt” một lượng từ hàm hợp lý cực đại cho những mô
hình phức tạp. Phần này sẽ chỉ ra tại sao công thức của AIC có dạng (2.5) cho
cả hai trường hợp độc lập cùng phân bố và mô hình hồi quy. Chìa khóa là ước
lượng giá trị kỳ vọng của khoảng cách Kullback- Leibler từ mô hình thật tới mô
hình tham số.
Trường hợp độc lập cùng phân phối.
Ước lượng hợp lý cực đại ˆθ nhằm mục đích tới giá trị tham số sai số nhỏ nhất
19

mà cực tiểu khoảng cách Kullback- Leibler. Với ước lượng hợp lý cực đại ˆθ thì
khoảng cách Kullback- Leibler là:
KL(g, f(., ˆθ)) = g(y){logg(y) − logf(y, ˆθ)}dy
= gloggdy − Rn,
với Rn = g(y)logf(y, ˆθ)dy.
Ở đây khoảng cách Kullback- Leibler càng nhỏ thì mô hình tham số càng gần
với mô hình thật. Ta thấy gloggdy giống nhau cho mọi mô hình nên mô hình
nào có Rn càng lớn càng tốt. Tuy nhiên Rn là biến ngẫu nhiên, ta xét kỳ vọng
Qn của nó
Qn = EgRn = Eg g(y)logf(y, ˆθ)dy. (2.6)
Chiến lược AIC là ước lượng Qn cho mỗi mô hình ứng cử viên và sau đó lựa chọn
mô hình với ước lượng Qn cao nhất, điều này tương đương với tìm kiếm cho mô
hình với ước lượng khoảng cách Kulback-Leibler nhỏ nhất. Để ước lượng Qn từ
dữ liệu, một khả năng để thay thế g(y)dy trong Rn với phân phối thực nghiệm
của dữ liệu, dẫn đến
ˆQn = n−1
n
i=1
logf(Yi, ˆθ) = n−1
n(ˆθ).
Ký hiệu:
Vn =
√
n(ˆθ − θ0),
Zn là trung bình của các biến độc lập cùng phân bố có trung bình 0,
Zi = logf(Yi, θ0) − Q0,
với
Q0 = g(y)logf(y, θ0)dy.
Kết quả là
ˆQn − Rn = Zn + n−1
V t
nJVn + Op(n−1
). (2.7)
20

Chứng minh (2.7):
Thật vậy, đầu tiên chúng ta sử dụng số hạng thứ hai của khai triển Taylor
mở rộng của Rn, sử dụng hàm điểm số và hàm thông tin của mô hình tìm được
Rn = g(y){logf(y, θ0) + u(y, θ0)t
(ˆθ − θ0) +
1
2
(ˆθ − θ0)t
I(y, θ0)(ˆθ − θ0)}dy
= Q0 −
1
2
n−1
V t
nJVn
( Vì Egu(Y, θ0) = g(y)u(y, θ0)dy = 0 nên g(y)u(y, θ0)t(ˆθ − θ0)dy = 0)
Tương tự, số hạng thứ hai của khai triển Taylor mở rộng của ˆQn dẫn đến
ˆQn =
1
n
n
i=1
{logf(Yi, θ0) + u(Yi, θ0)t
(ˆθ − θ0) +
1
2
(ˆθ − θ0)t
I(Yi, θ0)(ˆθ − θ0)}
=
1
n
n
i=1
(logf(Yi, θ0) − Q0 + Q0) + (ˆθ − θ0)
1
n
u(Yi, θ0)
U
t
n
+
1
2
(ˆθ − θ0)t 1
n
n
i=1
I(Yi, θ0)(ˆθ − θ0)
−Jn
=
1
n
n
i=1
(logf(Yi, θ0) − Q0)
Zn
+
1
n
n
i=1
Q0
Q0
+U
t
n(ˆθ − θ0) −
1
2
(ˆθ − θ0)t
Jn(ˆθ − θ0)
= Q0 + Zn + U
t
n(ˆθ − θ0) −
1
2
(ˆθ − θ0)t
Jn(ˆθ − θ0),
ở đó Jn = −1
n
n
i=1 I(Yi, θ0)
p
−→ J.
Điều này chỉ ra rằng ˆQn − Rn có thể được mở rộng như là
Zn + n−1√
nU
t
nVn + Op(n−1
),
kết hợp với
√
n(ˆθ − θ0)
d
−→ J−1
U = Np(0, J−1
KJ−1
)
⇒ (2.7) được chứng minh.
21

Ta có V t
nJVn
d
−→ W = (U )tJ−1U , ở đó U ∼ Nq(0, K)
Từ (2.7)dẫn đến xấp xỉ
E( ˆQn − Qn) ≈ p∗
/n, với p∗
= EW = Tr(J−1
K) (2.8)
⇒ Qn ≈ ˆQn − p∗/n.
Như vậy cần chọn mô hình có ˆQn − p∗/n lớn nhất, mà
ˆQn − p∗
/n = n−1
{ n(ˆθ) − p∗
},
do đó cần chọn mô hình có n(ˆθ) − p∗ lớn nhất.
Nhận xét:
Nếu mô hình xấp xỉ là chính xác, tức g(y) = f(y, θ0), khi đó J = K và
p∗ = p = length(θ), kích thước của mô hình. Cũng trong trường hợp đó, n−1V t
nJVn
gần với n−1χ2
p. Lấy p∗ = p, ngay cả khi không có sự kiểm tra phù hợp nào của
mô hình, dẫn đến công thức AIC (2.5).
Trường hợp hồi quy
Như chúng ta đã thấy, phép đo khoảng cách kéo theo khi phân tích ước lượng hợp
lý cực đại trong những mô hình như vậy là phù hợp với khoảng cách Kullback-
Leibler, cũng liên quan đến phân phối của các vectơ x trong không gian của
các covarian. Đối với một mô hình tham số đưa ra với dữ liệu hồi quy quan sát
(x1, y1), . . . , (xn, yn), hồi quy tương tự với (2.6) là
Qn = EgRn = Egn−1
n
i=1
g(y | xi)logf(y | xi, ˆθ)dy
bao gồm phân phối thực nghiệm của các vectơ covarian x1, . . . , xn. Một ước lượng
ban đầu của Qn là
ˆQn = n−1
n
i=1
logf(Yi | xi, ˆθ).
Cho θ0,n là giá trị tham số sai số nhỏ nhất liên quan với phân phối thực nghiệm
của x1, . . . , xn, tức là cực đại của
n−1
n
i=1
g(y | xi)logf(y | xi, θ)dy.
Một số hạng thứ hai của Taylor mở rộng dẫn đến
Rn = Q0,n −
1
2
n−1
V t
nJnVn,
22

ở đó Vn =
√
n(ˆθ − θ0,n) và
Jn = −n−1
n
i=1
g(y | xi)I(y | xi, θ0,n)dy;
Q0,n = n−1
n
i=1
g(y | xi)logf(y | xi, θ0,n)dy.
Tương tự, số hạng thứ hai của Taylor mở rộng của ˆQn dẫn đến
ˆQn = Q0,n + Zn + U
t
n(ˆθ − θ0,n) −
1
2
(ˆθ − θ0,n)t
Jn(ˆθ − θ0,n)
= Q0,n + Zn +
1
2
n−1
V t
nJnVn + Op(n−1
),
với Zn là trung bình của các biến có trung bình 0
Zi = logf(Yi | xi, θ0,n) − g(y | xi)logf(y | xi, θ0,n)dy.
Làm tương tự như trường hợp độc lập cùng phân bố ta cũng được kết quả tương
tự.
Tóm lại, cho một lớp các mô hình. Dùng tiêu chuẩn AIC để lựa chọn mô hình
tốt nhất ta làm như sau:
Bước 1: Tính giá trị AIC cho mỗi mô hình
Bước 2: Chọn mô hình có giá trị AIC lớn nhất
Ví dụ 2.1.6. Dữ liệu trọng lượng sinh thấp
Trong bộ dữ liệu về trọng lượng sinh thấp có n = 189 phụ nữ và những đứa
trẻ mới sinh. Ký hiệu: x1 là hằng số đánh chặn (x1 = 1); x2 là trọng lượng người
mẹ trước khi mang thai; x = (1, x2)t; x3 là tuổi của người mẹ; x4 là chủng tộc
đen; x5 là chủng tộc khác; z = (x3, x4, x5)t. Vì trọng lượng của người mẹ được
cho là có ảnh hưởng, nên chúng ta luôn bao gồm biến x2 trong tất cả các mô hình.
23

Mô hình n(ˆθ) length(θ) Giá tị AIC Thứ tự
x1, x2 -114.345 2 -232.691
x1, x2, x3 -113.562 3 -233.123
x1, x2, x4 -112.537 3 -231.075 (1)
x1, x2, x5 -114.050 3 -234.101
x1, x2, x3, x4 -112.087 4 -232.175 (3)
x1, x2, x3, x5 -113.339 4 -234.677
x1, x2, x4, x5 -111.630 4 -231.259 (2)
x1, x2, x3, x4, x5 -111.330 5 -232.661
Bảng 2.1.Các giá trị AIC cho 8 mô hình ứng cử viên hồi quy logistic cho dữ
liệu trọng lượng sinh thấp
Trong ký hiệu này mô hình hồi quy logistic có công thức:
P(trọng lượng sinh thấp| x, z) =
exp(xt
β+zt
γ)
1+exp(xtβ+ztγ)
với β = (β1, β2)t và γ = (γ1, γ2, γ3)t là các tham số ước lượng. Sử dụng xấp xỉ
chuẩn cho ước lượng hợp lý cực đại ˆθ = (ˆβ, ˆγ) ≈d Np(θ0, n−1J−1
n ), chúng ta
thu được p- giá trị tương ứng 1.307, −0.014, −0.026, 1.004, 0.443.
Đối với mô hình đặc biệt này, rất dễ dàng để tính toán cực đại loga hàm hợp
lý và tìm được giá trị AIC yêu cầu. Thật vậy
AIC = 2
n
i=1
{yilnˆpi + (1 − yi)ln(1 − ˆpi)} − 2k,
ở đó ˆpi là ước lượng xác suất cho Yi = 1 dưới mô hình và k là số các tham số
ước lượng. AIC lựa chọn mô hình chỉ bao gồm x4, xem bảng 2.1. với ước lượng
xác suất trọng lượng sinh thấp
ˆP(trọng lượng sinh thấp| x, z) =
exp(1.198−0.0166x2+0.891x4)
1+exp(1.198−0.0166x2+0.891x4)
.
Chúng ta chú ý rằng AIC khác nhau giữa các mô hình xếp hạng tốt nhất là nhỏ,
vì vậy chúng ta không thể đòi hỏi chắc chắn rằng với bất kỳ mức độ nào mà
AIC lựa chọn mô hình x4 là cần thiết hơn các mô hình khác.
2.1.5 Tiêu chuẩn Takeuchi
Chìa khóa thuộc tính cơ sở của phương pháp AIC như xác định trong (2.7),
(2.8), đó là độ sai lệch của ước lượng ˆQn có thể được xấp xỉ bởi kích thước tổng
24

quát p∗/n, chính xác hơn
E( ˆQn − Qn) = p∗
/n + O(1/n).
Các xấp xỉ khác nhau để độ sai lệch của ˆQn đạt được bằng cách sử dụng các
ước lượng khác nhau ˆp∗ của p∗, dẫn đến độ sai lệch hiệu chỉnh n−1( n,max − ˆp∗)
cho ước lượng Qn.
Sử dụng AIC trong dạng quen thuộc nhất của nó là (2.5) bằng cách đơn giản
đặt p∗ của (2.8) bằng với kích thước của mô hình p = length(θ). Trong trường
hợp mô hình sử dụng là bằng mô hình thật, như vậy p∗ = p nhưng điều này
không đúng trong trường hợp tổng quát. Một mô hình mạnh mẽ hơn có thể
được sử dụng trong trường hợp không muốn giả định rằng mô hình sử dụng
bằng mô hình thật. Vì vậy chúng ta ước lượng p∗ bằng cách đặt vào các ước
lượng của các ma trận J và K. Takeuchi (1976) đã đề nghị một ước lượng như
vậy và tương ứng với tiêu chuẩn,
TIC = 2 n(ˆθ) − 2 ˆp∗, với ˆp∗ = Tr( ˆJ−1 ˆK) (2.9)
Với các ước lượng ˆJ và ˆK như trong (2.4). Ta sẽ xem xét (2.9) như thành quả
của tiêu chuẩn lựa chọn loại AIC. TIC cũng như AIC dựa vào việc sử dụng ước
lượng hợp lý cực đại và như vậy dễ bị ảnh hưởng quá mức bởi các giá trị dữ liệu
bên ngoài, trong nhiều mô hình.
Cả phương pháp AIC và TIC có thể là tổng quát với các loại khác nhau của
mô hình tham số, với sự điều chỉnh thích hợp dạng của ˆJ và ˆK, tức là của ˆp∗ ở
trên.
2.1.6 AIC hiệu chỉnh cho hồi quy tuyến tính
Nó rất là quan trọng để nhận ra rằng AIC đặc thù sẽ lựa chọn các mô hình
phức tạp hơn khi kích thước mẫu tăng lên. Điều này là bởi vì cực đại của loga
hàm hợp lý sẽ tăng tuyến tính với n trong khi phần phạt cho sự phức tạp là tỷ
lệ với số các tham số. Bây giờ chúng ta kiểm tra mô hình hồi quy tuyến tính
chi tiết hơn. Trong trường hợp đặc biệt chúng ta sẽ xem một số cách tính toán
chính xác dẫn đến sự sửa đổi kích thước mẫu của AIC trực tiếp.
Chúng ta xem xét mô hình hồi quy tuyến tính tổng quát Y = Xβ + ε và tìm
được AIC trực tiếp có thể đạt được là
25

AIC = −2nlnˆσ − 2(p + 1) − n − nln(2π) (2.10)
với ˆσ2 = ||res||2/n, res = Y − X ˆβ; cụ thể, AIC thông báo để chọn mô hình ứng
viên làm cực tiểu nlnˆσ + p qua các mô hình ứng cử viên. Mục đích của AIC là
ước lượng kỳ vọng của khoảng cách Kullback- leibler từ mô hình thật g(y | x)
tới mô hình ước lượng f(y | x, ˆθ). Ở đây giả sử rằng g(y | x) có trung bình ξ(x)
và độ lệch chuẩn là hằng số σ0. Nếu mô hình giả định là bằng mô hình thật, khi
đó ξi = ξ(xi) = xt
iβ.
Chúng ta không yêu cầu thường xuyên sử dụng các ước lượng hợp lý cực đại.
Ở đây nó là sự tự nhiên để thay đổi ˆσ2 ở trên, chẳng hạn vì trong trường hợp
mô hình giả định bằng mô hình thật SSE = ||res||2 ∼ σ2χ2
n−p, chia ||res||2 cho
(n − p) để được ước lượng không chệch. Điều này thường làm khi tính toán các
ước lượng, nhưng nó ít sử dụng trong thực hành khi làm việc với AIC. Viết một
cách tổng quát là
ˆσ2
=
||res||2
n − a
=
1
n − a
n
i=1
(Yi − xt
i
ˆβ)
2
, (2.11)
với trường hợp a = 0 và a = p tương ứng với ước lượng hợp lý cực đại và tương
ứng với ước lượng không chệch. Ta có
ˆQn = n−1
n
i=1
lnf(Yi | xi, ˆβ, ˆσ)
= n−1
n
i=1
{−lnˆσ −
1
2
(Yi − xt
i
ˆβ)2
/ˆσ2
−
1
2
ln(2π)}
= −lnˆσ −
1
2
n − a
n
−
1
2
ln(2π)
Rn = n−1
n
i=1
g(y | xi)lnf(y | xi, ˆβ, ˆσ)dy
= −lnˆσ −
1
2
n−1
n
i=1
(ξi − xt
i
ˆβ)2 + σ2
0
ˆσ2
−
1
2
ln(2π)
26

Ta được
Eg( ˆQn − Rn) = −
1
2
n − a
n
+
1
2
Eg[
σ2
0
ˆσ2
{n−1
n
i=1
(xt
i
ˆβ − ξi)2
/σ2
0 + 1}],
ở đó ξi = xt
iβ và σ0 = σ.
Đối với các giá trị phù hợp,
X ˆβ = X(Xt
X)−1
Xt
Y = X(Xt
X)−1
Xt
(Xβ + ε) = Xβ + Hε
sử dụng ma trận mũ H = X(XtX)−1Xt. Điều này chỉ ra rằng
n−1
n
i=1
(xt
i
ˆβ − xt
iβ)2
= n−1
||X ˆβ − Xβ||2
= n−1
εt
Hε
có trung bình bằng
n−1
ETr(Hεεt
) = σ2
Tr(H)/n = (p/n)σ2
.
Vì vậy
Eg( ˆQn − Rn) = −
1
2
n − a
n
+
1
2
n − a
n − p − 2
p + n
n
=
1
2
n − a
n
2p + 2
n − p − 2
=
p + 1
n
n − a
n − p − 2
Sử dụng E(1/χ2
n−p) = 1/(n − p − 2) với n > p + 2.
Điều này dẫn đến sự thay đổi chiến lược của công thức (2.10) để thu được hình
phạt chính xác hơn. Đầu tiên là giữ nguyên ước lượng hợp lý cực đại ˆσ, sử dụng
a = 0 ở trên nhưng để phạt cực đại loga hàm hợp lý với thừa số kiểm tra chính
xác hơn, kết quả là
AICc = 2 n(ˆβ, ˆσ) − 2(p + 1)
n
n − p − 2
(2.12)
Chú ý rằng hình phạt phức tạp này mạnh mẽ hơn với phiên bản chuẩn của AIC.
Sự sửa đổi thứ hai thật sự đơn giản hơn. Nó bao gồm việc sử dụng a = p + 2
trong (2.11) và giữ nguyên hình phạt thông thường là 2(p + 1):
AIC∗
c = 2 n(ˆβ, ˆσ∗
) − 2(p + 1) (2.13)
27

ở đó (ˆσ∗)2 = ||res||2/(n − p − 2). Điều này tương tự như AIC thông thường nhưng
với một ước lượng hiệu chỉnh σ. Đặc biệt là, AIC hiệu chỉnh này chọn mô hình
với nlnˆσ∗ + p nhỏ nhất.
Trong hai sự điều chỉnh AICc và AIC∗
c chỉ có sự điều chỉnh đầu tiên trực tiếp,
đặc biệt, tổng quát với các mô hình hồi quy tham số tổng quát. Gợi ý là để sử
dụng số hạng phạt đạt được cho các mô hình hồi quy tuyến tính chuẩn và cũng
cho các mô hình hợp lý tổng quát, dẫn đến
AICc = 2 n(ˆθ) − 2length(θ)
n
n − length(θ) − 1
(2.14)
2.2 Tiêu chuẩn thông tin Bayesian(BIC)
2.2.1 Nguồn gốc của BIC
Một mô hình có thể được tìm thấy bằng cách tính toán xác suất hậu nghiệm
của mỗi mô hình và lựa chọn mô hình với xác suất hậu nghiệm lớn nhất. Cho
các mô hình, kí hiệu M1, . . . , Mk và y là vectơ của dữ liệu quan sát y1, . . . , yn.
Lý thuyết của Bayes cung cấp xác suất hậu nghiệm của các mô hình
P(Mj|y) =
P(Mj)
f(y) Θj
f(y|Mj, θj)π(θj|Mj)dθj (2.15)
ở đó Θj là không gian tham số của θj.
Trong biểu thức này
• f(y|Mj, θj) = Ln,j(θj) là hàm hợp lý của dữ liệu của mô hình thứ j và các
tham số của nó;
• π(θj|Mj) là mật độ tiên nghiệm của θj cho mô hình Mj;
• P(Mj) là xác suất tiên nghiệm của mô hình Mj;
• f(y) là hàm hợp lý không điều kiện của dữ liệu.
Sau cùng là tính toán thông qua
f(y) =
k
j=1
P(Mj)λn,j(y),
ở đó
λn,j(y) =
Θj
Ln,j(θj)π(θj|Mj)dθj (2.16)
28

là hàm hợp lý biên duyên hoặc mật độ biên duyên của mô hình j. Trong các so
sánh của các xác suất hậu nghiệm P(Mj | y) qua các mô hình khác nhau, f(y)
không quan trọng vì nó là hằng số qua các mô hình.
Đặt
BICexact
n,j = 2logλn,j(y). (2.17)
Khi đó
P(Mj|y) =
P(Mj)exp(1
2BICexact
n,j )
k
j =1 P(Mj )exp(1
2BICexact
n,j )
(2.18)
Các giá trị BIC chính xác này ít khi sử dụng trong thực hành vì khó tính toán.
Hơn nữa cách tiếp cận này đòi hỏi chi tiết hóa của các tiên nghiệm cho tất cả
các mô hình và tất cả các tham số trong các mô hình. Biểu thức BIC mà sẽ
được dẫn ra trong phần sau là hữu hiệu và tiệm cận với BIC chính xác.
Chúng ta mong muốn tìm một xấp xỉ cho λn,j(y). Ta có
λn,j(y) =
Θ
exp{nhn,j(θ)}π(θ|Mj)dθ,
với hn,j(θ) = n−1
n,j(θ) và p là độ dài của θ. Phương pháp xấp xỉ Laplace cơ bản
phù hợp cho các tích phân như vậy, và theo phương pháp này
Θ
exp{nh(θ)}g(θ)dθ = (
2π
n
)p/2
exp{nh(θ0)}{g(θ0)|J(θ0)|−1/2
+ O(n−1
)},
ở đó θ0 là giá trị mà cực đại hàm h(.) và J(θ0) là ma trận Hessian −∂2h(θ)/∂θ∂θt
tại θ0. Chú ý rằng các xấp xỉ trở thành chính xác khi h là một dạng toàn phương
âm (chẳng hạn với loga hàm hợp lý Gaussian) và g là một hằng số. Với trường
hợp ta đang xét, h(θ) = n−1
n,j(θ) và các cực đại của nó bằng ước lượng hợp lý
cực đại ˆθj cho mô hình Mj. Vì vậy, với Jn,j(ˆθj) như trong (2.3),
λn,j(y) ≈ Ln,j(ˆθ)(2π)p/2
n−p/2
|Jn,j(ˆθj)|−1/2
π(ˆθj|Mj). (2.19)
Quay trở lại (2.15) và (2.16), điều này dẫn đến một vài xấp xỉ có thể xảy ra với
mỗi λn,j(y). Xấp xỉ đầu tiên đạt được bởi xấp xỉ đạt được ở vế phải của (2.19).
Sau đó lấy logarit và nhân với 2, chúng ta được xấp xỉ và ký hiệu là BIC∗
n,j. Ta
29

có 2logλn,j(y) gần với
BIC∗
n,j = 2 n,j(ˆθj) − pjlogn + pjlog(2π) − log|Jn,j(ˆθj)| + 2logπj(ˆθj), (2.20)
ở đó pj là độ dài của θj. Bỏ qua các số hạng sau, khi đó đưa đến một xấp xỉ đơn
giản hơn mà chúng ta công nhận như BIC, đó là,
2logλn,j(y) ≈ BICn,j = 2 n,j,max − pjlogn, (2.21)
hoặc
P(Mj|y) ≈
P(Mj)exp(1
2BICn,j)
k
j =1 P(Mj )exp(1
2BICn,j )
.
Để có được những xấp xỉ trên thì ước lượng hợp lý cực đại phải là điểm trong
của không gian tham và các hàm loga hợp lý, mật độ tiên nghiệm phải khả vi
cấp 2. Kết quả đầu tiên thu được bởi Schwarz (1978) giả định rằng các điều kiện
là mạnh hơn; đặc biệt các mô hình ông làm việc là thuộc họ mũ.
Chú ý rằng các phân bố tiên nghiệm hoàn toàn biến mất trong công thức của
BIC. Không có phân bố tiên nghiệm nào là cần thiết để đạt được các giá trị
BIC, chỉ có cực đại loga hàm hợp lý là được sử dụng. Với kích thước mẫu lớn,
BIC cung cấp một cách dễ dàng hơn để tính toán loại trừ với tính toán thực
của hàm hợp lý biên duyên hoặc các thừa số Bayes. Đối với hai mô hình M1 và
M2, thừa số Bayes là bằng với sự chênh lệch hậu nghiệm chia cho sự chênh lệch
tiên nghiệm,
P(M2 | y)/P(M1 | y)
P(M2)/P(M1)
=
λn,2(y)
λn,1(y)
.
Điều này có thể sử dụng cho từng cặp so sánh của các mô hình.
2.2.2 Định nghĩa BIC
Tiêu chuẩn thông tin Bayesian của Schwarz (1978) và Akaike (1977, 1978) đã
đưa đến dạng của một hình phạt loga hàm hợp lý. Cụ thể là,
BIC(M) = 2log − likelihoodmax(M) − (logn)dim(M), (2.22)
30

đối với mỗi mô hình ứng cử viên M, với dim(M) là số các tham số ước lượng
trong mô hình và n là kích thước mẫu của dữ liệu.
Mô hình với giá trị BIC cao nhất được chọn như là mô hình tốt nhất. BIC
của (2.22) được xây dựng khá tương tự như AIC của (2.5), với một hình phạt
mạnh hơn cho những mô hình phức tạp (với n ≥ 8). Bây giờ chúng ta chỉ ra
hoạt động của BIC trong một danh sách các ví dụ.
Ví dụ 2.2.1. Phân phối mũ và Weibull
Đối với mô hình weibull, ta có hàm hợp lý là
Ln(y, θ, γ) = e−θγ n
i=1 yγ
i .θnγ
.γn
. n
i=1 yγ−1
i
⇒ n(θ, γ) = −θγ n
i=1 yγ
i + nγlnθ + nlnγ + (γ − 1)
n
i=1 lnyi.
Để lựa chọn mô hình tốt nhất theo BIC chúng ta tính
BIC(wei) = 2
n
i=1
{−(ˆθyi)ˆγ
+ ˆγlnˆθ + lnˆγ + (ˆγ − 1)lnyi} − 2lnn.
Với γ = 1 tương ứng với mô hình mũ, và ta có
BIC(exp) = 2
n
i=1
(lnθ − θyi) − lnn,
ở đây θ là ước lượng hợp lý cực đại cho θ trong mô mũ, (ˆθ, ˆγ) là ước lượng hợp
lý cực đại trong mô hình Weibull. Mô hình tốt nhất có giá trị BIC cao nhất.
Ví dụ 2.2.2. Dữ liệu trọng lượng sinh thấp
Mô hình Giá trị BIC Thứ tự Mô hình Giá trị BIC
x1 -239.914 (2) x1, x3, x4 -246.471
x1, x2 -239.174 (1) x1, x3, x5 -246.296
x1, x3 -242.395 (4) x1, x4, x5 -245.387
x1, x4 -243.502 x1, x2, x3, x5 -247.644
x1, x5 -243.382 x1, x2, x4, x5 -244.226
x1, x2, x3 -242.849 (5) x1, x3, x4, x5 -249.094
x1, x2, x4 -240.800 (3) x1, x2, x3, x4 -245.142
x1, x2, x5 -243.826 x1, x2, x3, x4, x5 -248.869
Bảng 2.2. Các giá trị BIC cho dữ liệu trọng lượng sinh thấp
Chúng ta xem xét các biến tương tự như trong ví dụ 2.1.6. Đó là một hằng
31

số đánh chặn x1 = 1; x2 là trọng lượng của người mẹ trước khi mang thai; x3 là
tuổi của người mẹ; x4 chỉ chủng tộc đen; x5 là chỉ các chủng tộc khác và x4 = x5
là chỉ chủng tộc trắng. Đối với mô hình hồi quy logistic tìm được BIC có công
thức
BIC = 2
n
i=1
{yilnˆpi + (1 − yi)ln(1 − ˆpi} − length(β)lnn,
ở đó ˆpi là ước lượng xác suất cho Yi = 1 và length(β) là số các hệ số hồi quy ước
lượng. Kích thước mẫu n = 189, với ln189 ≈ 5.2417. Các giá trị của BIC có thể
dễ dàng đạt được từ công thức này trong R qua hàm
AIC(fitted.object,k=log(sample.size)).
Trong bảng 2.2 chúng ta kiểm tra 24 mô hình mà luôn bao gồm một hằng số
đánh chặn x1 = 1.
Theo bảng 2.2, mô hình BIC tốt nhất là mô hình chỉ chứa biến x2 và thêm
vào một hằng số đánh chặn. Ước lượng hệ số đánh chặn với mô hình này bằng
0.998, với tham số ước lượng độ dốc là −0.014 cho x2, dẫn đến mô hình phù hợp:
ˆP(trọng lượng sinh thấp| x2) =
exp(0.998−0.014x2)
1+exp(0.998−0.014x2)
Mô hình tốt thứ hai là mô hình chỉ gồm x1, tiếp theo là mô hình chứa cả x2 và
x4. Mô hình kí hiệu (3) ở trên là mô hình tốt nhất bởi AIC, mô hình tốt thứ
hai trong AIC là mô hình chứa cả x2, x4, x5. Ở đây chúng ta chú ý rằng khuynh
hướng của BIC là để lựa chọn các mô hình với ít biến hơn những mô hình chọn
bởi AIC.
Có những thuận lợi và khó khăn khác nhau khi so sánh hai tiêu chuẩn AIC
và BIC. Nhưng có thể chỉ ra rằng BIC đáp ứng đầy đủ một trong những khuyết
điểm của AIC, đó là không thành công trong việc phát hiện ra mô hình thật với
xác suất 1 khi kích thước mẫu tăng lên.Tiêu chuẩn BIC có xu hướng lựa chọn
những mô hình đơn giản hơn. Bây giờ chúng ta xem xét ví dụ sau
Ví dụ 2.2.3. Tỷ lệ tử vong ở Ai Cập cổ đại
Bao lâu cho một cuộc sống? Một tập hợp duy nhất của tuổi thọ ở La Mã Ai
Cập được thu thập bởi W.Spiegelberg vào năm 1901 và được phân tích bởi Karl
32

Pearson (1902). Bộ dữ liệu chứa tuổi tử vong của 141 xác ướp Ai Cập ở thời kỳ
La Mã, 82 đàn ông và 59 phụ nữ, có niên đại từ 100 năm trước công nguyên.
Tuổi thọ thay đổi từ 1 đến 96 và Pearson cho rằng chúng có thể được coi như là
một mẫu ngẫu nhiên. Chúng ta sẽ sử dụng AIC để lựa chọn mô hình tốt nhất
của một bộ sưu tập nhỏ của các mô hình tham số ứng cử viên cho tỷ lệ tử vong.
Đối với mỗi mô hình đề xuất f(t, θ), chúng ta cực đại loga hàm hợp lý
n(θ) =
n
i=1
logf(ti, θ),
với t1, . . . , tn là các tuổi thọ và sau đó tính toán
AIC = 2 n(ˆθ) − 2p,
với p là độ dài của θ.
Chúng ta xét 9 mô hình sau:
Mô hình 1 là theo luật số mũ, với mật độ b.exp(−bt).
Mô hình 2 là Gamma, với mật độ {ba/Γ(a)}ta−1exp(−bt).
Mô hình 3 là loga chuẩn, với mật độ tương ứng Φ{(logt − µ)/σ}/(σt).
Mô hình 4 là Gompertz mà đưa đến tỷ lệ tử vong hoặc nguy hiểm h(t) =
f(t)/F[t, ∞). Mô hình này tương ứng với mật độ f(t) = exp{−H(t)}h(t), với
H(t) =
t
0
h(s)ds = (a/b){exp(bt) − 1} là tỷ lệ nguy hiểm tích lũy.
Mô hình 5 là Makeham mở rộng của Gompertz, với tỷ lệ nguy hiểm h(t) =
k + a.exp(bt), với k mà k + a.exp(bt0) > 0, ở đó t0 là tuổi nhỏ nhất (t0 = 1).
Mô hình 6 sử dụng các tham số như nhau (a, b) cho cả nam và nữ.
Mô hình 7 sử dụng (a, b1) và (a, b2) cho nam và nữ (cùng có tham số a).
Mô hình 8 sử dụng (a1, b) và (a2, b) cho nam và nữ (cùng có tham số b).
Mô hình 9 sử dụng (a1, b1) và (a2, b2) mà không có các tham số chung cho hai
nhóm.
33

Các tham số Các tham số ước lượng n(ˆθ) AIC
Mô hình 1, b 0.033 -623.777 -1249.553 (7)
Mô hình 2, a, b 1.609 0.052 -615.386 -1234.772 (6)
Mô hình 3, µ, σ 3.082 0.967 -629.937 -1263.874 (8)
Mô hình 4, a, b 0.019 0.021 -611.353 -1226.706 (4)
Mô hình 5, k, a, b -0.012 0.029 0.016 -611.319 -1228.637 (5)
Mô hình 6, a, b 0.019 0.021 -611.353 -1226.706 (4)
Mô hình 7, a, b1, b2 0.019 0.018 0.026 -610.076 -1226.151 (3)
Mô hình 8, a1, b, a2 0.016 0.024 0.022 -608.520 -1223.040 (1)
Mô hình 9, a1, b1, a2, b2 0.016 0.024 0.022 0.020 -608.520 -1225.040 (2)
Bảng 2.3. Tỷ lệ tử vong ở Ai Cập cổ đại: Các tham số ước lượng, cực đại loga
hàm hợp lý và điểm số AIC cho 9 mô hình.
Các tham số n(ˆθ) BIC Thứ tự
Mô hình 1, b -623.777 -1252.503 (7)
Mô hình 2, a, b -615.386 -1240.670 (6)
Mô hình 3,µ, σ -629.937 -1269.772 (8)
Mô hình 4, a, b -611.353 -1232.604 (2)
Mô hình 5, k, a, b -611.319 -1237.484 (5)
Mô hình 6, a, b -611.353 -1232.604 (2)
Mô hình 7, a, b1, b2 -610.076 -1234.998 (3)
Mô hình 8,a1, b, a2 -608.520 -1231.886 (1)
Mô hình 9,a1, b1, a2, b2 -608.520 -1236.835 (4)
Bảng 2.4. Tỷ lệ tử vong ở Ai Cập cổ đại: Cực đại của loga hàm hợp lý và các
điểm số BIC cho 9 mô hình ứng cử viên.
Các giá trị BIC cho mỗi trong số các mô hình thu được dễ dàng bằng cách sử
dụng bảng 2.3, các kết quả được giới thiệu trong bảng 2.4. Các giá trị cực đại
của loga hàm hợp lý được tìm thấy ở cột n(ˆθ). Chúng ta tính toán
BIC = 2 n(ˆθ) − plnn,
với p là độ dài θ và n = 141, lnn = 4.949. Hình phạt của BIC ngặt hơn của AIC.
Mô hình 1 có một tham số, kết quả là BIC1 = 2(−623.777) − ln141 = −1252.503.
Mô hình 2, 3, 4 và 6 có hai tham số. Trong số 4 mô hình này, mô hình Gompertz
(mô hình 4) là tốt nhất vì nó có điểm số BIC cao nhất. Các mô hình 5, 7, 8 có
3 tham số, với các giá trị BIC đưa ra trong bảng. Mô hình 8 là tốt nhất trong
danh sách của các mô hình ứng cử viên theo cách chọn bởi BIC.
34

Như vậy mô hình tốt nhất trong cả hai tiêu chuẩn AIC và BIC là trùng nhau.
Lượng phạt của BIC đối với những dữ liệu lớn hơn nặng hơn của AIC, các mô
hình lớn hơn nhận hình phạt nặng hơn. Điều này rõ ràng bằng cách xem xét mô
hình 9, mô hình này có xếp hạng 2 với AIC, trong khi nó nhận xếp hạng thấp
hơn là 4 đối với BIC. Khi kích thước n lớn hơn thì hình phạt nặng hơn sử dụng
trong BIC. Đặc biệt khi kích thước mẫu lớn chúng ta mong đợi tìm thấy các
xếp hạng khác nhau khi so sánh lựa chọn bởi AIC và BIC.
2.2.3 Ai là người viết ’The Quiet Don’?
Giải thưởng Nobel văn học năm 1965 được trao cho Mikhail Sholokhov
(1905 − 1984) cho sử thi And Quiet Flows the Don hoặc The Quiet Don về
cuộc sống và sự ra đời của một xã hội Liên Xô mới Cossack. Riêng ở nước Nga,
cuốn sách của ông đã được xuất bản hơn một ngàn bản, bán trong tổng số hơn
sáu mươi triệu bản sao. Nhưng vào mùa thu năm 1974, một bài báo được xuất
bản ở Paris được viết bởi nhà phê bình nổi tiếng ’D’. Ông tuyên bố rằng ’The
Quiet Don’ không phải được viết tất cả bởi Sholokhov, mà đúng hơn nó được
viết bởi Fiodor Kriukov một tác giả, người đã chiến đấu chống lại chủ nghĩa
Bônsevich và mất năm 1920. Bài viết đã được sự tín nhiệm và uy tín không có
gì khác hơn so với Aleksandr Solzhenitsyn (được trao giải Nobel năm năm sau
Sholokhov). Có phải chúng ta đang phải đối mặt với một trong các trường hợp
trộm cắp trắng trợn nhất trong lịch sử văn học?
Câu hỏi về nguồn gốc tác giả của TheQuietDon được thiết lập trong các số
hạng của việc lựa chọn một trong 3 mô hình:
M1: Tuyển tập văn bản Sh và QD từ cùng một phân phối thống kê, trong khi
Kr biểu diễn một phân phối thống kê khác;
M2: Sh không phải là thống kê thích hợp với Kr và QD, tuy nhiên đến từ cùng
một phân phối;
M3: Sh, Kr, QD biểu diễn 3 phân phối thống kê khác nhau.
Ký hiệu θSh, θKr, θQD cho 3 vectơ tham số (p, ξ, a, b), tương ứng với Sh, Kr, QD.
Mô hình M1 có θSh = θQD trong khi θKr thì khác; mô hình M2 có θKr = θQD trong
khi θSh thì khác; và cuối cùng mô hình M3 cho phép khả năng mà ba vectơ tham
số là khác nhau.
Đối với các phân tích liên quan theo sau BIC chúng tôi sử dụng các tham số
ước lượng dựa vào các dữ liệu thô cho mỗi một mô hình riêng biệt của Sh, Kr,
QD, chẳng hạn như tổng số câu thực sự. Các giá trị tham số này được tìm thấy
là giá trị số bằng cách sử dụng n l m trong R :
35

ˆθSh se ˆθKr se ˆθQD se
p 0.184 0.021 0.057 0.023 0.173 0.022
ξ 9.099 0.299 9.844 0.918 9.454 0.367
a 2.093 0.085 2.338 0.092 2.114 0.090
b 0.163 0.007 0.178 0.008 0.161 0.007
Độ lệch tiêu chuẩn (se) đạt được từ ước lượng của ma trận thông tin Fisher
nghịch đảo.
Cho một cách tổng quát P(M1), P(M2), P(M3) là xác suất tiên nghiệm bất kỳ
cho ba khả năng; Solzhennitsyn sẽ đưa đến P(M1) thấp hơn và P(M2) cao hơn,
chẳng hạn bất kỳ ở đâu các quan sát trung hòa hơn có thể bắt đầu với ba xác
suất bằng 1/3. Cho L1(θ1), L2(θ2), L3(θ3) là ba hàm hợp lý và ký hiệu π1, π2, π3 là
các tiên nghiệm bất kì sử dụng cho (θSh, θKr, θQD) = (θ1, θ2, θ3). Dưới M1 có một
tiên nghiệm π1,3 cho θ1 = θ3 và có một tiên nghiệm tương tự π2,3 cho θ2 = θ3 dưới
M2. Theo sắp xếp tổng quát cho lựa chọn mô hình Bayesian, chúng ta có
P(M1| dữ liệu) = P(M1)λ1/{P(M1)λ1 + P(M2)λ2 + P(M3)λ3},
P(M2| dữ liệu) = P(M2)λ2/{P(M1)λ1 + P(M2)λ2 + P(M3)λ3},
P(M3| dữ liệu) = P(M3)λ3/{P(M1)λ1 + P(M2)λ2 + P(M3)λ3}.
(2.23)
Trong các số hạng của hàm hợp lý quan sát biên duyên
λ1 = {L1(θ)L3(θ)}L2(θ2)π1,3(θ)π2(θ2)dθdθ2,
λ2 = {L2(θ)L3(θ)}L1(θ1)π2,3(θ)π1(θ1)dθdθ1,
λ3 = L1(θ1)L2(θ2)L3(θ3)π1(θ1)π2(θ2)π3(θ3)dθ1dθ2dθ3,
các tích phân tương ứng là 8 chiều, 8 chiều và 12 chiều.
Bây giờ cho nSh = n1, nKr = n2, nQD = n3. Áp dụng các phương pháp của mục
2.2.1 qua (2.19) với
λ1
.
= L1,3(ˆθ1,3)(2π)4/2
(n1 + n3)−4/2
|J1,3|−1/2
π1,3(ˆθ1,3) × L2(ˆθ2)(2π)4/2
n
−4/2
2 |J2|−1/2
π2(ˆθ2),
λ2
.
= L2,3(ˆθ2,3)(2π)4/2
(n2 + n3)−4/2
|J2,3|−1/2
π2,3(ˆθ2,3) × L1(ˆθ1)(2π)4/2
n
−4/2
1 |J1|−1/2
π1(ˆθ1),
λ3
.
=
j=1,2,3
Lj(ˆθj)(2π)4/2
n
−4/2
j |Jj|−1/2
πj(ˆθj).
36

Có thể chỉ ra một điều rằng các xấp xỉ là hoàn toàn chính xác trong tình huống
này. Để tiến hành xa hơn, chúng ta thảo luận rằng sẽ không có sự khác biệt thực
sự giữa các tiên nghiệm bao gồm. Tất cả những sự khác biệt này trong nguyên
tắc liên hệ với sự đánh giá tiên nghiệm của các vectơ (p, ξ, a, b) của ba phân phối
xác suất. Tính toán dẫn đến
BIC∗
1 = 2( 1,3,max + 2,max) − 4log(n1 + n3) − 4logn2 − log|J1,3| − log|J2| + 8log(2π),
BIC∗
2 = 2( 2,3,max + 1,max) − 4log(n2 + n3) − 4logn1 − log|J2,3| − log|J1| + 8log(2π),
BIC∗
3 = 2( 1,max + 2,max + 3,max) − 4logn1 − 4logn2 − 4logn3 − log|J1| − log|J2|
− log|J3| + 12log(2π).
Các tính toán để tìm các ước lượng hợp lý cực đại cho θ chung của Sh và QD
dưới M1, cũng như đối với θ chung của Kr và QD dưới M2 cuối cùng dẫn đến
M1 M2 M3
AIC -79490.8 -79504.4 -79494.5
BIC∗
-79515.5 -79530.6 -79528.6
Chúng ta có thể kết luận rằng dữ liệu độ dài câu nói rất mạnh mẽ nghiêng
về người đoạt giải Nobel và bác bỏ cáo buộc của ’D’ như suy đoán. Tính toán
các mô hình xác suất hậu nghiệm qua (2.24) đưa đến các số rất gần với 0 cho
M2 và M3 và rất gần với 1 cho M1. Sử dụng (2.19) với các xác suất tiên nghiệm
bằng nhau ta được 0.998 cho Sholokhov và còn lại 0.002 chia sẻ giữa Kriukov và
mô hình trung hòa mà ba tuyển tập là khác nhau. Thậm chí Solzhenitsyn có
thể bắt đầu với P(M1) = 0.05 và P(M2) = 0.95 sẽ bị buộc phải sửa đổi xác suất
P(M1) = 0.99 và P(M2) = 0.01. Lập luận như trên có thể sử dụng để cung cấp
một công thức khá chung cho sự phân loại, ít nhất là trong các trường hợp mà
ở đó các lớp mật độ được mô hình hóa.
37

Chương 3
Áp dụng
3.1 Giới thiệu về phần mềm R
R là phần mềm phân tích dữ liệu được xây dựng bởi Ross Ihaka và Robert
Gentleman thuộc trường Đại học AucKland, Newzealand và tiếp tục được phát
triển bởi một nhóm các nhà khoa học.
R là một phần mềm sử dụng cho phân tích thống kê và đồ thị. Về bản chất
R là một ngôn ngữ máy tính đa dạng, có thể sử dụng cho nhiều mục tiêu khác
nhau, từ các tính toán đơn giản, toán học giải trí, tính toán ma trận đến các
phân tích thống kê phức tạp. Vì là một ngôn ngữ cho nên người ta có thể sử
dụng R để phát triển thành phần mềm chuyên môn cho một vấn đề tính toán
cá biệt.
R cung cấp rất nhiều các phép toán và các hàm đa dạng để phục vụ cho việc
tính toán, hầu hết các hàm số thông dụng đều được hỗ trợ bởi R. Ngoài ra còn
rất nhiều các hàm phục vụ cho các công việc tính toán phức tạp và nâng cao
cũng được cung cấp bởi rất nhiều các gói mở rộng dành cho R.
3.2 Áp dụng với bộ số liệu
Các phép đo trên hộp sọ của người Ai cập được thu thập từ các nhà khảo cổ
học ở các khoảng thời gian khác nhau, với một cái nhìn hướng tới thiết lập các
sinh trắc học khác nhau và nói chung là nghiên cứu các khía cạnh tiến hóa. Dữ
liệu bao gồm bốn phép đo trong số 30 hộp sọ từ một trong năm khoảng thời gian
khác nhau, đầu tiên được trình bày bởi Thomson và Randall-Maciver(1905).
Năm khoảng thời gian đó là khoảng 4000 năm trước công nguyên, 3300 năm
trước công nguyên, 1850 năm trước công nguyên, 200 năm trước công nguyên,
150 năm sau công nguyên. Đối với mỗi trong số 150 hộp sọ, các phép đo được
38

đưa ra như sau
x1 là chiều rộng tối đa của hộp sọ (MB)
x2 là chiều cao của hộp sọ (BH)
x3 là chiều dài của hộp sọ (BL)
x4 là chiều cao mũi (NH)
Chúng ta thực hiện lựa chọn mô hình đối với bộ dữ liệu bao gồm bốn phép
đo trên hộp sọ của nam giới Ai cập, sống trong các khoảng thời gian khác nhau.
Sự quan tâm của chúng ta nằm trong nghiên cứu về một xu hướng có thể trong
các phép đo theo thời gian và cấu trúc tương quan giữa các phép đo.
Giả sử xấp xỉ chuẩn, chúng ta xây dựng cho mỗi khoảng thời gian và mỗi
trong số bốn phép đo, với độ tin cậy 95% cho số đo trung bình của các biến đó.
Chiều rộng tối đa của hộp sọ có xu hướng đi lên theo thời gian, trong khi chiều
dài của hộp sọ lại có xu hướng đi xuống.
Lựa chọn mô hình của dữ liệu hộp sọ Ai cập bắt đầu bằng cách xây dựng
một danh sách các mô hình có thể. Chúng ta sử dụng giả định thông thường
Yt,i ∼ N4(ξt,i, Σt,i) và sẽ xem xét một vài khả năng cho mô hình vectơ trung bình
và cấu trúc hiệp phương sai.Trong một khoảng thời gian chúng ta giả sử nt = 30,
các vectơ bốn chiều của số đo trên hộp sọ là độc lập và cùng phân phối.
Ta có bảng số liệu về bốn số đo trên hộp sọ của nam giới ở Ai cập như sau:
MB BH BL NH Năm
131 138 89 49 -4000
125 131 92 48 -4000
131 132 99 50 -4000
119 132 96 44 -4000
136 143 100 54 -4000
138 137 89 56 -4000
139 130 108 48 -4000
125 136 93 48 -4000
131 134 102 51 -4000
134 134 99 51 -4000
129 138 95 50 -4000
134 121 95 53 -4000
126 129 109 51 -4000
132 136 100 50 -4000
141 140 100 51 -4000
131 134 97 54 -4000
39

135 137 103 50 -4000
132 133 93 53 -4000
139 136 96 50 -4000
132 131 101 49 -4000
126 133 102 51 -4000
135 135 103 47 -4000
134 124 93 53 -4000
128 134 103 50 -4000
130 130 104 49 -4000
138 135 100 55 -4000
128 132 93 53 -4000
127 129 106 48 -4000
131 136 114 54 -4000
124 138 101 46 -4000
124 138 101 48 -3300
133 134 97 48 -3300
138 134 98 45 -3300
148 129 104 51 -3300
126 124 95 45 -3300
135 136 98 52 -3300
132 145 100 54 -3300
133 130 102 48 -3300
131 134 96 50 -3300
133 125 94 46 -3300
133 136 103 53 -3300
131 139 98 51 -3300
131 136 99 56 -3300
138 134 98 49 -3300
130 136 104 53 -3300
131 128 98 45 -3300
138 129 107 53 -3300
123 131 101 51 -3300
130 129 105 47 -3300
134 130 93 54 -3300
137 136 106 49 -3300
126 131 100 48 -3300
40

135 136 97 52 -3300
129 126 91 50 -3300
134 139 101 49 -3300
131 134 90 53 -3300
132 130 104 50 -3300
130 132 93 52 -3300
135 132 98 54 -3300
130 128 101 51 -3300
137 141 96 52 -1850
129 133 93 47 -1850
132 138 87 48 -1850
130 134 106 50 -1850
134 134 96 45 -1850
140 133 98 50 -1850
138 138 95 47 -1850
136 145 99 55 -1850
136 131 92 46 -1850
126 136 95 56 -1850
137 129 100 53 -1850
137 139 97 50 -1850
136 126 101 50 -1850
137 133 90 49 -1850
129 142 104 47 -1850
135 138 102 55 -1850
129 135 92 50 -1850
134 125 90 60 -1850
138 134 96 51 -1850
136 135 94 53 -1850
132 130 91 52 -1850
133 131 100 50 -1850
138 137 94 51 -1850
130 127 99 45 -1850
136 133 91 49 -1850
134 123 95 52 -1850
136 137 101 54 -1850
133 131 96 49 -1850
138 133 100 55 -1850
41

138 133 91 46 -1850
137 134 107 54 -200
141 128 95 53 -200
141 130 87 49 -200
135 131 99 51 -200
133 120 91 46 -200
131 135 90 50 -200
140 137 94 60 -200
139 130 90 48 -200
140 134 90 51 -200
138 140 100 52 -200
132 133 90 53 -200
134 134 97 54 -200
135 135 99 50 -200
133 136 95 52 -200
136 130 99 55 -200
134 137 93 52 -200
131 141 99 55 -200
129 135 95 47 -200
136 128 93 54 -200
131 125 88 48 -200
139 130 94 53 -200
144 124 86 50 -200
141 131 97 53 -200
130 131 98 53 -200
133 128 92 51 -200
138 126 97 54 -200
131 142 95 53 -200
136 138 94 55 -200
132 136 92 52 -200
135 130 100 51 -200
137 123 91 50 150
136 131 95 49 150
128 126 91 57 150
130 134 92 52 150
138 127 86 47 150
126 138 101 52 150
42

136 138 97 58 150
126 126 92 45 150
132 132 99 55 150
139 135 92 54 150
143 120 95 51 150
141 136 101 54 150
135 135 95 56 150
137 134 93 53 150
142 135 96 52 150
139 134 95 47 150
138 125 99 51 150
137 135 96 54 150
133 125 92 50 150
145 129 89 47 150
138 136 92 46 150
131 129 97 44 150
143 126 88 54 150
134 124 91 55 150
132 127 97 52 150
137 125 85 57 150
129 128 81 52 150
140 135 103 48 150
147 129 87 48 150
136 133 97 51 150
Chúng ta áp dụng vào bộ dữ liệu trên với một số mô hình sau:
Mô hình 1: Mô hình này với giả định ít nhất.Với mỗi khoảng thời gian t có
một vectơ trung bình ξt khác nhau và ma trận hiệp phương sai Σt khác nhau.
Hàm hợp lý có dạng
LM1
=
5
t=1{
30
i=1 φ(Yt,i − ξt, Σt)},
ở đó, φ(y, Σ) là mật độ của phân phối chuẩn N(0, Σ). Các ước lượng hợp lý cực đại
ˆξt = yt,. và ˆΣt = n−1
t
nt
i=1(yt,i − yt,.)(yt,i − yt,.)t
Cực đại loga hàm hợp lý là
43

M1
= 1
2
5
t=1{−ntlog|ˆΣt| − 4nt − 4ntlog(2π)}.
Để tính toán các giá trị AIC và BIC chúng ta cần xác định số các tham số. Với
mô hình này, có 5 vectơ trung bình bốn chiều với 20 tham số và mỗi ma trận
hiệp phương sai 4x4 là đối xứng dẫn đến 50 tham số. Vì vậy mô hình này có 70
tham số ước lượng.
Mô hình 2: Chúng ta sẽ đơn giản hóa mô hình 1. Năm ma trận hiệp phương
sai Σt là bằng nhau, không xác định bất kỳ cấu trúc nào cho các ma trận này
và không có giả định nào về vectơ trung bình. Hàm hợp lý có dạng
LM2
=
5
t=1{
30
i=1 φ(Yt,i − ξt, Σ)},
ước lượng hợp lý cực đại cho vectơ trung bình ξt không thay đổi, trong khi Σ
chung được ước lượng bằng ma trận
ˆΣM2
= (1/5)
5
t=1
ˆΣt.
Cực đại của loga hàm hợp lý là
M2
= 1
2{−nlog|ˆΣM2
| − 4n − 4nlog(2π)}.
Vì chỉ có một ma trận hiệp phương sai, nên số các tham số ước lượng cho mô
hình 2 là 5.4 + 10 = 30.
Mô hình 3: Để đơn giản hơn nữa chúng ta sẽ xây dựng một mô hình với ma
trận hiệp phương sai chung như mô hình 2 và với vectơ trung bình chung ξt = ξ
cho tất cả 5 khoảng thời gian. Hàm hợp lý là
LM3
=
5
t=1{
30
i=1 φ(Yt,i − ξ, Σ)},
ước lượng hợp lý cực đại cho vectơ trung bình là ˆξ = (1/5)
5
t=1
ˆξt = y.. và ước
lượng của ma trận hiệp phương sai là ˆΣM3
= ˆΣM2
+
5
t=1
nt
n (yt,. − y..)(yt,. − y..)t.
Cực đại của loga hàm hợp lý là
M3
= 1
2{−nlog|ˆΣM3
| − 4n − 4nlog(2π)}.
Có 4 + 10 = 14 tham số ước lượng trong mô hình.
Mô hình 4: Mô hình này chúng ta xem xét một xu hướng tuyến tính theo
thời gian trong vectơ trung bình. Cụ thể, chúng ta giả định rằng ξt = aj + bjt,
44

với j = 1, 2, 3, 4. Để dễ dàng tính toán, ta đặt ξt = α + β(timet − time1)/1000, ở
đó t = 1, 2, 3, 4, 5. Hàm hợp lý là
LM4
=
5
t=1{
30
i=1 φ(Yt,i − α − β(timet − time1)/1000, Σ)}.
Ma trận hiệp phương sai được giả định là như nhau đối với 5 khoảng thời
gian. Số tham số trong mô hình là 4 + 4 + 10 = 18. Đối với cấu trúc trung
bình, chúng ta tìm ước lượng hợp lý cực đại ˆα = (131.59, 133.72, 99.46, 50.22) và
ˆβ = (1.104, −0.544, −1.390, 0.331)
Mô hình 5: Chúng ta giữ nguyên xu hướng tuyến tính như mô hình 4 nhưng
chúng ta sẽ đặt một số cấu trúc vào ma trận hiệp phương sai. Sự đơn giản hóa
trong mô hình 5 giả định rằng tất cả 4 phép đo trên hộp sọ có tương quan bằng
nhau. Số các tham số trong mô hình này là 8 + 5 = 13.
Bằng cách sử dụng phần mềm R để chạy bộ dữ liệu trên với 5 mô hình nêu
ở trên ta có các kết quả sau:
Mô hình Số các tham số AIC Xếp hạng BIC Xếp hạng
M1 70 -3506.509 (4) -3717.253 (5)
M2 30 -3477.694 (3) -3568.013 (4)
M3 14 -3510.816 (5) -3552.965 (3)
M4 18 -3463.815 (2) -3518.006 (2)
M5 13 -3460.957 (1) -3500.096 (1)
Bảng 3.1. Các giá trị AIC và BIC của năm mô hình ứng cử viên
Chúng ta thấy cả hai giá trị AIC và BIC của mô hình 2 đều lớn hơn các giá trị
tương ứng trong mô hình 1, điều đó chỉ ra sự ưu tiên cho cấu trúc hiệp phương
sai chung. Giá trị AIC trong mô hình 3 chỉ nhỏ hơn một chút so với mô hình 1,
nhưng nhỏ hơn nhiều so với mô hình 2. Điều này chỉ ra sự ưu tiên cho mô hình
2. Giá trị BIC trong mô hình 3 lớn hơn trong mô hình 1 và mô hình 2, điều này
chỉ ra sự ưu tiên của tiêu chuẩn BIC cho mô hình đơn giản hơn với vectơ trung
bình chung và ma trận hiệp phương sai chung. Các giá trị AIC và BIC của mô
hình 4 đều lớn hơn các giá trị tương ứng ở các mô hình 1, 2, 3, điều này chỉ ra
sự ưu tiên của mô hình tuyến tính thời gian. Giá trị AIC và BIC của mô hình
5 là lớn nhất trong tất cả các mô hình ở trên, đây là mô hình đơn giản nhất và
tốt nhất được chọn bởi cả AIC và BIC.
45

KẾT LUẬN
Luận văn "Một số tiêu chuẩn lựa chọn mô hình" tập trung nghiên cứu các
vấn đề sau:
1.Trình bày một cách hệ thống hai tiêu chuẩn thông tin quan trọng để
lựa chọn mô hình, đó là tiêu chuẩn thông tin Akaike và tiêu chuẩn thông tin
Bayesian.
2. Đưa ra một bộ dữ liệu, sử dụng phần mềm R tính các giá trị AIC và BIC
cho năm mô hình khác nhau để lựa chọn mô hình tốt nhất theo hai tiêu chuẩn
AIC và BIC.
Mặc dù đã rất cố gắng, nhưng do vấn đề được đề cập trong luận văn là tương
đối phức tạp và do thời gian có hạn nên luận văn còn hạn chế đó là chưa so
sánh được sự hiệu quả của hai tiêu chuẩn trên, chưa trình bày được một số tiêu
chuẩn lựa chọn mô hình khác. Luận văn không tránh khỏi những thiếu sót. Tác
giả luận văn mong muốn nhận được sự góp ý kiến của thầy cô và các bạn đồng
nghiệp để luận văn được hoàn chỉnh hơn.
46

Phụ lục 47
Phụ lục
Chương trình chạy phần mềm R để tính giá trị AIC và BIC cho năm mô hình
ứng cử viên với bộ dữ liệu về sự phát triển của hộp sọ Ai cập.
data = skulls
data1 <- data[ 1:30,1:4]
data2 <- data[ 31:60,1:4]
data3 <- data[ 61:90,1:4]
data4 <- data[ 91:120,1:4]
data5 <- data[121:150,1:4]
n1=n2=n3=n4=n5=30
nn <- n1 + n2 + n3 + n4 + n5
S1 <- var(data1)*(n1-1)/n1
S2 <- var(data2)*(n2-1)/n2
S3 <- var(data3)*(n3-1)/n3
S4 <- var(data4)*(n4-1)/n4
S5 <- var(data5)*(n5-1)/n5
AIC1 = (-n1*log(det(S1)) - nn*4 - 2*(20 + 5*10) - nn*4*log(2*pi)-n2*log(det(S2))-
n3*log(det(S3))-n4*log(det(S4))-n5*log(det(S5)))
BIC1 = (-n1*log(det(S1)) - nn*4 - log(nn)*(20 + 5*10) - nn*4*log(2*pi) -
n2*log(det(S2))-n3*log(det(S3))-n4*log(det(S4))-n5*log(det(S5)))
SS <- (S1 + S2 + S3 + S4 + S5)/5
AIC2 <- -nn*log(det(SS)) - nn*4 - 2*(20 + 10) - nn*4*log(2*pi)
BIC2 <- -nn*log(det(SS)) - nn*4 - log(nn)*(20 + 10) - nn*4*log(2*pi)
xi1hat = apply(data1,2,mean)
xihats <- rbind(xi1hat, xi2hat, xi3hat, xi4hat, xi5hat)
xibar <- c(mean(xihats[ ,1]), mean(xihats[ ,2]), mean(xihats[ ,3]), mean(xihats[

Phụ lục 48
,4]))
d1 <- xihats[1, ] - xibar
extra <- d1%*%t(d1) + d2%*%t(d2) + d3%*%t(d3) + d4%*%t(d4) + d5%*%t(d5)
Sigmahat <- SS + (1/5)*extra
AIC3 <- -nn*log(det(Sigmahat)) - nn*4 - 2*(4 + 10) - nn*4*log(2*pi)
BIC3 <- -nn*log(det(Sigmahat)) - nn*4 - log(nn)*(4 + 10) - nn*4*log(2*pi)
tempus <- c(-4000,-3300,-1850,-200,150) timef <- tempus/1000
criterion <- function(pms)
{a1 <- pms[1]
b1 <- pms[2]
a2 <- pms[3]
b2 <- pms[4]
a3 <- pms[5]
b3 <- pms[6]
a4 <- pms[7]
b4 <- pms[8]
hei1 <- a1 + b1*(timef[1]-timef[1])
d1 <- xi1hat - c(hei1,hei2,hei3,hei4)

Phụ lục 49
hei4 <- a4 + b4*( timef [5]- timef [1])
extra <- d1%*%t(d1) + d2%*%t(d2) + d3%*%t(d3) + d4%*%t(d4) + d5%*%t(d5)
Sigmahat <- SS + (1/5)*extra
log( det(Sigmahat) )}
xibar <- c(mean(xihats[ ,1]), mean(xihats[ ,2]),mean(xihats[ ,3]), mean(xihats[
,4]))
starthere <- c(xibar[1],0, xibar[2],0, xibar[3],0, xibar[4],0)
well <- nlm(criterion, starthere)$estimate
AIC4 <- -nn*criterion(well) - nn*4 - 2*(8 + 10) - nn*4*log(2*pi)
BIC4 <- -nn*criterion(well) - nn*4 - log(nn)*(8 + 10) - nn*4*log(2*pi)
x1 <- data[ ,1]
x2 <- data[ ,2]
x3 <- data[ ,3]
x4 <- data[ ,4]
Y = cbind(x1,x2,x3,x4)
Year<- data[ ,5]
multinormal.loglikelihood = function(Y,Z,Sigma,beta)
{n = nrow(Y)
m = ncol(Y)
beta.hat = matrix(solve(t(Z)%*%Z) %*% t(Z) %*%Y, ncol=m)
eps.hat = Y - Z %*% beta.hat
Sigmainv = solve(Sigma)
log.likelihood = ( - 0.5*m*n*log(2*pi) - 0.5*n*log(det(Sigma)) -0.5*sum(diag(
Sigmainv %*% t(eps.hat) %*% eps.hat )) -0.5*sum(diag( Z %*% (beta.hat-
beta)%*% Sigmainv %*% t(beta.hat-beta)%*%t(Z) )) )
return(log.likelihood)}
Model4corr = function(Y,Year,startvalues)
{ xvec = startvalues
d = ncol(Y)
nn = nrow(Y)

Phụ lục 50
betastart = matrix(xvec[6:(6+2*d-1)],nrow=2, byrow=T)
Designmat = cbind(rep(1,nn),Year)
rho = xvec[5]
sig = sqrt(xvec[1:4])
Sigmat <- matrix(rho,nrow=d,ncol=d)
diag(Sigmat) <- xvec[1:4]
Sigmat[1,2] <- Sigmat[2,1] <- rho*sig[1]*sig[2]
logL.M4corr = multinormal.loglikelihood(Y,Designmat,Sigmat,betastart)
return(-logL.M4corr)}
start.M4corr = c(20.48, 23.43, 23.52, 9.92, 0.2, apply(Y,2,mean),rep(0,4))
max.M4corr = nlm(f=Model4corr,p=start.M4corr,Y=Y,Year=Year/1000,
hessian=T, iterlim=1000)
AIC5 = -2*max.M4corr$minimum-2*(8+5)
BIC5 = -2*max.M4corr$minimum-log(nn)*(8+5)

Tài liệu tham khảo
[1] Đào Hữu Hồ, Nguyễn Văn Hữu( chủ biên), Hoàng Hữu Như (2004), Thống
kê toán học, Nhà xuất bản Đại học quốc gia Hà Nội
[2] Nguyễn Văn Hữu - Nguyễn Hữu Dư (2003), Phân tích thống kê và dự báo,
Nhà xuất bản Đại học quốc gia Hà Nội
[3] Allan D R McQuarrie, Chih-Ling Tsai (1998) , Regression and Time Series
Model Selection, World scientific.
[4] Gerda Claeskens and Nils Lid Hjort (2008), Model Selection and Model Av-
eraging, Cambridge university press.
[5] Thomas P. Ryan, Modern Regression Methods, Wiley Series of Probabilisty
and Statistics.
[6] Ronald Christensen, Log-linear Models and Logistic Regression, Springer-
Verlag New York, Inc, 1997.
51

Luận văn: Một số tiêu chuẩn lựa chọn mô hình, HAY, 9đ

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Luận văn: Một số tiêu chuẩn lựa chọn mô hình, HAY, 9đ

Similar to Luận văn: Một số tiêu chuẩn lựa chọn mô hình, HAY, 9đ (20)

More from Dịch Vụ Viết Bài Trọn Gói ZALO 0917193864

More from Dịch Vụ Viết Bài Trọn Gói ZALO 0917193864 (20)

Recently uploaded

Recently uploaded (20)

Luận văn: Một số tiêu chuẩn lựa chọn mô hình, HAY, 9đ