Download luận văn thạc sĩ ngành toán giải tích với đề tài: Phân tích bayes theo chuẩn 1 L, cho các bạn có thể làm luận văn tham khảo

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM TP.HCM
Cao Thị Hồng Nhung
PHÂN TÍCH BAYES THEO
CHUẨN 1L
LUẬN VĂN THẠC SĨ TOÁN HỌC
Thành phố Hồ Chí Minh – 2012

2. BỘ GIÁO DỤC VÀ ÐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM TP.HCM
Cao Thị Hồng Nhung
PHÂN TÍCH BAYES THEO CHUẨN
1
L
Chuyên ngành: Toán Giải Tích
Mã số: 60 46 01
LUẬN VĂN THẠC SĨ TOÁN HỌC
NGƯỜI HƯỚNG DẪN KHOA HỌC
GS. TS. ĐẶNG ĐỨC TRỌNG
Thành phố Hồ Chí Minh – 2012

3. LỜI CẢM ƠN
Sau hai năm học tập tại đại học Sư phạm Tp.HCM chuyên ngành toán Giải tích
với sự quan tâm, giúp đỡ tận tình của thầy cô, gia đình và bạn bè, hôm nay em hoàn
thành khóa học với luận văn tốt nghiệp này.
Em xin bày tỏ lòng biết ơn chân thành, sâu sắc đến:
 Cha mẹ đã luôn quan tâm dạy bảo, lo lắng cho con trên mỗi bước đường
đời và là chỗ dựa vững chắc để con hoàn thành tốt luận văn.
 Thầy Đặng Đức Trọng – người đã tận tình hướng dẫn luận văn cho em.
Là một học viên chuyên ngành giải tích nên kiến thức về lĩnh vực Xác suất - Thống
kê vẫn còn nhiều hạn chế, thầy đã dành nhiều thời gian chỉ dạy, hướng dẫn và giúp
đỡ em suốt cả quá trình thực hiện luận văn, đó là nguồn động lực vô cùng lớn để em
có thể hoàn thành đề tài của mình. Em thật sự rất biết ơn thầy!.
 Thầy Chu Đức Khánh và Thầy Đinh Ngọc Thanh. Hai thầy đã tận tình
quan tâm giúp đỡ và chỉ dẫn chúng em trong nghiên cứu khoa học. Qua đó em cũng
xin cảm ơn ThS. Nguyễn Văn Phong cùng các anh chị trong “nhóm seminar”, đã
cùng nhau trao đổi với em về đề tài này.
 Các thầy trong Khoa Toán – tin trường Đại học Sư phạm TPHCM, đã
tận tình giảng dạy chúng em, cùng các thầy cô Phòng Sau đại học đã tạo điều kiện
cho chúng em trong hai năm học Cao học vừa qua.
 Cuối cùng xin cảm ơn tất cả các bạn đã giúp đỡ, đóng góp ý kiến để luận
văn được hoàn chỉnh hơn.
Xin chân thành cảm ơn tất cả!.
Tp Hồ Chí Minh, tháng 9 năm 2012
Cao Thị Hồng Nhung

4. MỤC LỤC
LỜI CẢM ƠN
DANH MỤC DỊCH MỘT SỐ THUẬT NGỮ TIẾNG ANH
PHẦN MỞ ĐẦU
CHƯƠNG I. KIẾN THỨC CHUẨN BỊ .....................................................................1
1.1 Lý thuyết xác suất..............................................................................................1
1.2 Định lý Bayes.....................................................................................................5
1.3 Phép biến đổi các biến ngẫu nhiên ....................................................................7
1.4 Các số đặc trưng của biến ngẫu nhiên ..............................................................8
1.5 Một số phân phối của biến ngẫu nhiên............................................................10
1.6 Hàm Lauricella D ............................................................................................15
1.7 Lý thuyết và phương pháp phân tích Bayes ...................................................17
CHƯƠNG II. PHÂN TÍCH BAYES THEO CHUẨN
1
L ........................................30
2.1 Hệ số chồng lấp và sai số Bayes giữa hai hàm mật độ trong R.......................30
2.2 Phân tích Bayes cho tỷ lệ trộn trong phân loại và nhận dạng hai tổng thể......42
2.3 Khoảng cách 1
L giữa hai hàm mật độ xác suất................................................54
2.4 Khoảng cách 1
L giữa hai tổng thể....................................................................57
2.5 Ví dụ cụ thể trong phân tích tỷ lệ trộn π ........................................................59
CHƯƠNG III. CẬN CỦA SAI SỐ BAYES TRONG BÀI TOÁN PHÂN LOẠI ...66
3.1 Cận cho sai số Bayes trung bình......................................................................67
3.2 Phân tích hậu nghiệm.......................................................................................74
3.3 Ví dụ cụ thể......................................................................................................76
KẾT LUẬN...............................................................................................................80
TÀI LIỆU THAM KHẢO.........................................................................................82

5. DANH MỤC DỊCH MỘT SỐ THUẬT NGỮ TIẾNG ANH
Population: tổng thể.
Observation: quan sát.
Observable: quan sát được.
Unobservable: không quan sát được.
Prior probability: xác suất tiên nghiệm.
Posterior probability: xác suất hậu nghiệm.
Marginal probability: xác suất lề.
Conjugate family prior: họ phân phối tiên nghiệm liên hợp
Classification: phân loại.
Misclassification: phân loại sai.
Likelihood function: hàm hợp lý.
Cost of misclassification: giá của phân loại sai.
Expected cost of misclassification (ECM): kỳ vọng giá phân loại sai.
Overlapping coefficient: hệ số chồng lấp.
Incomplete Beta function: hàm Beta khuyết.
Binomial distribution: phân phối nhị thức.
Predictive distribution: phân phối dự đoán.
Improper: tầm thường.
Credible interval: khoảng tin cậy.
Bayes inference: suy diễn Bayes
Decision theory: lý thuyết quyết định.
Decision rule: quy tắc quyết định.
Actions: các tác động.
Loss function: hàm tổn thất.
Mean squared error: sai số bình phương trung bình.
Normalizing constant: hằng số chuẩn hóa.
Proportional: tỷ lệ.
Effectiveness: tính hiệu quả

6. PHẦN MỞ ĐẦU
1 Lý do chọn đề tài
Trong thực tế có nhiều vấn đề đòi hỏi chúng ta phải giải quyết bài toán phân loại
và phân biệt các tổng thể 1H và 2H , do đó vấn đề này được rất nhiều nhà toán học
quan tâm trên lý thuyết cũng như ứng dụng. Có rất nhiều phương pháp để giải quyết
bài toán phân loại đã được đề cập chẳng hạn phương pháp phân loại dựa vào
phương pháp phân tích phân biệt của R.A. Fisher (1936), tiêu chuẩn tỷ số hợp lý
của T.W. Aderson (1984) [1], phương pháp sai số Bayes đề cập bởi T.P. Logan
(1993) và cũng được nhắc đến bởi nhóm tác giả Pham-Gia, N. Tukkan và A. Bekker
(2006) [6],…Trong số đó phương pháp Bayes được xem là có hiệu quả hơn hết vì
nó tính được xác suất sai lầm trong quá trình phân loại. Trong bài toán phân loại và
phân biệt, nghiên cứu sai lầm luôn là vấn đề quan trọng được đặt ra vì nó là tiêu
chuẩn để đánh giá việc giải quyết bài toán tốt hay không. Số đo trong phương pháp
Bayes gọi là sai số Bayes ( )Pe và phân loại là tốt nhất khi sai số Bayes là nhỏ nhất.
Hơn nữa các tiêu chuẩn phân loại bài toán còn dựa trên sự đánh giá khoảng cách
giữa các phần tử hay hàm mật độ xác suất, do đó việc chọn một khoảng cách thích
hợp thuận lợi trong xử lý và tính toán luôn được quan tâm đặc biệt. Có nhiều
khoảng cách được đưa ra nhưng tối ưu nhất là khoảng cách 1
L giữa các hàm mật độ
được đề cập bởi Pham-Gia et. al. (2006) [6]. Thông qua khoảng cách này sai số
Bayes (cũng như mối quan hệ giữa các đại lượng trong bài toán phân loại và phân
biệt) được đề cập.
Trong phương pháp phân loại này người ta còn đặc biệt quan tâm đến tổng thể
3H chứa những phần tử chung của 1H và 2H , kết hợp từ mỗi tổng thể với tỷ lệ nào
đó. Giả sử trên 1H và 2H ta quan sát biến ngẫu nhiên X , ký hiệu ( ) ( )1 2,f x f x là
hàm mật độ xác suất tương ứng trên hai tổng thể và gọi π là tỷ lệ trộn của những
phần tử 1H trong 3H ( )0 1π≤ ≤ , khi đó hàm mật độ xác suất của biến ngẫu nhiên

7. X trên tổng thể 3H có dạng: ( ) ( ) ( ) ( )1 21g x f x f xπ π= + − , trong đó 1 π− là tỷ lệ
trộn của những phần tử 2H trong 3H .
Tham số π thường không được biết một cách chính xác, vì vậy vấn đề cần quan
tâm ở đây là ước lượng π . Ước lượng này đã được nghiên cứu bởi McLachlan và
Basford (1988); Everitt (1985) dựa trên phương pháp cực đại tỷ số hợp lý và
phương pháp mômen. Trước đó James (1978) đã dựa trên thực tế để ước lượng π
nhưng đáng chú ý phải kể đến là phương pháp Bayes của nhóm tác giả Pham-Gia,
N. Tukkan và A. Bekker (2006) [6], phương pháp này cho phép chúng ta ước lượng
π với giả thiết π có luật phân phối xác suất tiên nghiệm cụ thể chọn trước.
Với mong muốn tìm hiểu, nghiên cứu những vấn đề đã nêu, dựa trên hai bài báo
[6] và [7], chúng tôi thực hiện đề tài:
“PHÂN TÍCH BAYES THEO CHUẨN 1
L ”
2 Mục đích nghiên cứu
Đề tài nhằm trình bày phương pháp phân loại phần tử quan sát vào một trong hai
tổng thể trên R theo chuẩn 1
L , từ đó thực hiện phân tích Bayes và tìm hàm mật độ
hậu nghiệm cho tỷ lệ trộn π trong hỗn hợp. Đồng thời tìm phân phối cho khoảng
cách 1
L giữa hai hàm mật độ trên hai tổng thể cũng như khoảng cách giữa hai tổng
thể.
Xác định chặn trên và chặn dưới cho sai số Bayes trong phân loại, đó là cận
Lissack – Fu và cận Bhattacharyya, qua đó đánh giá sự ảnh hưởng của các phân
phối tiên nghiệm của π trên hai loại cận này.
3 Đối tượng và phạm vi nghiên cứu
Đề tài chủ yếu tập trung phân tích các khái niệm, định lý trên R và theo chuẩn
1
.L Dựa vào phương pháp Bayes để phân tích tỷ lệ trộn π trong hỗn hợp. Các tổng
thể với biến ngẫu nhiên có phân phối chuẩn, mũ, beta và mô hình dữ liệu có phân
phối nhị thức.
4 Phương pháp nghiên cứu
Phương pháp phân tích:

8. Phân tích đề tài để xác định đối tượng và phạm vi nghiên cứu.
Dựa trên các bài báo, tài liệu tham khảo để phân tích làm rõ vấn đề cần nghiên
cứu.
Phương pháp tổng hợp, khái quát hóa: Tổng hợp, khái quát các vấn đề đã phân
tích.
5 Nội dung nghiên cứu
Luận văn chia làm 3 chương
Chương I. Kiến thức chuẩn bị
Nội dung chương trình bày các kiến thức cơ bản về xác suất, định lý Bayes, lý
thuyết và phương pháp phân tích Bayes làm cơ sở nghiên cứu cho các chương sau.
Chương II. Phân tích Bayes theo chuẩn 1
L
Nội dung:
Trình bày phương pháp phân loại phần tử quan sát vào một trong hai tổng thể
trên R theo khoảng cách 1
L .
Phân tích tỷ lệ trộn π của những phần tử thuộc 1H trong hỗn hợp 3H theo
phương pháp Bayes với giả thiết π có một phân phối tiên nghiệm cho trước và dựa
vào dữ liệu để phân tích hậu nghiệm cho π .
Đồng thời dựa trên khoảng cách 1
L để tìm phân phối cho khoảng cách giữa hai
hàm mật độ trên hai tổng thể và phân phối giữa hai tổng thể.
Chương III. Cận của sai số Bayes trong bài toán phân loại
Trong chương này nêu hai dạng cận của sai số Bayes đó là cận Lissack – Fu và
cận Bhattacharyya trong sự phân loại quan sát phần tử vào một trong hai tổng thể
xác định.
Đồng thời đưa ra khái niệm các phép đo tính hiệu quả để đánh giá sự thực hiện
của một phân phối và so sánh giữa hai phân phối tiên nghiệm.

9. 1
CHƯƠNG I
KIẾN THỨC CHUẨN BỊ
1.1 Lý thuyết xác suất
1.1.1 Khái niệm xác suất
Cho Ω là không gian mẫu,  là một σ − đại số trên Ω , khi đó hàm : RP →
được gọi là một phân phối xác suất hoặc một độ đo xác suất nếu nó thỏa mãn 3 tiên
đề sau:
i) ( ) 0P A ≥ với mọi A∈ .
ii) ( ) 1.P Ω =
iii) Nếu có các , 1,...,iA i n∈ = và ,i jA A i j∩ =∅ ∀ ≠ , thì
( )
11
.i i
ii
P A P A
∞ ∞
==
 
= 
 
∑
Khi đó một bộ ba ( ), ,PΩ  được gọi là một không gian xác suất, tập A∈ là
các biến cố và ( )P A là xác suất của biến cố A .
1.1.2 Biến ngẫu nhiên
Một biến ngẫu nhiên (hay còn gọi là một đại lượng ngẫu nhiên) là một ánh xạ
: RX → ,
trong đó với mỗi sự kiện A∈ , ( )X A sẽ nhận tương ứng một số thực a .
Cho RB ⊂ , ta định nghĩa
( ) ( )( )1
P X B P X B−
∈ = .
1.1.3 Hàm phân phối và hàm mật độ
1.1.3.1 Định nghĩa. Giả sử X là biến ngẫu nhiên trên ( ), , PΩ  . Hàm phân phối
tích lũy hay gọi tắt là hàm phân phối (viết tắt cdf) của X là hàm [ ]: R 0,1F → xác
định bởi
( ) ( )F x P X x= ≤ .

10. 2
1.1.3.2 Định nghĩa. Biến ngẫu nhiên X được gọi là rời rạc nếu X nhận hữu
hạn hoặc đếm được các giá trị , 1,2,...ix i = . Khi đó hàm mật độ của X được định
nghĩa bởi
( ) ( )f x P X x= = .
Như vậy, ta có mối quan hệ ( ) ( ) ( )
i
i
x x
F x P X x f x
≤
= ≤ = ∑ .
1.1.3.3 Định nghĩa. Biến ngẫu nhiên X được gọi là liên tục nếu tồn tại một
hàm ( )f x sao cho
i) ( ) 0f x ≥ với mọi .x
ii) ( ) 1f x dx
+∞
−∞
=∫ .
iii) Với mỗi số ,a b sao cho a b≤ ta có
( ) ( )
b
a
P a X b f x dx< < =∫ .
Khi đó hàm ( )f x được gọi là hàm mật độ (pdf) của biến ngẫu nhiên X .
Từ đó
( ) ( ) ( )
x
F x P X x f t dt
−∞
= ≤ = ∫
và ( ) ( )'f x F x= .
1.1.3.4 Một số tính chất. Giả sử F là hàm của biến ngẫu nhiên X . Khi đó
i) ( )0 1,F x x≤ ≤ ∀ .
ii) ( )F x không giảm.
iii) ( )lim 0
x
F x
→−∞
= , ( )lim 1
x
F x
→+∞
= .
iv) ( ) ( ) ( )P x X y F y F x< ≤ = − .
v) ( ) ( )1P X x F x> =− .
vi) Nếu X là liên tục, khi đó

11. 3
( ) ( ) ( ) ( )
( ) ( ).
F b F a P a X b P a X b
P a X b P a X b
− = < < = ≤ <
= < ≤ = ≤ ≤
1.1.4 Phân phối đồng thời cho hai biến ngẫu nhiên
1.1.4.1 Định nghĩa. Cho X và Y là hai biến ngẫu nhiên độc lập rời rạc. Định
nghĩa hàm mật độ đồng thời bởi ( ) ( ), vàf x y P X x Y y= = = . Ký hiệu
( )vàP X x Y y= = có thể được viết lại ( ),P X x Y y= = .
1.1.4.2 Định nghĩa. Giả sử X và Y là các biến ngẫu nhiên liên tục, ta gọi hàm
( ),f x y là hàm mật độ đồng thời cho cả hai biến ngẫu nhiên liên tục X và Y nếu
i) ( ), 0f x y ≥ với mọi ( ), .x y
ii) ( )
+
, 1.f x y dxdy
+∞ ∞
−∞ −∞
=∫ ∫
iii) Với bất kỳ tập R x RA ⊂ , ta có
( )( ) ( ), ,
A
P X Y A f x y dxdy∈ =∫∫ .
Nếu ,X Y là hai biến ngẫu nhiên độc lập ta có
( ) ( ) ( ), X Yf x y f x f y=
với tất cả các giá trị của x và y .
1.1.5 Phân phối lề
1.1.5.1 Định nghĩa. Nếu ,X Y là các biến ngẫu nhiên rời rạc có phân phối đồng
thời với hàm mật độ ( ),f x y . Khi đó hàm mật độ lề cho biến ngẫu nhiên X được
định nghĩa bởi
( ) ( ) ( ) ( ), ,X y y
f x P X x P X x Y y f x y= = = = = =∑ ∑
và hàm mật độ lề cho biến ngẫu nhiên Y được định nghĩa
( ) ( ) ( ) ( ), ,Y x x
f y P Y y P X x Y y f x y= = = = = =∑ ∑ .
1.1.5.2 Định nghĩa. Đối với biến ngẫu nhiên ,X Y liên tục, ta có các hàm mật
độ lề
( ) ( ),Xf x f x y dy= ∫ và ( ) ( ),Yf y f x y dx= ∫ .

12. 4
Chú ý. Trong trường hợp X liên tục và Y rời rạc. Ta có hàm mật độ lề của biến
ngẫu nhiên liên tục X xác định bởi
( ) ( ),X y
f x f x y= ∑
và hàm mật độ lề của biến ngẫu nhiên rời rạc Y xác định bởi
( ) ( ),Yf y f x y dx= ∫ .
1.1.6 Các biến ngẫu nhiên độc lập và có điều kiện
1.1.6.1 Định nghĩa. Hai biến ngẫu nhiên vàX Y được gọi là độc lập nếu với
mọi tập vàA B trong R , ta có
( ) ( ) ( ),P X A Y B P X A P Y B∈ ∈ = ∈ ∈ .
Ngược lại ta nói vàX Y là phụ thuộc.
Nếu vàX Y là hai biến ngẫu nhiên liên tục có hàm mật độ ( ) ( )vàX Yf x f y , khi
đó vàX Y là độc lập chỉ khi ( ) ( ) ( ), X Yf x y f x f y= .
1.1.6.2 Xác suất có điều kiện
Định nghĩa. Nếu biến ngẫu nhiên X và Y là rời rạc, khi đó xác suất có điều
kiện của biến ngẫu nhiên X được cho bởi quan sát Y y= xác định bởi
( )
( )
( )
,
.
P X x Y y
P X x Y y
P Y y
= =
= = =
=
Từ đó dẫn đến định nghĩa mật độ có điều kiện
( ) ( )
( )
( )
( )
( )
, ,
Y
P X x Y y f x y
f x y P X x Y y
P Y y f y
= =
= = = = =
=
, với ( ) 0Yf y > .
Định nghĩa. Nếu biến ngẫu nhiên X và Y là liên tục thì hàm mật độ có điều
kiện là
( )
( )
( )
,
Y
f x y
f x y
f y
= , ( ) 0Yf y >
và ( ) ( )A
P X A Y y f x y dx∈ = =∫ .
Khi X liên tục và Y rời rạc ta có hàm mật độ có điều kiện của X khi Y y=
được cho bởi

13. 5
( )
( )
( )
( )
( )
, ,
,Y
f x y f x y
f x y
f y f x y dx
= =
∫
.
Tương tự, phân phối có điều kiện của Y y= khi x đã cho xác định bởi
( )
( )
( )
( )
( )
, ,
,X y
f x y f x y
f y x
f x f x y
= =
∑
.
1.1.6.3 Phân phối đa thức
Lấy ( )1 2, ,..., nX X X X= trong đó , 1,...,iX i n= là các biến ngẫu nhiên thì X
được gọi là một vectơ ngẫu nhiên. Giả sử ( )1 2, ,..., nf x x x là hàm mật độ đồng thời
của các biến , 1,...,iX i n= , khi đó ta có thể định nghĩa phân phối lề, phân phối có
điều kiện của chúng giống như đối với trường hợp hai chiều. Các biến ngẫu nhiên
1 2, ,..., nX X X là độc lập nếu
( ) ( )1 1
1
,...,
n
n n i i
i
P X A X A P X A
=
∈ ∈= ∈∏ ,
( ) ( )1 2
1
, ,..., i
n
n X i
i
f x x x f x
=
= ∏ .
Định nghĩa. Nếu 1 2, ,..., nX X X là các biến ngẫu nhiên độc lập và mỗi
, 1,...,iX i n= có cùng một phân phối với hàm phân phối F thì ta nói 1 2, ,..., nX X X là
phân phối độc lập và đồng nhất (viết tắt iid) và được viết
1 2, ,..., nX X X F .
Nếu F có hàm mật độ f thì có thể viết 1 2, ,..., nX X X f . 1 2, ,..., nX X X còn
được gọi là một mẫu ngẫu nhiên kích thước n từ F .
1.2 Định lý Bayes
1.2.1 Quy tắc nhân. Giả sử A và B là hai sự kiện trong cùng một phép thử. Ký
hiệu ( )P A B∩ như một xác suất kết hợp của sự kiện A và B , khi đó theo công
thức xác suất có điều kiện ta có
( )
( )
( )
P A B
P B A
P A
∩
= .

14. 6
Bây giờ ta xét sự kiện A như một sự kiện không quan sát được và nó có thể xảy
ra hoặc không xảy ra. Còn B được xét như một sự kiện được quan sát. Như vậy sự
kiện B có thể xảy ra cùng với sự xuất hiện của sự kiện A hoặc phần bù của A .
Công thức trên có thể viết lại như một quy tắc nhân:
( ) ( ) ( )P A B P B A P A∩ = .
1.2.2 Định lý Bayes đối với các sự kiện. Giả sử A và B là hai sự kiện trên
không gian xác suất ( ), , PΩ  với ( )( )0P B > , khi đó công thức Bayes xác định bởi
( | ) ( )
( | )
( )
P B A P A
P A B
P B
= .
Trong đó vai trò của ,A B được xét như trong quy tắt nhân. Ta có
( )P A là xác suất của riêng sự kiện A không xét đến B ,
( )P B là xác suất của riêng sự kiện B khi chưa biết sự kiện A xảy ra,
( )P A B là xác suất của sự kiện A khi biết sự kiện B đã xảy ra,
( )P B A là xác suất của sự kiện B khi sự kiện A xảy ra hoặc không xảy ra.
Nếu { }1 2, ,..., nA A A là hệ đầy đủ các sự kiện và B là sự kiện bất kỳ trong cùng
một phép thử, định lý Bayes có thể phát biểu
( )
( ) ( )
( )
( ) ( )
( ) ( )
( )
1
, 1
k k k k
k n
i i
i
P A P B A P A P B A
P A B k n
P B
P A P B A
=
= = ≤ ≤
∑
,
với ( ) ( ) ( )
1
n
i i
i
P B P A P B A
=
= ∑ là công thức xác suất toàn phần.
1.2.3 Trường hợp các biến ngẫu nhiên rời rạc. Định lý Bayes phát biểu như
một phân phối có điều kiện
( )
( )
( )
( ) ( )
( )
,
.
P X x P Y y X xP X x Y y
P X x Y y
P Y y P Y y
= = == =
= = = =
= =
1.2.4 Trường hợp các biến ngẫu nhiên liên tục. Định lý Bayes phát biểu như
một hàm mật độ có điều kiện

15. 7
( )
( ) ( )
( )
X
Y
f x f y x
f x y
f y
= .
1.3 Phép biến đổi các biến ngẫu nhiên
Giả sử X là một biến ngẫu nhiên với hàm mật độ f và hàm phân phối F . Giả
sử ( )Y r X= là hàm của biến ngẫu nhiên X .
Vấn đề : Xác định hàm mật độ và hàm phân phối cho biến ngẫu nhiên Y .
1.3.1 Đối với trường hợp các biến ngẫu nhiên rời rạc. Hàm mật độ của Y được
xác định bởi
( ) ( ) ( )( )
( )( ){ }( ) ( )( )1
: .
f y P Y y P r X Y
P w r X w y P X r y−
= = = =
= = = ∈
1.3.2 Đối với trường hợp các biến ngẫu nhiên liên tục. Hàm mật độ f của Y
được tìm theo các bước sau
i) Với mỗi y , tìm tập ( )( ){ }:yA w r X w y= ≤ .
ii) Tìm hàm phân phối xác suất
( ) ( ) ( )( )
( )( ){ }( ) ( ): .
yA
F y P Y y P r X y
P w r X w y f x dx
= ≤ = ≤
= ≤= ∫
iii) Hàm mật độ xác suất chính là ( ) ( )'
f y F y= .
Chú ý. Khi r là hàm tăng hoặc giảm nghiêm ngặt thì r có hàm ngược 1
s r−
= .
Khi đó hàm mật độ f của Y có thể xác định
( )
( )
( )( )
ds y
f y f s y
dy
= .
1.3.3 Trường hợp nhiều biến ngẫu nhiên. Giả sử ( ),Z r X Y= là hàm của hai
biến ngẫu nhiên vàX Y , chẳng hạn { } { }, , max , hay min ,
X
X Y X Y X Y
Y
+ . Khi đó
hàm ( )f z của Z được xác định như sau
i) Với mỗi z , tìm tập ( ) ( ) ( )( ){ }, : ,zA u v r X u Y v z= ≤ .

16. 8
ii) Tìm hàm phân phối xác suất
( ) ( ) ( )( )
( ) ( ) ( )( ){ }( )
( )
,
, : ,
, .
zA
F z P Z z P r X Y z
P u v r X u Y v z
f x y dxdy
= ≤ = ≤
= ≤
= ∫∫
iii) Hàm mật độ xác suất chính là ( ) ( )'
f z F z= .
Đặc biệt. Giả sử X liên tục có hàm mật độ ( )f t , Y có hàm mật độ ( )g t và
,X Y độc lập. Khi đó hàm mật độ ( )f z của Z X Y= + được xác định như sau
( ) ( ) ( )f z f z t g t dt
+∞
−∞
= −∫ hoặc ( ) ( ) ( )f z f t g z t dt
+∞
−∞
= −∫ .
1.4 Các số đặc trưng của biến ngẫu nhiên
1.4.1 Kỳ vọng của biến ngẫu nhiên
Kỳ vọng của biến ngẫu nhiên X , ký hiệu ( )E X được định nghĩa như sau
i) ( ) ( )x
E X xf x= ∑ nếu X rời rạc.
ii) ( ) ( )E X xf x dx= ∫ nếu X liên tục.
Chú ý
i) Giá trị trung bình hay giá trị kỳ vọng của X có thể được ký hiệu
( ) XE X EX µ µ= = = .
ii) Nếu biến ngẫu nhiên Y là một hàm theo X : ( )Y r X= . Khi đó
( ) ( )( ) ( ) ( )x
E Y E r X r x f x= = ∑ nếu X rời rạc
và ( ) ( )( ) ( ) ( )E Y E r X r x f x dx= = ∫ nếu X liên tục.
Tính chất của kỳ vọng
i) Nếu 1 2, ,..., nX X X là các biến ngẫu nhiên và 1 2, ,..., na a a là các hằng số. Khi đó
( )
1 1
n n
i i i i
i i
E a X a E X
= =
 
= 
 
∑ ∑ .
ii) Nếu 1 2, ,..., nX X X là các biến ngẫu nhiên độc lập, khi đó

17. 9
( )
1 1
n n
i i
i i
E X E X
= =
 
= 
 
∏ ∏ .
iii) Nếu ( )1 2, ,..., nX X X X= là vectơ ngẫu nhiên, khi đó trung bình của X được
định nghĩa bởi
( ) ( ) ( ) ( )( )1 2, ,..., nE X E X E X E X= .
Bất đẳng thức đối với kỳ vọng
i) Định lý (Bất đẳng thức Cauchy – Schwartz). Nếu biến ngẫu nhiên X và Y có
phương sai hữu hạn, khi đó
( ) ( )2 2
E XY E X E Y≤ .
ii) Định lý (Bất đẳng thức Jensen). Nếu f là một hàm lồi trên R, nghĩa là với
, Rx y∀ ∈ và [ ]0,1α ∈ : ( ) ( ) ( ) ( )1 1f x y f x f yα α α α + − ≤ + −  , khi đó
( ) ( )E f X f E X   ≥    .
Nếu f là một hàm lõm, khi đó
( ) ( )E f X f E X   ≤    .
iii) Định lý (Bất đẳng thức liên kết). Giả sử X là biến ngẫu nhiên và f , g là
hai hàm đơn điệu không giảm trên R, khi đó
( ) ( ) ( ) ( )E f X g X E f X E g X     ≥      .
Nếu f là một hàm đơn điệu tăng và g là một hàm đơn điệu giảm, khi đó
( ) ( ) ( ) ( )E f X g X E f X E g X     ≤      .
Các bất đẳng thức trên áp dụng đối với tất cả các kỳ vọng tồn tại và hữu hạn.
1.4.2 Phương sai của biến ngẫu nhiên
Phương sai của biến ngẫu nhiên X với trung bình µ , ký hiệu ( )Var X hoặc 2
σ
được định nghĩa bởi
( )
22
E Xσ µ= − .
Từ đó ( )2 2 2
x
x f xσ µ= −∑ nếu X rời rạc

18. 10
và ( )2 2 2
x f xσ µ= −∫ nếu X liên tục.
Độ lệch chuẩn của biến ngẫu nhiên X được xác định
( )VarX Xσ = .
Nếu biến ngẫu nhiên Y là một hàm theo X : ( )Y r X= . Khi đó
( ) ( )( ) ( ) ( ) ( )
2 2
Var Var x
Y r X r x f x E Y   = = −   ∑ nếu X rời rạc
và ( ) ( )( ) ( ) ( ) ( )
2 2
Var VarY r X r x f x dx E Y   = = −   ∫ nếu X liên tục.
Tính chất
i) Nếu a và b là các hằng số, khi đó ( ) ( )2
Var VaraX b a X+ = .
ii) Nếu 1 2, ,..., nX X X là các biến ngẫu nhiên độc lập và 1 2, ,..., na a a là các hằng số,
khi đó
( )2
1 1
Var Var
n n
i i i i
i i
a X a X
= =
 
= 
 
∑ ∑ .
1.5 Một số phân phối của biến ngẫu nhiên
1.5.1 Phân phối của biến ngẫu nhiên rời rạc
1.5.1.1 Phân phối đều. Với số nguyên 1k > , giả sử biến ngẫu nhiên X có hàm
mật độ được cho bởi
( )
1
, 1,...,f x x k
k
= =
và ( ) 0f x = trong trường hợp ngược lại. Khi đó ta nói X có phân phối đều trên
{ }1,2,..,k .
1.5.1.2 Phân phối Bernoulli. Trong một phép thử biến ngẫu nhiên X chỉ nhận
hai giá trị 1 và 0. X nhận giá trị 1 với xác suất thành công là ( )0 1p p≤ ≤ và nhận
giá trị 0 trong trường hợp ngược lại, ta có
( ) ( )1 , 0 1P X p P X p= = = = − .
Chẳng hạn khi thực hiện phép thử tung đồng tiền bằng kim loại đồng chất có hai
mặt xấp và ngửa, giả sử thành công của phép thử là xuất hiện mặt ngửa thì X nhận

19. 11
giá trị 1 nếu mặt ngửa xuất hiện với xác suất ( )0 1p p≤ ≤ và ngược lại nếu đồng
tiền xuất hiện mặt xấp.
Khi đó ta nói X có phân phối Bernoulli, ký hiệu ( )X Bernoulli p∼ .
Với hàm mật độ của X
( ) ( ) { }
1
1 , 0,1
xx
f x p p x
−
= − ∈ .
Kỳ vọng và phương sai
( )E X p= và ( )Var X (1 )p p= − .
Giả sử 1 2, ,..., nX X X là các biến ngẫu nhiên độc lập, ( ), 1,...,iX Bernoulli p i n∼ =.
Khi đó hàm mật độ của ( )1 2, ,..., nX X X X= là
( ) ( ) ( )
1
1 1
1 ,ii
n n
xx
i
i i
f x f x p p
−
= =
= = −∏ ∏ với { }0,1 , 1,...,ix i n∈ =.
1.5.1.3 Phân phối Nhị thức. Giả sử 1 2, ,..., nX X X là các biến ngẫu nhiên độc
lập, ( ), 1,...,iX Bernoulli p i n∼ =.
Đặt
1
n
i
i
Y X
=
= ∑ . Khi đó Y được gọi là có phân phối nhị thức, ký hiệu ( ),Y B n p
với hàm mật độ
( ) ( ) ( ) ( )1
n yn y
yf y P Y y p p
−
= = = − , với { }0,1,...,y n∈ ,
trong đó ( ) ( )
!
! !
n
y
n
y n y
=
−
.
Chú ý. Nếu ( ),k kY B n p thì
1 1
,
n n
k k
k k
Y B n p
= =
 
 
 
∑ ∑ .
Kỳ vọng và phương sai của Y
( )E Y np= và ( )Var (1 )Y np p= − .
Lưu ý rằng trong công thức trên Y là một biến ngẫu nhiên, y là giá một trị
riêng của Y còn n và p là các tham số. Trong thực tế tham số p thường chưa biết
và phải ước lượng từ dữ liệu.

20. 12
1.5.1.4 Phân phối Nhị thức âm. Giả sử trong một phép thử X là biến ngẫu
nhiên chỉ nhận hai kết quả, thành công với xác suất là p và không thành công với
xác suất 1 p− , ( )0 1p≤ ≤ . Cho s là giá trị cố định, thực hiện phép thử với biến
ngẫu nhiên X cho tới s lần thành công thì dừng. Khi đó X gọi là có phân phối nhị
thức âm (hay phân phối Pascal), ký hiệu ( ),X NB s p với hàm mật độ
( ) ( ) ( ) ( )1
1
xx s s
xf x P X x p p+ −
= = = − , với 0,1,...x = .
Hoặc ( ) ( ) ( ) ( )1
1 1 , , 1,...
x sx s
sf x P X x p p x s s
−−
−= == − =+
Kỳ vọng và phương sai
( )
( )1s p
E X
p
−
= và ( ) ( ) ( )
2
2
(1 ) 1
Var X
s p
E X E X
p s
−
 = = +   .
Chú ý. Nếu ( ),k kY NB n p thì
1 1
,
n n
k k
k k
Y NB n p
= =
 
 
 
∑ ∑ .
1.5.2 Phân phối của biến ngẫu nhiên liên tục
1.5.2.1 Phân phối đều. Biến ngẫu nhiên liên tục X có hàm mật độ
( )
[ ]
[ ]
1
, , ,
0, , .
x a b
b af x
x a b

∈
−= 
 ∉
được gọi là có phân phối đều trên [ ],a b , ký hiệu [ ],X Uniform a b hay
[ ],X R a b .
Khi đó hàm phân phối xác suất của X xác định bởi
( ) [ ]
0, ,
, , ,
1, .
x a
x a
F x x a b
b a
x b
<
 −
= ∈
−
>
Trung bình và phương sai
( ) ( )
( )
2
,
2 12
a ba b
E X Var X
−+
= = .

21. 13
1.5.2.2 Phân phối chuẩn. Biến ngẫu nhiên X có phân phối chuẩn (hoặc Gauss)
với tham số µ và σ ký hiệu bởi ( )2
,X N µ σ nếu X có hàm mật độ
( )
( )
( )
2
2
1
exp
22
x
f x x
µ
σσ π
 −
 = − ∈
 
 
 ,
với Rµ ∈ và 0σ > . Tham số µ và 2
σ lần lượt là trung bình và phương sai của
phân phối (σ là độ lệch chuẩn).
Khi đó X có hàm phân phối xác suất
( )
( )
( )
2
2
1
exp
22
x
x
F x dx x
µ
σσ π −∞
 −
 = − ∈
 
 
∫  .
Khi 0, 1µ σ= = thì X có phân phối chuẩn tắc, ký hiệu ( )0,1X N với hàm mật
độ và hàm phân phối xác suất lần lượt ký hiệu bởi ( ) ( )vàx xφ Φ .
Tính chất
i) Nếu ( )2
,X N µ σ , khi đó ( )0,1 ,
X
Z N
µ
σ
−
= 
ii) Nếu ( )0,1X N , khi đó ( )2
, ,X Z Nµ σ µ σ= + 
iii) Nếu ( )2
, , 1,...,i i iX N i nµ σ = là độc lập, khi đó
2
1 1 1
,
n n n
i i i
i i i
X N µ σ
= = =
 
 
 
∑ ∑ ∑ .
Từ đó suy ra
( )
a b b a
P a X b P Z
µ µ µ µ
σ σ σ σ
− − − −     
< < = < < = Φ − Φ     
     
.
1.5.2.3 Phân phối mũ. Đại lượng ngẫu nhiên X có phân phối mũ với tham số
β , ký hiệu ( )X E β nếu
( )
1
, 0
x
f x e xβ
β
−
= > ,với 0β > .
Trung bình và phương sai
( )E X β= và ( ) 2
Var X β= .

22. 14
1.5.2.4 Phân phối Gamma. Cho 0α > , hàm Gamma được định nghĩa bởi
( ) 1
0
y
y e dyα
α
∞
− −
Γ =∫ .
Các tính chất cơ bản
i) ( )1 1Γ =.
ii) ( ) ( )1 , 0c c c cΓ + = Γ ∀ > . Đặt biệt, ( ) ( )1 !n nΓ = − , 1,2,...n = .
iii) Công thức phản xạ ( ) ( )
( )
1 , 0, 1,...
sin
c c c
c
π
π
Γ Γ −= ≠ ± . Đặt biệt,
1
2
π
 
Γ = 
 
.
iv) ( ) ( )
1 11
22
0
2 , 1,2,...
nn nc
k
k
nc n c n
n
π
−− −
=
 
Γ= Γ += 
 
∏ .
Biến ngẫu nhiên X có phân phối Gamma với tham số α và β , ký hiệu bởi
( ),X Gamma α β nếu hàm mật độ xác suất của X được cho bởi
( )
( )
11
, 0
x
f x x e xα β
α
β α
−
−
= ≤ < ∞
Γ
,
trong đó , 0α β > .
Trung bình và phương sai
( )E X αβ= và ( ) 2
Var X αβ= .
Ta thấy phân phối mũ chính là phân phối ( )1,Gamma β . Nếu 1 2, ,..., nX X X là các
biến ngẫu nhiên độc lập ( ),i iX Gamma α β , khi đó
1 1
,
n n
i i
i i
X Gamma α β
= =
 
 
 
∑ ∑ .
1.5.2.5 Phân phối Beta. Cho số 0α > và 0β > , hàm Beta được định nghĩa bởi
( ) ( )
1
11
0
, 1B t t dt
βα
α β
−−
= −∫ .
Hàm Beta biểu diễn qua hàm Gamma
( )
( ) ( )
( )
,B
α β
α β
α β
Γ Γ
=
Γ +
.

23. 15
Biến ngẫu nhiên X có phân phối Beta với tham số 0α > và 0β > , ký hiệu
( ),X Beta α β nếu hàm mật độ xác suất của X được cho bởi
( )
( )
( )
11
1
,
x x
f x
B
βα
α β
−−
−
= với 0 1x≤ ≤ .
Trung bình và phương sai
( )E X
α
α β
=
+
và ( )
( ) ( )
2
Var
1
X
αβ
α β α β
=
+ + +
.
Hàm Beta khuyết. Với 0 1x< < , hàm
( )
( )
( )
11
0
1
, , 1
,
x
B x t t dt
B
βα
α β
α β
−−
= −∫
được gọi là hàm Beta khuyết.
Hàm mật độ của phân phối Beta tổng quát. Với ; , 0a x b α β≤ ≤ > , ký hiệu
( ), , , ,Beta x a bα β như một phân phối Beta tổng quát có hàm mật độ được cho bởi
( )
( )
( ) ( )
( )
1 1
1
1
, , ; ,
,
x a b x
Beta x a b
B b a
α β
α β
α β
α β
− −
+ −
− −
=
−
.
1.6 Hàm Lauricella D
1.6.1 Hệ số Pochhammer
1.6.1.1 Định nghĩa. Hệ số Pochhammer, ký hiệu ( )n
a trong đó n là một số
nguyên không âm, được cho bởi
( )
( )( ) ( )1 2 ... 1 , 0
1, 0n
a a a a n n
a
n
 + + + − >
= 
=
.
Ngoài ra cũng có thể sử dụng ký hiệu Pochhammer dưới dạng tích các thừa số
giảm dần:
( ) ( )( ) ( )1 2 ... 1 .
n
a a a a a n= − − − +
1.6.1.2 Tính chất cơ bản
i)
( )
( ) ( )
( ),
1! !
n
an
n
a an
a nn n
= =
+ −
.

24. 16
ii) ( ) ( )1
n
n
a a n= + − , ( ) ( ) ( )1
n n
n
a a− =− .
iii) ( )
( )
( )n
a n
a
a
Γ +
=
Γ
, ( )
( )
( )
1
1
n a
a
a n
Γ +
=
Γ − +
.
1.6.2 Hàm Lauricella D
1.6.2.1 Định nghĩa. Giả sử 1, ,..., na b b và c là các số thực hoặc số phức. Hàm
Lauricella D với 2n + tham số và n biến 1 2, ,..., nx x x được cho bởi:
( )
( )
( ) ( ) ( )
( )
1
1 1
1
1
1... 1
1 1
0 0 1...
...
, ,..., ; ; ,..., ... ...
! !
n
n n
n
n
mm
nm m m mn n
D n n
m m nm m
a b b xx
F a b b c x x
c m m
∞ ∞
+ +
= = + +
= ∑ ∑ ,
với 1 ,..., 1nx x < và ( ) ( )( ) ( ) ( )0
1 2 ... 1 , 0, 1m
a a a a a m m a= + + + − > = là hệ số
Pochhammer. Chuỗi này chỉ hội tụ khi 1 ,..., 1nx x < và với bất kỳ hệ số , 1,...,ib i n=
có một giá trị nguyên âm thì phép lấy tổng của chuỗi sẽ trở nên hữu hạn.
Trường hợp đặc biệt
Với 2n = , ( )2
DF còn được gọi là hàm siêu bội Appell thứ nhất với hai biến.
Với 1n = , ( )1
DF là hàm siêu bội Gauss ( )2 1 , , ,F a b c t .
Biểu thức tích phân của hàm ( )n
DF . Với ( ) ( )Re Re 0c a> > ta có
( )
( )
( )
( ) ( )
( ) ( ) ( )1
1
11
1 1 1
0
, ,..., ; ; ,..., 1 1 ... 1 .nc a b bn a
D n n n
c
F a b b c x x u u ux ux du
a c a
− − − −−Γ
= − − −
Γ Γ − ∫
Khi 1n = , hàm siêu bội Gauss có thể biểu diễn qua tích phân Euler
( )
( )
( ) ( )
( ) ( )
1
11
2 1
0
, ; ; 1 1 .
b c aac
F a b c x xu u u du
a c a
− − −−Γ
= − −
Γ Γ − ∫
Khi 2n = , ta có định lý sau.
1.6.2.2 Định lý Picard. Nếu ( )Re a và ( )Re c a− là số dương, khi đó:
( )
( )
( )
( ) ( )
( ) ( ) ( )1 2
1
12 1
1 2 1 2 1 2
0
, , ; ; , 1 1 1 .
c a b ba
D
c
F a b b c x x u u ux ux du
a c a
− − − −−Γ
= − − −
Γ Γ − ∫
1.6.2.3 Hàm siêu bội Appell thứ nhất, ( )2
DF . Xác định bởi

25. 17
( )
( )
( ) ( ) ( )
( )
1 2
1 2 1 2
2 1
1 2
1 22
1 2
0 0 1 2
, , ; ; , ; x 1, 1.
! !
m m
m m m m
D
m m m m
a b b x y
F a b b c x y y
c m m
∞ ∞
+
= = +
= < <∑ ∑
Ta nhận thấy chuỗi hội tụ khi x 1 và 1y< < , tuy nhiên theo định lý Picard ta
có phép biến đổi sau
( )
( ) ( ) ( )
( ) ( )
( )
( )
( ) ( ) ( ) ( ) ( )
( ) ( )
1 2
1 2
2 2
1 2 1 2 2
2 2
1 2 1 1 2
, , ; ; , 1 1 , , ; ; , ,
1
, , ; ; , 1 1 , , ; ; , .
1
c a b b
D D
b c a b
D D
y x
F a b b c x y x y F c a c b b b c x
y
x y
F a b b c x y x y F c a b c b b c y
x
− +
− − +
 −
= − − − − + 
− 
− 
= − − − − + 
− 
Từ đây cho thấy khi có x hoặc y lớn hơn 1 chuỗi ( )2
DF vẫn có thể hội tụ.
1.7 Lý thuyết và phương pháp phân tích Bayes
Khi phân tích dữ liệu, các nhà thống kê thường bắt đầu bằng việc cung cấp một
mô hình xác suất theo cách mà dữ liệu được tạo ra, thông thường dữ liệu được tạo
ra bằng cách lấy mẫu ngẫu nhiên hoặc một số cơ cấu lấy mẫu khác. Khi một mô
hình đã được chọn, dữ liệu được xử lý như một vectơ ngẫu nhiên
( )1 2, ,..., nX X X X= với phân phối xác suất được xác định bởi hàm ( ),f x θ , là một
hàm mật độ đồng thời trong đó θ là tham số hoặc vectơ tham số chưa biết. Tham số
θ có thể là trung bình hoặc phương sai của phân phối khi X là một biến ngẫu
nhiên. Thông thường người ta sẽ dựa vào dữ liệu để suy diễn về θ .
Vấn đề: Suy diễn về tham số θ trong các phân phối xác suất.
Chẳng hạn, trong phân phối Bernoulli nếu ( )X Bernoulli p∼ tham số p (xác suất
thành công trong phép thử) thường không được biết và chúng ta cần suy diễn nó.
Trong phân phối chuẩn nếu lấy ( )2
,X N µ σ thì tham số lúc này là vectơ
( ),θ µ σ= .
Có rất nhiều phương pháp suy diễn thống kê, trong đó có hai phương pháp phổ
biến là suy diễn Tần suất và suy diễn Bayes. Dưới đây, chỉ đề cập khái quát về
phương pháp suy diễn Bayes.

26. 18
Phương pháp Bayes được dựa trên các tiên đề sau đây:
B1 Xác suất mô tả mức độ niềm tin, không phải lấy giới hạn tần suất như trong
thống kê cổ điển. Như vậy, chúng ta có thể thực hiện các phát biểu xác suất về rất
nhiều thứ, không chỉ có dữ liệu.
B2 Chúng ta có thể phát biểu xác suất về các tham số cho dù chúng là các hằng
số cố định.
B3 Thực hiện các suy diễn về tham số θ bằng cách tạo ra một phân phối xác
suất cho θ . Các suy diễn về θ có thể là ước lượng điểm hoặc ước lượng khoảng.
1.7.1 Phương pháp suy diễn Bayes
Giả sử có mô hình tham số ( ){ }, :f x θ θℑ= ∈Θ với k
Θ ⊂  và ( )1 2, ,..., kθ θ θ θ=
là vectơ tham số. Suy diễn về vectơ tham số θ theo phương pháp Bayes thường
được thực hiện như sau:
i) Chọn một hàm mật độ xác suất ( )f θ trước khi quan sát dữ liệu và gọi đây là
phân phối tiên nghiệm (mật độ tiên nghiệm).
ii) Chọn một mô hình thống kê ( )f x θ . Ký hiệu ( )f x θ thay cho ( ),f x θ .
iii) Sau khi quan sát dữ liệu 1 2, ,..., nX X X , chúng ta có thông tin mới (so với giả
định ban đầu) và tính toán phân phối hậu nghiệm ( )1,..., nf X Xθ .
Vì xem θ như một biến ngẫu nhiên nên giả sử lấy Θ là ký hiệu của tham số. khi
đó theo định lý Bayes, phân phối hậu nghiệm thực hiện ở bước iii):
Đối với trường hợp biến ngẫu nhiên rời rạc
( )
( )
( )
( ) ( )
( ) ( )
,
.
P X x
P X x
P X x
P P X x
P P X xθ
θ
θ
θ θ
θ θ
= Θ=
Θ= = =
=
Θ= = Θ=
=
Θ= = Θ=∑
Đối với trường hợp biến ngẫu nhiên liên tục
( )
( ) ( )
( ) ( )
f f x
f x
f f x d
θ θ
θ
θ θ θ
=
∫
,

27. 19
trong đó ( )f x θ là hàm hợp lý được xem như là hàm mật độ có điều kiện của X
được cho bởi θ và ( ) ( )f f x dθ θ θ∫ là phân phối lề của X .
Nếu có n quan sát độc lập và đồng nhất 1 2, ,..., nX X X có các giá trị quan sát
( )1 2, ,..., nx x x thì thay thế ( )f x θ bởi hàm hợp lý
( ) ( ) ( )1 2
1
, ,...,
n
n i n
i
f x x x f x Lθ θ θ
=
= =∏ .
Khi đó thay cho ký hiệu ( )1 2, ,..., nX X X và ( )1 2, ,..., nx x x ta viết n
X tương ứng
,n
x khi đó phân phối hậu nghiệm của θ là
( )
( ) ( )
( ) ( )
( ) ( )
( ) ( )
n
nn
nn
n
f f x f L
f x f L
cf f x d
θ θ θ θ
θ θ θ
θ θ θ
= = ∝
∫
trong đó, ( ) ( )n nc f L dθ θ θ= ∫
được gọi là hằng số chuẩn hóa. Chú ý, nc không phụ thuộc vào θ .
Chú ý. Ta có thể viết phân phối hậu nghiệm dưới dạng tổng quát như sau
Hậu nghiệm tỷ lệ với hàm hợp lý nhân với phân phối tiên nghiệm.
Ký hiệu là
( ) ( ) ( )n
nf x L fθ θ θ∝ .
Việc tạm bỏ đi hằng số chuẩn hóa nc không có vấn đề gì, chúng ta có thể phục
hồi lại khi cần thiết.
Lưu ý. Vì bất kỳ thành phần nào không chứa tham số trong biểu thức tiên
nghiệm hoặc hợp lý có thể được giản ước theo công thức Bayes nên khi nhân phân
phối tiên nghiệm hoặc hàm hợp lý với một tham số bất kỳ cũng không làm thay đổi
kết quả hậu nghiệm.
1.7.2 Suy diễn Bayes cho tham số trong mô hình phân phối nhị thức
Giả sử ta có hai tổng thể 1 2,H H , mỗi tổng thể có thuộc tính riêng. Hai tổng thể
này gộp lại là một tổng thể lớn 3 1 2H H H= ∪ . Giả sử π là tỷ lệ của 1H trên tổng thể
lớn 3H .

28. 20
Xét thí nghiệm lấy n phần tử từ 3H và gọi Y là số phần tử của mẫu trong 1H , ta
có ( ),Y B n π .
Hàm mật độ có điều kiện của quan sát Y y= xác định bởi
( ) ( ) ( )1
n yn y
yf y π π π
−
= − với 1,2,...,y n= .
Ở đây chúng ta đang cố định π và thực hiện phân phối xác suất với y thay đổi.
Nếu chúng ta cố định y với số lần thành công đã được quan sát từ dữ liệu và π
thay đổi, khi đó chúng ta có hàm hợp lý được cho bởi
( ) ( ) ( )1
n yn y
yf y π π π
−
= − với 0 1π≤ ≤ .
Giả sử π có hàm mật độ tiên nghiệm ( )g π , ta có phân phối hậu nghiệm của π :
( )
( ) ( )
( ) ( )
1
0
g f y
g y
g f y d
π π
π
π π π
=
∫
.
Hàm mật độ hậu nghiệm của π có thể được viết dưới dạng tỷ lệ
( ) ( ) ( )g y g f yπ π π∝ .
Lưu ý. Đây chỉ là dạng của phân phối hậu nghiệm chứ không phải là hàm mật
độ hậu nghiệm.
Chọn hàm mật độ tiên nghiệm cho tham số π
Đối với mô hình nhị thức chúng ta thường chọn hai phân phối tiên nghiệm sau
cho π
i) Phân phối tiên nghiệm đều. Đó chính là tiên nghiệm với hàm mật độ
( )
( ) [ ]
1, 0 1
0, 0,1
g
g
π π
π π
 = ∀ ≤ ≤

= ∀ ∉
.
Từ đó hàm mật độ hậu nghiệm của π tỷ lệ với
( ) ( ) ( )1
n yn y
yg yπ π π
−
∝ − với 0 1π≤ ≤ .
Nhận thấy rằng đây chính là dạng phân phối Beta với tham số
1, 1y n yα β= + = − + . Do đó để được hàm mật độ hậu nghiệm ta chỉ cần nhân thêm

29. 21
vào vế phải biểu thức trên hệ số
( )
( ) ( )
2
1 1
n
y n y
Γ +
Γ + Γ − +
để được hàm mật độ hậu
nghiệm.
Khi đó ta có thể viết ( )1, 1y Beta y n yπ + − + .
i) Phân phối tiên nghiệm Beta. Đó là phân phối với mật độ tiên nghiệm
( ),Beta α β .
Khi đó ta được hàm mật độ hậu nghiệm
( ) ( )
11
1
n yy
g y
βα
π π π
+ − −+ −
∝ − với 0 1π≤ ≤ .
Như vậy ( ), .y Beta y n yπ α β+ + −
Nhận xét
i) Hàm mật độ tiên nghiệm đều chỉ sử dụng khi chúng ta không biết cách chọn
tiên nghiệm như thế nào, trong nhiều trường hợp đó là một tiên nghiệm khách quan
không phụ thuộc vào niềm tin của chúng ta đối với tham số. Nó còn được gọi là tiên
nghiệm tầm thường.
ii) Chúng ta thấy dạng hàm hợp lý trong phân phối nhị thức giống với dạng hàm
mật độ của một phân phối Beta nên nếu sử dụng tiên nghiệm ( ),Beta α β cho π thì
khi thực hiện tính toán hậu nghiệm ta nhân tương ứng hàm hợp lý với tiên nghiệm
kết quả sẽ được dạng của một phân phối Beta.
Điều này có một thuận lợi rất lớn là chúng ta chỉ quan sát dạng của phân phối
hậu nghiệm và đưa ra hàm mật độ chứ không cần phải tính tích phân. Do đó trong
thống kê, đối với mô hình nhị thức thường sử dụng tiên nghiệm có phân phối Beta.
Phân phối tiên nghiệm có tính chất như vậy gọi là phân phối tiên nghiệm liên
hợp.
Phân phối tiên nghiệm liên hợp
Khi một phân phối tiên nghiệm có tính chất: Tiên nghiệm và hậu nghiệm có
cùng một họ phân phối thì gọi đó là phân phối tiên nghiệm liên hợp tương ứng với
mô hình.

30. 22
Hầu hết các phân phối tiên nghiệm sử dụng trong việc ứng dụng Bayes đều là
liên hợp vì nó đại diện cho việc chọn phân phối tiên nghiệm khá tốt.
Một số ví dụ về các phân phối tiên nghiệm liên hợp cho các mô hình một tham số:
Mô hình Phân phối tiên nghiệm
Chuẩn với phương sai đã biết Chuẩn (đối với trung bình)
Chuẩn với trung bình đã biết Gamma (đối với phương sai)
Nhị thức Beta
Poisson Gamma
Chú ý. Phân phối tiên nghiệm liên hợp chỉ tồn tại khi phân phối các quan sát từ
mẫu ngẫu nhiên là họ phân phối mũ, tức là họ phân phối xác định bởi
( ) ( ) ( ) ( ) ( )
1
exp
p
j j
j
f x h x c t x Aθ θ θ
=
 
= + 
 
∑ ,
trong đó, ( ) ( ), jc Aθ θ chỉ phụ thuộc vào θ và ( )jt x chỉ phụ thuộc vào x . Hàm
( ) 0h x > và không phụ thuộc vào θ . Ví dụ các các phân phối thuộc họ mũ như là:
Phân phối Chuẩn, Bernoulli, Nhị thức, Đa thức, Mũ, Poisson,….
1.7.3 Một số vấn đề trong việc chọn phân phối tiên nghiệm
1.7.3.1 Chọn phân phối tiên nghiệm liên hợp khi chúng ta chưa có kiến thức
tốt về việc chọn tiên nghiệm
Khi chưa có sự hiểu biết rõ ràng về việc chọn tiên nghiệm cho phù hợp thì tốt
nhất là chúng ta nên chọn một tiên nghiệm liên hợp. Chúng ta không phải lo lắng về
vấn đề này vì dạng hậu nghiệm sẽ tương tự như phân phối tiên nghiệm mình đã
chọn.
Chẳng hạn khi không biết phải chọn phân phối tiên nghiệm cho tỷ lệ π trong
một tổng thể nào đó, nhưng chúng ta biết đây là mô hình nhị thức và π rất nhỏ nên
có thể chọn các tiên nghiệm sau: ( ) ( ) ( )0.5,1 , 0.5,2 , 0.5,3 ,...Beta Beta Beta sẽ thỏa
mãn trong việc suy diễn.

31. 23
1.7.3.2 Chọn một phân phối tiên nghiệm liên hợp khi chúng ta có kiến thức
tiên nghiệm về vị trí và sự phân tán có thể có của tham số
Giả sử ( ),Beta α β là một họ các phân phối tiên nghiệm liên hợp trong mô hình
nhị thức mà chúng ta sẽ chọn, tuy nhiên phân phối Beta có rất nhiều dạng nên
không biết sẽ chọn thế nào nhưng chúng ta có niềm tin về giá trị trung bình và độ
lệch chuẩn có thể có của π . Từ đó có thể chọn được phân phối tiên nghiệm thích
hợp theo cách sau:
Giả sử chúng ta tin rằng phân phối π có trung bình là 0π và độ lệch chuẩn 0σ ,
nên khi so sánh với trung bình và độ lệch chuẩn của phân phối Beta sẽ có
0
α
π
α β
=
+
và
( ) ( )
( )0 0
0 2
1
11
ab
a ba b a b
π π
σ
−
= =
+ ++ + +
.
Giải hai phương trình này sẽ tìm được àvα β thích hợp.
1.7.3.3 Cẩn thận trước khi sử dụng tiên nghiệm liên hợp
Theo cách trên nếu tìm được àvα β với hình dạng tiên nghiệm thích hợp mà
chúng ta tin tưởng thì sử dụng nó. Ngược lại có thể điều chỉnh 0π và 0σ cho đến khi
nào phù hợp với niềm tin của chúng ta về tham số thì thôi.
Tuy nhiên phải tính toán lại kích thước mẫu tương đương với tiên nghiệm đã
chọn cho phù hợp vì lượng thông tin về tham số từ phân phối tiên nghiệm phải
tương đương với lượng thông tin đó từ mẫu ngẫu nhiên. Nếu điều này chưa phù hợp
chúng ta có thể tăng độ lệch chuẩn trong tiên nghiệm lên và kiểm tra lại.
Chú ý tỷ lệ mẫu  y
n
π = từ phân phối nhị thức ( ),B n π có phương sai
( )1
n
π π−
,
do đó gọi eqn là cỡ mẫu tương đương với tiên nghiệm, ta có
( )
( ) ( )
0 0
2
1
1eqn
π π αβ
α β α β
−
=
+ + +
.
Điều này tương đương 1eqn α β= + + .

32. 24
1.7.3.4 Ảnh hưởng của phân phối tiên nghiệm
Khi chúng ta quan sát đầy đủ dữ liệu thì ảnh hưởng của tiên nghiệm mà chúng
ta đã chọn là rất nhỏ so với dữ liệu. Các hàm mật độ hậu nghiệm gần như giống
nhau mặc dù chúng ta chọn tiên nghiệm khác nhau. Điều quan trọng nhất cần lưu ý
đó chúng ta phân chia một lượng hợp lý đến các giá trị có thể có của tham số, còn
hình dạng chính xác của tiên nghiệm không phải là điều quan trọng. (Xem [2]).
1.7.4 Phân tích hậu nghiệm
Để đánh giá hậu nghiệm thông thường chúng ta sẽ xét các giá trị đặc trưng của
hậu nghiệm như trung bình, trung vị, mốt, phương sai,…Ở đây chỉ xét trung bình và
phương sai hậu nghiệm vì chúng được đánh giá là ước lượng tốt cho π .
Trung bình hậu nghiệm
( )
( ) ( )
( ) ( )
.
nn
n
n
L f d
f x d
L f d
θ θ θ θ
θ θ θ θ
θ θ θ
= =
∫
∫
∫
Và phương sai hậu nghiệm
( ) ( ) ( ) ( )
2 2
Var n n n
n nx E x f x dθ θ θ θ θ θ θ = − =− 
  ∫ .
Phân vị của phân phối hậu nghiệm
Phân vị thứ k của phân phối hậu nghiệm (hay phân vị hậu nghiệm của π với
mức xác suất %k ) là giá trị kθ được xác định bởi
( )100.
k
n
k f x d
θ
θ θ
−∞
= ∫ .
Một số phân vị quan trọng: Điểm tứ phân vị thứ nhất 1Q là phân vị mức xác suất
0.25, điểm tứ phân vị thứ hai 2Q là phân vị mức xác suất 0.5 và điểm tứ phân vị thứ
ba 3Q là phân vị mức xác suất 0.75.
1.7.5 Khoảng tin cậy Bayes
Có rất nhiều khoảng chứa tham số π với xác suất như nhau nhưng ở đây chúng
ta sẽ tìm một khoảng ngắn nhất với xác suất đã cho ( )1 α− , thường được gọi là
khoảng tin cậy Bayes. Giả sử chúng ta sử dụng tiên nghiệm ( ),Beta α β , khi đó phân

33. 25
phối hậu nghiệm của y π là ( )', 'Beta α β . Một khoảng tin cậy Bayes 95% được tìm
thấy bằng cách lấy hiệu của hai phân vị mức xác suất 0.975 và 0.025. Có hai cách
thực hiện việc tìm khoảng tin cậy Bayes đó là sử dụng Minitab và xấp xỉ phân phối
hậu nghiệm ( )', 'Beta α β bởi một phân phối chuẩn ( )( )2
', 'N m s , với ( )
2
' à 'm v s là
trung bình và phương sai hậu nghiệm của π .
Khi đó miền tin cậy ( )1 .100%α− của π xấp xỉ / 2' . 'm z sα± , trong đó / 2zα là phân
vị chuẩn tắc mức xác suất
2
α
.
1.7.6 Các bài toán nhiều tham số
Giả sử ( )1 2, ,..., pθ θ θ θ= . Hàm mật độ hậu nghiệm vẫn được cho bởi
( ) ( ) ( )n
nf x f Lθ θ θ∝ .
Vấn đề : Suy diễn các thành phần tham số , 1,...k k pθ = như thế nào?
Thực hiện điều này chủ yếu là tìm hàm mật độ hậu nghiệm lề cho tham số cần
quan tâm.
Giả sử chúng ta cần suy diễn về tham số 1θ thì phân phối hậu nghiệm lề của 1θ
là
( ) ( )1 1 2 2... , ,..., ... .n n
p pf x f x d dθ θ θ θ θ θ= ∫ ∫
Trong thực tế thì việc tính tích phân này rất khó thực hiện nên có thể dựa vào
một số phương pháp để đánh giá, chẳng hạn như phương pháp đánh giá phân tích,
xấp xỉ tiệm cận hoặc mô hình hóa trực tiếp,….
1.7.7 Phân phối dự đoán cho một quan sát mới
Giả sử ( )1 2, ,..., nx x x x= là giá trị đã được quan sát của biến ngẫu nhiên X từ dữ
liệu, X x= và x là một giá trị quan sát mới. Vấn đề quan tâm là chúng ta thực hiện
tìm hiểu tất cả thông tin về x bằng cách dự đoán phân phối cho x dựa trên quan sát
x với sự phân tích hậu nghiệm của tham số θ trong mô hình. Ta có
Phân phối dự đoán hậu nghiệm của x có hàm mật độ được xác định bởi

34. 26

( ) 
( ) ( ) .f x x f x f x dθ θ θ
Φ
= ∫
Khi chưa quan sát dữ liệu chúng ta cũng có thể thực hiện dự đoán phân phối của
x thông qua phân phối tiên nghiệm của tham số θ được gọi là phân phối dự đoán
tiên nghiệm nghiệm của x . Đó là hàm mật độ được xác định bởi
( ) 
( ) ( )f x f x f dθ θ θ
Φ
= ∫ .
1.7.8 Lý thuyết quyết định thống kê Bayes
Ngoài các ước lượng điểm thường gặp như ước lượng hợp lý cực đại, phương
pháp ước lượng mômen và trung bình hậu nghiệm còn có rất nhiều cách khác nhau
để tạo ra các ước lượng, vấn đề là chúng ta chọn trong số các phương pháp đó như
thế nào? Để giải quyết vấn đề này chúng ta tìm hiểu về lý thuyết quyết định – lý
thuyết so sánh các cách thức thống kê.
Xét không gian tham số Θ với θ ∈Θ và giả sử θ là một ước lượng của θ . Theo
ngôn ngữ của của lý thyết quyết định, ước lượng đôi lúc còn được gọi là một quy
tắc quyết định và giá trị có thể của quy tắc quyết định được gọi là các tác động.
Chúng ta sẽ đo độ sai lệch giữa θ và θ bằng cách sử dụng hàm tổn thất 
( ),L θ θ .
Hàm tổn thất L được định nghĩa là ánh xạ:
: xL Θ Θ →  .
Một số hàm tổn thất thường gặp
i) 
( ) 
( )
2
,L θ θ θ θ= − là hàm tổn thất sai số bình phương.
ii) 
( ) ,L θ θ θ θ= − là hàm tổn thất sai số tuyệt đối.
iii) 
( ) ,
p
L θ θ θ θ= − là hàm tổn thất p
L .
iv) 
( )  
( ) , 0 khi à , 1 khiL v Lθ θ θ θ θ θ θ θ= = = ≠ gọi là hàm tổn thất 0 – 1.
Lưu ý. Một ước lượng (hay một quy tắc quyết định) θ là một hàm của dữ liệu,
tức là nếu 1 2, ,..., nX X X là các biến ngẫu nhiên độc lập và đồng nhất từ một vài phân

35. 27
phối F thì một ước lượng điểm 
nθ của một tham số θ là một hàm của
( )1 2, ,..., nX X X X= . Như vậy, để rõ ràng hơn có thể viết  ( )Xθ thay vì θ .
Để đánh giá ước lượng này cần dựa vào tổn thất trung bình hay rủi ro.
1.7.8.1 Định nghĩa. Rủi ro của một ước lượng θ được xác định bởi

( ) 
( )( )  ( )( ) ( ), , , ,R E L L x f x dxθθ θ θ θ θ θ θ= = ∫ .
Khi hàm tổn thất là sai số bình phương thì rủi ro là sai số bình phương trung
bình, viết tắt MSE:

( ) 
( ) 
( ) 
( )
2
2
, Var biasR Eθ θ θθ θ θ θ θ θ= − = + ,
trong đó, biasθ là độ chênh lệch của ước lượng được xác định bởi
 ( )( )  ( )( )bias X E Xθ θθ θ θ= − .
Lưu ý. Chỉ số dưới θ chỉ ra rằng kỳ vọng hoặc phương sai là đối với ( ),f x θ .
Điều này không có nghĩa là lấy trung bình hoặc phương sai trên θ .
Trong phần còn lại ta giả sử hàm tổn thất là sai số bình phương.
1.7.8.2 So sánh các hàm rủi ro. Để so sánh hai hàm rủi ro chúng ta cần dựa
trên các đánh giá về hàm rủi ro. Hai phương pháp đánh giá phổ biến là rủi ro cực
đại và rủi ro Bayes.
Định nghĩa. Rủi ro cực đại xác định bởi

( ) 
( )sup ,R R
θ
θ θ θ= .
Và rủi ro Bayes

( ) 
( ) ( ), ,r f R f dθ θ θ θ θ= ∫ .
Hai đánh giá này cho thấy hai phương pháp khác nhau của việc đưa ra các ước
lượng: Chọn θ để cực tiểu hóa rủi ro cực đại dẫn đến các ước lượng là minimax (có
nghĩa là tối thiểu hóa tổn thất vốn được dự tính có thể là tối đa) và chọn θ để cực
tiểu hóa rủi ro Bayes dẫn đến ước lượng Bayes.

36. 28
1.7.8.3 Định nghĩa. Một quy tắc quyết định cực tiểu hóa rủi ro Bayes được gọi
là một quy tắc Bayes. Như vậy, θ là một quy tắc Bayes (hay ước ượng Bayes)
tương ứng với phân phối tiên nghiệm f nếu

( ) 
( ), inf ,r f r f
θ
θ θ= .
Một ước lượng cực tiểu hóa rủi ro cực đại được gọi là quy tắc minimax. Như
vậy, một ước lượng θ là minimax nếu

( ) 
( )sup , inf sup ,R R
θθ θ
θ θ θ θ= ,
trong đó infimum là lấy trên tất cả các ước lượng θ .
1.7.8.4 Các ước lượng Bayes
Giả sử f là hàm mật độ tiên nghiệm. Theo định lý Bayes ta có hàm mật độ
hậu nghiệm là
( )
( ) ( )
( )
( ) ( )
( ) ( )
f x f f x f
f x
m x f x f d
θ θ θ θ
θ
θ θ θ
= =
∫
,
trong đó, ( ) ( ) ( ) ( ),m x f x d f x f dθ θ θ θ θ= =∫ ∫ là phân phối lề của X . Định
nghĩa rủi ro hậu nghiệm của một ước lượng  ( )xθ bởi:

( )  ( )( ) ( ),r x L x f x dθ θ θ θ θ= ∫ .
Chú ý. Giả sử θ là trung bình hậu nghiệm của θ , khi đó với  ( )( ),L xθ θ là hàm
tổn thất sai số bình phương ta có

( )  ( )( ) ( )
 ( )( ) ( )
( ) ( )  ( )( )  ( )( ) ( )
( )  ( )( )
2
2
22
2
2
0 .
r x x f x d
x f x d
x x f x d
Var x x
θ θ θ θ θ
θ θ θ θ θ θ
θ θ θ θ θ θ θ θ θ θ
θ θ θ
= −
= − + −
 = − + − − + − 
 
= + + −
∫
∫
∫
Từ đây cho thấy rằng để rủi ro hậu nghiệm nhỏ nhất thì ước lượng tốt nhất của
θ chính là trung bình hậu nghiệm θ .

37. 29
Định lý. Rủi ro Bayes 
( ),r f θ thỏa mãn

( ) 
( ) ( ),r f r x m x dxθ θ= ∫ .
Giả sử  ( )xθ là giá trị của θ cực tiểu hóa 
( )r xθ . Khi đó θ là ước lượng Bayes.
Định lý. Nếu 
( ) 
( )
2
,L θ θ θ θ= − thì khi đó ước lượng Bayes là
 ( ) ( ) ( )x f x d E X xθ θ θ θ θ= = =∫ .
1.7.8.5 Các quy tắc minimax
Kết quả chính trong phần này là mối quan hệ giữa quy tắc Bayes và quy tắc
minimax: Các ước lượng Bayes với một hàm rủi ro không đổi là minimax.
Định lý. Giả sử f
θ là ước lượng Bayes với hàm tiên nghiệm f . Khi đó

( ) 

( ), inf ,f
r f r f
θ
θ θ= .
Giả sử rằng 
( ) 
( ), ,f f
R r fθ θ θ< với mọi θ .
Khi đó f
θ là minimax và f được gọi là một tiên nghiệm thuận lợi bé nhất.
Định lý. Giả sử θ là quy tắc Bayes tương ứng với một số hàm tiên nghiệm f .
Hơn nữa, giả sử θ có rủi ro không đổi, nghĩa là tồn tại c sao cho: 
( ),R cθ θ = .
Khi đó θ là minimax.

38. 30
CHƯƠNG II
PHÂN TÍCH BAYES THEO CHUẨN 1
L
2.1 Hệ số chồng lấp và sai số Bayes giữa hai hàm mật độ trong R
2.1.1 Hệ số chồng lấp và khoảng cách 1
L giữa hai hàm mật độ trong R
2.1.1.1 Khoảng cách giữa hai hàm trong ( ) ( )R , 1p
L p≤ < ∞
Xét không gian ( )Rp
L = { : R R,f f→ đo được Lebesgue và ( )
p
R
f x dx < ∞∫ }
với chuẩn
( )
1
,1
pp
p
R
f f x dx p
 
= ≤ < ∞ 
 
∫ .
Khi đó với hai hàm ,f g trong ( )Rp
L thì khoảng cách
p
L giữa chúng được
định nghĩa: ( ) ( )
1
pp
p
R
f g f x g x dx
 
− = − 
 
∫ .
Giả sử 1X và 2X là hai biến ngẫu nhiên độc lập, với hàm mật độ xác suất tương
ứng là ( )1f x và ( )2f x xác định trên R.
Các hàm sau đây được định nghĩa dựa trên hai hàm ( )1f x và ( )2f x
( ) ( ) ( ){ }
( ) ( ) ( ){ }
( ) ( ) ( )
( ) ( ) ( )
1 1 2
2 1 2
3 1 2
4 1 2
ax , ,
min , ,
,
.
h x m f x f x
h x f x f x
h x f x f x
h x f x f x
=
=
= +
= −
Tất cả các hàm trên đều được xác định trong cùng một miền với hàm ( )1f x và
( )2f x .
Hơn nữa, khi ( )1f x và ( )2f x cắt nhau , ta định nghĩa
( ) ( )1 1d x f x= nếu ( ) ( )1 2f x f x< và ( )1 0d x = nếu ( ) ( )1 2 ,f x f x≥
( ) ( )2 2d x f x= nếu ( ) ( )1 2f x f x≥ và ( )2 0d x = nếu ( ) ( )1 2 .f x f x<

39. 31
2.1.1.2 Hệ số chồng lấp
Giả sử ∆ là miền chung của đồ thị hai hàm mật độ ( )1f x và ( )2f x , khi đó ∆
được gọi là miền chồng lấp và độ đo của miền này gọi là hệ số chồng lấp. Kí hiệu
( )esmε= ∆ và được cho bởi ( )2 .
R
h x dxε = ∫
Vì ( )2 0h x ≥ và ( ) ( )1 2,f x f x là hàm mật độ nên 0 1.ε≤ ≤
Khi đồ thị của ( )1f x và ( )2f x rời nhau thì không có miền chung giữa chúng,
khi đó 0ε = .
Khi đồ thị của ( )1f x và ( )2f x đồng nhất với nhau (trừ một tập có độ đo không)
thì
( ) ( )1 2 1.
R R
f x dx f x dxε= = =∫ ∫
Giả sử
( )1 11
R
d d x dx τ= =∫ và ( )2 21
R
d d x dx δ= =∫
khi ( )1f x và ( )2f x cắt nhau.
Khi đó τ và δ là độ đo các miền chung rời nhau phân chia bởi giới hạn tại giao
điểm đồ thị hai hàm mật độ.
Khi đồ thị của ( )1f x và ( )2f x đồng nhất thì miền chung nằm hoàn toàn dưới đồ
thị hàm ( )1f x hoặc ( )2f x , khi đó
( )2 1, 0
R
h xτ δ= = =∫
hoặc ( )2 1, 0.
R
h xδ τ= = =∫
Khi đồ thị của ( )1f x và ( )2f x rời nhau thì 0τ δ= = .
2.1.1.3 Mệnh đề
Trên R cho hai hàm mật độ ( )1f x và ( )2f x bất kỳ, khi đó
i)
4 1
2 1
1 ,
2
h
hε
 
= = −  
 

40. 32
ii) 1 2 31 1 1
,h h h+ =
iii) ,ε τ δ= +
iv) Với 0 1α< < , ta có
( ) ( ) ( )( )
( )1 2 1
1 2
1 1
min , 1 .
2R
f f
f x f x dx
α α
α α
− − −
− =∫
Chứng minh
i) Vì ( )1f x và ( )2f x là các hàm mật độ xác suất nên
( ) ( ) ( ){ }2 1 2min , 0.h x f x f x= ≥
Do đó
( ) ( )2 2 2 1
.
R R
h x dx h x dx hε= = =∫ ∫
Ta có ( ) ( ) ( ) ( )4 1 2 1 21
R R R
h f x f x dx h x dx h x dx= − = −∫ ∫ ∫
và ( ) ( )1 2 2.
R R
f x dx f x dx+ =∫ ∫
Suy ra ( ) ( ) ( ) ( )4 1 2 1 21
2 2.
R R R R
h h x dx h x dx f x dx f x dxε+= + = + =∫ ∫ ∫ ∫
Vậy 4 1
2 1
1 .
2
h
hε
 
= = −  
 
ii) Ta có
( ) ( ) ( ) ( )
( ) ( ) ( )
1 2 1 2 1 21 1
1 2 3 3 1
.
R R R R
R R
h h h x dx h x dx f x dx f x dx
f x f x dx h x dx h
+ = + = +
= + = =
∫ ∫ ∫ ∫
∫ ∫
iii) Nếu đồ thị của ( )1f x và ( )2f x cắt nhau, khi đó
( )
( )
( ) ( ){ }
( )
( ) ( ){ }1 2 1 2
2
2 2
R
f x f x f x f x
h x dx
h x dx h x dx
ε
< ≥
=
= +
∫
∫ ∫
( )
( ) ( ){ }
( )
( ) ( ){ }1 2 1 2
1 2
f x f x f x f x
f x dx f x dx
< ≥
= +∫ ∫

41. 33
( ) ( )1 2 .
R R
d x dx d x dx τ δ= + =+∫ ∫
Nếu đồ thị của ( )1f x và ( )2f x đồng nhất ta có ( )2 1 .
R
h x dxε τ δ= = = +∫
Nếu ( )1f x và ( )2f x rời nhau, ta có 0.ε τ δ= = =
iv) Ta có
( ) ( ) ( )( ) ( ) ( ) ( )( )
( ) ( ) ( )
1 2 1 2
1 2
max , 1 min , 1
1 1
R R
R R
f x f x dx f x f x dx
f x dx f x dx
α α α α
α α
− + −
= + − =
∫ ∫
∫ ∫
và
( ) ( ) ( )( ) ( ) ( ) ( )( )
( ) ( ) ( ) ( )
1 2 1 2
1 2 2 1
max , 1 min , 1
1 1 .
R R
R
f x f x dx f x f x dx
f x f x dx f f
α α α α
α α α α
− − −
= − − = − −
∫ ∫
∫
Suy ra ( ) ( ) ( ) ( )( )2 1 21
1 2 min , 1 1.
R
f f f x f x dxα α α α− − + − =∫
Hay ( ) ( ) ( )( )
( ) 2 1
1 2
1 1
min , 1 .
2R
f f
f x f x dx
α α
α α
− − −
− =∫
Độ đo miền chung ε phản ánh sự gần nhau giữa hai biến ngẫu nhiên cũng như
cho thấy một biểu hiện về khoảng cách 1
L giữa chúng. Nếu ε càng lớn thì hai biến
ngẫu nhiên càng gần nhau và ngược lại.
2.1.2 Sự tương giao của hai hàm mật độ
Hai hàm mật độ bất kỳ có thể cắt nhau tại một hoặc nhiều điểm, các tọa độ điểm
đó là nghiệm của phương trình ( )4 0h x = . Vì thế, ∆ có thể bao gồm một hay một số
miền rời nhau phân chia bởi các giao điểm có được và phép lấy tích phân của ( )2h x
trên các tập con thích hợp của R sẽ cho giá trị của ε .
Để đơn giản trong việc phân tích và tính toán, ở đây chúng ta chỉ xét trường hợp
( )1f x và ( )2f x là hai hàm mật độ mà đồ thị của chúng chỉ có thể cắt nhau tại nhiều
nhất hai điểm, chẳng hạn dạng hàm mà đồ thị chỉ có một đỉnh, dạng tuyến tính,
đều,….

42. 34
Xét hai trường hợp sau
2.1.2.1 Hai hàm mật độ cắt nhau tại một điểm (hay phương trình ( )4 0h x = chỉ
có một nghiệm 0x ). Khi đó ∆ được chia thành hai miền 1∆ và 2∆ (Hình 2.1a).
Ta có ( )
0
2 1 1
x x
h x dx dτ
>
= =∫
và ( )
0
2 2 1
.
x x
h x dx dδ
≤
= =∫
2.1.2.2 Hai hàm mật độ cắt nhau tại hai giao điểm. Giả sử 1 2,x x là hai nghiệm
của phương trình ( )4 0h x = . Không mất tính tổng quát ta giả sử 1 2x x< (Hình 2.1b).
Khi đó ∆ được chia thành hai miền, miền thứ nhất giới hạn bởi hai điểm 1 2,x x và
phần nằm dưới của hai đồ thị hàm số giữa các điểm này, miền còn lại là hợp của hai
miền rời nhau tương ứng bên trái và bên phải của 1x và 2x .
Ta có ( )
( ) ( )1 2
2 1 1
x x x x
h x dx dτ
< ∪ >
= =∫
và ( )
1 2
2 2 1
.
x x x
h x dx dδ
≤ ≤
= =∫
2 1
dδ = 1 1
dτ =
0x
( )1f x ( )2f x
I
*
1Γ
*
2Γ
Hình 2.1a
( )1f x
Hình 2.1b
1x 2x
( )2f x
2 1
dδ =
2cx1cx
1I
2I
1 2 1 1
dτ τ+ =( )1f x
*
2Γ *
2Γ1Γ
1τ 2τ

43. 35
2.1.3 Trường hợp hai tổng thể có phân phối chuẩn và phân phối Beta một
biến
2.1.3.1 Hai hàm mật độ có phân phối chuẩn
Giả sử ( )1f x và ( )2f x lần lượt là hàm mật độ của tổng thể 1H và 2H với 1H ,
2H có phân phối chuẩn một biến ( )2
1 1,N µ σ và ( )2
2 2,N µ σ .
Hàm mật độ trên mỗi tổng thể là:
( )
( )
2
2
1
exp , 1,2 , .
22
i
i
ii
x
f x i x
µ
σσ π
 −
 = − = − ∞ < < ∞
 
 
Xét phương trình
( ) ( )1 2f x f x= ⇔
( )
( )
1
2
ln 0
f x
f x
=
Hay
( ) ( ) ( )2 2 2 2 2 2 2 2 2 2
1 2 1 1 2 2 1 1 2 2
1
1
2 2ln 0
2
x x
σ
σ σ µ σ µ σ µ σ µ σ
σ
− − − − − − 
− − + − − − + = 
 
. (1)
Giải phương trình (1) dựa trên các trường hợp sau
(a) Trung bình khác nhau: Giả sử 1 2.µ µ<
i) Nếu 1 2σ σ σ= = , thì vế phải của (1) là phương trình tuyến tính và chỉ có một
nghiệm 1 2
0
2
x
µ µ+
= . Khi đó,
( )1 .τ δ ξ= = − Φ
Với 2 1
2
µ µ
ξ
σ
−
= và ( )
2
2
1
2
x t
x e dt
π
−
−∞
Φ = ∫ là hàm phân phối tích lũy chuẩn tắc.
ii) Nếu 1 2σ σ≠ , phương trình (1) có hai nghiệm 1 2,x x với
( ) ( )
22 2
1 2 2 1 1 2 1 2
2 2
2 1
, 1,2i
K
x i
µ σ µ σ σ σ µ µ
σ σ
− ± − +
= =
−
và ( )2 2 2
2 1
1
2 ln 0.K
σ
σ σ
σ
 
= − ≥ 
 

44. 36
Giả sử 1 2x x< , khi đó
2 1 1 1
1 1
1 1
2 2 1 2
2 1
2 2
1 ,
.
x x
d
x x
d
µ µ
τ
σ σ
µ µ
δ
σ σ
   − −
= = − Φ + Φ   
   
   − −
= = Φ − Φ   
   
(b) Trung bình bằng nhau: 1 2 .µ µ µ= =
i) Nếu 1 2σ σ≠ thì phương trình ( )ln 0xϕ = có hai nghiệm 1 2,x x đối xứng nhau
qua trung bình µ
1 2 , 1,2,ix E iµ σ σ=± =
với
2
1
2 2
2 1
2ln
0.E
σ
σ
σ σ
= ≥
−
Khi đó
( ) ( )
( ) ( )
1 2 21
2 1 11
1 ,
.
d E E
d E E
τ σ σ
δ σ σ
= = −Φ + Φ −
= = Φ −Φ −
ii) Nếu 1 2σ σ= , khi đó hai phân phối đồng nhất với nhau.
Trong trường hợp này ta có: 1ε = với 0, 1τ δ= = hoặc 1, 0.τ δ= =
2.1.3.2 Hai hàm mật độ có phân phối Beta
Giả sử ( )1f x và ( )2f x lần lượt là hàm mật độ của tổng thể 1H và 2H với 1H ,
2H có phân phối Beta một biến ( )1 1,Beta α β và ( )2 2,Beta α β .
Hàm mật độ xác suất trên mỗi tổng thể là:
( )
( )
( )
11
1
, 1,2 , 0 1.
,
ii
i
i i
x x
f x i x
B
βα
α β
−−
−
= = ≤ ≤
Với ( ) ( )
1
11
0
, 1B x x dx
βα
α β
−−
= −∫ là hàm Beta.
Xét phương trình

45. 37
( ) ( )1 2f x f x= ⇔
( )
( )
( )
( )
1 21 2
1 11 1
1 1 2 2
1 1
, ,
x x x x
B B
β βα α
α β α β
− −− −
− −
=
hay ( )
( )
( )
1 21 2 1 1
2 2
,
1 .
,
B
x x
B
β βα α α β
α β
−−
− =
Tương đương ( )1 .x x A
βα
− =
Trong đó 1 2 1 2,α α α β β β=− =− và
( )
( )
1 1
2 2
,
.
,
B
A
B
α β
α β
=
Đặt , 0k B A
βα
β
= = > , khi đó phương trình trên trở thành
1
.k k
x x B+
− =
Phương trình cuối này có thể giải được trên máy tính, ta tìm được hoành độ
giao điểm của hai hàm mật độ ( )1f x và ( )2f x và từ đó có thể tính được τ và δ .
Việc tính τ và δ dẫn đến việc tính tích phân của hàm Beta
( )
( )
( )
11
0
1
1 ,0 1,
,
x
F x u u du x
B
βα
α β
−−
= − < <∫
với ( )F x là hàm Beta khuyết.
Bằng cách biến đổi bởi công thức tích phân Euler, hàm ( )F x có thể biểu diễn
theo hàm siêu bội:
( ) , , 2 1 1- ,1; 1; .
1
x
x
F x K F
x
α β β α
− 
= + 
− 
Trong đó,
( )
( )
1
, ,
1
,
x
x x
K
B
βα
α β
α α β
−
−
= và hàm ( )
( ) ( )
( )2 1
0
, ; ;
!
n
n n
n n
a b x
F a b c x
c n
∞
=
= ∑ là hàm
siêu bội Gauss với ( ) ( ) ( )1 ... 1n
a a a a n= + + − là hệ số Pochhammer.
Ta có ( )2 1 , ; ;F a b c x là hàm giải tích hội tụ nên sử dụng tính toán gần đúng thứ
n của phép biểu diễn liên phân số được định nghĩa cho tỉ số giữa hai hàm giải tích,
ta nhận được

46. 38
2 1 1- ,1; 1;
1
x
F
x
β α
− 
+ 
− 
≈
1
2
3
4
1
1
1
1
1
...
1+ n
a z
a z
a z
a z
a z
+
+
+
+
.
Trong đó
( )( )
( )( )
( )
( )( )
( )
2 1
2
,
1
1
,
2 2 2 1
1
,
2 1 2
... 1,2,... .
m
m
x
z
x
m m
a
m m
m m
a
m m
m
α β
α α
α β
α α
−
= −
−
− + − −
=
+ − + −
− + + −
=
+ − +
=
Trong trường hợp đặc biệt 1 1 pα β= = và 2 2 qα β= = , hai đồ thị của hàm số
đều đối xứng nhau qua đường thẳng
1
2
x = .
Nếu p q= thì phương trình 1k k
x x B+
− =sẽ có vô số nghiệm.
Nếu p q≠ thì phương trình trên trở thành 2
0x x B− + =, khi đó 1 4 0B− > nên
hai đồ thị của các hàm số sẽ cắt nhau tại hai điểm đối xứng qua
1
2
x = :
1 2
1 1 4 1 1 4
,
2 2
B B
x x
− − + −
= = .
2.1.4 Phân loại phần tử vào một trong hai tổng thể trong R
Trường hợp này phân loại trực tiếp dựa trên đồ thị các hàm mật độ.
Xét trường hợp trên hai tổng thể 1H và 2H , với hai hàm mật độ đơn biến 1f và
2f có sự giao nhau trong miền chồng lấp ∆ , với hệ số chồng lấp 2 1 21 1 1
h d d= + .
1f có thể cắt 2f tại một hoặc hai giao điểm và chúng ta xem xét quy tắc phân loại
cho một phần tử với quan sát y vào một trong hai tổng thể trên.

47. 39
2.1.4.1 Khi không xét đến xác suất tiên nghiệm q của 1H
Giả sử 1f và 2f cắt nhau tại một giao điểm 0x và phân tích nhận dạng đã được
thông qua với điểm ngưỡng cx : Bất kỳ một phần tử với quan sát y được xếp vào
tổng thể 1H nếu cy x≤ và xếp vào 2H nếu cy x> .
Khi phân loại các trường hợp sau có thể xảy ra
( ) ( )1P 11
cx x
f x dx
≤
= ∫ : Xác suất phân loại đúng một phần tử vào tổng thể 1H khi
nó thực sự thuộc 1H .
( ) ( )1P 2 1
cx x
f x dx
>
= ∫ : Xác suất phân loại sai một phần tử vào tổng thể 2H khi
nó thật sự thuộc vào 1H .
( ) ( )2P 1 2
cx x
f x dx
≤
= ∫ : Xác suất phân loại sai một phần tử vào tổng thể 1H khi
nó thật sự thuộc vào 2H .
( ) ( )2P 2 2
cx x
f x dx
>
= ∫ : Xác suất phân loại đúng một phần tử vào tổng thể 2H khi
nó thực sự thuộc 2H .
Định nghĩa. Giá trị nhỏ nhất của tổng xác suất hai phân loại sai được gọi là
sai số Bayes. Ký hiệu .Pe
Ta có
( ) ( ) ( ) ( )
( ) ( ) ( )
1 2
2 2 2
P 2 1 P 1 2
.
c c
c c
x x x x
x x x x R
f x dx f x dx
h x dx h x dx h x ε
> ≤
> ≤
+ = +
≥ + = =
∫ ∫
∫ ∫ ∫
Dấu “=” xảy ra khi 0cx x= . Khi đó Pe ε= .
Nhận xét tương tự được áp dụng trong trường hợp hai hàm mật độ cắt nhau tại
hai điểm 1x và 2x và phân tích nhận dạng được thông qua với điểm ngưỡng 1cx và
2cx : Bất kỳ một phần tử với quan sát y được xếp vào tổng thể 1H nếu 1 2c cx y x≤ ≤
và xếp vào 2H nếu 1 2
,c cy x x ∉   . Khi đó hai xác suất phân loại sai tương ứng

48. 40
( ) ( )
{ } { }2 1
1P 2 1
c cx x x x
f x dx
> ∪ <
= ∫ và ( ) ( )
1 2
2P 1 2 .
c cx x x
f x dx
≤ ≤
= ∫
Tổng xác suất của hai phân loại sai
( ) ( ) ( )
{ } { }
( ) ( )
1 22 1
2 2 2P 2 1 P 1 2 .
c cc c
x x x Rx x x x
h x dx h x dx h x ε
≤ ≤> ∪ <
+ ≥ + = =∫ ∫ ∫
Dấu “=” xảy ra khi 1 21 2,c cx x x x= = .
Khi đó ( ) ( )P 2 1 P 1 2 .Peε τ δ= + = + =
2.1.4.2 Khi xét đến xác suất tiên nghiệm q của 1H
Khi đó tổng xác suất của phân loại sai (TMP) được cho bởi
( ) ( ) ( )TMP P 2 1 1 P 1 2 ,q q= + −
với ( )21 Pq w H− = ∈ là xác suất tiên nghiệm của 2.H
Đặt ( ) ( )1 1k x qf x= , ( ) ( ) ( )2 21k x q f x= − , khi đó phương trình
( ) ( )1 2k x k x= hay
( )
( )
1
2
1
ln ln
f x q
f x q
−
=
có một nghiệm 0 'x hoặc hai nghiệm 1 2', 'x x và phân tích nhận dạng được xác
định giống như trường hợp trên.
Giả sử phân tích nhận dạng đã được thông qua với một hoặc hai điểm ngưỡng
tạo thành các miền 1 2,Γ Γ tương ứng trong R: Bất kỳ một phần tử với quan sát y
được xếp vào tổng thể 1H nếu 1y ∈Γ và xếp vào 2H nếu 2y∈Γ .
Đặt
( ) ( ){ }
( ) ( ){ }
1 1 2
2 1 2
* ,
*
x k x k x
x k x k x
Γ= ≥
Γ= <
và ( ) ( ) ( ){ }1 2min , .g x k x k x=
Khi đó
( ) ( ) ( ) ( ) ( )
* *
2 1 2 1
1 2TMP .
R
k x dx k x dx g x dx g x dx g x dx
Γ Γ Γ Γ
= + ≥ + =∫ ∫ ∫ ∫ ∫

49. 41
Nếu * *
1 1 2 2,Γ =Γ Γ =Γ , khi đó xác suất sai lầm trong phân loại trở thành 1τ và
1δ với
( )
( )
*
2
*
1
1 1
1 2
,k x dx
k x dx
τ
δ
Γ
Γ
=
=
∫
∫
và TMP đạt giá trị nhỏ nhất.
Khi đó sai số Bayes trong phân loại
( ) ( ) ( )( ) 1 2 1
1 1 1 2
1
min , 1 .
2R
k k
Pe qf x q f x dxτ δ
− −
= + = − =∫
2.1.4.3 Xét trường hợp tổng quát của phân tích nhận dạng Bayes có liên
quan đến giá của phân loại sai : ( )2 1C và ( )1 2C
Định nghĩa. ( )C i j là giá của phân loại sai khi phân loại một phần vào tổng
thể iH khi nó thật sự thuộc jH , ( ), 1,2 .i j =
Ta có ( ) ( )0, 0C i j C i j> =nếu .i j=
Định nghĩa. Kỳ vọng giá của phân loại sai, ký hiệu ECM, được cho bởi:
( ) ( ) ( ) ( ) ( )ECM 2 1 2 1 1 1 2 1 2 .qC P q C P= + −
Đặt ( ) ( ) ( ) ( ) ( ) ( ) ( )1 1 2 22 1 , 1 1 2k x qC f x k x q C f x= = − và
( ) ( )
( )
1 1 2
.
2 1
q C
D
qC
−
=
Tương tự như trên phương trình
( ) ( )1 2k x k x= hay
( )
( )
1
2
ln ln
f x
D
f x
=
có một nghiệm hoặc hai nghiệm hay ( ) ( )1 2vàk x k x cắt nhau tại một hoặc hai
giao điểm, khi đó giá trị cực tiểu của ECM đạt được cùng với các giao điểm này và
là sai số Bayes trong phân loại.
Khi 1D = , ta có:
( ) ( ) ( )2 1 1 1 2 .Pe qC q Cε ε= = −

50. 42
Như vậy, trong các trường hợp trên hai tổng thể luôn có sai số Bayes bằng hệ
số chồng lấp của hai hàm mật độ tương ứng, tuy nhiên trong trường hợp tổng quát
khi số tổng thể lớn hơn 2 thì không có điều này.
Chú ý. Trong các trường hợp trên nếu tiên nghiệm q của 1H là một biến ngẫu
nhiên thì trong sự phân loại ta thay q bởi kỳ vọng của nó là ( ).E q Khi đó, sử dụng
các lập luận tương tự ta cũng có hai xác suất phân loại sai được ký hiệu
( )2 1* P H Hτ = và ( )1 2* P H Hδ = với hệ số chồng lấp * * *ε τ δ= + , trong đó *τ và
*δ hình thành dựa trên các miền tạo bởi một hoặc hai giao điểm giữa hai hàm
( ) ( ) ( ) ( )1 2và 1E q f x E q f x −  và
( ) ( ) ( ) ( ){ }1 2* min , 1E q f x E q f x dxε  = − ∫
.
2.2 Phân tích Bayes cho tỷ lệ trộn trong phân loại và nhận dạng hai tổng thể
Giả sử trên hai tổng thể 1H và 2H có phân phối đơn biến tương ứng với hai hàm
mật độ ( )1f x và ( )2f x đã biết, hệ số chồng lấp 2 1 21 1 1
,h d dε τ δ= = + =+ trong
đó 1 21 1
,d d là hai xác suất phân loại sai trên hai tổng thể và khoảng cách
( )1 2 4 21 1 1
2 1f f h h− = = − . Một phân tích nhận dạng tối ưu với yêu cầu phân loại
phần tử vào một trong hai tổng thể đã được nêu ở phần trước.
Giả sử có một tổng thể 3H chứa những phần tử chung của 1H và 2H , kết hợp từ
mỗi tổng thể với tỷ lệ nào đó. Gọi π là tỷ lệ trộn của những phần tử 1H trong 3H
( )0 1π≤ ≤ , khi đó hàm mật độ xác suất của biến ngẫu nhiên X trên tổng thể 3H có
dạng:
( ) ( ) ( ) ( )1 21 ,g x f x f xπ π= + −
trong đó 1 π− là tỷ lệ trộn của những phần tử 2H trong 3H .
Tham số π thường không được biết một cách chính xác, vì vậy vấn đề cần quan
tâm ở đây là ước lượng π . Ước lượng này đã được nghiên cứu bởi McLachlan và
Basford (1988); Everitt (1985). Trước đó James (1978) đã dựa trên thực tế để ước
lượng π nhưng một phương pháp ước lượng đáng chú ý phải kể đến là phương

51. 43
pháp Bayes của nhóm tác giả Pham-Gia, N. Tukkan và A. Bekker (2006), phương
pháp này cho phép chúng ta ước lượng π với giả thiết π có luật phân phối xác suất
tiên nghiệm cụ thể cho trước.
Vì đây là mô hình phân phối nhị thức nên chúng ta sẽ chọn tiên nghiệm có phân
phối Beta: ( ), ,Beta π α β và sử dụng phân tích nhận dạng dựa trên mẫu loại
Bernoulli lấy từ 3H để xác định số phần tử thuộc 1H nằm trong 3H , từ đó tìm phân
phối xác suất hậu nghiệm cho π .
Trong phần còn lại của luận văn chúng ta chỉ xem xét sự lấy mẫu dựa trên mẫu
loại Bernoulli, nhưng nếu cần chúng ta cũng có thể thực hiện cho mẫu loại Pascal
với một sự thay đổi nhỏ.
Không mất tính tổng quát, ta xét trường hợp phân loại trực tiếp dựa trên hai
hàm mật độ. Khi đó sai số Bayes đạt giá trị nhỏ nhất và bằng hệ số chồng lấp ε khi
các điểm ngưỡng được chọn trùng với các giao điểm giữa các hàm mật độ.
2.2.1 Phân phối hậu nghiệm của tỷ lệ π
2.2.1.1 Định lý. Giả sử π là tỷ lệ trộn trong hỗn hợp có hàm mật độ
( ) ( ) ( ) ( )1 21g x f x f xπ π= + − và xác suất sai lầm khi phân loại giữa 1H và 2H là
1 1
d và 2 1
d . Nếu π có phân phối tiên nghiệm ( )f π và với n quan sát từ hỗn hợp,
trong đó có j quan sát thuộc 1H . Khi đó π sẽ có hàm mật độ xác suất hậu nghiệm
là
( )
( )
( ) [ ] [ ]
( )
, . 1 1
,
,
j n j
n j f A B
L n j
π π π
φ π
−
− −
=
trong đó
( )
4 41 1
2 21 1
,
2 2 1
h h
A B
d d
=− =
−
và ( ) ( )( ) ( )
1
0
, 1 1
j n j
L n j f A B dπ π π π
−
= − −∫ .
Chứng minh
Khi lấy một mẫu từ 3H thì xác suất chọn được một phần tử của 1H là θ có dạng

52. 44
( ) ( ) ( ) ( )
( ) ( )
( )
1 1 1 2 1 2
1 21 1
2 1 21 1 1
2 1
1 1
1
,
P H P H H P H P H H
d d
d d d
d M
θ
π π
π
π
= +
= − + −
= + − −
= +
trong đó 1 21 1
1M d d=− − , 1 1
d và 2 1
d lần lượt là xác suất của hai phân loại sai
và ( )1 1P H H là xác suất phân loại một phần tử của 1H vào đúng 1H .
Ta có 4 1
1
2
h
M ε= − = .
Hàm hợp lý khi lấy một mẫu gồm n phần tử từ tổng thể 3H có j phần tử thuộc
1H là
( ) ( ) ( )
( )( ) ( )
( ) ( ) ( ) ( )
2 21 1
2 21 1
, 1
1
1 1 1 ,
n jn j
j
j n j
n
j
n j j n jjn
j
n j
d M d M
d d A B
π θ θ
π π
π π
−
−
− −
= −
= + − −
= − − −

trong đó
( )
4 41 1
2 21 1
, .
2 2 1
h h
A B
d d
=− =
−
Theo phương pháp Bayes, ta xem π như một biến ngẫu nhiên với hàm mật độ
xác suất tiên nghiệm là ( )f π .
Đặt
( ) ( )
( ) ( ) ( )( ) ( )
( ) ( ) ( )
1
0
1
2 21 1
0
2 21 1
,
1 1 1
1 , ,
n j j n jjn
j
n jjn
j
K f n j d
d d f A B d
d d L n j
π π π
π π π π
− −
−
=
= − − −
= −
∫
∫

với ( ) ( )( ) ( )
1
0
, 1 1
j n j
L n j f A B dπ π π π
−
= − −∫ . Khi đó hàm mật độ hậu nghiệm của π
sẽ là

53. 45
( )
( )
( ) ( )
( )[ ] [ ]
( )
,
,
1 1
.
,
n j
j n j
f n j
K
f A B
L n j
π π
φ π
π π π
−
=
− −
=

Định lý đã được chứng minh.
2.2.1.2 Hệ quả. Nếu π có phân phối tiên nghiệm ( ), ,Beta π α β và với n quan
sát từ hỗn hợp, trong đó có j quan sát thuộc 1H . Khi đó:
i) π có hàm mật độ xác suất hậu nghiệm là
( )
( )
( ) [ ] [ ]
( )
( )
,
,
0
, , . 1 1
,
,
j n j
n j
n j
Beta A B
P A B
π α β π π
φ π
−
− −
=
trong đó,
( )
( ) ( )( ) ( )
1
,
0
0
, , , 1 1
j n jn j
P A B Beta A B dπ α β π π π
−
= − −∫
là một đa thức bậc n theo A và B .
ii) Trong trường hợp j n= hoặc 0j = thì ( )
( ),
0 ,n j
P A B quy về đa thức theo A , ký
hiệu ( )
( )0
n
Q A , hoặc theo B , ký hiệu ( )
( )0
n
R B .
iii) Phân phối hậu nghiệm ( )
( ),n j
φ π có trung bình và phương sai được cho bởi
( )
( )
( )
( )
( )
( )
( )
( )
( )
( )( ) ( )
( ) ( )
( ) ( )
( )
( ) ( )
( )( )
,
, 1
,
0
, , ,
0 22
,
0
2
,
1
,
,
1 , ,
, 1
, ,
n j
n j
n j
n j n j n j
n j
n j
P A B
P A B
Var
Var P A B P A B
P A B
P A B
µ µ
π
π α
µ
α µ
=
= + −
−
− +

trong đó ( )
( ) ( )
( ), ,
1 2, , ,n j n j
P A B P A B có dạng tương tự như ( )
( ),
0 ,n j
P A B được xác định
bởi biểu thức
( )
( )
( ) ( ) ( )
( )
1 2
1 2 1 2
2 1
1 2
,
0 0 1 2
, x x ; 0,1,...
! !
m mn j j
m m m mn j
k
m m m m
k j j n A B
P A B k
k m m
α
α β
−
+
= = +
+ − −
=
+ +
∑ ∑
và ( ), Varµ π là trung bình và phương sai được cho bởi phân phối tiên nghiệm Beta.

54. 46
iv) Kỳ vọng mật độ hậu nghiệm của π là
( )
( ) ( )
( ) ( )
( ),
0
,
n
n n n j
V
j
jφ π ψ φ π
=
= ∑
trong đó phân phối dự đoán của V với số lượng phân phối quan sát vào 1H :
( ) ( )
( ) ( ) ( ) ( )
( ),
2 2 01 1
1 , , 0,1,..., .
n jjn n jn
V jP V j j d d P A B j nψ
−
===− =
Chứng minh
i) Ta có π có xác suất tiên nghiệm ( ), ,Beta π α β và hàm hợp lý
( ) ( ) ( ) ( ) ( )2 21 1
, 1 1 1 .
n j j n jjn
jn j d d A Bπ π π
− −
= − − −
Khi đó hàm mật độ hậu nghiệm của π được xác định
( )
( )
( ) [ ] [ ]
( )
( )
,
,
0
, , . 1 1
,
,
j n j
n j
n j
Beta A B
P A B
π α β π π
φ π
−
− −
=
trong đó
( )
( ) ( )( ) ( )
1
,
0
0
, , , 1 1
j n jn j
P A B Beta A B dπ α β π π π
−
= − −∫ .
Vì 0, 0α β> > nên theo định lý Picard ta có sự biểu diễn tích phân sau qua hàm
Appell ( )2
DF
( )
( ) ( )( ) ( )
( )
( )( )
1
,
0
0
2
, , , 1 1
, , ; ; , ,
j n jn j
D
P A B Beta A B d
F j n j A B
π α β π π π
α α β
−
= − −
= − − − +
∫
với ( )2
DF là hàm siêu bội Appell hai biến.
Chuỗi ( )2
DF luôn hội tụ khi có A hoặc B lớn hơn 1 và do hệ số ( ),j n j− − − âm
nên chuỗi chỉ gồm một số hữu hạn. Do đó ký hiệu ( )
( ),
, ; 1,2,..n j
kP A B k = là đa thức
bậc n xác định bởi
( )
( ) ( )
( )( )
( ) ( ) ( )
( )
1 2
1 2 1 2
2 1
1 2
, 2
0 0 1 2
, , , ; ; ,
x x ; 0,1,...
! !
n j
k D
m mn j j
m m m m
m m m m
P A B F k j n j k A B
k j j n A B
k
k m m
α α β
α
α β
−
+
= = +
= + − − − + +
+ − −
=
+ +
∑ ∑

55. 47
với ( )n
a là hệ số Pochhammer.
ii) Khi j n= hoặc 0j = , ta có
( )
( ) ( ) ( )
( ),
0 2 1 0, , ; ;n j n
P A B F n A Q Aα α β= − + =
hoặc ( )
( ) ( ) ( )
( ),
0 2 1 0, , ; ;n j n
P A B F n B R Bα α β= − + = ,
tương ứng là các đa thức chỉ theo A hoặc B .
iii) Với giá trị j cố định, áp dụng định lý Picard và tính toán trực tiếp ta có
trung bình và phương sai hậu nghiệm của π .
( ) ( )
( )
( )
( )
( ) ( ) ( )
( )
( )
( )
( )
( ) ( )
( ) ( ) ( )
( )
( )
( )
( )
( )
( )
( )
( )
1
. ,
0
11
,
00
1
1
,
00
,
1
,
0
,
1
,
0
1 1 11
,,
11
1 1 1
1,
,
,
,
.
,
n j n j
j n j
n j
j n j
n j
n j
n j
n j
n j
d
A B
d
BP A B
A B d
P A B
P A B
P A B
P A B
P A B
βα
βα
µ πφ π π
π π π π
π
α β
α βα
π π π π π
α β α β
α
α β
µ
− −
− −
=
− − −
=
Γ + +
= − − −
+ Γ + Γ
=
+
=
∫
∫
∫
( )
( ) ( )
( ) ( )
( )
( )
( ) ( ) ( )
( )
( )
( )
( )
( )
( )
( )
( )( )
( )
( )
( )
( )
( )( )
1
2
, , ,2
0
111
2
,
,
00
2
, ,
2 1
, ,
0 0
1 1 11
,,
, 1 ,
1, ,
1
n j n j n j
j n j
n j
n j
n j n j
n j n j
Var d
A B
d
BP A B
P A B P A B
P A B P A B
P
βα
π π φ π π µ
π π π π
π µ
α β
α α α
α β α β α β
α β αα
α β
− −+
 = −  
− − −
 −  
 +
= −  
+ + + +  
+ +
=
+
∫
∫
( )
( ) ( )
( ) ( ) ( )
( )
( )( ) ( )
( )
( )
( )
( )( ) ( )
( ) ( )
( ) ( )
( )
( ) ( )
( )( )
2
, , ,
0 2 1
2
,
0
, ,
0 22
,
0
2
,
1
, , 1 ,
1 ,
1 , ,
, 1
, .
n j n j n j
n j
n j n j
n j
n j
A B P A B P A B
P A B
Var
P A B P A B
P A B
P A B
α α β
α β α β
π
α
µ
α µ
 − + +  
 + + +  
= + −
−
− +


56. 48
iv) Ta có hàm dự đoán của V hay phân phối xác suất số lượng các thành công là
một phân phối Nhị thức-Beta, ký hiệu ( ), , , ,B V n π α β xác định bởi
( ) ( )
( ) ( ) ( )
1
0
, , , .n
VP V j j Beta n j dψ π α β π π= = = ∫ 
Khi đó kỳ vọng hàm mật độ hậu nghiệm của π được xác định
( )
( )( ) ( )
( ) ( )
( ) ( )
( )
1
n
n n n n
V V
j
E jφ π φ π φ π ψ
=
= = ∑ ,
trong đó, thay vì π thì xác suất chọn được một phần tử của 1H khi lấy một mẫu từ
hỗn hợp 3H là θ nên
( )
( ) ( ) ( ) ( )( ) ( )
( ) ( ) ( )
( )
1
2 21 1
0
,
2 2 01 1
1 , , 1 1
1 , .
n j j n jjn n
V j
n jj n jn
j
j d d Beta A B
d d P A B
ψ π α β π π
− −
−
= − − −
= −
∫
Nhận xét. Chúng ta có thể xem xét bài toán trên với π có phân phối tiên
nghiệm như một hàm Beta tổng quát:
( ) ( )
( ) ( )
( )
1 1
2 11 1
2 1 11 1
1 21 1
11
, , ; ,1 ,
, 1
d d
Beta d d
B d d
α β
α β
π π
π α β
α β
− −
+ −
− − −
− =
− −
tức là cùng một phân phối Beta như π nhưng thu hẹp trên một khoảng bé hơn bên
trong [ ]0,1 .
Chú ý. Vì phân phối của mẫu thuộc họ phân phối mũ nên ngoài phân phối tiên
nghiệm liên hợp Beta chúng ta cũng có thể sử dụng phân phối tiên nghiệm cùng
dạng như phân phối chuẩn và phân phối mũ để đánh giá tham số. Nhưng vì các
phân phối này xác định trên R nên để thích hợp với tham số ( )0 1π≤ ≤ chúng ta chỉ
xét chúng trên [ ]0,1 .
2.2.1.3 Hệ quả. Nếu π có phân phối tiên nghiệm mũ ( )E b chặt cụt trên [ ]0,1
với tham số 0b > và với n quan sát từ hỗn hợp, trong đó có j quan sát thuộc 1H .
Khi đó
i) π có hàm mật độ xác suất hậu nghiệm

57. 49
( )
( )
( )( ) ( )
( )
[ ]
[ ]
,
1 1
, 0,1
,,
0 , 0,1
j n j
n j
E b A B
I n j
π π
π
φ π
π
−
 − −
∈
= 

∉
trong đó, ( ) ( ) ( )
1
0
, 1 1 .
j n jb
I n j be A B dπ
π π π
−−
= − −∫
ii) Hậu nghiệm ( )
( ),n j
φ π có trung bình và phương sai được cho bởi
( )
( ) ( )
( ) ( )
( )
( )
( )
( )
( ) ( )
( )
( ) ( )
( )
,
,
2
,
1
1, 1 1, ,
,
1
2, 2 1, 1
. , ,
1
1, .
n j
n j
n j
I n j I n j
B A I n j
A B
Var I n j I n j
AB I n j AB B A I n j
I n j
AB
µ
π
µ
 = + + − + −
+
= + + + + + −−
− + − −
Chứng minh
i) Phân phối tiên nghiệm mũ của π chặt cụt trên [ ]0,1 có hàm mật độ
( ) ,
1
b
b
be
f
e
π
π
−
−
=
−
và định nghĩa ( ) 0f π = nếu [ ]0,1π ∉ .
Do đó, hàm mật độ hậu nghiệm của π được xác định
( )
( )
( ) [ ] [ ]
( )
[ ] [ ]
( )
[ ]
, . 1 1
,
1 1
, 0,1
,
j n j
n j
j n jb
f A B
L n j
be A B
I n j
π
π π π
φ π
π π
π
−
−−
− −
=
− −
= ∈
và ( )
( ) [ ],
0 khi 0,1 ,n j
φ π π= ∉
với
( ) ( ) ( )
( )
1
0
1
, 1 1
1
1
, .
1
j n jb
b
b
L n j be A B d
e
I n j
e
π
π π π
−−
−
−
= − −
−
=
−
∫
ii) Vì ( ) ( )
1
1 1A B
B A
π π π = − − − −

58. 50
và ( )( ) ( ) ( )2 1
1 1 1 1 1
A B A B
A B A B
AB B A A B
π π π π π
+ + 
= − − + − + − − − − 
nên tính toán trực tiếp ta có trung bình và phương sai hậu nghiệm của π :
( ) ( )
( )
( ) ( )
[ ] [ ] ( ) ( )
( ) ( )
( ) ( )
1
, ,
0
1
0
1
1 1 1 1
,
1
1, 1 1, .
,
n j n j
j n jb
d
be A B A B d
B A I n j
I n j I n j
B A I n j
π
µ πφ π π
π π π π π
−−
=
 = − − − − − −
 = + + − + −
∫
∫
( )
( ) ( )
( ) ( )
( )
( )
( ) ( )
( ) ( )
( ) ( )
( ) ( ) ( )
( )
1
2
, , ,2
0
1
1 1
0
1
1
0
21 ,
1
1 1
. ,
1 1
. ,
1
1 1
n j n j n j
j n jb
j n jb
j n j n j
Var d
be A B d
AB I n j
A B
be A B
B A AB I n j
A B d
AB
π
π
π π φ π π µ
π π π
π π
π π π µ
+ − +−
+ −−
− +
= −
= − − −
+ − − − −
−
− − − − −

∫
∫
∫
( )
( )
( ) ( )
( )
( ) ( )
( )
2
,
1
2, 2 1, 1
. , ,
1
1, .n j
A B
I n j I n j
AB I n j AB B A I n j
I n j
AB
µ
+
= + + + + + −−
− + − −
Tương tự nếu π có phân phối tiên nghiệm chuẩn ( )2
,N µ σ chặt cụt trên [ ]0,1
với hai tham số ,µ σ và với n quan sát từ hỗn hợp, trong đó có j quan sát thuộc 1H ,
ta cũng có
i) π có hàm mật độ xác suất hậu nghiệm là
( )
( )
( )
( ) ( )
( )
[ ]
[ ]
2
2
2
,
1 1
, 0,1
,
0 , 0,1
j n j
n j
e A B
L n j
π µ
σ
π π
πφ π
π
−
− −

 − −
 ∈= 

 ∉
,
trong đó, ( )
( )
( ) ( )
2
2
1
2
0
, 1 1 .
j n j
L n j e A B d
π µ
σ
π π π
−
− −
= − −∫

59. 51
ii) Hậu nghiệm ( )
( ),n j
φ π có trung bình và phương sai được cho bởi
( )
( ) ( )
( ) ( )
( )
( )
( )
( )
( ) ( )
( )
( ) ( )
( )
,
,
2
,
1
1, 1 1, ,
,
1
2, 2 1, 1
. , ,
1
1, .
n j
n j
n j
L n j L n j
B A L n j
A B
Var L n j L n j
AB L n j AB B A I n j
L n j
AB
µ
π
µ
 = + + − + −
+
= + + + + + −−
− + − −
Chứng minh
Ta có hàm mật độ tiên nghiệm chuẩn của π trên [ ]0,1 :
( )
( )2
2
2
,
e
f
E
π µ
σ
π
−
−
=
với
( )2
2
1
2
0
t
E e dt
µ
σ
−
−
= ∫ và định nghĩa ( ) 0f π = nếu [ ]0,1π ∉ .
Áp dụng tương tự hệ quả trên ta được phân phối hậu nghiệm của π .
Bằng tính toán tương tự ta thay ( ),I n j trong trung bình và phương sai hậu
nghiệm của π có phân phối tiên nghiệm mũ ở trên bởi ( ),L n j ta được trung bình
và phương sai hậu nghiệm của π với phân phối tiên nghiệm chuẩn.
Hệ quả đã được chứng minh.
2.2.2 Phân phối của tỷ lệ trộn π theo xác suất phân loại sai ngẫu nhiên
2.2.2.1 Phân tích π theo xác suất phân loại sai ngẫu nhiên
Trong trường hợp tổng quát, khi các hàm mật độ ( )1f x , ( )2f x phụ thuộc vào
tham số chúng ta sẽ xét phân phối hậu nghiệm của π có liên quan đến hai xác suất
phân loại sai 1 1
d và 2 1
d với giả sử 1 1
d , 2 1
d độc lập với nhau và cùng độc lập
với π .
Vì 1 2 21 1 1
d d h+ =, với 2 1
0 1h≤ ≤ nên 1 21 1
0 1d d≤ + ≤ . Khi đó hàm mật
độ xác suất hậu nghiệm của π có thể thực hiện được khi 1 1
d và 2 1
d có phân phối
bất kỳ xác định trên [ ]0,1 .

60. 52
Dưới đây chỉ xét trường hợp của phân phối Beta , các tính toán tương tự có thể
thực hiện được với các phân phối khác trên [ ]0,1 .
Giả sử π , 1 1
d và 2 1
d là các biến ngẫu nhiên, với
( )
( )
( )
0 0
1 1 1 11 1
2 2 2 21 1
, , ,
, , ,
, , .
Beta
d Beta d
d Beta d
π π α β
α β
α β



Khi đó hàm mật độ tiên nghiệm cho ( )1 21 1
, ,d dπ sẽ là
( )
( ) ( ) ( )
( )
1 201 20
1 111 11
1 2 1 21 1 1 1
1 2 21 1
0
1 1 1
, ,
,i i
i
d d d d
f d d
B
β ββα αα
π π
π
α β
− −−− −−
=
− − −
=
∏
.
Hàm hợp lý
( ) ( )1 2 2 21 1 1 1
, , , 1
j n jn
jd d n j d M d Mπ π π
−
   = + − −    .
Khi đó, với các giá trị cố định của n và j ta có hàm mật độ hậu nghiệm cho
( )1 21 1
, ,d dπ sẽ là
( )
( ) ( )1 2 1 21 1 1 1
1 21 1
, , . , , ,
, , , ,
f d d d d n j
f d d n j
D
π π
π =

trong đó
( ) ( )
1 1
11 1
1 1 2 1 2 21 1 1 1 1 1
0 0 0
, , . , , , .
d
D d d d f d d d d n j d dπ π π
−
= ∫ ∫ ∫ 
Khi đó phân phối hậu nghiệm lề ( ),g n jπ của π đạt được bằng cách lấy tích
phân của ( )1 21 1
, , ,f d d n jπ theo 1 1
d và 2 1
d ,
( ) ( )
1 1
11
1 1 2 21 1 1 1
0 0
, , , , .
d
g n j d d f d d n j d dπ π
−
= ∫ ∫
Từ đó tính được trung bình và phương sai hậu nghiệm của π :
( )
( )
1
,
0
,n j
g n j dµ π π π= ∫

61. 53
và ( )
( ) ( ) ( )
1
2
, ,2
0
Var ,n j n j
g n j dπ π π π µ = −  ∫ .
2.2.2.2 Mệnh đề . Cho n cố định, V thay đổi từ 0 đến n , khi đó phân phối dự
đoán của V là
( ) ( ) ( ) ( )
1
1 0
0
. , 0,1,2,...,n n
V ii f d i nψ π π π= =∫ ;
trong đó, ( ) ( )0 0 0, ,f Betaπ π α β= và ( )1 π xác định bởi
( ) ( ) ( ) ( )
1 1
11
1 1 1 1 1 2 2 2 21 1 1 1 1 1
0 0
, , ,
d
f d d d h d d n j f d d dπ π
−
= ∫ ∫ .
Chứng minh
Ta có
( ) ( )
( )
( )
00
11
0 0 0
0 0
1
, ,
,
f Beta
B
βα
π π
π π α β
α β
−−
−
= = .
Khi xét đến phân phối xác suất của hai phân loại sai 1 1
d và 2 1
d với phân phối
tiên nghiệm Beta như đã nêu ở trên và giả thiết π , 1 1
d và 2 1
d đôi một độc lập với
nhau, ta có hàm mật độ tiên nghiệm
( ) ( ) ( ) ( )1 2 0 1 1 2 21 1 1 1
, ,f d d f f d f dπ π=
và hàm hợp lý
( ) ( )( ) ( )1 2 2 21 1 1 1
, , , 1 .
j n j
n
jd d n j d M d Mπ π π
−
= + − −
Khi đó phân phối dự đoán tiên nghiệm của V được xác định:
( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( )
( ) ( ) ( )
1 1
1 1
11 1
1 2 1 2 2 11 1 1 1 1 1
0 0 0
11 1
1 1 1 1 2 2 2 2 01 1 1 1 1 1
0 0 0
1
1 0
0
, , , , ,
= , , ,
= ,
d
n j
V n
d
j
n
j
n
j f d d d d n j d d d d d
f d d d d d n j f d d d f d
f d
ψ π π π
π π π
π π π
−
−
= ∫∫ ∫
∫∫ ∫
∫



với ( ) ( ) ( ) ( )
1 1
11
1 1 1 1 1 2 2 2 21 1 1 1 1 1
0 0
, , ,
d
f d d d d n j f d d dπ π
−
= ∫ ∫  .