Phân Tích Phân Biệt, Phân Loại Và Phân Tích Cụm.doc

TẢI TÀI LIỆU KẾT BẠN ZALO
0973.287.149
Nhận viết đề tài trọn gói – ZL: 0973.287.149 –
Luanvanmaster.com
BỘ GIÁO DỤC VÀ ĐÀO TẠO
ĐẠI HỌC ĐÀ NẴNG
LÊ THỊ TUYẾT NHUNG
PHÂN TÍCH PHÂN BIỆT, PHÂN
LOẠI VÀ PHÂN TÍCH CỤM
Chuyên ngành: Phương pháp Toán sơ cấp
Mã số: 60.46.01.13
TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC
Đà Nẵng - Năm 2016

TẢI TÀI LIỆU KẾT BẠN ZALO 0973.287.149
Luanvanmaster.com
Công trình được hoàn thành tại
ĐẠI HỌC ĐÀ NẴNG
Người hướng dẫn khoa học: TS. LÊ VĂN DŨNG
Phản biện 1: TS. LÊ QUỐC TUYỂN
Phản biện 2: PGS.TS. HUỲNH THẾ PHÙNG
Luận văn được bảo vệ tại Hội đồng chấm Luận văn tốt nghiệp
thạc sĩ khoa học họp tại Đại học Đà Nẵng vào ngày 13 tháng 8
năm 2016.
Có thể tìm Luận văn tại:
- Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng
- Thư viện trường Đại học sư phạm, Đại học Đà Nẵng

Luanvanmaster.com
1
M— U
1. T‰nh c§p thi‚t cıa • t i
Ng y nay l thíi ⁄i cıa bòng nŒ thæng tin, sü ph¡t tri”n cıa
c¡c ng nh khoa håc v °c bi»t l sü ph¡t tri”n cıa ng nh khoa håc
m¡y t‰nh ¢ gióp chóng ta thu th“p ÷æc l÷æng dœ li»u r§t
khŒng lç. Vîi mºt sŁ l÷æng dœ li»u lîn nh÷ v“y th… vi»c t…m
hi”u thæng tin tł â l r§t khâ kh«n v phøc t⁄p. V… v“y v§n • xß lþ
sŁ li»u khæng nhœng ÷æc c¡c ng nh khoa håc nghi¶n cøu
m cÆn ÷æc c£ x¢ hºi quan t¥m. â công l lþ do cho sü ra íi v
ph¡t tri”n cıa ng nh ph¥n t‰ch thŁng k¶.
Nhí øng döng cıa bº mæn ph¥n t‰ch thŁng k¶ n y m c¡c ng
nh sinh håc, y håc, kinh t‚, b£o hi”m, ph¥n lo⁄i £nh. . . ¢ câ nhi•u
b÷îc ph¡t tri”n v÷æt b“c. Ph÷ìng ph¡p ph¥n t‰ch ph¥n bi»t
v ph¥n lo⁄i còng vîi ph÷ìng ph¡p ph¥n t‰ch cöm l mºt trong
nhœng ph÷ìng ph¡p xß lþ dœ li»u trong ph¥n t‰ch thŁng k¶
÷æc sß döng phŒ bi‚n.
V… lþ do â, d÷îi sü h÷îng d¤n cıa thƒy L¶ V«n Dông, tæi
chån nghi¶n cøu • t i Ph¥n t‰ch ph¥n bi»t, ph¥n lo⁄i v ph¥n
t‰ch cöm l m lu“n v«n th⁄c s¾ khoa håc cıa m…nh.

Luanvanmaster.com
2
2. Möc ‰ch nghi¶n cøu: Chóng tæi mong muŁn t…m ki‚m
÷æc nhi•u t i li»u tł c¡c nguçn kh¡c nhau, nghi¶n cøu k¾ c¡c t i
li»u â, cŁ g›ng l¾nh hºi mºt sŁ kÿ thu“t ph¥n t‰ch thŁng k¶. Hy
vång lu“n v«n câ th” ÷æc sß döng nh÷ mºt t i li»u tham kh£o
bŒ ‰ch cho sinh vi¶n c¡c tr÷íng ⁄i håc, Cao flng.
3. Łi t÷æng nghi¶n cøu
- Kÿ thu“t ph¥n t‰ch ph¥n bi»t v ph¥n lo⁄i.
- Kÿ thu“t ph¥n t‰ch cöm.
4. Ph⁄m vi nghi¶n cøu: Lu“n v«n nghi¶n cøu c¡c kh¡i
ni»m, ành ngh¾a, ành lþ li¶n quan.
5. Ph÷ìng ph¡p nghi¶n cøu: Cì b£n sß döng ph÷ìng ph¡p
nghi¶n cøu t i li»u (s¡ch, b¡o v c¡c t i li»u tr¶n internet câ li¶n
quan ‚n • t i cıa lu“n v«n) ” thu th“p thæng tin nh‹m h» thŁng l⁄i
c¡c v§n • lþ thuy‚t.
6. BŁ cöc • t i: Nºi dung lu“n v«n gçm hai ch÷ìng:
Ch÷ìng 1: Ki‚n thøc chu'n bà. Tr…nh b y l⁄i c¡c ki‚n thøc
cƒn thi‚t cho ch÷ìng 2, â l c¡c ki‚n thøc v• vectì, ma tr“n, bi‚n
ng¤u nhi¶n v ph¥n bŁ chu'n nhi•u chi•u.
Ch÷ìng 2: Ph¥n t‰ch ph¥n bi»t, ph¥n lo⁄i v ph¥n t‰ch cöm.
Trong ch÷ìng n y câ hai nhi»m vö ch‰nh: thø nh§t l gi£i quy‚t
b i to¡n ph¥n bi»t, ph¥n lo⁄i; thø hai l gi£i quy‚t b i to¡n ph¥n
cöm.

Luanvanmaster.com
3
CH×ÌNG 1
KI N THÙC CHU N BÀ
1.1. VECTÌ V MA TR N
1.1.1. Vectì
1.1.2. Ma tr“n
1.1.3. C«n b“c hai cıa ma tr“n
1.1.4. C¡c b§t flng thøc ma tr“n v maximum
1.2. VECTÌ NG U NHI N
ành ngh¾a 1.2.1. Cho X1; X2; :::; Xn l c¡c bi‚n ng¤u
nhi¶n còng x¡c ành tr¶n khæng gian x¡c su§t ( ; F; P ). K‰ hi»u
X = (X1; X2; :::; Xn) ÷æc gåi l vectì ng¤u nhi¶n n chi•u. D⁄ng
ma tr“n cıa X nh÷ sau
2 3
X
1
X = 6
X2
7 ho°c X
T
= [X1; X2; :::; Xn] 4:::5
Xn
ành ngh¾a 1.2.2. Cho Xij vîi i = 1; 2; :::; m; j = 1; 2; :::; n
l mn bi‚n ng¤u nhi¶n còng x¡c ành tr¶n khæng gian x¡c su§t ( ;
F; P ) th… X = [Xij]m n ÷æc gåi l ma tr“n ng¤u nhi¶n.
1.2.1. H m x¡c su§t çng thíi
N‚u X = (X1; X2; :::; Xn) l vectì ng¤u nhi¶n ríi r⁄c câ mi•n
gi¡ trà X( ) = fxi = (x1i; x2i; :::; xni) : i 1g th… h m

Luanvanmaster.com
4
x¡c su§t çng thíi cıa X l h m p : X( ) ! R x¡c ành bði
p(xi) = P (X = xi):
N‚u X = (X1; X2; :::; Xn) gçm n bi‚n ng¤u nhi¶n li¶n töc v
n‚u tçn t⁄i h m sŁ khæng ¥m f(x) x¡c ành tr¶n Rn
sao cho
vîi måi A = [a1; b1] :::[an; bn] R
n
, P (X 2 A) =
R
A f(x)dx th… f(x)
÷æc gåi l h m m“t º x¡c su§t çng thíi cıa X.
1.2.2. Vectì trung b…nh v ma tr“n hi»p ph÷ìng
sai
Cho vectì ng¤u nhi¶n X = (X1; X2; :::; Xn). Gi£ sß E(Xi) =
i l ký vång cıa Xi, V ar(Xi) = ii = E(Xi i)
2
l ph÷ìng
sai cıa Xi v Cov(Xi; Xj) = ij = E(Xi i)(Xj j) l hi»p
ph÷ìng sai cıa bi‚n Xi v Xj. Khi â = [ 1; 2; :::; n]T
÷æc
gåi l vectì trung b…nh v = [ ij]n ÷æc gåi l ma tr“n hi»p
ph÷ìng sai.
Gåi ij = p
ij
ii jj
â = [ ij]n ÷æc gåi l
l h» sŁ t÷ìng quan cıa Xi v Xj. Khi ma
tr“n t÷ìng quan cıa vectì X.
1.2.3. Chia khŁi ma tr“n hi»p ph÷ìng sai
1.2.4. Vectì trung b…nh v ma tr“n hi»p ph÷ìng sai
cıa tŒ hæp tuy‚n t‰nh c¡c vectì ng¤u nhi¶n
N‚u X1 v X2 l hai bi‚n ng¤u nhi¶n, a v b l c¡c sŁ thüc
th…
(i) E(aX1 + bX2) = aE(X1) + bE(X2)
(ii) V ar(aX1 + bX2) = a2
11 + b2
22 + 2ab 12

Luanvanmaster.com
5
(iii) Cov(aX1; bX2) = ab 12
N‚u C
T
= [c1; c2; :::; cn] l vectì c¡c h‹ng sŁ v X
T
= [X1; X2;
:::; Xn] l vectì ng¤u nhi¶n th… E(C
T
X) = C
T
E(X) = C
T
, V ar(C
T
X) = C
T
cov(X)C = C
T
C.
N‚u C = [cij]m n l ma tr“n c¡c h‹ng sŁ th… E(CX) =
CE(X), cov(CX) = Ccov(X)C
T
1.3. PH N B¨ CHU N NHI U CHI U
ành ngh¾a 1.3.1. Vectì ng¤u nhi¶n X = [X1; X2; :::; Xp]
T
÷æc gåi l câ ph¥n bŁ chu'n p chi•u vîi tham sŁ T
= [ 1; 2; :::; p]
v = [ ij]p p ( > 0) n‚u X câ h m m“t º x¡c su§t çng thíi
f(x) = (2 )p=2j j1=2
exp 2(x )
T 1
(x ) :
1 1
K‰ hi»u X Np( ; ).
1.4. VECTÌ TRUNG B NH M U, MA TR N HI P PH×ÌNG SAI M
U
Gi£ sß x1, x2,...,xn l m¤u ÷æc chån ng¤u nhi¶n tł tŒng
th” X
T
= [X1; X2; :::; Xp].
°t
1
xj = (x1j + x2j + ::: + xnj); j = 1; 2; :::; p:
n
1
n
Xk
sij = n 1 (xki xi)(xkj xj)
=1
sij
rij = p

Luanvanmaster.com
6
Vectì
T
= [ 1
;
2; :::; p] ÷æc gåi l vectì trung b…nh m¤u.
x x x x
Ma tr“n S = [sij]p ÷æc gåi l ma tr“n hi»p ph÷ìng sai m¤u.
Ma tr“n R = [rij]p ÷æc gåi l ma tr“n h» sŁ t÷ìng quan m¤u.
1.5. ×˛C L×ÑNG KH˘NG CH CH
Cho X = [X ]
n p
l m¤u ng¤u nhi¶n cıa X
T
= [X ;X ;:::;X ]
ij 1 2 p
vîi E(X) = v Cov(X) = . Khi â E(X) = ; E(S) = :
H» qu£ 1.5.1. Cho X1; X2; :::; Xn l mºt m¤u ng¤u nhi¶n
tł mºt ph¥n bŁ çng thíi câ vectì trung b…nh v ma tr“n hi»p
ph÷ìng sai . Khi â E( ) = E(X) = ; Cov( ) =1 .
X X
n
V [n=(n 1)]Sn l mºt ÷îc l÷æng khæng ch»ch cıa
1.6.PH N B¨ M U TRUNG B NH M U
ành lþ 1.6.1. Cho X = [Xij]n p l m¤u ng¤u nhi¶n cıa
tŒng th” X câ ph¥n bŁ chu'n p chi•u Np( ; ). Khi â X câ ph¥n bŁ
chu'n Np( ; n ).
ành lþ 1.6.2 ( ành l‰ giîi h⁄n trung t¥m). Cho X = [Xij]n
p l m¤u ng¤u nhi¶n cıa tŒng th” X câ E(X) = v
cov(X) = . Khi â vîi n ı lîn, X câ x§p x¿ ph¥n bŁ chu'n
N
p
( ;
n
).
1.7.NH N D NG PH N B¨ CHU N NHI U CHI U
1.7.1. Sß döng bi”u ç x¡c su§t chu'n
Tł bi”u ç x¡c su§t chu'n cıa c¡c th nh phƒn x1, x2,...,xp câ
th” ch§p nh“n X1, X2,...,Xp câ ph¥n bŁ chu'n 1 chi•u th… lóc

Luanvanmaster.com
7
â ta câ th” ch§p nh“n X câ ph¥n bŁ chu'n.
1.7.2. Ki”m ành - b…nh ph÷ìng
1.8. KI M ÀNH GI THI T V VECTÌ TRUNG B NH

Luanvanmaster.com
8
CH×ÌNG 2
PH NTCHPH NBI T,PH NLO I V PH
NTCHCÖM
2.1.KH INI MPH NTCHPH NBI TV PH N LO I
Ti‚n h nh ph¥n lo⁄i l mºt trong nhœng nhi»m vö cì b£n cıa
khoa håc ” ÷a th‚ giîi v• tr“t tü. V möc ‰ch cıa ph¥n lo⁄i l x¡c
ành xem mºt Łi t÷æng quan s¡t ÷æc s‡ x‚p v o lîp n o.
Kh¡c vîi vi»c ph¥n lo⁄i l ph¥n t‰ch ph¥n bi»t. Ph¥n t‰ch
ph¥n bi»t l mºt kÿ thu“t ph¥n t‰ch sß döng cho vi»c ph¥n bi»t
giœa c¡c lîp.
2.2. PH N LO I HAI L˛P
Gi£ sß tŒng th” ÷æc ph¥n ho⁄ch th nh 2 lîp 1 v 2 v
XT = (X1; :::; Xp) l vectì o p chi•u x¡c ành tr¶n c¡c Łi t÷æng
cıa tŒng th”. K‰ hi»u l mi•n gi¡ trà cıa X. R1 v R2 lƒn l÷æt l
mi•n gi¡ trà cıa X giîi h⁄n tr¶n 1 v 2. Khi â ta câ = R1[R2
v R1 R2 = ;. Ta công gi£ sß r‹ng f1(x) v f2(x) lƒn l÷æt l
h m m“t º cıa X tr¶n 1 v 2 (n‚u X l vectì ríi r⁄c th… f1(x)

Luanvanmaster.com
9
v f2(x) l h m x¡c su§t).
X¡c su§t ph¥n lo⁄i sai mºt Łi t÷æng thuºc lîp 1 v o lîp 2 l
Z
P (2=1) = P (X 2 R2= 1) = f1(x)dx: (2.1)
R2
X¡c su§t ph¥n lo⁄i sai mºt Łi t÷æng thuºc lîp 2 v o lîp 1 l
Z
P (1=2) = P (X 2 R1= 2) = f2(x)dx: (2.2)
R1
K‰ hi»u p1 l x¡c su§t ti•n nghi»m cıa lîp 1. T÷ìng tü, k‰ hi»u
p2 l x¡c su§t ti•n nghi»m cıa lîp 2. Ta câ p1 + p2 = 1.
K‰ hi»u c(2=1) l tŒn th§t g¥y ra khi x‚p Łi t÷æng thuºc lîp 1 v
o lîp 2, c(1=2) l tŒn th§t g¥y ra khi x‚p Łi t÷æng thuºc lîp 2 v o
lîp 1. Ta câ ma tr“n tŒn th§t cho trong b£ng.
X‚p v o lîp
1 2
1 c(1=1) = 0 c(2=1)
Thüc t‚
2 c(1=2) c(2=2) = 0
Khi â tŒn th§t trung b…nh s‡ l
E(CM) = c(2=1)P (2=1)p1 + c(1=2)P (1=2)p2: (2.3)
ành lþ 2.2.1. Mºt Łi t÷æng ÷æc x‚p v o lîp 1 hay 2 ” câ
tŒn th§t trung b…nh E(CM) nhä nh§t khi mi•n R1, R2 ÷æc x¡c
ành nh÷ sau:
R1 = x 2
:
f2(x) c(2=1)
:
p1 (2.4)
f1(x) c(1=2) p2
R2 = x 2
:
f2(x)
<
c(2=1) :p1 :
f1(x) c(1=2) p2

Luanvanmaster.com
10
TŒng x¡c su§t ph¥n lo⁄i sai (TPM )
Z Z
T P M = p1 f1(x)dx + p2 f2(x)dx (2.5)
R2 R1
Ta câ th” x‚p mºt Łi t÷æng mîi x0 v o mºt lîp bði x¡c su§t h“u
nghi»m lîn nh§t P ( i=x0). Theo quy t›c Bay–s
P ( 1=x0) =
p1f1(x0)
(2.6)
p1f1(x0) + p2f2(x0)
v
p2f2(x0)
P (
2
=x
0
) = 1 P (
1
=x
0
) =
p1f1(x0) + p2f2(x0)
Düa v o ti¶u chu'n x¡c su§t h“u nghi»m, ta x‚p x0 v o lîp 1 khi
P ( 1=x0) > P ( 2=x0).
2.3. PH N LO I HAI L˛P C´ PH N B¨ CHU N
Gi£ sß f1(x), f2(x) l h m m“t º cıa ph¥n bŁ chu'n lƒn l÷æt
li¶n k‚t vîi lîp 1, 2 câ vectì trung b…nh 1, 2 v ma tr“n hi»p
ph÷ìng sai 1, 2. Ta x†t c¡c tr÷íng hæp sau:
2.3.1. 1 = 2 =
Gi£ sß h m m“t º cıa X
T
= [X1; X2; :::; Xp] trong 1 v
2 ÷æc cho bði cæng thøc
2 (x i)
T 1
(x i) ; i = 1; 2
f
i
(x) =
(2 )p=2j j1=2
exp
1 1
(2.7)
trong â c¡c tham sŁ 1, 2 v ¢ bi‚t.
ành lþ 2.3.1. Cho hai lîp 1 v 2 lƒn l÷æt câ h m m“t º
cho bði cæng thøc 2.7. Khi â ta câ ph¥n bŒ sau:

Luanvanmaster.com
11
X‚p x0 v o 1 n‚u
( 1 2)T 1x
0 2
(
1 2)T 1
( 1 + 2) ln c(2=1) p1
1 c(1=2) p2
(2.8)
Ng÷æc l⁄i th… x‚p x0 v o 2.
Gi£ sß ta câ n1 Łi t÷æng cıa bi‚n ng¤u nhi¶n nhi•u chi•u
X
T
= [X1; X2; ::; Xp] tł lîp 1 v n2 Łi t÷æng cıa X
T
tł lîp 2,
vîi n1 + n2 2 p. Khi â c¡c ma tr“n dœ li»u t÷ìng øng
X1=
2
x
T 3
;X2 =
2
x
T
3
6
11
7 6
21
7
::: :::
6xT 7 6xT 7
6
12
7 6
22
7
1n1 2n2
4 5 4 5
Tł ma tr“n dœ li»u, vectì trung b…nh m¤u v ma tr“n hi»p ph÷ìng
sai ÷æc x¡c ành nh÷ sau
1 =
1 n1
x1j; S1 =
1 n1 (x
1j 1
)(x
1j 1)
T
x X Xj x x
n1 n1 1
j=1 =1
2
= 1 n2
x2j; S2 =
1 n2
(x2j 2
)(x
2j 2)
T
x X Xj x x
n2 n2 1
j=1 =1
Khi â
1)1
+ (n2 1)
S
1
+
(n1 1)2
+ (n2 1) S2
S
p
=
(n1
n 1 n 1
l mºt ÷îc l÷æng khæng ch»ch cıa .

Luanvanmaster.com
12
×îc l÷æng E(CM) nhä nh§t
Ta x‚p x0 v o 1 n‚u
(x1 x2)T
Sp
1
x0 2
(x
1 x2)T
Sp
1
(x1 + x2) lnc(2=1) p1
1 c(1=2) p2
(2.9)
Ng÷æc l⁄i x‚p x0 v o 2
H» qu£ 2.3.2. K‚t hæp tuy‚n t‰nh y^ = a^
T
x = (x1
x2)T
Sp
1
x tŁi a hâa t sŁ
(y1 y2)2
(^aT
x1 a^T
x2)2
(^aT
d)2
= = (2.10)
2
a^T
Spa^ a^
T
Spa^
s
y
tr¶n t§t c£ c¡c vectì h» sŁ a^ vîi d = (x1 x2). Gi¡ trà lîn nh§t
cıa t sŁ tr¶n l D
2
= (x1 x2)T
Sp
1
(x1 x2):
Chó þ r‹ng
n1 n1 2 n2 2
sy2
=
P
+ n2
P
2
(y2j y2)
j=1
(y1j y1) + j=1
vîi y1j = a^
T
x1j v y2j = a^
T
x2j.
Lu“t ph¥n bŁ düa v o h m ph¥n bi»t Fisher
X‚p x0 v o lîp 1 n‚u
y^0 = (x1 x2)T
Sp
1
x0 m^ =
1
(x1 x2)T
Sp
1
(x1 + x2) (2.11)
2
2.3.2. 1 6= 2
ành lþ 2.3.3. Cho lîp 1 v 2 ÷æc mæ t£ bði h m m“t º
cıa ph¥n bŁ chu'n lƒn l÷æt câ vectì trung b…nh 1, 2 v ma tr“n
hi»p ph÷ìng sai 1, 2. Khi â

Luanvanmaster.com
13
+ X‚p x0 v o 1 n‚u
2x0T ( 1 1
2
1
)x0 + ( 1
T
1
1
2
T
2
1
)x0 k ln c(2=1) p1
1 c(1=2) p2
trong â k = 2 ln jj 2jj + 2(1
T
1
1
1 2
T
2
1
2) (2.12)
1 1 1
+ Ng÷æc l⁄i th… x‚p x0 v o 2.
Quy t›c ph¥n lo⁄i b“c hai
X‚p x0 v o 1 n‚u
2x0T (S1 1 S2
1
)x0 + (x1
T
S1
1
x2
T
S2
1
)x0 k ln c(2=1) p1
1 c(1=2) p2
(2.13)
Ng÷æc l⁄i th… x‚p x0 v o 2.
2.4. NHGI H MPH NLO I
Gi¡ trà nhä nh§t cıa TPM ÷æc gåi l t l» lØi tŁi ÷u (OER),
thu ÷æc b‹ng c¡ch kh†o chån c¡c R1 v R2. Nh÷ v“y, OER l t
l» lØi cho TPM tŁi thi”u.
V• nguy¶n t›c vi»c thüc hi»n h m ph¥n lo⁄i m¤u câ th”
÷æc ¡nh gi¡ b‹ng c¡ch t‰nh to¡n t l» lØi thüc t‚ (AER)
AER = p1
Z
R^2 f1(x)dx + p2
Z
R^1 f2(x)dx
^
v
^
vîi R1 R2 l mi•n ph¥n lo⁄i x¡c ành bði m¤u câ k‰ch th÷îc
lƒn l÷æt l n1 v n2.
Ta ành ngh¾a t l» lØi rª r ng (APER) l t l» c¡c Łi t÷æng
bà ph¥n lo⁄i sai bði h m ph¥n lo⁄i m¤u. Cho lîp 1 câ n1 Łi t÷æng
v lîp 2 câ n2 Łi t÷æng th… ma tr“n nhƒm l¤n câ d⁄ng

Luanvanmaster.com
14
Th nh vi¶n dü o¡n
1 2
Th nh vi¶n 1
n
1C
n
1M
= n
1
n
1C n1
thüc t‚ 2
n
2M
= n
2
n
2C
n
2C n2
trong â
n1C : SŁ c¡c Łi t÷æng lîp 1 x‚p óng v o lîp 1
n1M : SŁ c¡c Łi t÷æng lîp 1 x‚p sai v o lîp 2
n2C : SŁ c¡c Łi t÷æng lîp 2 x‚p óng v o lîp 2
n2M : SŁ c¡c Łi t÷æng lîp 2 x‚p sai v o lîp 1 Khi â
ta câ t l» lØi rª r ng
AP ER =
n
1M
+ n
2M
n1 + n2
2.5. PH N LO I NHI U L˛P
TŒn th§t trung b…nh nhä nh§t
Cho fi(x) l h m m“t º li¶n k‚t vîi lîp i; i = 1; 2; ::; g, pi l x¡c su§t ti•n
nghi»m cıa lîp i v c(k=i) l tŒn th§t g¥y ra khi x‚p Łi t÷æng thuºc
lîp i v o lîp k, °c bi»t vîi k = i, c(i=i) = 0. Gåi Rk l t“p c¡c Łi t÷æng
thuºc lîp k, khi â ta câ x¡c su§t ph¥n lo⁄i sai mºt Łi t÷æng thuºc
lîp i v o lîp k l
Z
P (k=i) = P (X 2 Rk= i) = fi(x)dx: (2.14)
Rk

Luanvanmaster.com
15
vîi i = 1; 2; :::; g v P (i=i) = 1 P
g
P (k=i).
k=1;k6=i
Tł â ta câ tŒn th§t trung b…nh
E(CM) = p1E(CM)(1) + p2E(CM)(2) + ::: + pgE(CM)(g)
= p1 g P (k=1)c(k=1)
!
+ p2 0 g P (k=2)c(k=2)1
X
k g 1 @ X
6=2 A
=2
X
P (k=g)c(k=g)
!
k=1;k
+ ::: + pg
0
k=1
1
g g
X
pi
@ k X6=i A
= P (k=i)c(k=i)
i=1 =1;k
Lu“t ph¥n lo⁄i ” E(CM) nhä nh§t vîi tŒn th§t ph¥n lo⁄i sai
b‹ng nhau
X‚p x0 v o k n‚u
pkfk(x) > pifi(x); vîi måi i 6= k (2.15)
X‚p x0 v o k n‚u
ln pkfk(x) > ln pifi(x); vîi måi i 6= k (2.16)
Ph¥n lo⁄i c¡c lîp câ ph¥n bŁ chu'n
X‚p x v o k n‚u
p 1
ln j kj
1
(x k)
T
k
1
(x k)
ln pkfk(x) = ln pk ln 2
2 2 2
= max ln pifi(x)
Ta ành ngh¾a t¿ sŁ ph¥n bi»t b“c hai cho lîp thø i nh÷ sau
di
Q
(x) =
1
ln j ij
1
(x i)T
i
1
(x i) + ln pi; i = 1; 2; ::; g
2 2
(2.17)

Luanvanmaster.com
16
TPM nhä nh§t khi c¡c i khæng b‹ng nhau X‚p x v
o lîp k n‚u
dk
Q
(x) = max(d1
Q
(x); d2
Q
(x); :::; dg
Q
(x)) (2.18)
vîi d
Q
k(x) ÷æc cho bði cæng thøc 2.17.
×îc l÷æng t¿ sŁ ph¥n bi»t b“c hai
^Q
1
ln jSij
1 T 1
di (x) = (x xi) Si (x xi) + ln pi; i = 1; 2; ::; g
2 2
(2.19)
×îc l÷æng TPM trong tr÷íng hæp i khæng b‹ng
nhau
X‚p x v o lîp k n‚u
^
Q
^
Q
^
Q
^Q
(2.20)
dk (x) = max(d1 (x); d2 (x); :::; dg (x))
^Q
vîi di (x) ÷æc x¡c ành bði cæng thøc 2.19.
Mºt tr÷íng hæp ìn gi£n l ma tr“n hi»p ph÷ìng sai cıa lîp i l
b‹ng nhau. °t i = ; i = 1; 2; :::; g, ta ành ngh¾a t¿ sŁ ph¥n bi»t
tuy‚n t‰nh nh÷ sau
T 1 1 T 1
di(x) = i x i i + ln pi; i = 1; 2; :::; g
2
^
×îc l÷æng di(x) cıa t¿ sŁ ph¥n bi»t tuy‚n t‰nh di(x) düa tr¶n ÷îc
l÷æng gºp cıa .
Sp =
1
[(n1 1)S1+(n2 1)S2+:::+(ng 1)Sg]
n1 + n2 + ::: + ng g
v ÷æc cho bði
^ T 1 1 T 1
di(x) = xi Sp x xi Sp x + ln pi; i = 1; 2; ::; g (2.21)
2

Luanvanmaster.com
17
×îc l÷æng TPM trong tr÷íng hæp i b‹ng nhau X‚p x v
o lîp k n‚u
^ ^ ^ ^
(x))
dk(x) = max(d1(x); d2 (x); :::; dg
^
vîi di(x) ÷æc cho bði cæng thøc 2.21.
X‚p x v o lîp k n‚u
^ T 1 1 T 1
dki(x) = (xk xi) S
p x (xk xi) S
p (xk + xi)
2
i = k
ln pk ;8 6
pi
2.6. ÙNG DÖNG CÕA PH N T CH PH N BI T V PH NLO I
V‰ dö 2.6.1. Bº ph“n tuy”n sinh o t⁄o th⁄c s¾ qu£n trà
kinh doanh ð mºt tr÷íng ⁄i håc ¢ câ k‚t qu£ tuy”n sinh o t⁄o v hå
muŁn düa v o i”m GPA (Grade Point Average) v i”m GMAT
(Graduate Management Admission Test) trong k‚t qu£ tuy”n
sinh ” ti‚n h nh sì tuy”n phöc vö cæng t¡c tuy”n sinh nhœng
n«m ti‚p theo. Düa v o k‚t qu£ tuy”n sinh n«m vła qua, bº ph“n
tuy”n sinh ¢ ph¥n th nh 3 nhâm nh÷ sau: 1 ( ÷æc nh“n hç sì), 2
(khæng ÷æc nh“n hç sì) v 3 (l bi¶n cıa hai nhâm 1 v 2 ). Bº
ph“n tuy”n sinh s‡ ch¿ nh“n hç sì cıa c¡c th‰ sinh thuºc nhâm 1 v
3 ” tham dü k… thi ð vÆng 2.
Gi£ sß n«m tuy”n sinh ti‚p theo, mºt th‰ sinh câ GPA =
3,21 v GMAT = 497. Khi â, bº ph“n tuy”n sinh s‡ ph¥n lo⁄i th‰
sinh n y v o nhâm n o?

Luanvanmaster.com
18
V‰ dö 2.6.2. Tr÷íng THPT chuy¶n ð t¿nh A muŁn düa v
o i”m tŒng k‚t To¡n v i”m trung b…nh chung cıa n«m håc lîp 9
” ti‚n h nh sì tuy”n. Düa v o k‚t qu£ tuy”n sinh cıa 1 n«m n o â
tr÷íng s‡ ti‚n h nh ph¥n th‰ sinh v o 3 nhâm: nhâm 1 ( ÷æc
nh“n hç sì), nhâm 2 (khæng ÷æc nh“n hç sì) v nhâm 3 l nhâm
trung gian giœa 2 nhâm tr¶n. — k… tuy”n sinh ti‚p theo nh
tr÷íng s‡ düa v o i”m tŒng k‚t To¡n v i”m trung b…nh chung
cıa n«m håc lîp 9 ” ti‚n h nh ph¥n lo⁄i ” ch¿ nh“n nhœng th‰
sinh thuºc nhâm 1 v nhâm 3 v o thi tuy”n ð vÆng 2.
2.7.KH I NI M PH N T CH CÖM
Ph¥n t‰ch cöm l c¡c quy tr…nh t…m c¡ch nhâm c¡c Łi
t÷æng ¢ cho v o c¡c cöm, sao cho c¡c Łi t÷æng trong còng mºt
cöm t÷ìng tü nhau (gƒn nhau) v c¡c Łi t÷æng kh¡c cöm th…
khæng t÷ìng tü nhau (khæng gƒn nhau) x†t theo c¡c °c t‰nh
lüa chån ” nghi¶n cøu.
2.8. C C KHO NG C CH TH×˝NG DÒNG
2.9. PH×ÌNG PH P PH N CÖM THEO THÙ B C Lu“n v«n s‡
t“p trung nghi¶n cøu ph÷ìng ph¡p gºp theo
thø b“c v cö th” l ph÷ìng ph¡p k‚t nŁi. C¡ch thüc hi»n:
1. Chia th nh n cöm ìn C1, C2,..., Cn; mØi cöm ch¿ chøa
mºt phƒn tß. L“p mºt ma tr“n kho£ng c¡ch giœa c¡c cöm n y.
2. T…m c°p cöm câ kho£ng c¡ch ng›n nh§t, chflng h⁄n cöm

Luanvanmaster.com
19
Ci v cöm Cj, nh“p hai cöm n y th nh mºt cöm mîi (Ci; Cj) çng thíi
xâa bä cöm Ci v Cj.
3. L°p l⁄i hai b÷îc tr¶n cho ‚n khi cÆn l⁄i mºt cöm th… dłng
l⁄i.
2.9.1. Ph÷ìng ph¡p ph¥n cöm theo thø b“c k‚t nŁi ìn
Cæng thøc t‰nh kho£ng c¡ch giœa hai cöm theo ph÷ìng
ph¡p ph¥n cöm theo thø b“c k‚t nŁi ìn:
dA;B = minfdijg; (2.22)
trong â dij l kho£ng c¡ch giœa hai Łi t÷æng i 2 A v j 2 B.
V‰ dö 2.9.1. Cho ma tr“n kho£ng c¡ch cıa 5 phƒn tß
1 2 3 4 5
1 2 0 3
2 6 9 0 7
D = [dik] = 3 6 3 7 0 0 7
4 6 5 9
5
4 5
11 10 2 8 0
B÷îc 1. Tł ma tr“n kho£ng c¡ch ta câ kho£ng c¡ch giœa
hai phƒn tß 3 v 5 l nhä nh§t n¶n gh†p 3 v 5 th nh mºt cöm (3; 5)
T‰nh kho£ng c¡ch tł c¡c phƒn tß cÆn l⁄i ‚n cöm (3; 5). Nh÷ v“y
ma tr“n kho£ng c¡ch giœa c¡c cöm (3; 5), (1), (2), (4) l
D = [dik] =
(3
1
;5) (3; 5) 1 2 4
2 3 0 3
6
0
7
2 7 9 0
4
4 5
8 6 5 0
B÷îc 2. Kho£ng c¡ch giœa cöm (3; 5) v (1) l ng›n nh§t

Luanvanmaster.com
20
n¶n gh†p hai cöm n y th nh mºt cöm l (1; 3; 5). Ma
tr“n kho£ng c¡ch giœa c¡c cöm (1; 3; 5), (2), (4) l
(1; 3; 5) 2 4
D = [dik] = (1; 3; 5) "0 5 0#
4 6
2 7 0
B÷îc 3. Kho£ng c¡ch giœa cöm (2) v (4) l ng›n nh§t n¶n
gh†p hai cöm n y th nh mºt cöm l (2; 4).
Ma tr“n kho£ng c¡ch giœa c¡c cöm (1; 3; 5), (2; 4)
l (1; 3; 5) (2; 4)
(1; 3; 5)
D = [dik] =
(2; 4)
0
60
B÷îc 4. Gh†p hai cöm (1; 3; 5) v (2; 4) th nh mºt cöm duy
nh§t (1; 2; 3; 4; 5):
2.9.2. Ph÷ìng ph¡p ph¥n cöm theo thø b“c k‚t nŁi ƒy
ı
Cæng thøc t‰nh kho£ng c¡ch giœa hai cöm theo ph÷ìng
ph¡p ph¥n cöm theo thø b“c k‚t nŁi ƒy ı:
dA;B = maxfdijg; (2.23)
trong â dij l kho£ng c¡ch giœa hai Łi t÷æng i 2 A v j 2 B.
2.9.3. Ph÷ìng ph¡p ph¥n cöm theo thø b“c k‚t nŁi
trung b…nh
Cæng thøc t‰nh kho£ng c¡ch giœa hai cöm theo ph÷ìng ph¡p
ph¥n cöm theo thø b“c k‚t nŁi trung b…nh:
1 X X
d
A;B
=
dij; (2.24)
nA:nB
i2A j2B

Luanvanmaster.com
21
trong â dij l kho£ng c¡ch giœa hai Łi t÷æng i 2 A v j 2 B, nA v
nB lƒn l÷æt l sŁ Łi t÷æng câ trong cöm A v B .
2.10. PH×ÌNG PH P PH N CÖM K - TRUNG B NH C¡ch thüc
hi»n
1. Ph¥n chia c¡c Łi t÷æng th nh K cöm ban ƒu.
2. T‰nh to¡n kho£ng c¡ch giœa c¡c Łi t÷æng ‚n t¥m c¡c
cöm (kho£ng c¡ch Euclide).
3. Tł to n bº Łi t÷æng, ph¥n phŁi l⁄i c¡c Łi t÷æng v o cöm
câ kho£ng c¡ch tł t¥m cıa cöm ‚n Łi t÷æng â nhä nh§t.
4. T‰nh to¡n l⁄i c¡c trung t¥m cıa c¡c cöm mîi.
5. L°p l⁄i b÷îc 2 cho ‚n khi khæng cÆn sü ph¥n phŁi l⁄i.
V‰ dö 2.10.1. Cho b£ng sŁ li»u hai chi•u sau:
Łi t÷æng Gi¡ trà quan s¡t
x1
x2
A 5 3
B -1 1
C 1 -2
D -3 -2
Ph¥n chia c¡c Łi t÷æng th nh K = 2 cöm sao cho kho£ng c¡ch tł
Łi t÷æng ‚n t¥m cıa cöm chøa nâ l nhä nh§t.
B÷îc 1. Gi£ sß ta chån A l t¥m cıa nhâm thø nh§t c1(5; 3)
v B l t¥m nhâm thø hai c2( 1; 1).
B÷îc 2. T‰nh kho£ng c¡ch giœa c¡cŁi t÷æng ‚n t¥m c¡c

Luanvanmaster.com
22
cöm. Ta ÷æc ma tr“n kho£ng c¡ch
D
0
=
0 6;32 6;4 9; 43
6; 32 0 3; 61 3; 61
B÷îc 3. Nhâm c¡c Łi t÷æng v o cöm gƒn nh§t

Luanvanmaster.com
G
0
=
1 0 0 0
0 1 1 1
Ta th§y r‹ng sau vÆng l°p thø nh§t, cöm 1 gçm mºt Łi t÷æng
A v cöm 2 gçm c¡c Łi t÷ìng B, C, D.
B÷îc 4. Cöm 1 ch¿ câ mºt Łi t÷æng A n¶n t¥m cöm
khæng Œi. T¥m cöm 2 ÷æc t‰nh nh÷ sau:
c2 = 3 ; 3 = ( 1;5; 1;5):
1 + 1 3 1 2 2
B÷îc 5. T‰nh l⁄i kho£ng c¡ch tł Łi t÷æng ‚n t¥m mîi. Ta
công ÷æc ma tr“n kho£ng c¡ch nh÷ sau
D1 = 6;067 2; 55 2; 55 1; 58
6; 32 6; 4 9; 43
B÷îc 6. Ph¥n phŁi c¡c Łi t÷æng v o cöm

Luanvanmaster.com
G
1
=
1 0 0 0
0 1 1 1
Ta th§y G
0
= G
1
n¶n thu“t to¡n dłng v k‚t qu£ ph¥n cöm nh÷
sau
Łi t÷æng Gi¡ trà quan s¡t Cöm
x1
x2
A 5 3 1
B -1 1 2
C 1 -2 2
D -3 -2 2
CuŁi còng hai cöm cƒn t…m l (A) v (B,C,D).

Luanvanmaster.com
23
2.11. ÙNG DÖNG CÕA PH N T CH CÖM
V‰ dö 2.11.1. Trong x‚p lo⁄i håc lüc, håc sinh ÷æc x‚p th
nh 5 lo⁄i Giäi (GIOI), Kh¡ (KHA), Trung b…nh (TB), Y‚u (YEU),
K†m (KEM). Trong v‰ dö n y chóng tæi sß döng th¶m ph÷ìng
ph¡p ph¥n t‰ch cöm ” câ th¶m mºt gâc nh…n kh¡c trong ¡nh
gi¡, x‚p lo⁄i håc sinh.
V‰ dö 2.11.2. Tr÷íng THPT A muŁn düa v o k‚t qu£ håc
t“p lîp 9 cıa c¡c th‰ sinh tróng tuy”n v o lîp 10 ” ph¥n v o 8 lîp
håc sao cho c¡c håc sinh trong 1 lîp câ k‚t qu£ håc t“p t÷ìng Łi
çng •u nh§t. Khi â câ th” sß döng ph÷ìng ph¡p K - trung b…nh
ph¥n t‰ch th nh 8 cöm.

Luanvanmaster.com
24
KTLUN
Sau mºt kho£ng thíi gian thu th“p t i li»u, nghi¶n cøu v
tŒng hæp, lu“n v«n Ph¥n t‰ch ph¥n bi»t, ph¥n lo⁄i v ph¥n
t‰ch cöm ¢ ho n th nh, lu“n v«n gi£i quy‚t ÷æc hai b i to¡n sau:
1. B i to¡n ph¥n bi»t v ph¥n lo⁄i : Ph÷ìng ph¡p ÷a ra ” gi£i
quy‚t b i to¡n n y l düa v o x¡c su§t ti•n nghi»m v h m m“t º x¡c
su§t ” ÷a ra h m ph¥n bi»t, tł â t‰nh ÷æc x¡c su§t sai lƒm
trong ph¥n lo⁄i.
2. B i to¡n ph¥n cöm: ” gi£i quy‚t b i to¡n ph¥n cöm, lu“n
v«n ¢ ÷a ra hai ph÷ìng ph¡p
- Ph÷ìng ph¡p ph¥n cöm theo thø b“c k‚t nŁi -
Ph÷ìng ph¡p ph¥n cöm K-trung b…nh.
M°c dò ¢ cŁ g›ng nh÷ng do tr…nh º câ h⁄n n¶n lu“n v«n
khæng tr¡nh khäi sai sât, k‰nh mong sü âng gâp þ ki‚n cıa
quþ thƒy cæ v c¡c b⁄n ” lu“n v«n ÷æc ho n thi»n hìn.

Phân Tích Phân Biệt, Phân Loại Và Phân Tích Cụm.doc

Recommended

Recommended

More Related Content

Similar to Phân Tích Phân Biệt, Phân Loại Và Phân Tích Cụm.doc

Similar to Phân Tích Phân Biệt, Phân Loại Và Phân Tích Cụm.doc (20)

More from Dịch vụ viết thuê Luận Văn - ZALO 0932091562

More from Dịch vụ viết thuê Luận Văn - ZALO 0932091562 (20)

Recently uploaded

Recently uploaded (20)

Phân Tích Phân Biệt, Phân Loại Và Phân Tích Cụm.doc