2. Noäi dung chính cuûa chöông 2
1. Tin töùc
2. Löôïng tin
3. Ñoä baát ñònh cuûa nguoàn tin
4. Toác ñoä laäp tin
5. Thoâng löôïng keânh
3. 1. Tin töùc
Nguoàn tin laø nôi phaùt ra tin töùc. Tin töùc ñöôïc
phaùt ra laø moät quaù trình ngaãu nhieân.
Moät baûn tin cuï theå laø moät theå hieän cuûa
quaù trình ngaãu nhieân ñoù.
Tin töùc coù hai loaïi:
o Tin töùc lieân tuïc
o Tin töùc rôøi raïc.
Moät baûn tin lieân tuïc hoaøn toaøn töông ñöông
vôùi moät baûn tin rôøi raïc qua ñònh lyù laáy maãu
shannon
Vì vaäy, ñeå ñôn giaûn, ta chæ xeùt tin töùc rôøi raïc.
4. Tin töùc
Taát caû caùc baûn tin cuûa moät nguoàn tin
ñeàu ñöôïc thaønh laäp töø moät boä kyù
hieäu (symbol) cuûa nguoàn tin ñoù.
Goïi boä kyù hieäu naøy laø A, vaø giaû söû
boä kyù hieäu coù m kyù hieäu: a1, a2, …, am.
Ta coù:
A = {ai, i=1..m}
Moät baûn tin X laø daõy caùc kyù hieäu ai
ñöôïc xaép xeáp theo moät thöù töï naøo
ñoù:
X= (x1, x2, …, xn) xi € A
10. Tin töùc
Ví duï 2: Pheùp maõ hoaù trong cô caáu
bieán ñoåi A/D tín hieäu thoaïi:
o Töø boä kyù hieäu: 256 möùc löôïng töû, moãi ai
laø moät möùc löôïng töû
o Sang boä kyù hieäu: {‘0’, ‘1’}
Pheùp giaûi maõ trong cô caáu bieán ñoåi
D/A tín hieäu thoaïi laø pheùp bieán ñoåi
ngöôïc laïi:
o Töø boä kyù hieäu: {‘0’, ‘1’}
o Sang boä kyù hieäu: 256 möùc löôïng töû
11. Löôïng ño tin töùc (löôïng tin)
Heä thoáng truyeàn tin chæ quan taâm tôùi
khaû naêng xuaát hieän maø khoâng quan
taâm tôùi thöù töï xuaát hieän caùc cuûa
caùc kyù hieäu ai.
Moät tin caøng ít xuaát hieän caøng coù giaù
trò.
Tin xuaát hieän caøng nhieàu caøng ít giaù
trò.
Ñeå ñaùnh giaù giaù trò cuûa tin, ngöôøi ta
ñöa ra khaùi nieäm löôïng ño tin töùc (löôïng
12. Ñònh nghóa löôïng tin
Löôïng tin cuûa moät kyù hieäu ai laø moät
haøm I(ai), phuï thuoäc vaøo khaû naêng
xuaát hieän cuûa kyù hieäu ñoù:
o Neáu cô soá laø e thì thöù nguyeân laø nit
o Neáu cô soá laø 10 thì thöù nguyeân laø Harley
o Neáu cô soá laø 2 thì thöù nguyeân laø bit
)
(
log
)
(
1
log
)
( i
i
i a
p
a
p
a
I
13. Löôïng tin rieâng
Cho nguoàn tin {A,P(ai), i=1..m}
Löôïng tin chöùa trong moãi moãi tin ai ñöôïc
goïi laø löôïng tin rieâng cuûa tin ñoù:
)
(
log
)
(
1
log
)
( i
i
i a
p
a
p
a
I
19. Löôïng tin töông hoã
Trong truyeàn tin, neáu keânh truyeàn laø lyù
töôûng, ta seõ coù söï bieán ñoåi lyù töôûng
töø nguoàn {A, p(ai), i=1..n} sang nguoàn
{B,p(bi), i=1..n} laø 1-1
Töùc laø:
o Ñaàu phaùt phaùt tin ai coù löôïng tin I(ai)= -
logp(ai)
o Ñaàu thu thu tin bi coù löôïng tin I(bi)= -logp(bi)
o Thì I(ai) = I(bi)
21. Löôïng tin töông hoã
Trong thöïc teá, caùc keânh truyeàn thöôøng
xuyeân coù nhieãu, laøm cho xaùc suaát thu
ñöôïc caùc tin bi khi phaùt tin ai giaûm
xuoáng.
Phaàn coøn laïi seõ laø xaùc suaát thu ñöôïc
caùc tin bk, k≠ i vaø k=1..n.
26. Löôïng tin töông hoã
Keânh truyeàn coù
nhieãu
a1 b1
a2 b2
ai bi
an bn
.
.
..
.
.
..
.
.
..
.
.
..
27. Löôïng tin töông hoã
Nhö vaäy, khi phaùt ñi nhieàu tin aj, ta ñeàu
coù theå nhaän ñöôïc tin bi vôùi xaùc suaát
xuaát hieän khaùc nhau.
Trong caùc tin aj ñoù coù 1 tin ai ñuùng laø
töông öùng vôùi bi. Caùc tin coøn laïi do
nhieãu taùc ñoäng maø chuyeån thaønh bi.
Vaán ñeà ñaët ra laø phaûi xaùc ñònh ñöôïc
tin ai töông öùng vôùi bi thu ñöôïc.
29. Löôïng tin töông hoã
Vaán ñeà ñöôïc giaûi quyeát baèng caùch tìm
löôïng tin cuûa caùc tin aj chöùa trong tin bi
thu ñöôïc – goïi laø löôïng tin töông hoã giöõa
aj vaø bi.
Tin aj naøo coù löôïng tin töông hoã vôùi bi
lôùn nhaát laø tin ai caàn tìm.
30. Löôïng tin töông hoã
Ñònh nghóa: Löôïng tin töông hoã giöõa aj
vaø bi laø löôïng tin veà aj chöùa trong tin bi
Caùch tính: Löôïng tin töông hoã giöõa aj vaø
bi laø löôïng chöùa trong tin aj tröø ñi löôïng
tin coøn laïi cuûa aj sau khi ñaõ nhaän ñöôïc
tin bi
Kyù hieäu: I(aj ; bi )
31. Löôïng tin töông hoã
Vaäy:
I(aj ; bi ) = I(aj) - I(aj / bi )
= log p(aj / bi ) / p(aj ) (1)
Trong ñoù: I(aj / bi ) laø löôïng tin coù ñieàu
kieän, ñoù laø löôïng tin cuûa aj bò taïp
nhieãu phaù huûy.
32. Löôïng tin töông hoã
Theo coâng thöùc Bayes:
Thay vaøo (1) ta ñöôïc:
Vaäy:
Trong ñoù: p(bi/aj) laø xaùc suaát nhaän ñöôïc tin bi
khi aj ñöôïc truyeàn ñi (ñaëc tính nhieãu cuûa keânh).
n
j
Aj
B
P
Aj
P
Aj
B
P
Aj
P
B
Aj
P
1
)
/
(
).
(
)
/
(
).
(
)
/
(
)
(
1
.
)
/
(
).
(
)
/
(
).
(
log
)
/
(
1
j
n
j j
i
j
j
i
j
i
j
a
p
a
b
P
a
P
a
b
P
a
P
b
a
I
n
j j
i
j
j
i
i
j
a
b
P
a
P
a
b
P
b
a
I
1
)
/
(
).
(
)
/
(
log
)
;
(
33. Tính chaát cuûa löôïng tin
Tính chaát cuûa löôïng tin: coù 3 tính chaát
(xem taøi lieäu, trang 73)
Tính chaát 1:
Tính chaát 2:
Tính chaát 3:
34. Löôïng tin trung bình
Trong thöïc teá, ta khoâng quan taâm tôùi
löôïng tin chöùa trong töøng tin ñôn leû maø
quan taâm tôùi löôïng tin chöùa trong moät
taäp hôïp tin.
Vì vaäy, ngöôøi ta ñöa ra khaùi nieäm löôïng
tin trung bình cuûa moät nguoài tin.
Ñònh nghóa: Löôïng tin trung bình cuûa moät
nguoàn tin laø tin töùc trung bình chöùa trong
moät kyù hieäu baát kyø cuûa nguoàn tin
ñoù.
Kyù hieäu: I(A)
35. Löôïng tin trung bình
Giaû söû coù nguoàn tin {A,P(ai), i=1..n)}
Löôïng tin trung bình ñöôïc tính:
Thöù nguyeân: [bit/kyù hieäu]
n
i i
i
n
i
i
i a
p
a
p
a
p
a
p
A
I 1
1
)
(
log
).
(
)
(
1
log
).
(
)
(
36. Löôïng tin trung bình
Ví duï: Giaû söû coù nguoàn tin {‘0’,’1’} ñaúng xaùc
suaát. Tìm löôïng tin rieâng cuûa töøng kyù hieäu
vaø löôïng tin trung bình cuûa nguoàn
37. Löôïng tin trung bình
Ví du 1ï: Giaû söû coù nguoàn tin {‘0’,’1’} ñaúng
xaùc suaát. Tìm löôïng tin rieâng cuûa töøng kyù
hieäu vaø löôïng tin trung bình cuûa nguoàn
Giaûi
Löôïng rieâng cuûa töøng tin:
I(‘0’) = I(’1’) = log2 1/(1/2) = 1 [bit]
Löôïng tin trung bình cuûa nguoàn:
I(X) = p(‘0’).I(‘0’) + p(‘1’).I(‘1’)
= ½.1 + ½.1 = 1 [bit/kyù hieäu]
Vaäy khi nguoàn ñaúng xaùc suaát thì löôïng tin
rieâng cuûa töøng tin baèng löôïng tin trung bình
cuûa nguoàn.
38. Löôïng tin trung bình
Ví du 2ï: Giaû söû coù nguoàn tin {‘0’,’1’} vôùi xaùc
suaát xuaát hieän caùc kyù hieäu ‘0’ vaø ‘1’ laàn
löôït laø 0,99 vaø 0,01. Tìm löôïng tin rieâng cuûa
töøng kyù hieäu vaø löôïng tin trung bình cuûa
nguoàn
Giaûi
I(‘0’) = log2 1/(0,99) =
I(‘1’) = log2 1/(0,01) = 6,5 [bit]
I(X) = p(‘0’).I(‘0’) + p(‘1’).I(‘1’)
= 0,99.log21/0,99 + 0,01.log21/0,01
= 0,081 [bit/kyù hieäu]
Nhaän xeùt: löôïng tin rieâng cao cuûa ‘1’ nhöng
löôïng tin trung bình raát thaáp.
39. Löôïng tin trung bình
Ví duï 3: Moät nguoàn tin goàm coù boán kyù
hieäu (tin) laø {’00’, ’01’, ’10’, ’11’} ñaúng xaùc
suaát.
o Tìm löôïng tin rieâng vaø löôïng tin trung bình
Ví duï 4: Moät nguoàn tin goàm coù 8 kyù
hieäu (tin) laø {’000’, ’001’, …, ’111’} ñaúng
xaùc suaát.
o Tìm löôïng tin rieâng vaø löôïng tin trung bình
40. Löôïng tin trung bình
Ví duï 5: Moät nguoàn tin goàm coù ba kyù
hieäu (tin) laø {’0’, ’10’,’11’} coù xaùc suaát
nhö sau:
o P(‘0’) = ½; P(’10’) =1/4; P(’11’)=1/4
o Tìm löôïng tin rieâng cuûa töøng tin vaø löôïng tin
trung bình cuûa nguoàn tin.
41. Löôïng tin trung bình
Ví duï 6: Moät nguoàn tin goàm coù caùc kyù
hieäu (tin) laø {’0’, ’10’,’110’,’111’} coù xaùc
suaát nhö sau:
o P(‘0’) = ½; P(’10’) =1/4; P(’110’)=1/8; P(’111’)=1/8
o Tìm löôïng tin rieâng cuûa töøng tin vaø löôïng tin
trung bình?
42. Löôïng tin trung bình
Ví duï 7: Moät nguoàn tin goàm coù caùc kyù
hieäu (tin) laø {a1,a2, a3, a4, a5,a6, a7 } coù
xaùc suaát nhö sau:
o P(a1) = 1/4; P(a2) =1/8; P(a3)=1/8; P(a4)=1/8
P(a5) = 1/16; P(a6) =1/16; P(a7)=1/4
o Tìm löôïng tin rieâng cuûa töøng tin vaø löôïng tin
trung bình?
43. Löôïng tin töông hoã trung bình
Töông töï nhö löôïng tin rieâng, I(aj;bi)chæ
cho bieát löôïng tin cuûa aj chöùa trong bi.
Trong thöïc teá, ta quan taâm tôùi löôïng tin
trung bình cuûa nguoàn A chöùa trong moät
tin baát kyø cuûa nguoàn B – ñöôïc goïi laø
löôïng tin töông hoã trung bình.
Kyù hieäu: I(A;B)
44. Löôïng tin töông hoã trung bình
Löôïng tin töông hoã trung bình ñöôïc tính:
n
i
m
j
i
j
i
j
i
B
A
a
p
b
a
p
b
a
p
a
p
b
a
p
b
a
p
B
A
I 1 1
,
)
(
)
/
(
log
).
.
(
)
(
)
/
(
log
).
.
(
)
;
(
45. Löôïng tin trung bình coù ñieàu
kieän:
Khi truyeàn tin töø nguoàn A sang nguoàn B, moät
phaàn cuûa A bò taïm nhieãu phaù huûy vaø khoâng
tôùi ñöôïc B.
Ñeå ñaùnh giaù möùc ñoä phaù huûy naøy, ta coù
khaùi nieäm löôïng tin trung bình coù ñieàu kieän:
Ñaây chính laø löôïng tin trung bình cuûa nguoàn A
bò maát ñi do taïp nhieãu trong quaù trình truyeàn
sang B.
Vaäy: I(A,B) = I(A) – I(A/B)
n
i
m
j j
i
j
i b
a
p
b
a
p
B
A
I 1 1
)
/
(
log
).
.
(
)
/
(
46. Ñoä baát ñònh cuûa nguoàn
tin
Moät thoâng soá cô baûn cuûa tin töùc laø ñoä baát
ñònh cuûa tin, kyù hieäu: H(ai)
Ñoä baát ñònh cuûa moät tin laø löôïng tin cuûa tin
ñoù nhöng xeùt taïi thôøi ñieåm chöa nhaän ñöôïc tin
naøy.
Nhö vaäy, veà maët giaù trò:
H(ai) = I(ai) = - log2p(ai) [bit]
Ñoä baát ñònh cuûa moät nguoàn tin coù giaù trò
baèng löôïng tin trung bình cuûa nguoàn tin ñoù:
n
i i
i
n
i
i
i a
p
a
p
a
p
a
p
A
H 1
1
)
(
log
).
(
)
(
1
log
).
(
)
(
47. Ñoä baát ñònh cuûa nguoàn
tin
Tính chaát cuûa ñoä baát ñònh:
o H(A) ≥ 0
o H(A) = 0 khi A coù moät kyù hieäu chaéc chaén
xuaát hieän vaø caùc kyù hieäu coøn laïi chaéc
chaén khoâng xuaát hieän.
o H(A) = H(A)max khi caùc kyù hieäu cuûa nguoàn
laø ñaúng xaùc suaát.
48. Ñoä baát ñònh ñoàng thôøi
Ñoä baát ñònh ñoàng thôøi laø ñoä baát
ñònh trung bình cuûa moät caëp (ai,bj) baát
kyø trong pheùp bieán ñoåi töø nguôøn A
sang nguoàn B.
Kyù hieäu: H(AB)
Vaäy:
n
i
m
j
i
j
i
j
i
a
p
b
a
p
b
a
p
AB
H 1 1
)
(
)
/
(
log
).
.
(
)
(
49. Ñoä baát ñònh coù ñieàu
kieän
Ñoä baát ñònh coù ñieàu kieän laø ñoä baát
ñònh trung bình cuûa moät kyù hieäu ai
thuoäc taäp A khi ñaõ bieát moät kyù hieäu
baát kyø bj thuoäc taäp B.
Kyù hieäu: H(A/B)
Vaäy:
n
i
m
j j
i
j
i b
a
p
b
a
p
B
A
H 1 1
)
/
(
log
).
,
(
)
/
(
50. Toác ñoä laäp tin
Ñeå ñaùnh giaù möùc ñoä nhanh chaäm
cuûa quaù trình phaùt tin töø moät nguoàn
tin, ta söû duïng khaùi nieäm toác ñoä laäp
tin cuûa nguoàn tin.
Ñònh nghóa: Toác ñoä laäp tin cuûa moät
nguoàn tin laø löôïng tin maø nguoàn tin ñoù
phaùt ra trong moät ñôn vò thôøi gian.
Kyù hieäu: R(A)
51. Toác ñoä laäp tin
Caùch tính:
R(A) = n0 . H(A) = n0 . I(A)
Thöù nguyeân: [bit/s]
Trong ñoù:
o n0 laø soá kyù hieäu do nguoàn phaùt ra trong
moät ñôn vò thôøi gian.
o H(A) laø ñoä baát ñònh cuûa nguoàn tin.
o I(A) laø löôïng tin trung bình cuûa nguoàn tin.
52. Toác ñoä laäp tin
Ví du 1ï: Giaû söû coù nguoàn tin {‘0’,’1’} ñaúng
xaùc suaát. Nguoàn tin naøy phaùt ra 64.000 kyù
hieäu trong moät giaây. Tìm toác ñoä laäp tin cuûa
nguoàn?
Giaûi
Löôïng tin trung bình cuûa nguoàn:
H(A) = p(‘0’).I(‘0’) + p(‘1’).I(‘1’)
= ½.1 + ½.1 = 1 [bit/kyù hieäu]
n0 = 64.000 kyù hieäu / s
Vaäy: R(A) = n0 x H(A) = 64.000 bit/s = 64 Kbit/s
53. Toác ñoä laäp tin
Ví du 2ï: Giaû söû coù nguoàn tin {a1,a2, a3, a4}
ñaúng xaùc suaát. Nguoàn tin naøy phaùt ra 1.000
kyù hieäu trong moät giaây. Tìm toác ñoä laäp tin
cuûa nguoàn?
Giaûi
Löôïng tin trung bình cuûa nguoàn:
H(A) = [bit/kyù hieäu]
n0 = kyù hieäu / s
Vaäy: R(A) = n0 x H(A) = bit/s
54. Toác ñoä laäp tin
Ví duï 3: Moät nguoàn tin goàm coù caùc kyù
hieäu (tin) laø {a1,a2, a3, a4, a5,a6, a7 } coù
xaùc suaát nhö sau:
o P(a1) = 1/4; P(a2) =1/8; P(a3)=1/8; P(a4)=1/8
P(a5) = 1/16; P(a6) =1/16; P(a7)=1/4
o Nguoàn naøy phaùt ra 5000 kyù hieäu trong moät
giaây. Tìm toác ñoä laäp tin cuûa nguoàn?
