Tài liệu đề cập đến các khái niệm cơ bản trong thông tin học, bao gồm độ đo thông tin, lượng tin tương hỗ, entropi, và mã hóa nguồn. Nó cũng thảo luận về các công thức xác suất, mã sửa sai và các định lý liên quan đến mã hóa, đặc biệt là mã Huffman và giới hạn Hamming. Các nội dung này giúp hiểu rõ hơn về cách truyền tải và tối ưu hóa thông tin trong hệ thống truyền thông.

1. 1. Độ đo thông tin: I ( xi ; y i ) = I ( xi ) + I ( y i ) − I ( xi , y i )
 1 
I ( xi ) = f 
 p( x )  
 i 
9. Lượng tin tương hỗ trung bình
• Nguồn rời rạc
1
I ( xi ) = log = − log p ( xi ) p( xi / y j )
p ( xi ) I ( X ; Y ) = ∑ p ( xi , y j ) log
i, j p ( xi )
2. Lượng tin riêng p ( xi , y j )
= ∑ p ( xi , y j ) log
I ( xi ) = − log p ( xi ) (dvtt) i, j p ( xi ). p ( y j )
p ( y j / xi )
3. Lượng tin riêng của nguồn = ∑ p ( xi , y j ) log
I ( X ) = ∑ p ( xi ).I ( xi ) i, j p( y j )
i I ( X ;Y ) = H ( X ) − H ( X / Y )
= −∑p ( xi ). log p ( xi ) (dvtt/tin) = H ( X ) + H (Y ) − H ( X , Y )
= H (Y ) − H (Y / X )
4. Entropi của nguồn
• Rời rạc 10. Tốc độ lập tin của nguồn
H ( xi ) = I ( xi ) = − log p ( xi ) R( X ) = n0 .H ( X )
H ( X ) = I ( X ) = −∑p ( xi ). log p ( xi ) • Nguồn rời rạc
• Liên tục n0 - Tần số tạo tin của nguồn
H ( X ) = ∫ w( x )dx R ( X ) = F .H ( X )
x Nếu p(xi) = p ∀i
R = F . log( N )
5. Lượng tin đồng thời • Nguồn liên tục
• Rời rạc
R = 2 Fmax H ( X )
I ( xi , y i ) = −log P ( xi , y i )
• Nguồn có giá trị đỉnh hữu hạn
I ( xi , y i ) = I ( xi ) + I ( y i ) − I ( xi ; y i )
I ( X , Y ) = H ( X , Y ) = −∑P ( xi , y i ) log P ( xi , y i )
 X = { x} xmin ≤ x ≤ xmax
i, j
 1
• Liên tục  d( )
I ( X , Y ) = H ( X , Y ) = − ∫ w( x, y ) log w( x, y ) dxdy
 w( x) = w = N = 0
x, y
 dx
R = 2 Fmax log( x max − x min )
6. Độ bất định có điều kiện • Nguồn có công suất trung bình hữu hạn
• Rời rạc
I ( xi / yi ) = −log P ( xi / yi )  X = {x} − ∞ < x < +∞

I ( X / Y ) = H ( X / Y ) = −∑P ( xi , y i ) log P ( xi / y i )  w( x) Ptb < ∞
i, j R = 2 Fmax . log 2Π tb
eP
I (Y / X ) = H (Y / X ) = −∑P ( xi , y i ) log P ( y i / xi )
i, j
11. Thông lượng của kênh
• Liên tục
C = n 0 .I ( X , Y )
H ( X / Y ) = I ( X / Y ) = − ∫ w( x, y ) log w( x / y ) dxdy • Kênh rời rạc
x, y
C = ∆f .H ( X ) max
H (Y / X ) = I (Y / X ) = − ∫ w( x, y ) log w( y / x ) dxdy
• Kênh liên tục
C = 2∆f [ H (Y ) − H ( N )]
x, y
7. Quan hệ giữa các Entropi Thường là nhiễu chuẩn
• H(X,Y) = H(X)+H(Y/X) H ( N ) = log 2ΠeN
= H(X)+H(X/Y) C = 2∆ (log
f 2Π y − log
eP 2Π )
eN
Px S
• H(Y/X) = H(Y) = ∆f log(1 + ) = ∆f log(1 + )
N N
H(Y/X) = H(X)
Nếu X,Y độc lập thống kê 1. Các công thức xác suất
P(B | A) = P(A, B).P(B)
8. Lượng tin tương hỗ
P ( Ai | B ) = P ( Ai , B ) / P ( B )
p ( xi / y i )
I ( xi ; y i ) = H ( xi ) − H ( xi / y i ) = log
p ( xi )

2. P ( B, Ai ).P ( Ai )  2 ≤ n0 ≤ m
= n 
∑P( B, A ).P ( A j )   L − n0  ∈ Z
 m − 1 
j
j =1
 
2. Mã hóa nguồn rời rạc
n0-Số kí hiệu được nhóm
Mô hình (A, p(xi))
X = { x1 ...x L } 4. Giới hạn Hamming về độ dài từ mã chống nhiễu
• Mã phát hiện sai
P ( X ) = ( p ( x1 )... p ( x L ))
Điều kiện: N 1E ≤ R
H ( X ) = −∑ p ( x i ) log 2 p ( x i ) ≤ log 2 L
 t
1  N1E = ∑ C n .( m − 1)
i i
H ( X ) max ⇔ p ( x1 ) = p ( x 2 ) = ... = p( x L ) =
L mà  i =1
H ( X ) max = log 2 L 
 R = mn − mk
• Mã hóa với từ mã có độ dài cố định t
⇒ m n − m k ≥ ∑ C n .(m − 1) i
i
• Độ dài từ mã tối thiểu i =1
R =  log 2 L  + 1 • Mã sửa sai
Điều kiện R ≥ N .N 1E
t
• Hiệu suất mã hóa
⇔ m n − m k ≥ m k .∑ C n ( m − 1) i
i
H(X ) H(X )
= +1 i =1
R  log 2 L  t
⇔ n − k ≥ log m ∑ C n (m − 1) i
i
H ( X ) max
Hiệu suất bằng 1 ⇔ 
i =0
 L =2
k
5. Giới hạn Hamming về quãng cách mã
• Định lý mã hóa nguồn 1:
• Phát hiện sai kênh có số sai t
X: Nguồn rời rạc không nhớ, H(X) hữu hạn.
Với ε > 0 :
d ≥ t +1
• Sửa sai hoàn toàn kênh có có số sai t
 N d ≥ 2t + 1
R = ≥ H ( X ) + ε
Pe→ 0 ⇔  J

 J →∞
R ≤ H ( X ) + ε
P e →1 ⇔ 
 J →∞
• Mã hóa với từ mã có độ dài thay đổi
• Xây dựng bộ mã R min
L
R = ∑ ni . p ( x i ) → min
i =1
• Bất đẳng thức Kraft:
Nếu bộ mã có các từ mã có độ dài tương
ứng là n1<n2<…<nL điều kiện cần và đủ để
mọi bộ mã có tính Prefix:
L
∑2
i =1
−ni
≤1
• Định lý mã hóa nguồn 2:
Có thể xây dựng được một mã hiệu nhị
phân có tính Prefix và có độ dài từ mã trung
bình R thõa mãn bất đẳng thức:
H ( X ) ≤ R ≤ H ( X) +1
3. Mã hóa Huffman
Chọn n0