Bài Tập lập trình Lí thuyết thông tin 2

1. DANH SÁCH CÁC CHỦ ĐỀ NGHIÊN CỨU
Đề 1: Tìm hiểu về:
1. Tin tức là gì? Lấy ví dụ
2. Lượng tin của nguồn rời rạc:
- Nguồn rời rạc
- Lượng tin riêng, lượng tin tương hỗ, lượng tin có điều kiện
- Tính chất của lượng tin
- Lượng tin trung bình I(X), Lượng tin tương hỗ trung bình I(X,Y), lượng tin có
điều kiện trung bình I(X/Y)
- Tìm và thiết lập một số bài tập và lời giải hoàn chỉnh liên quan đến nội dung
tìm hiểu (Càng nhiều bài tập thì đánh giá càng cao)
Đề 2: (Đánh giá cao)
Xây dựng chương trình mô phỏng cho đề 1
- Nhập vào một nguồn tin X,Y và xác suất tương ứng p(xi), ma trận các xác
suất điều kiện p(yj,xi)
- Tính lượng tin riêng, lượng tin tương hỗ, lượng tin có điều kiện
- Lượng tin trung bình I(X), lượng tin tương hỗ trung bình I(X,Y), lượng tin
có điều kiện trung bình I(X,Y).
- (Kết hợp cùng đề 1 để làm,
Đề 3: Tìm hiểu về:
1. Entropy của nguồn rời rạc:
- Entropy riêng của lớp tin xi trong nguồn tin XN, Entropy riêng trung bình
- Entropy đồng thời, Entropy có điều kiện
- Tính chất của Entropy, Mối liên hệ giữa các entropy.
2. Thông lượng kênh rời rạc
3. Tìm và thiết lập một số bài tập và lời giải hoàn chỉnh liên quan đến nội dung tìm
hiểu (Càng nhiều bài tập đánh giá càng cao)
Đề 4: (Đánh giá cao)
Xây dựng chương trình cho phép nhập vào:
1. Hai nguồn tin X, Y,
2. xác suất p(xi) của X,
3. các xác suất điều kiện p(yj | xi).
Tính các xác suất p(xi, yj), p(yj), Entropi đồng thời trung bình H(X,Y), Entropy có điều
kiện trung bình H(X/Y).
Đề 5: (Đánh giá cao)
Xây dựng chương trình có các chức năng sau:
1. Cho phép nhập vào nguồn tin X, lưu được vào file và đọc lên từ file.
2. Các xác suất p(xi) của X. Sắp xếp các tin theo thứ tự giảm dần của xác suất.
3. Tính entropy riêng của lớp tin xi, Entropy riêng trung bình hay là Entropy riêng của
nguồn tin XN