SlideShare a Scribd company logo

Sách HD Lý thuyết thông tin và mã hóa.pdf

•
•
S
style tshirt

Lý thuyết thông tin mã hóa

Art & Photos
1 of 273
Download to read offline
T H 0 N G V A HOA GUYEN iLIEU
VOH V I/M y VA Nil ONQH1 I I A O H J . A T
VU NGOC PHAN l_Y T H U Y ^ T THONG TIN VA MA HOA NHA XUAT BAN Bl/U OIEN Ha Noi, thang 10 - 2006
L d l NOIDAU Ngay nay, cac mang may tinh, mang dien thoai so him tuyen va vo tuyen, mang truyen hinh cap... dang co xu the hoi tu thdnh mang chung, da dich vu, co kha nang chuyen tdi thong tin tich horp vai toe do len den hang tram Mbit/s. Nhin tie gdc do khoa hoc, cac he thong thong tin ngay nay la cac he thong co do phirc tap cau true rat lan va chiu tdc dong cua nhieu loqi nhieu khde nhau. De cac he thong do co the lam viec on dinh va tin cay, dap ung duac yeu cau cua nguai su dung trong viec lieu giu, chuyen tdi vd chia se thong tin, khong the khong dua vao kien thi'cc ve ly thuyet thong tin vd ma hoa. Co the noi, khong co ly thuyet thong tin vd md hoa thi khong the giai quyet duac van de truyen tin chinh xdc tren cac duang truyen ddi hang ngdn km. Nham dap ung nhu cau tim hieu ve ly thuyet thong tin vd md hoa, Nhd xudt ban Buu dien xudt ban cuon sach Ly thuyet thong tin vd md hoa ” cua tdc gid Vu Ngoc Phan giai thieu den ban doc. Ly thuyet thong tin vd md hoa Id cong cu huu hieu de giai quyet nhung van de cong nghe thong tin dang dat ret nhu ndng cao tdc do truyen dan theo thai gian thuc, nen dir lieu, boo mat dir lieu,... Bo cuc cuon sdeh gom 8 chuang. Tu chuang 1 den chuang 7 trinh bay cu the cac cac van de ve ly thuyet thong tin rai rac nhu: luang tin vd En-tro-py, nguon rai rac vd kenh rai rac, md hoa nguon vd md hoa kenh, cac phuang phdp md hoa vd giai md, mat md. Dae biet chuang 8 giai thieu ve ly thuyet thong tin cac he lien tuc duac xem nhu la sir ma rong cua ly thuyet thong tin cac he rai rac. Trong khi trinh bay nhirng noi dung ly thuyet, cuon such dua ra nhirng vi du kha true quan, giiip nguai doc de theo ddi. Ngodi ra cudi cuon such co phdn Phil luc giai thieu mot so chuang trinh mo phong cue thudt loan md hoa viet tren MatLab giup cho ban doc hieu mot each true quan ve cdc md dd neliien ciru.
Cuon sach la tai lieu tham khao rat huu ich cho cac chuyen gui. ky thuat vien, cung nhu can bo giang day va dac biet hoc vien nganh vien thong muon tim hieu nhung kiin thuc co ban va nghien ciru sdu vcrly thuyet thong tin va md hoa. Nha xudt ban xin tran trong giai thieu den ban doc va rat mong nhan duac y kien gop y cua qui vi. M oi y kien gop y xin gui ve Nha xudt ban Buu dien - 18 Nguyen Du, Ha Noi. Tran trong cam cm./. Ha Noi, thang 10 nam 2006 NHA XUAT BAN Bl/U DIEN
Chuang 1 MG DAU 1.1. KHAI QUAT Sau chien tranh the gicri thu hai, co ba ly thuyet ra doi va da cung anh hucmg rat manh me den su phat trien khoa hoc va cong nghe. Do la ly thuyet he thong (System Theory), ly thuyet dieu khien (Control Theory) va ly thuyet thong tin (Information Theory). Trong cuon sach “Five More Golden Rules” xuat ban nam 2000 tai My. khong phai khong co ly khi John L. Casti xep ba ly thuyet tren cung vcri ly thuyet day (Knot Theory) va giai tich ham (Functional Analysis) la nam trong so nhung ly thuyet lan cua the ky XX. Luc dau ly thuyet thong tin duac phat trien chu yeu de phuc vu cho ky thuat truyen tin. Nhung ngay sau do nguai ta nhan ra rang, nhung ung dung cua ly thuyet thong tin khong chi dung lai a ky thuat truyen tin ma a ca cac linh vuc khac nhu sinh y. kinh te, ngon ngu. am nhac, nghe thuat. hoi hoa... Ly thuyet thong tin co vai tro het sue quan trong trong viec nghien cuu cac he thong tu to chuc, tu dieu chinh va tu on dinh. Ly thuyet thong tin. cung vai ly thuyet he thong va ly thuyet dieu khien. da dat nen mong cho qua trinh chuyen doi tir cach tiep can dua tren quan he hinh thuc-noi dung (Form-Content-Relation) sang cach tiep can dua tren quan he cau truc-chuc ndng (Structure-Function- Relation). Cach tiep can sau da gop phan tao ra nhung thanh tuu vo cung to lan cua nhan loai suot nua the ky qua trong viec phan tich va thiet ke he thong, dac biet la cac he thong lan (Large-scale Systems). Vao nam 1948 khi Shannon cong bo ly thuyet thong tin cua minh qua cuon sach noi tieng "A Mathematical Theory of Communication", duang cap lan nhat the giai luc bay gia mai chi cho phep thuc hien dong thai 1800 cuoc thoai. Duai tac dong cua ly thuyet thong tin. 20 nam sau so cuoc thoai dong thai tren duang truyen da la 230.000. Nam 2001 duang cap quang
8 Ly thuyet thong tin va md hoa Ngay nay nguai ta da thira nhan, ben canh qua trinh van dong vat chat la qua trinh van dong thong tin khong kern phan quan trong. Nhu da biet, cac nhiem sac the va chat long trang trung tao thanh bo nha sinh hoc. Ly thuyet thong tin la mot cong cu huu hieu de hieu ban chat cua nhung bo nha sinh hoc nay. Duai goc do cua ly thuyet thong tin ta thay hoat dong cua te bao khong khac gi hoat dong cua mot nha may, trong do nhan te bao la ban giam doc dieu hanh toan bo qua trinh san xuat. cac nhiem sac the la ho so ve qui trinh cong nghe va ke hoach san xuat. te bao chat la nguyen vat lieu, cac en-zim la doi ngu ky su va cong nhan. Neu vi mot ly do nao do, cac thong tin ehua trong nhiem sac the bi sai lech thi hoat dong cua nha may te bao se khong dung ke hoach va qui trinh cong nghe, san pham tao ra khong dam bao tieu chuan ve chat lugng va so lugng, benh tat xuat hien. Nhu da biet, nhiem sac the la mot chuoi rat dai cac phan tu chua thong tin. Trong qua trinh phan chia te bao, cac thong tin phai duac bao toan va chia deu cho ca hai nira (hai te bao mai). Cac thong tin ton tai trong nhiem sac the duai dang ma duac tao nen tu bon phan tu ca sa (ly thuyet thong tin va ma hoa goi la ma hieu). Do la Adenin (ky hieu la A), Thymin (ky hieu la T), Guanin (ky hieu la G) va Cytosin (ky hieu la C). Theo luat so mu cua sir lira chon (Exponential Law of Choice), neu mot nhiem sac the gom mot chuoi L phan tu nu-clein thi se co 4 l cau true khac nhau. Vai L = 100 ta co 4 100 « 1,6 x 1060 cau true nhiem sac the khac nhau. Tren thuc te, mot nhiem sac the co the bao gom hang ngan phan tu nu-clein. Dieu nay giai thich day dii tinh da dang phong phu cua the giai sinh vat. Trong ITnh uc than kinh hoc. nguai ta thay rang mot te bao thAn kinh co the duac mo ta hoan toan bai mot o-to-mat huu han va he than kinh co the xem nhu mot mang cac o-to-mat huu han. Mot na-ron bao gom phan than va cac sy-nap. Cac sy-nap bat dau tir than cua mot na-ron nay va noi tai mot na-ron khac. Cu nhu vay. nhi^u na-ron k^t n6 i vai nhau thanh mot mang na-ron. Moi aa-ron chi co the co hai trana thai. kich hoat (active) hoac khong kich hoat (passive), tucmg duane he nhi phan trong cac may tinh va cac thiet bj dien tu s6 thong dune. Qua trinh liru trCr thong tin trong bo nao duac hinh thanh nha hoat done cua
Chuang 1: Md dau 9 cac sy-nap. Den nay nguai ta biet rang, moi na-ron chira nhieu han 1 bit. Theo Schaefer thi moi na-ron co dung lugng khoang 102 bit. Nhu vay mot bo nao trung binh vai khoang 1010 na-ron co the luu giu 1000 Gbit thong tin. Ly thuyet thong tin cung da tra lai cau hoi, mot he thong tu thich nghi hay mot he thong tu hoc co the co bac bang bao nhieu trong moi truang cua no. Duai goc nhin cudUy thuyet thong tin, nguai ta co the giai thich van de nay mot each kha thuyet phuc. Truac het chung ta tarn sir dung khai niem do du thira va luang tin se duac lam sang to a cac phan sau. Ta dat: r = 1— I I (1.1- 1) Trong bieu thuc (1.1-1), r la do du thira, I la lugng tin thuc te cua nguon tin va Im ax la lugng tin cuc dai co the co. Doi vai cac he thong tu thich nghi hoac cac he thong tu hoc, ta luon co: dr — > 0 hay -- dt Tir (1.1-2) suy ra: f d^ dt - I ai. at iL > o ( 1-1-2 ) dl, r*t > i * m ax - v at (1.1-3) Bieu thirc (1.1-3) noi len mot cach tong quat rang, gia tri ciia trang thai thong tin va su bien thien ciia no lien quan chat che vai nhau. Tir day ta co the rut ra ket luan rang, neu lugng tin cuc dai ciia mot he thong tu thich nghi hay he thong tu hoc khong thay doi thi lugng tin thuc te se giant. NghTa la: dl 1... = const a <0 (1.1-4) Ngugc lai. neu lugng tin thuc te ciia he thong tu thich nghi hay he thong tu hoc khong thay doi thi lugng tin cuc dai kha d! cua no se tang. NghTa la:
10 Ly thuyit thong tin va ma hoa I = const — >—— > 0 (M -5 ) dt Cac bieu thuc rat don gian vira trinh bay tren cho phep giai quyet mot van de da ton tai rat lau trong ljch sir nhan loai nhung chua duac tra lai mot cach thoa dang, do la vi sao cac cau true sinh hoc co kha nang thich ung vai moi truang va tu phat trien. Cac cau true sinh hoc khac cac cau true vo ca a cho no co kha nang chong lai su tang en-tro-py. Nhieu nghien ciru ly thuyet thong tin tren tinh tinh va nguai da di den ket luan, kha nang nhan biet sir vat la ket qua cua mot qua trinh hoc rat da dang. Cac thi nghiem da cho thay rang, mot nguai mu bam sinh co dau oc tucmg doi thong minh, sau khi truang thanh duac phau thuat mat va nhin duac, nhung ho phai can nhieu thang de co the nhan ra cac do vat het sue dan gian, trong khi nguai binh thuang lam duac viec nay ngay tir cai nhin dau tien. Doi vai tinh tinh va tre nho, nhung nghien ciru da cho thay rang, khi quay mot tam giac di mot goc 90 do thi tre nho va tinh tinh cung phai nghieng dau di 90 do mai nhan ra duac. Tom lai, khong co qua trinh hoc thi khong co su giam en-tro-py thong tin. Trong dai song hang ngay, con nguai da tiep xuc vai rat nhieu hien tugng ma ho khong du doan truac duac, hoac chi doan truac duac mot cach m a ho, khong cu the. Mot can loc xoay ap den bat nga. mot tran mua lut chua tirng thay trong lich sir hang tram nam, mot con tau bong nhien mat tich ngoai bien khai. Cac nha ky thuat thuang gap nhirng hien tugng kho chiu ma ho goi la tap am (noise) hoac sir thay doi bat thuang (fluctuation). Tat ca nhung hien tugng tren it nhieu lien quan den khai niem en-tro-py ta vira nhac den va se dugc lam ro dan trong nhirng phan sau cua cuon sach. Xet a mot goc do nao do, muc dich cuoi cung cua ly thuyet thong tin chinh la giup con nguai trong viec lam giam en-tro-py thong tin. Khai niem en-tro-py dung trong ly thuyet thong tin ma chunt; ta vira goi la en-tro-py thong tin, co nguon goc tir khai niem en-tro-p troniz nhiet dong hoc. Dinh luat thir 2 cua nhiet dong hoc chi ra rang, nhiet chi co the truyen tir nai co nhiet do cao han den nai co nhiet do thap hon a khong the ngugc lai. Trong tu nhien. nguai ta nhan thay co hai loai qua
Chuang 1: Ma dau 11 trinh: qua trinh dao nguac duac (Reversible Process) va qua trinh khong dao nguac dupe (Non-Reversible Process). Qua trinh truyen nhiet la mot qua trinh khong dao nguac duac. Chung ta se phac hoa rat so luge khai niem en-tro-py cua nhiet dong hoc. Goi S la trang thai nhiet cua mot he thong va Q la nhiet lugng, ta co: Lay tich phan tir trang thai Si den trang thai S2, ta co: f ^ Q = s 2 - S |= A S (1.1-7) s T AS dugc goi la en-tro-py. Nam 1829, Cac-no, mot nha khoa hoc nguai Phap, da chirng minh rang, trong mot he thong kin, AS > 0. Dinh luat nay ve sau dugc m a rong thanh: trong mot he thong kin, en-tro-py khong tu giam theo nghTa chung nhat. Nhu vay nghTa la, mot he thong khong tiep xuc vai mot he nao khac (khong co quan he trao doi vai moi truang cua no), luon luon co xu hucrng tra ve trang thai xac suat dong deu, trang thai co en-tro-py cuc dai. Trang thai xac suat dong deu la trang thai hoan toan hon loan. Theo dinh luat nay, cac he thong kin cuoi cung se rai vao trang thai hon loan va huy diet. Trong ky thuat do la su hao mon, trong sinh hoc do la su gia coi, trong hoa hoc do la sir phan huy, trong xa hoi do la sir phan hoa, trong lich sir do la sir suy tan. Dieu nay cung dung vai cac he thong thong tin ma a do sir tang en-tro-py thong tin se dan tai sir bat dinh hoan toan. 1.2. NHUNG DINH HITONG CHINH CUA LY THUYET THONG TIN VA MA HOA Ly thuyet thong tin de cap den tat ca cac hinh thai van dong cua thong tin nhu: qua trinh hinh thanh thong tin ciia mot nguon tin. qua trinh thu nhan thong tin, qua trinh bien doi thong tin, qua trinh truyen dan thong tin, qua trinh xir ly thong tin va qua trinh luu trir thong tin. Nhimg qua trinh nay co the dien ra mot cach tuang minh nhu cac qua trinh thong tin trong ky thuat vien thong, nhung cung co khi khong tuang minh nhir
12 Ly thuyit thong tin va nui hoa qua trinh thong tin trong cac te bao cua co the song vira de cap a phan tren. Doi vai qua trinh hinh thanh thong tin cua mot nguon. Iv thuyet thong tin de cap den nhung van de nhu toe do lap tin. do du thua cua nguon va ma hoa nguon. Doi voi qua trinh truyen dan thong tin. ly thuyet thong tin da chi ra rang, hoan toan co the nhan dugc mot ban tin chinh xac qua mot kenh truyen co nhieu. Doi voi qua trinh luu giu thong tin. ly thuyet thong tin chi ra mire do nen thong tin chira trong mot moi truang luu tru. De tiet kiem bo nha, nguai ta co gang giam toi da do du thira cua tep tin can nha. Nhung nguai sir dung may tinh deu rat quen thuoc vai cac tep tin nen duoi ZIP hoac RAR. Thong tin khong ton tai rieng biet ma luon gan lien voi mot vat mang no (Carrier). Vat mang thong tin la mot khai niem tuang doi. Tieng noi la vat mang thong tin khi con nguai noi chuyen vai nhau. Chir viet la vat mang thong tin ciia nha van, nha bao den vai nguai doc. Birc tranh la vat mang thong tin ciia hoa si muon chuyen tai nguai xem. Tren cac may vi tinh, cac bit thong tin dugc mang tren cac xung dien, v.v... Tat ca cac qua trinh trao doi thong tin deu dien ra qua ba buac chinh. Buac 1, ma hoa thong diep tai nguon phat. Buac 2. truyen thong diep qua mot kenh trao doi thong tin. Buac 3, giai ma thong diep tai nai thu. Tai buac 1, thong diep can gui dugc dien ta duai dang mot tap hcrp nhung ky hieu hay tin hieu. Nhirng ky hieu nay co the la tir ngu. not nhac, bieu tugng, cong thirc toan hoc, v.v... Khi noi “xin chao" tire la nguai noi da ma hoa su chao hoi ciia minh vao hai tir do. Khi viet mot ban nhac nguai nhac sT da ma hoa cac am thanh khac nhau qua cac ky hieu am nhac. Ma hoa tro nen huu hieu vi no se dugc truyen den mot nguai hay mot vat khac. Viec truyen thong diep da ma hoa co the thong qua mot la thu viet tay. mot cuoc thoai hay mot thu dien tu, v.v... Tai nai thu, thong diep se dugc giai ma de tra lai dang ban dau no da sinh ra a nguon. Khi nghe thay hai tir "xin chao”. nguai biet tieng Viet se suii md va ho hieu nguai ta dang chao minh. Nguai khong biet tieng :c: se khong the giai ma hai tir "xin chao" va se khong hieu nguon noi ch.. Cn vai minh muon truyen dat thong diep gi vi ho khong biet qui luat ma hoa thong tin trong hai tir do.
Chuang I : Ma dau 13 Theo cach nhin nhan thong thuang, mot tin doi vai nguai nhan co hai dac trung: do bat nga cua tin va y nghTa cua tin. De so sanh hai tin vai nhau, co the lay mot trong hai hoac ca hai dac tinh ke tren. Y nghTa cua tin la mot van de ca nhan thuoc ve nhung nguai cu the muon trao doi thong tin vcri nhau. Vi du, tin “tdi nay tai rap Thang Tam chieu phim khong mat l i e n Doi vai nhung nguai thich xem phim thi day la mot tin quan trong. Nhung doi vai nhung nguai khong thich xem phim thi tin do chang co y nghTa gi. Viec xir ly y nghTa rieng biet cua tin la mot van de ngay nay cung dugc nhieu nguai quan tarn, dac biet la khi xay dung cac he chuyen gia hay tri tue nhan tao. Nhung y nghTa cua mot tin lai khong lam anh hucrng den cac he thong truyen tai, xir ly va luu giur thong tin. Mot dac trung nua cua thong tin la do bat nga cua tin. Vi du, mot tin cang bat nga, sir xuat hien cua no cang hiem thi thai gian no chiem trong he thong truyen tin cang it. Nhu vay, muon nang cao hieu suat cua cac he thong truyen tin, ta khong the coi cac tin nhu nhau neu chung xuat hien nhieu it khac nhau. Do bat nga cua tin co sire cuon hut manh me va nganh bao chi hay khai thac dac diem nay. Ly thuyet thong tin truac het lay do bat nga cua thong tin lam dac trung de so sanh cac tin vai nhau. Nhu vay, mot tin co lugng tin cang lan neu no co do bat nga lan. Dieu nay la hgp ly vi nhan mot tin da biet truac thi coi nhu khong nhan dugc gi' ca. Noi cach khac, neu nguai nhan da biet tin do thi ho can gi phai nhan nua. Chung ta co the coi thong tin la mot dai lugng ngau nhien. Xac suat xuat hien mot tin lien quan den do bat nga cua tin do. Xac suat xuat hien tin cang nho thi do bat nga cang lan. Cung giong nhu nhieu ly thuyet khac. ly thuyet thong tin su dung cac mo hinh toan hoc chu khong sir dung true tiep cac nguon va cac kenh vat ly cu the. Ly thuyet thong tin xem qua trinh thong tin nhu la nhung qua trinh ngau nhien vai nhung dac trung xac suat cho truac hoac khong cho tnrac. Mo hinh nguon la nhung ca che ngau nhien sinh ra cac tin. Nguai ta tlnrang lay dac tinh cua qua trinh ngau nhien tao ra nguon de dat ten cho nguon. thi du nguon dung, nguon Markov. Trong truang hgp nguon rai rac. mo hinh nguon la mot bang an-pha-be gom L chu' cai vai xac suat chu cai do dugc chon ra trong nhung tinh huong nhat dinh nao
14 Ly thuyet thong tin va mu hoa do. Nguon co the con dugc dac trung boi trang thai va cac xac suat chuyen trang thai. Khi thong tin dugc truyen tren kenh (moi truang truyen tin) no thuang chiu tac dong cua nhung nguon tin khong mong muon (nguon nhieu) va do vay mo hinh kenh thuong dugc dac trung qua mo hinh nguon nhieu. Do tin cay cua mot he thong truyen tin la do do xac suat thong diep dugc truyen di dung dan. 0 cac kieu truyen tin chac chan, do tin cay cung co the la do do su xuat hien cua thong diep. Theo ly thuyet thong tin, lugng tin cua mot thong diep khong the tang a bat ky noi nao tren duong truyen tin cay mot khi thong diep da rai nguon phat (su giam en-tro-py thong tin). Han nua. trong cac he truyen tin khong nhieu, khong co thong tin them nao nhan dugc a bo thu neu nhu mot thong diep dugc truyen lai. Ngugc lai, tren cac kenh co nhieu. en-tro-py luon co chieu huang tang. Tuy nhien, doi vai nhung tuyen truyen co nhieu. do tin cay cua su truyen tai co the tang nho do du thua (Redundance). Su tang do tin cay nha do du thua dugc goi la su giam nhieu (Noise Reduction). Chang han. truyen hai lan mot thong diep la bien phap de giam nhieu. Ly thuyet thong tin dem lai mot sir phan tich dinh lugng nhung ca che giam nhieu va gia tri thuc cua viec giam nhieu a cac he th6ng khac nhau. Trong nhung bien phap chong lai tac dong cua nhieu la ma hoa. Day cung chinh la ly do vi sao ma hoa khong tach rai ly thuyet thong tin va de nhan manh tam quan trong cua no. cuon sach nay co ten “ly thuyet thong tin va ma hoa” thay vi “ly thuyet thong tin” nhu cac cu6n sach khac cung loai. 1.3. SO DO TONG QUAT CUA HE THONG TRUYEN TIN Hinh 1.3-1 dien ta so do khoi mot he thong truyen tin (mang nhieu y nghTa ky thuat) thuang gap hien nay. Nhiem vu cua ho md hoa nguon (Source Encoder) la dien ta thone tin dau ra cua nguon duai mot dang thich hop nao do (chang han duai dang mot chuoi cac bit nhi phan). Ma hoa nguon con can thiet de phat hien loi va sua sai trong qua trinh truyen tin. Mot cau hoi quan trone dugc dat ra la. phai tao ra bao nhieu bit nhi phan trong mot dan i thai
Chuang 1: M a dau 15 gian de dien ta dau ra cua cac mo hinh nguon khac nhau. Ducmg nhien, neu 6 dau phat thong tin dugc ma hoa thi a dau thu phai co bo giai md nguon (Source Decoder) de thu dugc thong tin nguyen thuy. Bo md hoa kenh (Channel Encoder) va bo giai md kenh (Channel Decoder) cho phep nang cao do chinh xac cua cac chuoi thong tin tir bo ma hoa nguon di qua kenh den noi nhan. Ngoai ra ma hoa kenh con co the lam tang thong lugng kenh. Cau hoi quan trong nhat cua ma hoa kenh la, phai ma hoa nhu the nao de xac suat giai ma sai duai tac dong cua nhieu la nho nhat. Hinh 1.3-1: Sa do khoi cua he thong truyen tin Tir goc do ung dung, viec tach biet cac bo ma hoa va giai ma cho nguon va kenh la rat tien lgi. Bai vi cac kenh truyen tin hien nay phan lan truyen cac tin hieu nhi phan va viec thiet ke cac bo ma hoa va giai ma kenh hoan toan doc lap vai viec thiet ke cac bo ma hoa va giai ma nguon. Dieu nay rat can thiet cho viec ghep cac nguon khac nhau len cung mot kenh. Han nua. doi hoi ve do chinh xac trong truyen tin cung khac nhau doi vai cac nguon khac nhau. Chang han cac thong tin co ban chat am thanh (dien thoai) khong can do chinh xac cao nhu cac thong tin co ban chat du lieu (data). Ngay nay cac kenh truyen tin mang tinh cong nghe nhu mang vien thong B-1SDN hay NGN thuang dugc dung de truyen cac thong tin da phuang tien (Multimedia Information) vai nhung yeu cau ve chat lugng khac nhau va do do da hinh thanh cac giao thuc truyen tin khac nhau. Do dac diem vat ly cua moi truang truyen tin. khi truyen tin
16 Ly thuyit thong tin va md hoa di xa. ngucri ta phai dieu che cac tin hieu (vat mang) thong tin. Chang han cac tin hieu truyen hinh so phat vao khong trung la cac thong tin da duac dieu che bai cac song dien tir vai tan so rat cao. Nhin a goc do ciia ly thuyet thong tin, cac giao thuc truyen tin, cac phuang phap ma hoa, cac phucmg phap dieu che tin hieu,... khong gi khac la nhirng giai phap ngSn chan su tang en-tro-py thong tin trong qua trinh van dong cua no. Tuy nhien cung can phai lam ro mot van de la, khong phai luc nao cung co the dien ta cac qua trinh thong tin dua tren viec ap dung sa do khoi a hinh 1.3-1. Chang han, khong the ap dung so do khoi hinh 1.3-1 de nghien ciru cac qua trinh truyen tin trong ca the sinh vat. Bai vi, nhu trong phan tren da neu, cac bo phan nguon va kenh cung nhu cac chirc nang ma hoa va giai ma duac ket hop trong mot tong the het sire phirc tap, khong the de dang phan biet. Mac dau vay sa do he thong truyen tin neu tren van giCr mot vai tro dac biet trong suot cuon sach nay vi no duac viet chu yeu cho nhung nguai hoat dong tren lmh vuc vien thong va cong nghe thong tin. Hai ca cau trong so do khoi hinh 1.3-1 se duac de cap nhieu trong cac phan tiep theo la nguon va kenh. Viec nghien ciru nguon va kenh duai goc nhin ciia ly thuyet thong tin, chung ta se dua chu yeu vao cac mo hinh toan hoc chir khong quan tam den cac nguon va kenh vat ly cu the. Day la viec lam can thiet bai vi cung nhu ly thuyet he thong hay ly thuyet dieu khien, mo hinh toan hoc giiip cho viec phan tich cac tinh chat ciia doi tugng de dang va hieu qua hern. 1.4. NHLrNG KIEN THLfC CO SO VE XAC SUAT VA QUA TRINH NGAU NHIEN Nhu tren vira nhac den. ly thuyet thong tin sir dung nhi£u mo hinh toan hoe dac biet la mo hinh ngau nhien. Muc dich ciia phdn nay la giup nguai doc. jiac biet nhung nguai khong co diSu kien nghien ciru ky mon ly thuyet xac suat va qua trinh ngau nhien, de dang trong viec tiep can Iv thuyet thong tin. 1.4.1. Phep thirva bien co Viec thuc hien mot so cac dieu kien ca sa roi quan sat xem hien tugng gi se xay ra va xay ra nhu the nao goi la thirc hien mot phep thu
Chuang 1: Ma dau 17 Vi du ta dat len mot dau day dan mot tin hieu dien co dang hinh sin voi tan so 1000 Hz roi do xem tin hieu a dau kia cua day dan xuat hien nhu the nao. Ngudi ta thuang dat cho moi phep thu mot cai ten de phan biet, thi du “phep tung dong xu”, “phep tung con xuc xac”, hay tong quat han, “phep thu a ”, “phep thu P”, v.v... Nhung hien tuang co the xay ra khi phep thu dugc tien hanh goi la bien co. Nguai ta phan biet ba loai bien co sau: • Bien co luon luon xay ra moi lan lap lai phep thu dugc goi la bien co chdc chan xay ra. Vi du, tung mot vat ran len trai chac chan no se rai tra lai xuong mat dat; tha mot mieng xop xuong nuac chac chan no se noi. • Bien co khong bao gia xay ra du co lap lai phep thu bao nhieu lan tiiy y dugc goi la bien co khong the xay ra. Vi du, cho ga ap trung da luoc chin chac chan khong the nao no ra ga con. • Bien co khi thi xay ra. khi thi khong xay ra dugc goi la bien co ngau nhien. Vi du, khi quay chiec non cua chuang trinh “Chiec non ky dieu” tren VTV3 cua Dai Truyen hinh Viet Nam, khong ai co the noi truac, trong mot lan quay mui kim co chi vao o “phan thuang” hay khong. Viec phan biet ba loai bien co tren day khong can thiet va mang tinh chat tuang doi. Vi rang, nhu sau nay se thay, bien co chac chan xay ra co the xem la bien co ngau nhien vai xac suat xuat hien bang 1, bien co khong the xav ra co the coi la bien co ngau nhien vai xac suat xuat hien bang 0. Nguai ta thuang dung cac chu cai hoa de chi cac bien co. Vi du, bien co A, bien co B|, bien co B?,... 1.4.2. Djnh nghTa xac suat Kha nang khach quan xuat hien bien co ngau nhien khi thuc hien phep thu dugc goi la xac suat xuat hien hay xac suat cua bien co. Co nhieu cach dinh nghTa xac suat khac nhau. chang han xac suat dugc cac nha toan hoc dinh nghTa kha trim tugng nhu la mot do do trong truang a (khong gian metric). Chung ta xet mot vai dinh nghTa mang tinh true giac thuang dugc su dung.
18 Ly thuyet thong tin vd md Iwa Dinh nglila 1.4-1: Xac suat xudt hien hien co A Id ty so giiia cac ket cuc thuan loi cho A vd long so cac ket cuc duy nhat dong kha nang co the co khi thuc hien mot phep thu. Ky hieu so eae ket cuc thuan loi cho bien co A la nAva tong so cac ket cuc duy nhat dong kha nang co the co cua phep thir la N. Khi do xac suat xuat hien bien co A se dugc tinh bang: p(A) = — (14-1) N Vi du doc ngau nhien mot byte trong bo nho may vi tinh. tinh xac suat de byte do gom 4 bit 0 va 4 bit 1. Ky hieu bien co nay la A. Ta thay rang moi byte gom 8 bit va nhu vay ta co tong cong 256 bien co dong kha nang. Ta thay trong 256 byte khac nhau co 70 byte bao gom dung 4 bit 0 va 4 bit 1, nghTa la co 70 ket cuc thuan lgi cho bien co A. Theo dinh nghTa 1.4-1 va bieu thuc (1.4-1), xac suat xuat hien bien co A dugc xac dinh bai: p(A) = — = 0.273 (1.4-2) 256 Tir dinh nghTa tren ta rut ra cac tinh chat sau day cua xac suat: • Xac suat cua mot bien co ngau nhien la mot so duang nam trong khoang 0 va 1, nghTa la 0 < p(A) < 1. Dieu nay rat de chimg minh vi so ket cuc thuan lgi cho bien co A luon luon thoa man bat dang thirc 0 < nA< N. • Xac suat cua bien co chac chan xay ra bang 1. That vay. vi khi bien co A chac chan xay ra thi moi ket cuc deu thuan lgi cho A hay nA = N. • Xac suat cua bien co khong the xay ra bang 0. That vay. i bi^n co A khong bao gia xay ra nen nA= 0. Dinh nghTa tren day cho phep tinh xac suat ciia mot bien co kha don gian. khong can phai tien hanh phep thu that ma chi can phep thu eia dinh. Tuy nhien iru diem nay chi dugc phat huy khi ma so ket cuc cua phep thu la nho. de dang kiem tra tinh duy nhat dong kha nang cua cac bien co. Neu so ket cuc Ion hoac vo han thi dinh nghTa tren khong ap
Chuang 1: Ma dau 19 dung dugc nua. Trong truang hgp nay, nguai ta dinh nghia xac suat mot cach tong quat han. Dinh nghTa 1.4-2: Gia sic mot phep thu duac tien hanh K lan vd quan sat thay bien co A xudt hien nAlan. Dai luang: li(A) = %r (1.4-3) K duac goi la tan suat xudt hien bien co A. Neu ton tai giai han: lim x{A)~ lim — = p(A) (1.4-4) K— ► c o K-»co fc thi p(A) duac goi la xac suat cua bien co A. Trong thuc te khi ta tang K len tai mot gia tri K* du lan nao do thi |a(A) bat dau thay doi rat it. Vai gia tri K* do co the lay: p (A )« n (A ) = ^ (1.4-5) IV 1.4.3. Nguyen ly xac suat nho va xac suat loti Trong nhieu truang hgp ta gap cac bien co co xac suat xuat hien rat nho, gan nhu bang khong. Ve mat ly thuyet, xac suat du rat nho bien co van co the xay ra. va dieu dang noi la khong biet no xay ra a lan thir thu may. Tuy nhien qua kinh nghiem thuc te nguai ta thay rang, cac bien co co xac suat nho hau nhu se khong xay ra khi tien hanh phep thir trong K lan thir dau tien. Han nua, viec tien hanh nhieu phep thir se gay ra nhung ton kern ve thai gian va nguon lire. Vi vay, trong hau het cac ung dung thuc te, ta chap nhan nguyen ly xac suat nho sau day: Neu mot bien co ngau nhien co xac suat rat nho thi thuc te co the cho rang trong mot vai lan tien hanh phep thu, bien co do khong xay ra. Theo quan diem img dung, viec qui djnh xac suat bang bao nhieu thi goi la nho phai tiiy thuoc vao van de cu the. Trong ky thuat vien thong hien nay, xac suat loi bit tren mot kenh truyen so lieu theo khuyen cao ciia ITU la 10’ . Dieu nay co nghTa la, khi truyen di 10 trieu bit moi dugc phep sai mot bit. Trai lai. xac suat mot khach hang den cira hang bang 10"'
20 Ly tliuyei thong tin va ma hoa co the coi la nho, nghTa la cua hang co the dong cua vi tren thuc te hau nhu khong co ai den mua hang. Lap luan tuang tu nhu tren, ta co nguyen ly xac suat lan sau day: Neu mot hien co ngau nhien co xac suat xudt hien Ion gun hang 1 thi thuc te co the cho rang trong mot vdi lan tien hanh phep thu hien co do se xay ra. Cung nhu truang hap xac suat nho. xac suat bang bao nhieu thi duac coi la lan hoan toan tuy thuoc vao dac diem cu the cua van de ma ta quan tarn. 1.4.4. Nguyen ly cong va nhan xac suat Bien co C duac goi la tong cua hai bien co A va B neu C xay ra khi A xay ra hoac B xay ra. ky hieu la: C = A + B (1.4-6) Vi du, ta goi A la bien co xuat hien mat 2, B la bien co xuat hien mat 4 va C la bien co xuat hien mat chan khi tung con xuc xac. Ta de dang nhan ra rang C = A + B vi mat 2 hoac mat 4 deu la mat chan. Mot cach tong quat. bien co C dugc goi la tong cua cac bien co A|, A :.....A„ neu C xay ra khi co it nhat mot bien co A, xay ra, ta ky hieu la: C = £ a , (1.4-7) 1 =1 Hai bien co A va B goi la xung khac vai nhau neu chung khong the xay ra trong cung mot phep thu. Vi du, goi A la bi£n co nhan dugc bit 0 va B la bien co nhan dugc bit 1 tren kenh truydn tin thi A va B la xung khac nhau. vi hien nhien bit 0 va bit 1 khong thS xudt hien dong thai. Ngugc lai. A va B dirge goi la khong xung khac nhau neu chung co the xay ra trong cung mot phep thir. Vi du, n£u goi A la bic;n c6 mua va B la bien co gio thi hai bien co nay khong xung khac nhau vi mua a gio co the cung xay ra. Neu A], A;...., An la n bien co xung khac nhau timg doi mot thi chung lap thanh mot nhom day du. Ta co djnh ly sau:
Chuang 1: M a dau 21 Dinh ly 1.4-1: Neu {A,} = {A„ A,,..., A,,} Id mot nhom day du thi: p(As + A,) =p(As) + p(A,) va T A, = 2 > w = i (1.4-8) (1.4-9) (1.4-10) /’ = ! Neu A va B la hai bien co lap thanh mot nhom day du thi B goi la bien co bu cua A va nguac lai, ky hieu la B = A va A = B . Vi du bien co “con trai” va bien co “con gai” la hai bien co bu nhau cua nhom bien co “giai tinh tre sa sinh” khi mot dua tre ra dai. Ta de dang thay rang: p(A) = l- p ( A ) (1.4-11) Bien co C dugc goi la tich cua hai bien co A va B neu C xay ra khi va chi khi ca hai bien co A va B xay ra, ky hieu la: C = A.B (1.4-12) Vi du, bien co “den dien sang” la tich cua hai bien co “co dien" va “cong tac dong”. Mot cach tong quat, bien co C dugc goi la tich cua n bien co A|, A:,..., An neu C xay ra khi va chi khi tat ca cac bien co A, xay ra, ky hieu la: c = n A , (1.4-13) Hai bien co A va B goi la doc lap (hay doc lap thong ke) vai nhau neu viec xay ra bien co nay khong lam thay doi xac suat xuat hien bien co kia va ngugc lai. Neu mot bien co xay ra lam thay doi xac suat xuat hien bien co kia thi chung khong doc lap vai nhau. Cac bien co A|, A :.....An goi la doc lap tung doi mot vcri nhau neu moi cap hai trong n bien co do doc lap vai nhau. Cac bien co A|. A:....... n goi la doc lap toan phan voi nhau neu moi bien co doc lap voi mot to hop bat ky cua cac bien co con lai.
22 Ly thuyet thong tin vd md hoa Dinh ly 1.4-2: Neu A/, A2.....An la doc lap toan phan thi: " 4- 14) f p 1 = 1 / i=i Bieu thuc (1.4-14) cho thay rang, xac suat tich cua cac bien co bang tich xac suat cua tung bien co khi chung doc lap toan phan voi nhau. 1.4.5. Xac suat co dieu kien Xac suat bien co A xay ra khi bien co B da xay ra goi la xac suat co dieu kien cua A va dugc ky hieu boi p(A/B). Dinh ly 1.4-3: Xac suat cua tich hai hien co phu thuoc A vd B bang tich xac suat cua mot trong hai bien co do voi xac suat co dieu kien cua bien co con lai. NghTa la: p(AB) =p(A)x p(B/A) = p(B)xp(A/B) (1.4-15) Mot cach tong quat, xac suat cua tich cac bien co Ai, A2,..., An dugc tinh bcri: p(Ai, A2,..., An) - p(Ai) X p(A2/Ai) X p(A3/A|,A2) ... p(An/Ai,A2,..., An.i) (1.4-16) De dang thay rang, neu A va B doc lap thi: P(A/B) = p(A) va p(B/A) = p(B) (1.4-17) P(AB) = p(A) x p(B) (1.4-18) P(B) = ~(Aa B) khi p(A) * 0 (1.4-19) P(A) Neu A va B lap thanh mot nhom day du thi: p(A/B) = p(B/A) = 0 va p(AB) = 0 (1.4-20) Dinh ly 1.4-4: Neu A vd B la hai bien co khong xung khac nhau thi: p(A + B) = p(A) + p(B) -p(A B ) (1.4-21) Bieu thuc (1.4-21) noi len rang, xac suat cua bien co tong hai bien co khong xung khac nhau bang tong xac suat rieng cua time bien co tru
Chuang 1: Ma dau 23 di xac suat dong thai xuat hien hai bien co do. Ta cung co the mo rong bieu thuc (1.4-21) cho truang hop n bien co khong xung khac nhau. Neu A la tong cua cac bien co A], A2,..., An khong xung khac nhau thi: p(A) = p £ a , = J p ( A , ) - X p (A,Aj ) V 1=1 / 1= 1 K J + £ p ( A , A JA 1) — •+ ( - i r ' p ( A lA, - A„) (1.4-22) i<j<k 1.4.6. Cong thu’ c Bernoulli Cac phep thu dugc goi la doc lap voi nhau neu xac suat xay ra mot bien co nao do trong tung phep thu khong phu thuoc vao viec bien co do co xay ra 6 phep thir khac hay khong. Mot cach tuang duang, ta noi rang mot phep thir la doc lap neu xac suat xuat hien cac bien co ciia no khong phu thuoc vao thir tu cac lan tien hanh phep thu. Vi du, phep tung dong xu la mot phep thir doc lap vi xac suat xuat hien mat ngira luon luon bang I/2, khong phu thuoc vao do la lan tung thir may. Bay gia ta gia sir ta chi quan tarn den bien co A ciia phep thir a. Xac suat A xay ra la p va xac suat A khong xay ra la q = 1 - p. Khi do xac suat bien co A xay ra dung k lan trong n lan tien hanh phep thir a dugc tinh bai cong thuc Bernoulli: pn(k) = C^pk(l- p )" -k , k = 0, 1, 2,..., n (1.4-23) Vi du: Tren mot kenh truyen so lieu, xac suat loi bit la 10' Tinh xac suat mot byte truyen di bj sai dung 3 bit. Giai: Goi bien co loi bit (loi 1 bit) la A. Vi xac suat loi bit p(A) bang 1CP1 nen xac suat bit khong bi loi p(A) bang (1 - lO0 ). Ky hieu B la bien co mot byte truyen di co dung 3 loi bit. Ta ap dung cong thurc Bernoulli (1.4-23) va thu dugc. P ( B ) = v (10", )'1(1-1 O'3)8- = 56x10 4 x(0.999)5 =55,72x10' (1.4-24)
24 Ly thuyet thong tin vu md hoa 1.4.7. Cong thirc xac suat day du Gia sir bien co A co the xay ra dong thai vai mot trong cac bien co Hi, H2,..., Hn. Nhom cac bien co H], Hn la mot nhom day du. Khi do xac suat ciia bien co A duac tinh bang cong thirc sau: P(A) = j^ p ( H , )p ( A /H ,) (1.4-25) i=l Cac bien co Hi, H2,..., Hn thuang duac goi la cac gia thuyet. De thay y nghTa ciia cong thuc xac suat day du, ta xet mot thi du ve duang truyen theo phuang thirc truyen khong dong bo ATM (Asynchronous Transfer Mode). Phuang thirc truyen khong dong bo, mot phuang thirc chuyen mach va ghep kenh sir dung cac goi tin hieu co chieu dai co djnh (53 byte gom 5 byte tieu de va 48 byte so lieu), dugc chap nhan rong rai la mot phuang thirc chuyen giao thich hgp cho mang so lien ket da dich vu bang rong (B-ISDN), rat dang thinh hanh hien nay trong cong nghe vien thong. Vi du: Mot duang truyen ky thuat so theo cong nghe chuyen mach ATM gom 3 tuyen truyen. Xac suat loi te bao ciia tuyen thir nhat la 0,0027; ciia tuven thir 2 la 0,0012 va ciia tuyen thir 3 la 0,0046. Gia su co che dieu khien ket noi phan bo te bao vao cac tuyen truyen mot cach - 1 2 5 ngau nhien vai xac suat tuane ime lan luat la - , — va - . Tim xac suat 8 8 8 loi te bao cua duang truyen. Giai: Goi A la bien co te bao tren duang truyen bi loi. Bien c6 A co the xay ra khi mot trong ba bien co sau day xay ra: Hi: Te bao dugc truyen tren tuyen thir 1. H2: Te bao dugc truyen tren tuven thir 2. Hi: Te bao dugc truyen tren tuven thir 3. De dang thay rang, cac bi^n c6 H,, H:, H, lap thanh mot nhom day du. Theo gia thiet ta co: p(H,) = ^ ; p(H2) = ^ ; p(H.O = - (1.4-26) o o 8
Chuang 1: M o dau 25 Xac suat co dieu kien cua bien co A (te bao bi loi) khi cac bien co Hi, H2, H3 xay ra la: p(A/H|) - 0,0027; p(A/H2) = 0,0012; p(A/H3) = 0,0046 (1.4-27) Tir cong thuc xac suat day du ta xac dinh dugc: p(A) = p(H,)p(A/Hi) + p(H2)p(A/H2) + p(H3)p(A/H3) = - x 0,0027+ - x 0,0012+ - x 0,0046 = 0,0035 (1.4-28) 8 8 8 1.4.8. Cong thuc Bayes Gia sir bien co A co the xay ra dong thai voi mot trong cac bien co H|, H2,..., Hn. Nhom cac bien co Hi, H2,..., Hn la mot nhom day du. Khi do: p(H, / A) = P<H .)P(A /H .) (1.4-29) X p (H ,)p (A /H i) 1=1 Cac bien co H,, H2,..., Hn thuang dugc goi la cac gia thuyet. Cac xac suat p(H|), p(H2),..., p(Hn) dugc xac djnh truac khi phep thir dugc tien hanh va vi vay dugc goi la xac suat tien nghiem. Cac xac suat p(H,/A) dugc xac dinh sau khi phep thir da dugc thuc hien va bien co A da xay ra nen dugc goi la xac suat hau ngliiem. Nhu vay cong thirc Bayes cho phep danh gia lai xac suat xay ra cac gia thuyet sau khi da biet ket qua ciia phep thir la bien co A da xay ra. Vi du: Mot duang truyen ky thuat so theo cong nghe chuyen mach ATM gom 3 tuven truyen. Xac suat loi te bao cua tuyen thir nhat la 0,0037; ciia tuyen thir 2 la 0,0015 va ciia tuyen thir 3 la 0,0049. Gia su ca che dieu khien ket noi phan bo te bao vao cac tuyen truyen mot cach ngau nhien vai xac suat tuang ung lan lugt la - , — va - . Mot te bao 8 8 8 khi den dau cudi bj loi. Tinh xac suat te bao do da dugc truyen: a) tren tuyen thu 1. b) tren tuyen thir 2, c) tren tuyen thir 3.
26 Lv thuyet thong tin vd md hoa Giai: Goi A la bien co te bao tren ducrng truyen bi loi. H i: Te bao dugc truyen tren tuyen thu 1. H2: Te bao dugc truyen tren tuyen thu 2. H3: Te bao dugc truyen tren tuyen thir 3. p (H ,/A ) la xac suat te bao loi da dugc truyen tren tuyen 1. p (H ,/A ) la xac suat te bao loi da dugc truyen tren tuyen 2 . p (H i/A ) la xac suat te bao loi da dugc truyen tren tuyen 3. Ap dung cong thirc Bayes ta co: p / H /A ) = ________________ p(H ,)p (A H,)________________ p(H,)p(A H,) + p(H: )p(A H 2) + p(H ,)p(A H ,) 0.0037 x - 8 -0 ,7 0 0 8 (1.4-30) 0,0037x - +0,0015x - + 0,0049x - 8 8 8 p (H ,/A ) = ________________P<H; )p (A .H ,)________________ P(H,)p (A Hl) + p(H ,)p(A / H 2) + p(H ,)p(A H ,) 0.0015x~ ----------- 8 = 0,1136 (1.4-31) 0.0037x " *+ 0.0015 x +0.0049x 1 8 8 8 p (H ./A ) = ________________ P(H -)P<A H > ________________ P(H,)p(A H,) + p(H ; )p(A H 2) + p(H ,)p(A H ,) 0.0049x1 “ ----------------- 8 =0,1856 (1.4-32) 0.0037x * *+0.0015x 2 +0.0049x 1 8 8 8 Cong thirc xac suat day du va cong thirc Bayes deu xet bien co A cung vcri mot nhom day du bien co Hi. H: ,..., Hn. Diem khac nhau nam o
Chuang 1: Ma dau 27 cho, trong khi cong thuc xac suat day du quan tarn den xac suat xuat hien bien co A khi cac bien co Hi, H2,..., Hn da xuat hien thi cong thuc Bayes quan tarn den xac suat xuat hien cac bien co Hi, H2,..., Hn khi bien co A da xuat hien. Noi cach khac, cong thuc xac suat day du kiem dinh su xuat hien cua bien co khi cac gia thiet la dung, trong khi cong thuc Bayes kiem djnh gia thiet khi bien co da xuat hien. 1.4.9. Bien ngau nhien va qui luat phan bo xac suat cua bien ngau nhien Tap hop cac bien co ngau nhien cua mot phep thu co the dien ta bang mot bien dai so va ta goi no la hien ngau nhien. Nhu vay, bien ngau nhien la mot dai lugng chi nhan mot gia tri co the co tuy thuoc vao su tac dong ngau nhien. Thong thuang nguai ta dung cac chu hoa de ky hieu bien ngau nhien, thi du X, Y... Tat ca cac gia tri co the co cua bien ngau nhien X tao thanh mot tap Q nao do. Neu Q la mot tap huu han hay vo han dem dugc thi ta noi rang X la bien ngau nhien rai rac. Vi du, neu X chi so te bao bi loi trong mot don vj thai gian cua he thong chuyen mach ATM thi X la mot bien ngau nhien rai rac, bai vi trong truang hgp nay X chi co the nhan cac gia tri nguyen duang. Neu Q la mot tap khong dem dugc thi ta goi X la bien ngau nhien lien tuc. Neu ky hieu Y la bien do tin hieu dien tu thu dugc qua mot dan ang ten thi Y la bien ngau nhien lien tuc vi Y co the nhan bat ky gia tri nao. Tuang tu nhu cac bien tien dinh, a day ta co the coi Q la mien xac dinh cua bien ngau nhien. Doi vai bien tien dinh ta chi can biet Q la du. Trong trucmg hgp bien ngau nhien, chi biet Q la chua du. Bai vi duai cac tac dong ngau nhien, X co the nhan cac gia tri khac nhau trong Q. Mac du ta khong the biet chac chan gia trj cua X nhung ta can biet xac suat X nhan mot gia tri cu the nao do trong Q. Qui luat cho biet xac suat mot bien ngau nhien nhan gia tri nao trong nhung gia tri co the co cua no dugc goi la qui luat phcin bo xac suat cua bien ngau nhien. 1.4.9.1. Qui luat phan bo xac suat cua bien ngau nhien rai rac Gia sir bien ngau nhien rai rac X co the nhan cac gia tri X|, x2,..., xn vai cac xac suat tuang irng pi, p?,..., pn.
28 Ly thuyit thong tin vd md hoa X p ,= 1 (1.4-33) i=l Doi voi bien ngau nhien rai rac ta co hai cach dien ta qui luat phan bo xac suat, do la ham phan bu xac suat va bang phan bo xac suat. Ham phan bo xac suat F(x) cua bien ngau nhien rcri rac X dugc djnh nghTa la xac suat de X nhan cac gia tri nho hon mot gia tri x cho truac. NghTa la: F ( x ) = X P , <1 4 '34> X, < x Gia tri: E (x _ c }k = Z ( X. " c )kp. (1.4-35) 1 =1 voi c la mot hang so va k la mot so nguyen duang, dugc goi la mo-men bac k cua bien ngau nhien rai rac X. Vai c = 0 va k = 1 ta co: E ( X ) = £ x lPl= H <1 4-36) 1 =1 dugc goi la ky vong toan hay ky> vong (expected value) cua bien ngau nhien rai rac X. Vai c = E{X} = ji va k = 2 ta co: E {(X - p ) ! } = 2 > , - P)!P. = 81 = v {X} ( 1 .4-37) 1= 1 dugc goi la phuang sai (variance), 8 dugc goi la do lech chudn (standard deviation) cua bien ngau nhien rai rac X. Gia tri X |<vai xac suat pv sao cho: k 1 1 £ p , < 0 , 5 < £ p. (1.4-38) i= l i=K + l dugc goi la trung vi cua X. Gia tri xmvai xac suat pm sao cho: Pm = max {Pi} (14-39) dugc goi la mot cua X. Bang 1.4-1 cho thay mot vai qui luat phan b o cua bien ngau nhien rai rac thuang gap trong thuc te va cac dai lugng dac trung cua chung.
Chuang 1: Ma dau 29 Bang 1.4-1: Phan bo xac suat rai rac Ten goi qui lu$t Bernoulli Nhj th u ’C Poisson Hinh hpc Ham phan b6 P 1 -p C"pk(1 -p )nk ^ -X — e k! P(1 - P)k Gia tri 0 1 ke[0,n] k e [0 ,x ] ke[0,oo] Tham so pe[0.1] pe[0,1] XeZ* p e[0.1l Ky vong tocin P np X 1 - p P P h yan g sai P(1 - P ) np(1 - np) X 1 - p P2 Ham phan bo xac suat rai rac thuang duac dung cho truang hap mien gia trj co the co cua bien ngau nhien la mot tap vo han dem dugc. Trong truang hgp mien gia trj co the co cua bien ngau nhien la mot tap huu han nguai ta dung bang phan bo xac suat. Bang phan bo xac suat cua bien bien ngau nhien (mot chieu) X co dang nhu trong bang 1.4-2. Hang thu nhat cua bang chi cac gia tri co the co cua X va hang thu hai chi xac suat tuang ung. Bang 1.4-2: Bang phan bo xac suat X x. *2 xn P Pi P2 Pn 1.4.9.2. Qui luat phan bo xac suat ciia bien ngau nhien lien tuc Vai bien ngau nhien lien tuc va Q = {x: - qo < x < oo}, ta xay Sung ham so F(x) = Pr{X < x}, dugc goi la ham phan bo xac suat hay ham phan bo. F(x) chinh la xac suat de X nhan gia tri X < x. Ham F(x) co nhung tinh chat sau day: • F(-co) = 0 va F(oo) = 1; 0 < F(x) < 1; • F(x) la mot ham khong giam, nghTa la: neu x > y thi F(x) > F(y); • F(x) lien tuc ben trai Doi vai bien ngau nhien lien tuc, xac suat de X nhan mot gia tri cu the nao do se bang 0. nhung co the tinh xac suat de X nhan gia trj tromi mot khoang huu han. vi du a < x < b.
30 Ly thuyet thong tin vd md hoa De lam diSu nay ta xay dung mot ham p(x) sao cho: b Pr{a < x < b} = Jp(x)dx (1.4-40) a Tir bi£u thirc (1.4-40) ta co djnh nghTa ham phan bo xac suat ciia bien ngau nhien lien tuc: x F(x)= Jp(u)du (1.4-41) — x Ham p(x) goi la ham mat do xac suat. De dang thay rang: p(x) = ^ (1.4-42) dx Theo dinh nghTa ciia ham mat do xac suat (1.4-42) va tir cac bieu thuc (1.4-40) va (1.4-41) ta suy ra: X Jp(x)dx = l (1.4-43) — cc Tuang tu nhu doi vai bien ngau nhien rai rac, bieu thirc: 4-X E {(x _ c ) }= J ( x - e ) k p(x )dx (1.4-44) dugc goi la mo-men bac k ciia bien ngau nhien lien tuc. Vai c = 0 va k = 1 ta co: -*-x E{X} = | xp(x)dx = p. (1.4-45) - x dugc goi la ky vong toan ciia X. Vai c = E{X} = ^ va k = 2 ta co: e {(x “ M)"}= j ( x - | i ) :p(x)dx = 82 =V {X } (1.4-46) - x dugc goi la phuang sai cua X. Bang 1.4.-3 cho thay mot vai qui luat phan bo xac suat cua bien ngau nhien lien tuc thuang gap trong thuc te va cac dai luang dac trung ciia chime.
Chwmg 1: Mcrdau 31 Bang 1.4-3: Phan ho xac suat lien tuc Ten goi qui ludt Phan bd d&u Phan bd chudn tic Phan bd mu Ham mat < 36x3c su£t X . (» p 1 "f —e x b - a 5/2n X Gia tri xe[a,b] xe[-oo,x] xeR* Tham so a < b ; a.beR H,5gR ; 5 > 0 XeR* Ky vong to^n a +b 2 X Phu-ong sai CD ^ k ISJ 52 X2 1.4.10. Ham cua bien ngau nhien mot chieu Cung giong nhu doi voi cac bien thong thuang (con goi la cac bien tien dinh), ta thucrng phai xac dinh gia tri cua ham Y = g(X). Khac voi cac bien tien dinh. ngoai gia tri cua Y ta con phai xac dinh cac dac tinh thong ke cua no (mat do xac suat. ky vong toan. phuang sai,...). Neu g la mot anh xa mot-mot thi viec xac dinh cac dac tinh thong ke cua Y noi chung co the thirc hien dugc. Khi g khong phai la anh xa mot-mot thi cong viec nay kha kho khan, doi khi khong the giai quyet dugc. Chung ta xet mot vai vi du dan gian. Vi du 1: Xet ham ngau nhien: Y = a X + b (1.4-47) trong do a va b la cac hang so, a * 0. Goi Fx(x) va Fy(y) la cac ham phan bo xac suat cua X va Y. Khi do theo djnh nghTa ta co: Fv(y) = P r{Y < y} = Pr{aX + b < y } = P r j x < - ^ j (1.4-48) Mat khac cung theo dinh nghTa ta co: P r | x < ^ — - 1 = j p(x)dx = Fvf j (1.4-49)
32 Ly thuyet thong tin va md hoa So sanh (14.48) va (1.4-49) ta suy ra: Fv(y) = Fx V a (1.4-50) Lay dao ham hai ve cua (1.4-50) ta thu dugc: Pv(y) = “ Px a y - b V a (1.4-51) Vi du 2: Cho ham Y = aX2 + b trong do X la bien ngau nhien co ham mat do xac suat px(x). Tuomg tu nhu vi du 1, ta co: Fv(y ) - Pr{ Y < y} = Pr {aX2 + b < y} = Pr j |X| < Tu (1.4-52) ta suy ra: = P H X < fy —b (1.4-52) Pr X < y - b y - b V + P r lx s -J? (1.4-53) Theo djnh nghTa. tir (1.4-53) ta thu dugc: Fv(y) = Fx v - b + F. [ y - b (1.4-54) Lay dao ham cua hai ve cua (1.4-54) ta co: Pv (>’)=■ 2a. v - b Px v - b + Px y - b (1.4-55) Qua hai vi du tren ta rut ra ket luan sau: Cho Y = g(X) Id anh xa mot-mot Biin ngdu nhien X co ham mat do xdc suat la pjx). Khi do ham mat do xac suat cua hien ngdu nhien Y se duoc xdc dinh hoi: p .,(>■) = g' (x = g~' (y))' I (1.4-56)
Chuang 1: Ma dau 33 trong do g ' la ham nguac cua g va g' la dao ham bac nhat cua g theo x. Nhu a dau muc nay ta da luu y, neu g la anh xa mot-mot thi g 1 la duy nhat va viec xac dinh py(y) khong may kho kh&n. Nhung neu g khong phai la anh xa mot-mot thi g' 1 khong duy nhat va van de tra nen phuc tap. 1.4.11. Bien ngau nhien nhieu chieu Trong thuc te, doi khi chung ta phai xet nhieu phep thu ngau nhien cung mot luc hoac cac phep thu ngau nhien phuc tap. Khi do chung ta phai su dung bien ngau nhien nhieu chieu. Bien nay dong thai nhan mot bo gia tri ngau nhien, moi gia tri co the coi nhu gia tri cua mot bien ngau nhien thanh phan. Ham phan bo xac suat cua bien ngau nhien nay goi la ham phan bo xdc suat nhieu chieu hay ham phan bo nhieu chieu. De de hinh dung, ta xet truang hap bien ngau nhien gom hai thanh phan X = (X), X2). Tuang tu cach dinh nghTa ham phan bo cua bien ngau nhien mot chieu, ta co: F (x ,,x ,) = Pr{X, < x ,,X 2 < x 2} = | |p ( u , , u 2)duldu2 (1.4-57) -00 — co Ham mat do xac suat hai chieu (con goi la ham mat do xdc suat dong thai cua X| va X;) se la: (1.4-58) <7x,ax, Khi lay tich phan cua ham mat do xac suat hai chieu theo mot chieu nao do ta se thu dugc ham mat do xac suat cua chieu con lai, goi la ham mat do xdc suat bien (mutual density function). + 0C Jp (x ,,x : )dx, =p(x,) (1.4-59)
34 Ly thuyet thong tin va ma hoa J p (x ,,x 2)dx, = p(x2) (1.4-60) — co Gia sir bay gia ta muon xac djnh xac suat de bien ngau nhien X| nhan gia tri Xi < X| khi bien ngau nhien X2 da nhan gia trj cu the x2 - Ax2 < X2 < x2. NghTa la ta muon xac dinh xac suat: Pr {X, < x, / x, - Ax, < X, < x 2} (1.4-61) Ta da biet. theo bieu thirc (1.4-15): Pr {X, < x,.x, - Ax, < X 2 < x,} = Pr{x2 - A x 2 < X 2 < x ,} .P r{X, < x , / x 2 - A x 2 < X 2 < x,} (1.4-62) Tir (1.4-62) ta suy ra: P r{X, < x, /x , - Ax, < X , < x. _ p ( Pr{X, < x ,,x 2 - Ax, < X 2 < x 2} Pr{x, - Ax, < X, < x 2} (1.4-63) Tir (1.4-63). theo dinh nghTa ve ham phan bo xac suat va ham mat do xac suat ta co: p ( x , / x2) = p(x'-x - ) = , p(x'- x :)----- (1.4-64) P^xi) J_ p(x,,x2)dx, Bieu thirc (1.4-64) duac goi la ham mat do xac suit co di^u kien ciia bien ngau nhien thanh phan. Trong truang hap hai bien ngau nhien thanh phan doc lap vai nhau thi: p (x ,,x 2) = p(x,)p(x2) (1.4-65) va do do: p (x 1/ x 2) = p(x,), p (x , / x t) = p(x2) f 1.4 -6 6 ) Doi vai bien ngau nhien hai chieu. bieu thirc: C 0 V | X , X . | = E { [ X - E [Xjj] [ X , - E j X , }]} (1.4-6-,
Chuang 1: Ma dau 35 dugc goi la hiep phuang sai cua cac bien ngau nhien thanh phan. Tir bieu thirc (1.4-67) co the suy ra: 00 cC Cov{X,,X,} = | J x ,x 2p (x ,,x 2)dxldx2 -E { X ,} -E { X 2} (1.4-68) — 00 H» Goi C T | va 02 la do lech chuan ciia cac bien ngau nhien thanh phan, khi do ty so: p = C0V<X '-X ^ ,,.4-69) c t , c t 2 dugc goi la he so tuang quan ciia Xi va X2. Co the de dang nhan ra rang -1 < a < 1. 1.4.12. Qua trinh ngau nhien Mot tap hgp cac bien ngau nhien phu thuoc thai gian dugc goi la mot qua trinh ngdu nhien (Random Process), ky hieu la {X(t)}. Cac the hien cua mot qua trinh ngau nhien dugc ky hieu la x(t). Neu t co the nhan bat ky gia trj nao thi {X(t)} goi la qua trinh ngau nhien lien tuc theo thai gian. Neu t chi nhan cac gia tri t|, t2,... thi {X(t)} dugc goi la chuoi ngau nhien. Qua trinh ngau nhien {X(t)} dugc goi la qua trinh ngdu nhien dung (Stationary Random Process) neu tinh chat xac suat ciia no khong phu thuoc vao thai diem quan sat (thoi diem chon lam goc toa do). Neu ky hieu F(x(t)) la ham phan bo xac suat cua qua trinh ngau nhien {X(t)} va T la mot khoang thai gian huu han thi vai qua trinh ngau nhien dimg ta co: F(x(t)) = F(x(t + T)) (1.4-70) Qua trinh ngau nhien (X(t)} dugc goi la co tinh ergodic neu: i t E{X(t)| = lim — J x(t)dt (1.4-71) t-> k T _t Chuoi ngau nhien {X(t)} dugc goi la chuoi Markov hay .vich Markov (Markov Chain) neu:
36 Ly thuyet thong tin vu nui hoa p(x(tn)/x(tn.|,x(tn.2), —,x(to) = p(x(tn)/x(t„_,)) (1.4-72) Bieu thuc (1.4-72) co nghTa la, doi vai qua trinh Markov, tinh chat xac suat co dieu kien tai mot thai diem chi phu thuoc vao tinh chat xac suat cua thai diem ngay truac do. Qua trinh ngau nhien dung, co tinh ergodic va tuan theo qui luat phan bo chuan dugc goi la qua trinh Gauss (Gaussian Process). Qua trinh Gauss co ky vong toan bang 0 dugc goi la qua trinh tap am trang (White Noise Process).
Chiro’ng 2 LlTQfNG TIN VA EN-TRO-PY 2.1. KHAI QUAT Mot trong nhung muc tieu quan trong cua ly thuyet thong tin la du ra dugc mot cach co the dinh lugng thong tin giong nhu nguai ta dua ra khi niem ki-lo-gam de do khoi lugng, khai niem met de do chieu dai, v.v. Truac het chung ta xet mot vai vi du. Ai cung biet phat thanh vien cu dai truyen hinh luon luon phai noi that. Gia su chung ta nghe tren truye hinh dua tin vao ngay 03 thang 7 rang, “ngay mai khong co gio mu Dong-Bac va troi khong ret". Vi hang ngan nam nay khong bao gia c gio mua Dong-Bac vao thang 7, chuyen nay ai cung biet nen dieu m nguai phat thanh vien dua tin tren truyen hinh ve thai tiet khong co thon tin. Tuy nhien neu vao ngay 03 thang 7 anh ta thong bao rang, "ngay me co gio mua Dong-Bac va troi tro ret ”, thong tin nay se gay xon xao d luan, co nghTa la thong bao tren co rat nhieu thong tin. Mot vi du kha< neu ta hoi mot nguai cho thue phong rang "phong nay co sach khong' cau tra lai ma ta nhan dugc se la “co”, bat ke su that nhu the nao. T khong nhan dugc mot chut thong tin gi trong cau tra lai cua nguai ch thue phong. Tuy nhien, neu ta hoi mot nguai ban than da tung thu phong a dja diem do. cau tra lai co the se khac va ta co nhieu thong ti han. Cac vi du tren cho ta thay rang, tac dung cua thong tin chua tron mot thong diep la lam thay doi xac suat lien quan den nhung tinh huon ma nguai nhan quan tarn. Noi cach khac, lugng thong tin chua trong me thong diep co the xac djnh thong qua sir thay doi xac suat do thong die tao ra. Vi le do va de de hieu, trong phan tiep theo chung ta se dinh nghi 2.2. DO DO THONG TIN CUA BIEN CO Trong muc 1.4 cua chuang 1 chung ta da biet xac suat xuat hien cac bien co trong mot phep thir. Chung ta cung biet rang, cac phep thir
38 Ly thuyet thong tin va ma hoa cung c£p cho chung ta thong tin. Mot cau hoi rat tu nhien dugc dat ra la, lugng thong tin (hay lugng tin) ma moi bien co cua mot phep thu co the dem lai cho ta la bao nhieu? Dieu nay ham nghTa la, chung ta phai di tim mot do do de lugng hoa thong tin cua cac bien co cua phep thir. Do do (metric) ciia mot dai lugng dugc dung de xac dinh do Ion ciia dai lugng do. Do do chieu dai la co don vi la met. do do the tich co dom vj la lit. do do cuang do dong dien co don vi la am-pe, v.v... Qua cac v( du tren ta nhan thay, do do phai co cac tinh chat sau: a) Do do phai phan anh do lan ciia dai lugng. Dai lugng cang lorn thi gia trj do dugc cang Ion. b) Do do phai la mot so khong am. c) Do do phai tuyen tinh, nghTa la, gia tri do dugc ciia dai lugng tong cong phai bang tong gia tri do dugc ciia cac dai lugng thanh phan. DT nhien do do thong tin cung phai co nhirng tinh chat tren. Bang true giac chung ta de dang nhan thay mot so dieu sau day: a) Mot bien co cang it xuat hien thi thong tin no dem lai cho nguai nhan cang lan. Dieu nay co nghTa la, do do thong tin phai ty le nghich vai xac suat xuat hien cua thong tin do. Gia su bien co A, co xac suat xuat hien la p(A,). Khi do do do thong tin phai la mot ham ty le nghich voi p(A,), nghTa la mot ham co dang cp( 1/p(A,)). b) Mot bien co da biet truac ket cuc ciia no, nghTa la xac suat xuat hien bien co do bang 1. phai co do do thong tin bang 0 hay cp( 1) = 0 . c) Hai bien co khong keo theo nhau. khi ket hgp lai phai co do do thong tin bang tong do do thong tin ciia tirng bien co rieng 1c. Gia su co hai bien co A, va Aj vai cac xac suat xuat hien tuang img la p(A ) va P(Aj). Xac suat de ca hai bien co xuat hien dong thai la: p(A„Aj) = p(A,)p(Aj) (2.2-1) Khi do ta phai co: o(l p(A )p( A.)) = o(l p(A,) + (j>(l/p(A,) (22-2) Ta tha rang, ham lo-ga-nt la ham thoa man cac dieu kien da neu. No dugc Shannon chon lam do do thong tin khi ong xav dimg l thm et
Chuang 2: Luang tin va en-tro-py 39 nay. Ta ky hieu I(A,) la luang tin cua bien co A,. Lugmg tin cua bien co A, dugc djnh nghTa bai: I(A,) = log(l/p(A,)) = - log(p(Aj)) (2.2-3) Ca so cua ham lo-ga-rit co the chon bang 2, 10 hay lo-ga-rit tu nhien. • Vai lo-ga-rit ca so 2 ta co dan vi thong tin la hit. • Vai lo-ga-rit tu nhien ta co dan vi thong tin la Nat. • Vai lo-ga-rit ca so 10 ta co don vj thong tin la Hartley (hoac clit). De thay ro y nghTa cua do do thong tin, chung ta xet vai vi du dan gian sau day. Ta tien hanh phep thir rut ngau nhien mot quan bai trong bo bai tu-la-kha gom 52 quan bai. Nhu ta da biet, xac suat de rut dugc mot quan 4 bai nao do, chang han B, bang — . Nhu vay theo (2.2-3) va sir dung lo-ga-rit ca so 2 ta thu dugc lugng tin ve bien co xuat hien quan B bang f 4 N -lo g , = 3,7 bit. Trong mot chiec hop co 5 hon bi xanh va 7 hon bi do. Lav ngau nhien tir trong hop ra mot hon bi. Xac suat de lay dugc bi xanh bang va lugng tin ve bien co lay dugc bi xanh bang -lo g f c 1 0 = 0,32 dit. Xac suat lav duac bi do bang — va luang tin ve bien co lav duac bi do 12 banii - lo O fc *|0 7 = 0,234 dit. Nhu ta cho dgi. vi kha nans lav duac bi xanh nho hon nen lugng tin ve bien co nay phai Ion han. 2.3. EN-TRO-PY Lugng tin cho ta biet do lan ciia thong tin ma mot bien co cung cap. Trong thuc te chiing ta thuang phai xet den tat ca cac bien co cua
40 Ly thuyet thong tin va ma hoa phep thir va cin phai xac dinh luang tin trung binh cua toan bp phep thir. Do chinh la khai niem en-tro-py. En-tro-py la dai luang dung de do muc do khong xac dinh cua cac phep thir. Gia sir ta nghien ciru phep thir a gom co n ket cuc A|, A2, Ay, ., An vai xac suat xuat hien tuang ung la pi, p2,.., pn- Ta ky hieu en-tro-py ciia phep thir nay la H(a). Duang nhien H(a) phai la mot ham phu thuoc p,. Ta dat: H (a) = 0 ( p , ,p 2,...,pn) (2.3-1) Ham 0 ( p ,,p 2,....pn) phai co nhung tinh chat sau day: a) Gia tri cua <D(p,,p2,...,pn) hoan toan khong thay doi khi ta hoan vi tiiy y cac bien so p„ (i = 1, 2,..., n). b) 0 ( p ,,p 2,...,pn) phai la mot ham phu thuoc n. That vay. khi n = 1 tire la ket cuc ciia phep thir hoan toan xac dinh, 0 (p ,,p 2,...,pn) phai co gia tri bang 0. Khi n tang, ro rang viec doan truac su xuat hien mot ket cuc nao do cang kho. Do vay gia trj ciia 0 ( p ,, p 2,...5,pn) phai tang khi n tang. c )0 (p ,,p , pn) phai la mot ham lien tuc theo p, vai moi (i = 1. 2, ..., n). Dieu nay nghTa la 0 (p ,.p ,,...,p n) chi thay ddi rat it khi p, thay doi nho. d) Gia sir phep thu a co m ket cuc, phep thir P co n ket cuc. Cac ket cuc ciia phep thir a doc lap vai cac k k cuc cua phep thir p. Phep thu lien hap a p se gom m.n ket cuc vai xac suat p,j (i = 1, 2,..., m; j = 1. 2.....n). Mot dieu hien nhien, chiing ta mong muon la do khong xac dinh cua phep thu lien hap phai bang do khong xac dinh cua phep thu a va do khong xac dinh cua phep thu p cong lai. Nhu vay ham O phai thoa man he thirc: P|I*Pi:.....Pim-P;i-P:;......P;n...... Pm|,•••,Pm n) = ^ ( P l- P :.....Pm) + <j>(p,-p2......P„) (23-2)
Chuang 2: Luang tin va en-tro-py 41 Gia sir phep thir a gom cac ket cuc A|, A2, A3,.., An. Bay gio gia sir rang phep thu p dugc xay dung tren co so ket hgp hai ket cuc dau tien cua phep thir a vai nhau. Xac suat ciia ket cuc nay se bang pi + p2. Phep thir p co do bat dinh bang 0 ( p ,,p 2,...,pn). Khi ket cuc Ai + A2 da xuat hien. ta van chua biet A| hay A2 xuat hien. Sir bat djnh nay ro rang phai co dang <t>(pi/(pi + p2), p2/(pi + p2)). Nhu vay do bat djnh ciia phep thir a phai bang do bat dinh ciia phep thir p cong them do bat djnh ciia phep thir de xac dinh xem A] hay A2 xuat hien. Tir lap luan nay ta yeu cau: <I>(P|.P2......Pn) = ^ ( P l + P j . - . P n ) + (p, + p2) d>(pi/(p, + p2), p2/(p, + p2)) (2.3-3) Can cu vao cac lap luan tir a) den e) Shannon da chon ham: 0 ( p ,, p 2,...,pn) = - p , l o g p , - p 2logp2 - . . . - p n logpn (2.3-4) Ham 0 ( p ,, p 2,...,pn) a bieu thirc (2.3-4) thoa man tat ca cac dieu kien vira neu tren. Gia trj ciia ham nay dugc goi la en-tro-py cua phep thu a va ky hieu bai H(a). Nhu vay, trong truang hgp phep thir a gom n ket cuc ta co: H (a ) = - 2 > , loSP. (2-3' 5) 1 =1 Theo dinh nghTa ve lugng tin cua mot bien co dien ta bai cong thirc (2.2-3), bieu thirc (2.3-5) co the viet thanh: H ( a ) = £ p,I(A,) (2.3-6) 1 =1 Cong thirc (2.3-6) chirng to rang, en-tro-py chinh la luang tin trung hinh ciia cac bien co cua phep thir. Can luu y rang, en-tro-py cho biet do khong xac dinh cua toan bo phep thir chir khong xet timg ket cuc rieng re. Thi du, phep thu a a bang 2.3-1 vai cac bien co X|, x2,..., x> co phan bo xac suat khac han phep thir P a bang 2.3-2 vai cac bien co yi, y2.....ys nhung co ciing en-tro-py bang 1,731 bit.
42 Ly thuyet thong tin va ma hoa Bang 2.3-1: Phep thu a Bi6n c6 Xi x2 x s x« x s Xac s u it p(x,) 0,3959 0,4041 0,1060 0,0927 0.0013 Luang tin l(x,) 0,5292 0,5282 0,3432 0,3181 0.0125 Bang 2.3-2: Phep thir ft Bi6n cd yi y2 yi y« Yi Xac s u it p(y,) 0,1898 0,1445 0,5595 0,0918 0.0144 Lim ng tin l(y,) 0,4550 0,4033 0,4687 0,3163 0.0881 2.4. EN-TRO-PY CUA BIEN CO HOP VA EN-TRO-PY CO DIEU KIEN Gia sir a va P la hai phep thu doc lap. Phep thu a co k bien co voi xac suat tuomg ung ghi trong bang 2.4-1. Phep thu (3 co n bien co voi xac suat tuang irng ghi trong bang 2.4-2. Phep thu hop a p (thuc hien dong thai phep thu a va phep thu P) co k.n ket cuc vai cac xac suat tucmg ung duac ghi trong bang 2.4-3. Bang 2.4-1: Cac bien co cua phep thu a Cac bien co A, A2 A. Xac suat P(A0 P(A2) P(A.) Bang 2.4-2: Cac ket cuc cua phep thu ft Cac bien co B, b 2 ' B- Xac s u it P(B-) p (B2) P(B-) Bang 2.4-3: Cac ket cuc cua phep thu hop aft Cac bien c6 A B a b 2 A.B Xac suat P(AB-) p(A .B; ) P(A.B-) Ta chirng minh rang, neu < /. a p la hai phep thu doc lap tin: H(uP) - 11(a) - H(P) Theo djnh nghTa cua en-tro-pv ta co:
Chuang 2: Luang tin va en-tro-py 43 H (a P ) = _ P(A|B,)log(p(AlBl))-p (A ,B 2)log(p(AlB2)) -...-p (A ,B n)log(p(A,Bn)) -p (A 2B ,)log(p(A 2B,)) ~ P ( A 2B2) log (p( A2B2) ) - . . . - p ( A 2Bn) log (p(A2Bn)) -p (A kB,)log(p(AkB ,))-p (A kB2)log(p(AkB2)) - p(AkBn) log (p(AkBn)) (2.4-2) Vi a va p la hai phep thir doc lap nen cac bien co cua chung doc lap vai nhau hay: p(A ,B,) = p(A,) p(Bi) (2.4-3a) p(A 1B2) = p(A1)p(B 2) (2.4-3b) p(AkBn) = p(Ak) p(Bn) (2.4-3k) Nen ta co the viet: “ P(A,B, )log(p(A ,B l)) -...-p (A ,B n)log(p(A ,Bn)) = _ P(A, )p(B, )[lo g (p (A ,)) + log(p(B ,))] ~P(A, )p( B2)[ log (p( A ,)) + log (p(B 2) ) ] - ... -p(A , )p(B„ )[lo g(p(A ,)) + log(p(Bn))] (2.4-4) Tir (2.4-4), bang cach bien ddi hop ly ta thu dugc: ~P ( A,B,) log(p(A,B,)) -... - p(A,Bn) log (p(A,Bn)) - - P(Ai)lo g (p (A ,))[p (B l) + p(A l)p(Bl)log (p(B ,))] -PC A ,) log(p(A, ))[p (B ,) + p(A, )p( B: ) log (p( B: ))] - ... - p ( A ,) log(p(A ,))[p(B n) + p(A,)p(B„) log( p(Bn))] = -p(A,)log(p(A,)) X p (B, ) + P( A, p(Bf) log ( p( B ,)) | (2.4-5] i-i
Ta thay rang: £ p (B,) = 1 (2.4-6) J=' - ^ p ( B J)log(p(B |)) = H(P) (2.4-7) j=i Thay (2.4-6) va (2.4-7) vao (2.4-5) ta thu dugc'. -p (A lB1)log(p(A lB ,) ) - ...- p ( A 1Bn)lo g (p (A lBn)) = _ P(A,) log(p(A ,))+ p(A, )H(P) (2.4-8) Mot cach tong quat ta co: - P(A,B,) log(p(A,B,) ) - . . . - p(A,Bn)log(p(A ,B n)) = _ P(A,) log(p( A ,)) + p(A, )H(P) (2.4-9) Cuoi cung ta co: H(ap) = - p(A,)log p(Ai) - p(A2)log p(A2) -... - p(Ak)log p(Ak) + [p(A)) + p(A2) + ... + p(Ak)] H(p) = H(a) + H(P) (2.4-10) Bieu thirc: H(aP) = H(a) +H (p) (2.4-11) dugc goi la qui tac cong en-tro-py. Bay gio ta xet truang hgp cac phep thir a va P khong doc lap vcri nhau. Trong truang hgp nay ta co: p(A,B,) = p(A, )p(B, / A ,) (2.4-12a) P(A ,B ,) = p(A, )p(B; / A ,) (2.4-12b) 44 Ly thuyet thong tin va ma hoa P(A|B„ =p(A,)p(B„ /A ,) (2.4-12n) Tir (2.4-12) ta co: -p(A,B, )log(p(A ,B l) ) - . . . -p (A ,B ii)lo g (p(A lBn))
Chutmg 2: Luang tin va en-tro-py 45 = -p(A, )p(B, / A,)[log(p(A,)) + log(p(B, / A,))] -pCA^pCB./A^flogfpCA^J + lo gfp fB ,/A ,))]-••■ _ P(A,)p(Bn/ A,)[log(p(Al)) + log(p(Bn/ A,))] (2.4-13) Thong qua bien doi ta co: -p(A,B,) log(p(A,B,))-... -p (A ,B n)log(p(A,Bn)) = -p (A ,) log(p(A,))[p(B, / A ,) + p(A,)p(B, / A ,) log(p(B, / A ,))] -p (A l)log(p(Al))[p(B3/ A 1) + p(A1)p(B,/A,)log(p(B1/ A 1))]-... -p (A ,) log (p(A, ))[p(Bn/ A ,) + p(A,)p(Bn/ A,) log(p(Bn/ A ,))] = -p(A,)log(p(A,)) J p(Bj / A ,) + p(A ,) £ p(Bj / A ,) log(p(BJ/ A ,)) (2.4-14) H j=i Ky hieu: - £ p( / A ,) log p( B, / A ,) = H((3 / A ,) (2.4-15) H va goi H (P /A ,) la en-tro-py cua phep thir p khi ket cuc Ai cua phep thu a da xuat hien. Ngoai ra ta cung thay rang: X p(B ,/A ,) = 1 (2.4-16) K£t hop (2.4-14), (2.4-15) va (2.4-16) ta co: -p(A ,B ,)log(p(A lBl) ) ------- p(A lBn)log(p(A 1 B j ) = P( A ,) log (p (A ,)) + p(A, )H (p /A ,) (2.4-17) Mot cach tong quat: _ P(A,B, )log(p(A,Bl))------- p(A,Bn)log(p(A ,Bn)) - _ P( A ,) log(p(A ,)) + p(A, )H (P /A ,) (2.4-18)
46 Ly thuyet thong tin vd md hoa 0 day ta ky hieu H (p/A ,) la en-tro-py cua phep thir P voi dieu kien k§t cuc A, ciia phep thir a da xuat hien. Dua vao (2.4-18) va lay tong theo i ta thu dugc: H (a P) = -p (A lB1)log(p(A lBl) ) - p(A lB2)log(p(A ,B : ) -...-p (A ,B n)log(p(A,Bn) -p ( A 2B ,)log(p(A ;B,)) -p ( A :B2) log (p( A :B2) ) - . . . - p(A 2Bn) log (p(A : Bn)) ~P(AkB, )log(p( A kB,) ) - p(AkB2) log(p(A kB ,)) - ...- p ( A kBn)log(p(A kBn) = _ P(Al)p(B1/ A l)[log(p(A ,)) +log(p(B, / A ,))] -p(A ,)p(B : /A l)[log(p(A ,)) + log(p(B 3/ A ,))]-... -p(A ,)p(B n /A ,)[log(p(A ,)) + log(p(B n/A ,))] -p (A ; )p(B, / A 2)[log(p(A ,)) +log(p(B, / A 2) ) ]-... -p (A 2)p(Bn / A 2)[log(p(A 2)) + log(p(B n / A ,) ) ] - ... -p (A k)p(B„ / A k)[log(p(A k)) + log(p(Bn / A k))] k k -X p (A ,)lo g (p (A i)) + X p (A ,)H (p /A ,) 1=1 1=1 = H (a) + Ha(P) (2.4-19) Bieu thirc: Ha(P)= X p (a ,)h (P /a ,) (2.4-20) 1 =1 dugc goi la en-tro-py cd dieu kien trung hinh cua phep thu p khi phep thu a duoc thuc hien (goi tut la en-tro-py cd dieu kien cua P khi ct dune thuc hien).
Chuang 2: Luang tin va en-tro-py 47 Tir bieu thirc (2.4-20) ta co the rut ra nhirng nhan xet sau: • Neu tat ca cac xac suat p(Ai), p(A2),..., p(Ak) deu khac 0 thi H«(P) = 0 khi va chi khi: H (p /A .) = H (p /A ,)= ... = H (p /A k) = 0 (2.4-21) NghTa la khi va chi khi vai bat ky mot ket cuc nao ciia phep thir a thi ket qua ciia phep thir p cung dugc hoan toan xac djnh. • Neu cac phep thir P va a doc lap thi: H(P / A ,) = H(P / A 2)= ... = H(P / A k) = H(P) (2.4-22) hay: H„(P) = H(P) (2.4-23) Hai ket luan tren cho thay, viec thuc hien phep thu a lam giam do khong xac dinh ciia phep thir p, tire la lam giam en-tro-py ciia phep thir p (it nhat la H(P) khong tang khi phep thir p va phep thir a la doc lap). Ta goi phep thir p la phep thir chinh va phep thir a la phep thir phu. Sau day ta se chirng minh rang, hieu en-tro-py ciia phep thir chinh va phep thir phu bao gia cung nho han en-tro-py co dieu kien cua phep thir chinh va nho han en-tro-py cua ban than phep thir chinh. NghTa la: H(P) - H(a) < H„(P) < H(p) (2.4-24) De dan gian cach chung minh tinh dung dan ciia bieu thirc (2.4-24) ta xet truang hgp phep thu a co hai ket cuc Ai va A2 dong kha nang. Theo cong thirc (2.4-20) ta co: H„ (P) = ^ H(P / A,) + —H(P/ A ,) (2.4-25) Bay gid ta se chimg minh bat dang thirc: —H (p /A ,) + 1-H (p/A ,) < H(p) (2.4-26) Theo (2.4-25) ta phai chirng minh rang:
48 Ly thuyet thong tin vd md hoa —[ — p(B, / A ,) log(p(B, / A ,) ) - ...- p ( B n/ A,)log(p(Bn/ A,))] + i [ - p ( B , / A 2)log(p(B, / A : - p ( Bn / A 2)log(p(B n / A ,))] < -p (B ,) log(p(B,)) - p(Bn) log(p(B n)) (2.4-27) Xet do thi ham y = -x log x trong hinh 2.4-1. Gia sir cac diem A. B. C, D, M, N, P co toa do nhu sau: A = (xi, 0), B = (xi, y,), C = (x2, y2), D = (x2, 0), M f X. + X-, / - 1 — - . o , N = I 2 ; V x , + x 2 y ,+ y 2 2 2 Ta co the thay the cac gia tri cua X| va x2 bai cac xac suat: x, = p (B ,/A ,); x : = p (B ,/A ,) (2.4-28) Khi do: y, = — p(B, / A ,) log(p(B, /A ,)) (2.4-29) y, = -p (B , A ,)log (pCB,/A,)) (2.4-30) Ta nhan thay rang, tung do cua diem N bang —(yi - v2) la duong trung binh cua tir giac ABCD va ngan han tung do » cua diem P. Ca hai diem N va P deu co hoafih do bing x, + x, . Tir (2.4-28) ta suy ra
Chuang 2: Luang tin vd en-tro-py 49 x N = x p = ^ P ( B i / A , ) + ^ p ( B | / A 2 ) = p(A, )p(B, / A ,) + p(A2)p(B, / A ,) = p(B,) (2.4-31) Va nhu vay: yp = - p(B,) log p(B,) (2.4-32) Tom lai ta co: - i p ( B l /A 1)lo g (p (B ,/A l) ) - I p ( B , / A ; )log(p(B 1/A .)) < -p (B ,)lo g p (B ,) (2.4-33) -± p (B „ / A,)log(p(B„ /A ,)) - i p ( B n / A j)log(p(B n / A 2)) < - p(B„) log p(B„) (2.4-34) Cong tat ca cac bat dang thuc a tung ve voi nhau dugc bieu thuc (2.4-26). 2.5. LlTONG TIN CUA PHEP THU' Nhu tren da thay. H([3) dac trung cho do khong xac dinh cua phep thu p. Khi H(P) = 0 chung to ket qua cua phep thu P hoan toan biet truac. That vay. H(P) chi co the bang 0 khi xac suat cua cac bien co cua phep thu p bang 0. tru mot bien co co xac suat xuat hien bang 1. Gia tri cua H(P) cang lan thi su nghi nga ve ket qua cua phep thu cang lan. Ta nhan thay rang, bat ky mot su quan sat hay do luang nao do lien quan din phep thu p, coi nhu phep thir phu a, xay ra truac phep thir P cung deu lam giam do bat dinh ve phep thir p. Chang han do khong xac dinh ciia phep thu tim vat nang nhat trong 3 vat, se giam di sau khi da so sanh hai vat vai nhau. Viec tien hanh truac phep thir phu a se lam giam do khong xac dinh cua phep thir p. Dieu nay dugc the hien a cho en-tro-py co dieu kien Ha(P) ciia phep thir p luon luon nho han en-tro-py H(P). Dai lugng:
50 Ly thuyet thong tin vd nid hoa I(a,P) = H(P) - H„(P) (2.5-1) cho thay viec thuc hien phep thu a lam giam do khong xac dinh cua phep thu p din muc nao. Dai lugng nay dugc goi la luang tin ve phep thu P chira trong phep thu a. Nhu vay. mu6n hilt kit qua cua phep thir P nha phep thu a thi phai tien hanh phep thu a sao cho H jfi) cang nho cang tot, hoac Ua.fi) cang lan cang tot Nen nha rang co nhieu cach tien hanh phep thu phu a. Tir cac cong thirc (2.4-24) va (2.5-1) ta suy ra: I(«,P) < H(a) (2.5-2) NghTa la, de lam tang I(a,P) ta phai to chirc phep thu phu a sao cho H(a) cang lan cang tot. Noi chung khong co huang dan chi tiet cu the cho viec xay dung phep thu phu. Tuy nhien ly thuyet thong tin cho ta biet qui mo ma phep thu phu se phai duac tien hanh. Vai vi du sau day co the giup ta hinh dung tot han viec giai quyet van de nay. Vi du 1: Co 13 dong tien kim loai cung mot menh gia nen phai co khoi luang nhu nhau. Trong do co 1 dong tien gia khoi lugng nhe hern dong tien that. Hoi phai can toi da bao nhieu lan (tren mot cai can dTa khong co qua can) thi chac chan tim ra dong tien gia? Giai Phep thu p (xac djnh dong tien gia) trong truang hgp nay co 13 ket cuc vi bat ky dong tien nao cung co the la dong tien gia. Cac bien co nay dT nhien la dong kha nang va co xac suat bang ^ . En-tro-py cua phep thir p bang: J2, 1 1 H(P) = - X — log' — = lo g ,13*3.70 bit (2.5-3) i 1j 13 Phep thu ai (can mot lan nhu the nao tuy y) co 3 ket cuc: dTa can ben phai nang hon, dTa can ben trai nang hem va hai dTa can bang nhau. Ba ket cuc nay cho en-tro-py Ion nhat khi chung dong kha nang. Nhu a moi lan can cho mot lugng thong tin bang:
Chuang 2: Luang tin vd en-tro-py 51 (2.5-4) Bay gia ta xet phep thu hop a = a ^ a j . . . ak (can k lan lien tiep). Phep thu nay cho thong tin khong vuat qua 1,58 x k bit (moi lan can ta co thong tin bang 1,58 bit, so lan can la k). Neu phep thir a cho phep xac dinh hoan toan ket qua phep thir P thi phai dat duac: H(a) > I(a,P) > H(P) (2.5-5) Tir do suy ra: 1,58 x k > 3,70 (bit) (2.5-6) hay: k > 2,34 (2.5-7) Vi k la mot so nguyen nen k > 3. Ta co the chi ra rang, vai k = 3 lan can ta hoan toan xac djnh duac dong tien gia trong so 13 dong tien. Phep thir a/ (can lan thu nhat) Gia sir lan can thir nhat, phep thir ai, ta dat len moi dTa can x dong tien. Nhom con lai se la 13-2x dong tien. Hien nhien la xac suat dong tien gia nam a nhom nao phu thuoc vao so dong tien co trong nhom do. Nhu , , X X vay ba bien co cua phep thir ai co cac xac suat tuang irng la — , — va 1 3 -2 x 13 . Ta co: x , x x , x 13- 2 x , 13- 2 x H (a.) = ----- lo g ,---------- lo g ,----------------- lo g ,---------- ' 13 -13 13 13 13 2 13 = Y j[l°g : 13-lo g , x ] + » * [log, 13 - log,(13 - 2 x)] 2x 1 3 -2 x i n 2 x i 1 3 -2 x ... lo g ,1 3 - — log, x ------—— lo g ,( lj- 2 x ) 1j 1j 2x 1 3 -2 x = log, 13------ log, x -------------log,(13-2x) 13 - 13 (2.5-8) Ta tim x sao cho H(ai) la cuc dai. Lay dao ham cua H(ai) theo x ta thu duac:
52 Ly thuyet thong (in vd md hoa (2.5-9) dx 13 * x 13 ,, dH (a.) , d :H (a,) . . . .. Voi x = — thi — — —= 0 va -------< 0. Do chinh la diem cuc 3 dx dx‘ dai. Vi x chi co the la so nguyen nen chi co the x = 4 hoac x = 5. Vori x = 4 ta co H(ot]) = 1,58 bit. Vai x = 5 ta co H (ai) = 1,55 bit. Nhu vay ta sa chon x = 4 va dat len moi dTa can 4 dong tien. Co 3 ket cuc co the xa ra. Do la. can thang bang, can lech ve ben phai va can lech ve ben trai. Trong truang hap can thang bang, ta con 5 dong tien nghi nga. Trong truang hap can khong thang bang (lech ve ben phai hoac lech ve ben trai), ta con 4 dong tien nghi nga. Phep thu aj (can lan thu hai) Ta xet truang hap con 5 dong tien nghi nga. Tien hanh tuang tu nhu ta da lam trong phep thu ai, ta se thu duac: ^ = M log, ^ 0 (2.5-10) dx 5 x Tu (2.5-10) ta thay rang x = ^ . Nhu vay co the x = 1 hoac x = 2. Vcri x = 1 thi H(«:) = 1,37 bit. Vai x = 2 thi H (a2) = 1,52 bit. Nhu va ta se chon x = 2 va dat len moi dTa can 2 dong tien. Co 3 ket cuc co the xay ra. Do la. can thang bang, can lech ve ben phai va can lech ve ben trai. Trong truang hap can thang bang, ta con 1 dong tien nghi nga a do chinh la dong tien gia. Trong truang hop can khong thang bang (lech c ben phai hoac lech ve ben trai), ta con 2 ddng tien nghi nga. Phep thir a< (can lan thu ha) So sanh hai dong tien nghi nga vai nhau. Ben nao nhe hon do chinh la dong tien gia. Tom lai ta hoan toan co the xac dinh dugc dong tien gia sau toi da ba lan can. 11 du 2: Co 12 dong tien kim loai cung mot menh gia nen phai co khoi lugng nhu nhau. Trong do co 1 done tien eia khoi krone khac done
Chuang 2: Luang tin va en-tro-py 53 tien that (nSng han hoac nhe han dong tien that). Hoi phai can toi da bao nhieu lan (tren mot cai can dTa khong co qua can) thi chac chan tim ra dong tien gia? Giai. 0 day phep thir p co 24 bien co (12 bien co la dong tien gia nhe han va 12 bien co la dong tien gia nang han). En-tro-py ciia phep thir P bang: H(p) = - V — log, — = log, 24*4,585 bit (2.5-11) i 24 2 24 Trong vi du 1 da phan tich, phep thir hop a = a i a 2a 3... a^ (can k lan lien tiep) cho ta lugng tin khong lan han k x log23 = log23k bit. Muon xac dinh dugc dong tien gia thi log23k > log224 hay 3k > 24. Vi 33 = 27 > 24 nen ta cam thay rang vai 3 lan can co the xac djnh dugc dong tien gia. Ta kiem tra lai cam giac nay. Phep thir a/ (cun kin thu nhat) Gia sir lan can thir nhat ta dat len moi dTa can x dong tien. Xac suat ' ' ' x x 12 —2 x de dong tien gia nam a mot nhom nao do se bang — , — va ----------. 12 12 12 Vai cach lam tuang tu nhu khi lap phep thir ai a vi du 1, muon cho H(ai) lan thi cac xac suat nay phai xap xi bang nhau. Dieu nay co nghTa la ta phai chon x = 4. nhom con lai cung la 4 dong tien. Truang hgp xau nhat. can khong thang bang, ta con lai 16 ket cuc dong kha nang (dong tien gia la 1 trong 8 dong tien nam tren dTa can). Lan can tiep theo. neu dat len moi dTa can 3 dong tien thi khi can khong thang bang ta con lai 12 ket cuc dong kha nang. khong the xac dinh dugc dong tien gia chi bang mot lan can nua. Neu dat len moi dTa can 2 dong tien thi bat ke trang thai can nhu the nao ta van con lai 8 ket cuc dong kha nang. cung khong the xac dinh dirge dong tien gia chi bang mot lan can tiep theo. Khong the xac dinh dugc dong tien gia sau chi 3 lan can? Cam giac ciia cluing ta dua tren ca sa ly thuyet thong tin la sai hay co gi do chua dung trong cach thiet lap cac phep thir? Dimg la cach lam nhu tren khong hoan hao. Khi xa dung phep thir a 2 (can lan thir hai) nhu vira lap luan
54 Ly thuyet thong tin vd md hoa tren day. ta da khong tan dung het thong tin thu duac sau lan can thu nhat. That vay. tuy rang sau lan can thu nhat ta chua xac dinh dugc dong tiln gia nhung ta da xac dinh dugc 4 (neu can khong thang bang) ho&c 8 (neu can thang bang) dong tien that. Nhung dong tien that nay co the tham gia vao cac phep can tiep theo. Tuy nhien tan dung nhung thong tin ve dong tien that bang cach nao thi van con la cau hoi bo ngo. Nhu tren da neu, khong co mot huong dan cu the nao cho viec xay dung cac phep thu phu va ta luon can mot chut suy luan khon ngoan. Phep thu a: (can lan thu hai) Ta xet truang hgp xau nhat sau lan can thu nhat. can khong thang bang. Ta con lai 8 dong tien nghi nga. Ta goi nhom ben phai la nhom P], nhom ben trai la nhom T| va nhom ngoai la nhom N). Gia su nhom P| nang han nhom Tj. Khi do dong tien gia co the nam a nhom P, va no nang han dong tien that, hoac dong tien gia nam a nhom T| va no nhe hon dong tien that. (Neu nhom T| nang han nhom Pi thi tinh huong se ngugc lai). Ta tien hanh xay dung phep thu a 2 nhu sau: • Dat len dTa phai xP dong tien cua nhom Pi va xT dong tien cua nhom T i. Goi nhom nay la nhom P2. • Dat len dTa trai yP dong tien cua nhom P|, yT dong tien cua nhom Ti va z = (xp + xj) - (yP+ yT) dong tien that. Goi nhom nay la nhom T2. Bang 2.5-1 cho thay cac phuang an khac nhau va en-tro-py tuang ung cua cac phuang an do. Trong bang 2.5-1 ta thdy co 13 phuang an khac nhau de tien hanh phep thu a : va deu cho ta lugng tin bang 1.56 bit. Chung ta co the chon bat ky phuang an nao trong cac phuang an nav Thi du ta chon phuang an 1 vai cac gia tri xP = 2, xt = 1, yP = 2 va vT = 1. Ta thay: P; = {xi» = 2 .x r = 1} ; T: = { y p = 2 .yT =1} N : s t = ;:; (2.5-12) (2 5-13)
Chuang 2: Luang tin vd en-tro-py 55 Trong truang hop P2 = T2 thi dong tien gia nam trong N2 va no nang hon dong tien that khi P| < Ti, nhe hon dong tien that khi Pi > T|. Chung ta con 2 dong tien nghi nga. Bang 2.5-1: Cac phuang an ciia phep thu a2 (trrn'mg hap con 8 dong tien nghi nga) P2 t 2 TT xP xT yp yr z P(N2) P(P2) P(T2) H(a2) (bit) 1 2 1 2 1 0 2/8 3/8 3/8 1,56 2 2 1 2 0 1 3/8 2/8 3/8 1,56 3 2 1 1 1 1 3/8 3/8 2/8 1,56 4 1 2 1 2 0 2/8 3/8 3/8 1,56 5 1 2 2 1 3/8 3/8 2/8 1,56 6 1 2 1 1 1 3/8 2/8 3/8 1,56 7 3 1 1 0 3 3/8 3/8 2/8 1,56 8 1 3 1 3 3/8 2/8 3/8 1,56 9 2 2 1 1 2 2/8 3/8 3/8 1,56 10 2 2 1 0 3 3/8 2/8 3/8 1,56 11 2 2 0 1 3 3/8 3/8 2/8 1,56 12 3 2 1 0 4 2/8 3/8 3/8 1,56 13 2 3 0 1 4 2/8 3/8 3/8 1,56 • Neu P2 > T2 va P| > T t thi dong tien gia la mot trong hai dong tien x p e P , va no nang hon dong tien that. • Neu P2 > T2 va P i < T| thi dong tien gia la mot trong hai dong tien y(, € T, va no nhe hon dong tien that. • Neu P2 < T: va P| > T| thi dong tien gia la mot trong hai dong tien yp e T, va no nang hon dong tien that. • Neu P: < T2 va P| < T| thi dong tien gia la mot trong hai dong tien x,, e P, va no nhe hon dong tien that. Trong truang hop P| = Ti cua phep thir ai ta con 4 dong tien nghi ngo o N i.
56 Ly thuyet thong tin vd md hoa Bang 2.5-2: Cac phuang an cua phep thu a> (truang hop con 4 dong tien nghi nga) P2 t 2 TT Xn Yn y. P(N2) P(P2) P(T2) H (a2) 1 1 1 0 1/2 1/4 1/4 1.50 2 1 0 1 3/4 1/8 1/8 1.19 3 2 2 0 0 1/2 1/2 1.00 4 2 1 1 1/4 3/8 3/8 1.56 5 2 0 2 1/2 1/4 1/4 1,50 6 3 1 2 0 1/2 1/2 1,00 7 3 0 3 1/4 3/8 3/8 1,56 8 4 0 4 0 1/2 1/2 1.00 Ta xav dung phep thu a 2 bang each dat len dTa phai xn dong tien nghi ngo, dat len dTa trai yn dong tien nghi ngo va y, dong tien that. Bang 2.5-2 cho thay tat ca cac phuang an co the co cung vai en-tro-py tuang ung. Trong 8 phuang an thi cac phuang an 4 va 7 co en-tro-py lan nhat. Nhu vay ta phai chon mot trong hai phuang an nay. Gia su ta chon phuang an 4. Ta thay: P: = K = 2) ; T , = { y n =l. y, = 1} (2.5-14) • Neu P2 > T2 thi dong tien gia la mot trong hai dong tien x n eP , va no nang hon dong tien that hoac no la dong yn e T, va nhe han dong tien that. • Neu P2 < T2 thi dong tien gia la mot trong hai ddng tiln x n € P, va no nhe hon dong tien that hoac no la dong yn e T, va nang hon done tien that. Phep thu at (can lan thir ha) Sau phep thu a 2 chung ta con lai hai dong tien nghi ngo. dong thai da biet no nang hon hay nhe hon dong tien that. Chi can so sanh 2 dong tien nghi nga voi nhau ta se tim duoc d6ng tien gia. Nhu vay sau tdi da ba lan can chac chan ta tim duac dong tien eia va dieu khang dinh cua ly thuyet thong tin da duoc chung minh
Chuang 3 NGUON R&I RAC VA KENH ROl RAC • • 3.1.NGU6N R&I RAC 3.1.1. Mo hinh tong quat cua nguon roi rac Tat ca cac mo hinh su dung trong ly thuyet thong tin deu la mo hinh qua trinh ngau nhien hoac chuoi ngau nhien. Mo hinh nguon tin rai rac (goi tat la nguon roi rac) la mo hinh don gian nhat trong cac mo hinh nguon. Nguon roi rac la nguon ma dau ra cua no la cac chuoi ngau nhien {X(t); t = 1, 2,..., n}. Cac gia tri co the co cua X(t) la Q := {xi, x2,~-, xk}. X(t) nhan gia trj x,- voi xac suat tuang ung p ,(x ,). Neu pt(x,) khong phu thuoc vao t, nghTa la neu: p ,(x,)= p(x,) (3.1-1) thi ta goi nguon do la nguon dung (Stationary Source). Neu xac suat xuat hien mot tin khong phu thuoc vao cac tin da xuat hien truac, nghTa la neu: P (x , / x , x , = p(x,) (3.1-2) thi ta goi nguon do la nguon khong nho (Memoryless Source). Nguac lai. neu xac suat xuat hien mot tin phu thuoc vao cac tin da xuat hien truac. nghTa la neu: p ( x ,/x 1 _l.x,_2....)* p (x 1) (3.1-3) thi ta goi nguon do la nguon co nho. Thi du. ngon ngu Viet la mot nguon co nho. That vay. xac suat xuat hien tir “roi” khi tu “rac" da xuat hien la rat lan. bai vi di sau tir "rac“ chi co the la tir “roi" (rac roi). tir “cat" (rac cat”) va mot so it tir nua. Ta nhan thay rang, moi tin x, ciia nguon dirng X chinh la mot bien cd ngau nhien va ta co mot lugng tin dugc djnh nghTa bai:
58 Ly thuyit thong tin va md hoa I(x,) = - log p(x,) (3.1-4) Lugng tin trung binh cua tat ca cac tin cua nguon dung X dugc goi la en-tro-py cua nguon va dugc xac dinh bcri cong thuc: H(X) = - £ p ( x ,) lo g ( p ( x ,) ) (3.1-5) 1= 1 Ky hieu H(X)nm la gia tri en-tro-py Ion nhat ma mot nguon co the co. Khi do bieu thuc: Rs = H (X )nm- H ( X ) (3.1 r6) dugc goi la do du thua cua nguon (Source Redundance). Ty so: rs = — ^ — = 1- H()L L (3.1-7) H ( X L H (X )nm dugc goi la d<j du thira tuang doi cua nguon. Trong truang hgp Q la mot tap him han. nguon X co en-tro-py Ion nhat khi cac tin co xac suat xuat hien bang nhau. Nhu vay do du thira cho biet mire do khac biet nhau ve xac suat xuat hien cac tin cua nguon. Rs cang Ion thi su khac biet ve xac suat xuat hien cac tin cang 1 cm. En-tro-py cua nguon cho biet tinh chat thong ke cua nguon. Nhung su hinh thanh tin nhanh hay cham (de dua tin vao kenh truyen dan) lai phu thuoc nhung tinh chat khac ciia nguon nhu quan tinh, do phan biet. v.v... Trong thuc te cac tin x, cua nguon X dugc tao ra tir nhirng ky hieu so cap. Ky hieu so cap la nhung tin khong the phan chia nho hon. Thi du. neu x, tuang irng vai mot tir cua mot ngon ngir nao do thi no dugc tao ra bai nhung chu cai. Trong truang hgp nay, nhung chu cai chinh la nhirng ky hieu so cap. So ky hieu so cap dugc tao ra trong mot don vi then eian o cac nguon khac nhau co the rat khac nhau. mac dii cac nguon nav co en- tro-py nhu nhau. Nhu vay thong so dac trung thir hai cua mot neuon la toe do lap tin. Gia su tin x, cua nguon X gom r, ky hieu so cap Gia su thai gian de tao ra moi ky hieu so cap la nhu nhau. Ky hieu u la so kv hieu so cap lap dugc trong mot dan vi thai gian (vi du trong 1 giay). Nhu vay thai gian tao ra mot tin x, se la jar,. Gia su tap ky hieu so cap bao
Chuang 3: Nguon rai rac va kenh rai rac 59 gom m ky hieu dong kha nang. Khi do moi ky hieu so cap chua mot lugng tin bang log(m). Vai r, ky hieu sa cap ta co mot lugng tin bang r, log(m). Lugng tin nay di nhien phai bang lugng tin tuang ung vai x„ nghTa la bang -log(p(x,)). Tir lap luan tren day ta suy ra: r, log(m) = -lo g (p (x ,)) (3.1-8) Tir bieu thirc (3.1-8) ta suy ra: to g f o W ) (3.1-9) log(m) Lay trung binh vai moi tin ciia nguon ta thu dugc: log(p(x,)) r = Z r,p(x, ) = - X p ( x,)- 1 = 1 1 = 1 log(m) log(m) ' ' log(m) De dang nhan ra rang, r chinh la so trung binh cac ky hieu sa cap ciia cac tin trong nguon. Toe do lap tin ciia nguon X dugc djnh nghTa qua bieu thuc: X = nr = — L - H(X) (3.1-11) log(m) Trong truang hgp m = 2 (nguon co 2 ky hieu sa cap) va chung ta chon lo-ga-rit ca so 2 thi toe do lap tin ciia nguon se la: X = |aH(X) bit/s (3.1-12) Sau nay ta se thay rang, toe do lap tin ciia nguon va dung lugng cua kenh (neu nguon dugc ghep vao kenh truyen dan) thi chiing phai tuang thich vai nhau. 3.1.2. Nguon Markov Trong cac nguon tin rai rac. nguon Markov co mot vai tro dac biet. Chang han khi irng dung ly thuyet hang dgi tren mang vien thong lam viec theo nguyen ly chuyen mach goi, nguai ta thuang gia thiet rang
60 Ly thuyet thong tin vd md hoa dong cac goi den mot nut mang tuan theo phan bo Poisson. Gia thiet nay cho phep ap dung dirge cac phuang trinh Erlang de tinh toan cac tham so cua mang. Tuy nhien trong thuc te, gia thiet phan bo Poison cua dong den hau nhu khong thoa man. De vugt qua kho khan nay. nguai ta coi cac goi den nhu la cac tin dugc tao ra tir mot nguon Markov. Sau day chirng ta se nghien ciru xem nguon Markov la gi? Ky hieu I = {1, 2,..., J} la tap hgp tat ca cac trang thai cua nguon. Ky hieu Q = {ai, a:,..., aK[ la an-pha-be cua nguon, a^ la cac ky tu cua an-pha-be. Trong moi dan vi thai gian. nguon sinh ra mot ky tu dong thai chuyen sang mot trang thai moi. Chuoi ky tu do nguon sinh ra dugc ky hieu la U = {ui, u2,..., u,} va chuoi cac trang thai ciia nguon dugc ky hieu la S = {si, s2,..., s,}. Goi q(i/j) la xac suat co dieu kien cho biet kha nang nguon chuyen tir trang thai i sang trang thai j. NghTa la: q (i/j) = Pr{s, = i/s,_, = j} (3.1-13) Nguon Markov la nguon ma sir hinh thanh trang thai cua no a thai diem t chi phu thuoc vao trang thai a thai diem ngay truac do. NghTa la: Pr {s,/s,_,.st_-,. ---} = Pr {st/s t_,} (3.1-14) Mot chuoi cac trang thai tuan theo dieu kien (3.1-13) va (3.1-14) dugc goi la chuoi Markov hay xich Markov dong nhat him han (Finite Homogeneous Markov Chain). Ky hieu Pj(a0 la xac suat ky tu a^ dugc sinh ra khi nguon dang o trang thai j. Gia thiet rang xac suat nay chi phu thuoc vao trang thai hien tai cua nguon. NghTa la: Pj(ak) = Pr{u, = a k/s, = j} (31-15) Hay: Pr (U, /s ,.s, .s , = P r|u ,/s,} (3.1-16)
Chuang 3: Nguon rai rac va kenh rai rac 61 Cuoi cung ta gia thiet rang, trang thai cua nguon ducrc xac djnh mot cach duy nhat bai trang thai truac do va ky tu sinh ra truac do. Hinh 3.1-1 minh hoa mot nguon Markov. Do la mot do thj co huong. Cac nut cua do thi tucmg ung voi cac trang thai va chieu mui ten tren cac cung chi su chuyen doi giua cac trang thai. Trang thai cua nguon Markov co the dugc xem nhu sir bieu hien anh huong ciia qua khir den xac suat xuat hien ky tu dau ra hien tai. Hinh 3.1-1: Nguon Markov dau ra a* vai xdc suat p/aij tuang ung Nguon Markov dong nhat huu han co mot so tinh chat rat dac biet. Trirdc het chirng ta thong nhat mot vai khai niem nham giiip cho cach trinh bay dugc de dang hon. Trang thai s dugc goi la trang thai qua do (transient state) neu tir trang thai s. qua mot hay mot vai lan chuyen doi co the dat tdi nhung trang thai khac. nhirng tir cac trang thai kia khong the quay ve trang thai s dugc. Vi du trong hinh 3.1-1 trang thai 1 la trang thai qua do. Mot tap hgp cac trang thai dugc goi la tap tdi gian (Irreducible Set of States) neu moi trang thai trong tap deu co the dat tdi tir mot trang thai khac cua tap qua mot hoac nhieu lan chuyen doi. nhung tir bat ky trang thai nao cua tap deu khong the dat tdi cac trang thai ngoai tap do. Trong hinh 3.1-1 cac trang thai 2 va 3 lap thanh mot tap tdi gian. Cd the tach mot cach duy
62 Ly thuyet thong tin va md hoa nhat cac trang thai trong mot chuoi Markov dong nhat huu han thanh nhirng tap toi gian va mot tap cac trang thai qua do. Tap cac trang thai qua do co the la tap rong. Trong qua trinh hoat dQng. vdri xac suat bang 1, cuoi cung chuoi Markov chuyen ve mot trong cac tap toi gian cua no va dT nhien se dirng tai do. Bat dau tir trang thai s nao do trong mot tap toi gian, so cac chuyen doi can thiet de nguon lan dau tien quay tro lai trang thai s, duoc goi la thai gian tdi hoi (Recurrence Time) ciia s. Thai gian tai hoi la mot bien ngau nhien. Uoc so chung Ion nhat ciia thoi gian tai hoi ciia moi trang thai trong tap toi gian duoc goi la chu ky. Trong vi du 6 hinh 3.1-1, chu ky ciia tap toi gian cac trang thai 2 va 3 la 1, boi vi thoi gian tai hoi ciia cac trang thai nay co the la bat ky so nguyen duong nao. Chu ky cua tap toi gian cac trang thai 4 va 5 la 2 vi thoi gian tai hoi ciia moi trang thai deu bang 2. Neu mot tap toi gian co chu ky bang hoac Ion hon 2 thi ta noi rang no co tinh tuan hoan va tap trang thai do duoc goi la tap trang thai tuan hoan (The Periodic Set of States). Neu mot tap toi gian co chu ky bang 1 thi ta noi rang no co tinh ergodic va tap do duoc goi la tap trang thai ergodic (The Ergodic Set of States). Mot tap trang thai ergodic, ky hieu la E, duoc dac trung boi tap phan bo xac suat q(j). Ta co cac moi lien he sau: ^ q (j)q (i/j) = q(i) ieE jeE X q ( j ) = i jeH Ngoai ra voi i va j thuoc E ta co: lim Pr{s,_T= i/s, = j} =q(i) (3.1-19) Ta co the thay rang cac phan bo xac suat da neu tren day khong mo ta day du tinh chat cua nguon Markov. Boi vi ta con chua biet khi nao nguon bat dau khoi dong va trang thai xuat phat cua no la gi. Neu nguon duoc khoi dong khi no dang o trong mot tap ergodic rat xa qua khu thi: (3.1-17) (3.1-18)
Chuang 3: Nguon rcri rac vd kenh rai rac 63 Pr{s, = i} = q(i) Vt (3.1-20) va nguon do la mot nguon dung. Van de qua do doi voi tap trang thai tuan hoan la van de nghiem trong hon so voi tap trang thai ergodic. Doi voi tap trang thai tuan hoan chu ky m, neu ta quan tarn den mot trang thai nao do cua nguon thi ta khong the biet chac chan trang thai do xuat hien 6 thoi diem nao. Co m truong hop tuong ung, trang thai do co the xuat hien tai mot trong cac thcri diem..., -m, 0, m,... hoac..., -m + 1, 1, m + 1..., hoac -m + (m-1), (m-1), m + (m -1)... Cung nhu cac nguon noi chung, tham so dac trung nhat cua nguon Markov la en-tro-py. De dang thay rang, neu ta chi quan sat cac chuoi dau ra gom mot ky tu thi en-tro-py cua nguon tai mot thoi diem xac dinh va trang thai hien thoi cua no se la: H (U /s = j) = - J ] p |(ak)log(pJ(ak)) (3.1-21) V =! Dinh ly 3.1-1 H (U ,/U ,.,.U ,.,,--.U ,.s , = j) = i> { s, =i/s, = j} H (U /s = i) (3.1-22) 1 =1 Chung minh Theo dinh nghTa nguon Markov, trang thai s2 hoan toan duoc xac djnh boi trang thai Si va dau ra ui cua nguon. Suy dien tren co so do ta thay trang thai st se duoc xac dinh hoan toan boi U|, u2,..., u,_i va sj. Nhu vay: P r{ u ,/u ,.u ,.....u,_„S|} = Pr {u, /s t, u ,,— u,_, ,s ,} (3.1-24) Boi vi u, chi phu thuoc vao s, nen ta co: P r{ u ,/u |.u : .....ut_,,s,} = Pr {u,/s,} (3.1-25) Lay lo-ga-rit hai ve cua (3.1-24) va lay trung binh tren toan khong gian dau ra ta thu duoc:
64 Ly thuyet thong tin va md hoa X Pr{ul,u 2,...,ul,st/s 1}log(Pr{ut/u „ ...,u M,s1}) U |. .U, .s, = £ Pr{ul,u 2,...,ut. l,sl/ s l}Pr{u,/s,}log(Pr{ut/s t}) (3.1-25) ui ....u,-st Lay trung binh tren toan bo khong gian dau ra, tir (3.1-25) ta se thu dugc (3.1-22). Khi da biet phan bo xac suat ciia trang thai si ta co the xac djnh dugc xac suat cua cac trang thai khac. Chung ta cung de dang thay tinh dung dan ciia bieu thirc: H (U ,/U 1 _|,U I_,,...,U |,S1) = £ p r { s ,= i ) H { U / s = i) (3.1-26) 1= 1 Doi voi nguon Markov dimg va co tinh ergodic, xac suat xuat hien trang thai Pr{st = i} khong phu thuoc vao t va do do ta co: H (U l/ U t. l,U t. 2,...,U l,S ,)= X q (i)H (U /s = i) Vt > 1 (3.1-27) i 3.2. KENH ROI RAC Ve mat toan hoc. co the xem kenh thong tin nhu la mot phep bien doi (hay anh xa) mot khong gian cac bien ngau nhien vao mot khong gian cac bien ngau nhien khac. Kenh roi rac la kenh ma cac thong tin o dau vao va cac thong tin o dau ra deu la cac bien ngau nhien roi rac. Khi truyen qua kenh, thong tin x o dau vao ciia kenh co the chuyen thanh thong tin y o dau ra ciia kenh. Neu ket qua ciia su chuyen doi tai mot thcri diem khong phu thuoc vao cac chuyen doi trudc do thi kenh dugc goi la kenh khong nho (Memoryless Channel), ngugc lai goi la kenh co nho (Channel with Memory). Sau day chung ta se lan lugt nghien ciru cac loai kenh tren. 3.2.1. Kenh roi rac khong nhd I Quan sat mot kenh rcri rac khong nho gom an-pha-be dau ao X va an-pha-be dau ra Y. De don gian ta coi X bao gom K so nguyen ducmg 0. 1 K-l va Y bao gom J so nguyen duang 0. 1..... J-l. Kenh roi rac
Chuang 3: Nguon rai rac va kenh rai rac 65 khong nha dirge dSc trirng bai xac suat chuyen tai p(j/k) vai 0 < j < J-l va 0 < k < K -l. Do la xac suat dau ra cua kenh nhan dugc j khi biet rang dau vao giri di k. Ta ky hieu mot chuoi gom N ky tu dau vao la x = (xi, X2,..., xn) trong do xn, 1 < n < N, nhan cac gia trj tir an-pha-be dau vao X. Chuoi dau ra tuang ung dugc ky hieu la y = (yi, y2,..., yN) trong do yn nhan cac gia tri tir an-pha-be dau ra Y. Xac suat co dieu kien ciia ky hieu dau ra yn khi biet ky hieu dau vao xn dugc goi la xac suat chuyen tai p (y n/ x n). Vi kenh khong nha nen moi ky hieu dau ra chi phu thuoc dau vao tuang irng, do do xac suat cua mot chuoi dau ra y = (yi, y2,..., yN) khi cho truac mot chuoi dau vao x = (xi, x2,..., xN) dugc xac djnh bai bieu thirc: P N ( y / x ) = f ] p ( y n / x , 1) (3.2-1) n=l Nhu vay ta co the thay rang, mot kenh dugc goi la kenh khong nha neu xac suat chuyen tai p(j/k) ton tai va thoa man bieu thirc (3.2-1) vai moi chuoi y = (yi, y2,..., yN) va x = (xj, X2,..., x n ) . De lam sang to nhirng dieu vira trinh bay, chung ta xet vi du mot kenh nhi phan doi xung nhu trong hinh 3.2-1. Tren hinh 3.2-1 cho thay xac suat chuyen tai p(0/0) = 0,9; p(l/0) = 0,1; p(0/l) = 0,1; p (l/l) = 0,9. Vai mot chuoi co do dai bang 2, bieu thirc (3.2-1) cho ket qua p2(00/00) = (0,9)(0,9) = 0,81; p2(10/00) = (0,1)(0,9) - 0,09; p2(01/00) = (0,9)(0,1) = 0,09; p2(l 1/00) = (0,1)(0,1) = 0,01;... 0,9 Hinh 3.2-1: Mo hinh kenh nhi phan doi ximg
66 Lv thuyet thong tin vd md hoa Cho den luc nay ta chua de y den viec cac ky tir dau vao xuat hien nhu thi nao. Ky hieu p(k) la xac suat xuat hien ky tu k 6 dau vao. Khi do lugng tin tuang ho trung binh giua dau vao va dau ra se la: I(X,Y) = X £ p < k )p (j/k )lo g k=l j=l P(j k ) 2 ^p(i)p(j i) 1 =1 Trong bieu thirc (3.2-2) ta da sir dung quan he: 2^P(i)P(j/i) = P(j) (3 (3.2-3) 1= 1 de nhan manh moi lien quan giua xac suat chuyen tai va xac suat xuat hien ky tu dau vao anh huong toi su xuat hien ky tu dau ra. Nhu ta da biet trong muc 3.1 noi ve nguon roi rac. ta co the dieu chinh toe do lap tin ciia nguon va do do toe do cac ky tu di vao kenh co the thay doi. Lugng tin I(X,Y) giu vai tro lugng hoa thong tin tren kenh. Nguai ta dinh nghTa dung luang kenh (Channel Capacity) cua kenh roi rac khong nho la la lugng tin tuang ho trung binh I(X,Y) lan nhat co the dugc chuyen tai tren kenh. Do la dai lugng C dugc xac dinh boi bieu thirc: C = max p(k) ( V X X p ( k)p(j / k ) los k=l 1 = 1 p (j/k ) K V i=i / . (3.2-4) Trong khi xac dinh dung lucmg C cua kenh qua bai toan cuc dai hoa the hien o bieu thirc (3.2-4) ta phai luu y den cac dieu kien: p(k) > 0 va ^ p ( k ) (3.2-5) k= l Ta co the dua vao dinh ly sau day de xac dinh dung lugng cua kenh roi rac khong nho. Viec giai bai toan cuc dai hoa (3.2-4) noi chung kha phirc tap. Chung ta co the xac dinh dung lugng kenh khong nho mot cach don gian hon nho dinh ly sau day.
Chuang 3: Nguon rai rac vd kenh rai rac 67 Djnli ly 3.2-1: Cho truac cac xdc suat chuyen tdi p(j/k). C la dung luang cua kenh rai rac khong nha khi vd chi khi cac dieu kien sau duac thoa man: l(x = k,Y) = C Vk, p(k) > 0 (3.2-6) I(x = k , Y ) < C V*. p(k) = 0 (3.2-7) Trong do I(x = k,Y) la thong tin tuang ho ddi vai dau vao k lay trung binh tren toan bo dau ra duac xdc dinh bai: I(x = k,Y) = Y j p(j/k)og 7 = 1 P ( j /*) Y s P ^ p i j H ) V/= ! (3.2-8) Chung minh: Theo dinh nghTa dung lugng kenh ta phai cuc dai hoa phiem ham: I(X,Y) = £ p (k ) p (j/k )lo g k.j P ( j / k ) £ p ( i) p ( j/i) V i (3.2-9) theo p(k) vai rang buoc (3.2-5). Sir dung phuang phap nhan tir Lagrange ket hgp vai dieu kien Kuhn-Tucker ta suy ra dieu kien can va du cho bai toan toi uu la: dI(X, Y) 5p(k) ai(x,Y) dp(k) Tir (3.2-9) ta co: ai(X,Y) = X Vp(k) > 0 <X Vp(k) = 0 (3.2-10) (3.2-11) c*p(k) = I(x = k, Y) —log(e) Tir (3.2-10), (3.2-11) va (3.2-12) ta thu dugc: I(x = k,Y) = log(e) + X V p (k )> 0 l(x = k. Y) < log(e) + X Vp(k) = 0 (3.2-12) (3.2-13) (3.2-14)
68 Ly thuyet thong tin va md hoa De dang thay rang, tir (3.2-13) va (3.2-14) ta co (3.2-6) va (3.2-7) khi thay C = log(e) + X. De thay ro y nghTa ciia dinh ly 3.2-1 ta xet mot vai vi du don gian. Vi du 1: Hinh 3.2-2 mo ta mot kenh nhi phan doi ximg. 1 - c Hinh 3.2-2: Kenh nhi phan ddi xung Ta gia thiet rang xac suat p(0) = p(l) = ~ • Ta tinh xac suat nhan dugc cac ky tu dau ra: q(0) = p(0)p(0/0) + p(l)p(0/l) = i ( l - e ) + i e = i (3.2-15) Z. A A q(l) = p(0)p(l/0) + p(l)p(l/l) = i e + i ( l - e ) = i (3.2-16) Theo (3.2-8) ta co: I(x = 0.Y) = p ( 0 / 0 ) l o g , ^ - ^ + p ( l / 0 ) l o g ^ i - ^ q(0) q(1) = (l-e )[lo g ,(l-E ) + l] + e[log,e + l] = 1+ slog, e + (l —e)log: ( l - e ) (3 .2- 17) Tuang tu ta co: I(x = 1. Y )= 1+ elog; e + (1 —e)log2(1 —e) (3.2-18) So sanh (3.2-17) va (3.2-18) 6 i (3.2-6) ta suy ra:
Chu(mg 3: Nguon rai rac va kenh rai rac 69 C = 1-e lo g , e —(1 -e )lo g 2( l- e ) bit (3.2-19) Vi du 2: Hinh 3.2-3 dien ta mot kenh co 2 dau vao va 3 dau ra voi cac xac suat chuyen tai tuang ung. 1 - e Hinh 3.2-3: Kenh rai rac 2 dau vao va 3 dau ra Ta gia thiet rang xac suat p(0) = p(l) = —. Can cu vao cac xac suat cho trong hinh 3.2-3 ta co: q(0) = p(0)p(0/0) + p(l)p(0/l) =I(l_e)+IxO=— 2 2 2 (3.2-20) q(l) = p(0 )p (l/0) + p(l)p(l/l) = —e + - e = e q(2 ) = p(0 )p(2 / 0 ) + p(l)p(2 /l) =- x 0+-(l-e) =— 1 7 (3.2-21) (3.2-22) Theo (3.2-8) taco: I(x = 0. V) = p(0 / 0 )log. P(Q/Q) q(0) + p (l/0)log: P(l/Q) qd) +p(2/0)log, = (1 -E )log, 2 + Elog J q(2) = (1-E) (3.2-23)
70 Ly thuyet thong tin va ma hoa I(x = 1, Y) = p(0/ 1) log, + p(l /1)log, q(0) qd) -p(2 / 1) log, = e log j 1+ (1 - e) log, 2 q(2) - (1- e ) So sanh (3.2-23) va (3.2-24) voi (3.2-6) ta suy ra: C = (1 - e ) bit (3.2-24) (3.2-25) Qua hai vi du tren ta thay rang, doi voi mot kenh doi ximg. ma tran xac suat co dieu kien cua dau ra (ma tran xac suat chuyen tai) co the tach thanh cac ma tran con voi tinh chat la: cac hang va cac cot cua ma tran con la hoan vi ciia cac hang va cac cot khac. Trong vi du 1, ma tran xac suat co dieu kien ciia dau ra la mot ma tran bac 2 doi ximg: 1 - 8 (3.2-26) P = 8 1 -8 Trong vi du 2, ma tran xac suat co dieu kien ciia dau ra co dang: 1 - 8 8 0 P = 0 8 1 - 8 va co the duoc tach thanh 2 ma tran con co dang: (3.2-27) 1- 8 0 8 p, = va P, - 1 0 1- 8 8 (3.2-28) Qua cac vi du tren ta co the rut ra ket luan sau: dung hccrng cua mot kenh rai rac, ddi ximg va khong nha la luang tin tuang ho giua dau vao vd dau ra khi cac dau vao co cung phan bd xdc suat. Trong truang hop cac kenh khong doi ximg, viec xac dinh dung lugng kenh tro nen phuc tap hon. mac dii cac dau vao co cung phan bo xac suat. Vi du 3 Hinh 3.2-4 dien ta mot kenh co 2 dau vao va 3 ddu ra vcri cac xac suat chuyen tai tuang irng. 0 day ta cung gia thiet rang xac suat dau ao
Chuong 3: Nguon roi rac vd kenh roi rac 71 2 cho (3.2-9) nhan gia tri cuc dai. P(0) —p( 1) — —- Cung nhu cac vi du truac, xac suat nay la xac suat lam 2 Dau ra Hinh 3.2-4: Kenh khong doi ximg Ma tran xac suat chuyen tai co dang: '0,7 0,2 0,1' 0,2 0,1 0,7 (3.2-29) Ma tran nay khong cho phep tach thanh cac ma tran con co dang nhu 6 (3.2-28). Can cir vao cac xac suat cho trong hinh 3.2-4 ta co: q(0 ) = p(0)p(0/0) + p(l)p(0/l) = -^x0,7 + -^x0,2 = ^ ^ (3.2-30) q(l) = p(0)p(l/0) + p(l)p(l/l) =-^-x0,2 + -^0,l = - ^ - (3.2-31) q(2) = p(0)p(2/0) + p(l)p(2/l) = ^ x 0 , l + ^ x 0 .7 = ^ (3.2-32) Theo (3.2-8) taco: I(x = 0, Y) = p(0 / 0) log, + p (l/0)log, q(0) ' q(l) dP / 0 ) 1 4 0 4 + p( 2 / 0) log, ^ = 0,7 log, — + 0.2 loe, — q(2) 0.9 0.3 + 0. 11og: ^ | = 0.329 (3.2-33)
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf
Sách HD Lý thuyết thông tin và mã hóa.pdf

Recommended

Lich-su-Dang-bo-tinh-Dong-Thap-tap-3.pdf
Lich-su-Dang-bo-tinh-Dong-Thap-tap-3.pdfLich-su-Dang-bo-tinh-Dong-Thap-tap-3.pdf
Lich-su-Dang-bo-tinh-Dong-Thap-tap-3.pdfstyle tshirt
 
Lich-su-Dang-bo-tinh-Dong-Thap-tap-2.pdf
Lich-su-Dang-bo-tinh-Dong-Thap-tap-2.pdfLich-su-Dang-bo-tinh-Dong-Thap-tap-2.pdf
Lich-su-Dang-bo-tinh-Dong-Thap-tap-2.pdfstyle tshirt
 
Lich-su-Dang-bo-tinh-Dong-Thap-tap-1.pdf
Lich-su-Dang-bo-tinh-Dong-Thap-tap-1.pdfLich-su-Dang-bo-tinh-Dong-Thap-tap-1.pdf
Lich-su-Dang-bo-tinh-Dong-Thap-tap-1.pdfstyle tshirt
 
LS DANG BO LAI VUNG vuong quóc quyt hong
LS DANG BO LAI VUNG vuong quóc quyt hongLS DANG BO LAI VUNG vuong quóc quyt hong
LS DANG BO LAI VUNG vuong quóc quyt hongstyle tshirt
 
Tài liệu triển khai, hướng dẫn quy trình rà soát hộ nghèo, hộ cận nghèo và hộ...
Tài liệu triển khai, hướng dẫn quy trình rà soát hộ nghèo, hộ cận nghèo và hộ...Tài liệu triển khai, hướng dẫn quy trình rà soát hộ nghèo, hộ cận nghèo và hộ...
Tài liệu triển khai, hướng dẫn quy trình rà soát hộ nghèo, hộ cận nghèo và hộ...style tshirt
 
các chính sách-cam-nang-giam-ngheo-1 (1).pdf
các chính sách-cam-nang-giam-ngheo-1 (1).pdfcác chính sách-cam-nang-giam-ngheo-1 (1).pdf
các chính sách-cam-nang-giam-ngheo-1 (1).pdfstyle tshirt
 
scdi-tai-lieu-nghiep-vu-tro-giup-xa-hoi-2019_PGB2Omi.pdf
scdi-tai-lieu-nghiep-vu-tro-giup-xa-hoi-2019_PGB2Omi.pdfscdi-tai-lieu-nghiep-vu-tro-giup-xa-hoi-2019_PGB2Omi.pdf
scdi-tai-lieu-nghiep-vu-tro-giup-xa-hoi-2019_PGB2Omi.pdfstyle tshirt
 
Sile Báo cáo sơ kết giua ky giam ngheo.pptx
Sile Báo cáo sơ kết giua ky giam ngheo.pptxSile Báo cáo sơ kết giua ky giam ngheo.pptx
Sile Báo cáo sơ kết giua ky giam ngheo.pptxstyle tshirt
 

Recommended

Lich-su-Dang-bo-tinh-Dong-Thap-tap-3.pdf
Lich-su-Dang-bo-tinh-Dong-Thap-tap-3.pdfLich-su-Dang-bo-tinh-Dong-Thap-tap-3.pdf
Lich-su-Dang-bo-tinh-Dong-Thap-tap-3.pdfstyle tshirt
 
Lich-su-Dang-bo-tinh-Dong-Thap-tap-2.pdf
Lich-su-Dang-bo-tinh-Dong-Thap-tap-2.pdfLich-su-Dang-bo-tinh-Dong-Thap-tap-2.pdf
Lich-su-Dang-bo-tinh-Dong-Thap-tap-2.pdfstyle tshirt
 
Lich-su-Dang-bo-tinh-Dong-Thap-tap-1.pdf
Lich-su-Dang-bo-tinh-Dong-Thap-tap-1.pdfLich-su-Dang-bo-tinh-Dong-Thap-tap-1.pdf
Lich-su-Dang-bo-tinh-Dong-Thap-tap-1.pdfstyle tshirt
 
LS DANG BO LAI VUNG vuong quóc quyt hong
LS DANG BO LAI VUNG vuong quóc quyt hongLS DANG BO LAI VUNG vuong quóc quyt hong
LS DANG BO LAI VUNG vuong quóc quyt hongstyle tshirt
 
Tài liệu triển khai, hướng dẫn quy trình rà soát hộ nghèo, hộ cận nghèo và hộ...
Tài liệu triển khai, hướng dẫn quy trình rà soát hộ nghèo, hộ cận nghèo và hộ...Tài liệu triển khai, hướng dẫn quy trình rà soát hộ nghèo, hộ cận nghèo và hộ...
Tài liệu triển khai, hướng dẫn quy trình rà soát hộ nghèo, hộ cận nghèo và hộ...style tshirt
 
các chính sách-cam-nang-giam-ngheo-1 (1).pdf
các chính sách-cam-nang-giam-ngheo-1 (1).pdfcác chính sách-cam-nang-giam-ngheo-1 (1).pdf
các chính sách-cam-nang-giam-ngheo-1 (1).pdfstyle tshirt
 
scdi-tai-lieu-nghiep-vu-tro-giup-xa-hoi-2019_PGB2Omi.pdf
scdi-tai-lieu-nghiep-vu-tro-giup-xa-hoi-2019_PGB2Omi.pdfscdi-tai-lieu-nghiep-vu-tro-giup-xa-hoi-2019_PGB2Omi.pdf
scdi-tai-lieu-nghiep-vu-tro-giup-xa-hoi-2019_PGB2Omi.pdfstyle tshirt
 
Sile Báo cáo sơ kết giua ky giam ngheo.pptx
Sile Báo cáo sơ kết giua ky giam ngheo.pptxSile Báo cáo sơ kết giua ky giam ngheo.pptx
Sile Báo cáo sơ kết giua ky giam ngheo.pptxstyle tshirt
 
SỔ TAY LẠNG NGHỀ TRUYỀN THỐNG ĐỒNG THÁP.
SỔ TAY LẠNG NGHỀ TRUYỀN THỐNG ĐỒNG THÁP.SỔ TAY LẠNG NGHỀ TRUYỀN THỐNG ĐỒNG THÁP.
SỔ TAY LẠNG NGHỀ TRUYỀN THỐNG ĐỒNG THÁP.style tshirt
 
Bệnh học nam giới với sinh sản và tình dục.pdf
Bệnh học nam giới với sinh sản và tình dục.pdfBệnh học nam giới với sinh sản và tình dục.pdf
Bệnh học nam giới với sinh sản và tình dục.pdfstyle tshirt
 
Tìm hiểu về môn học Thống kê xã hội học.pdf
Tìm hiểu về môn học Thống kê xã hội học.pdfTìm hiểu về môn học Thống kê xã hội học.pdf
Tìm hiểu về môn học Thống kê xã hội học.pdfstyle tshirt
 
Hiểu biết về Tâm sinh lý phụ nữ giới.pdf
Hiểu biết về Tâm sinh lý phụ nữ giới.pdfHiểu biết về Tâm sinh lý phụ nữ giới.pdf
Hiểu biết về Tâm sinh lý phụ nữ giới.pdfstyle tshirt
 
nhasachmienphi-ban-thiet-ke-vi-dai tạo hóa.pdf
nhasachmienphi-ban-thiet-ke-vi-dai tạo hóa.pdfnhasachmienphi-ban-thiet-ke-vi-dai tạo hóa.pdf
nhasachmienphi-ban-thiet-ke-vi-dai tạo hóa.pdfstyle tshirt
 
nhasachmienphi-nhuc-bo-doan sách hay hâp[s đãn
nhasachmienphi-nhuc-bo-doan sách hay hâp[s đãnnhasachmienphi-nhuc-bo-doan sách hay hâp[s đãn
nhasachmienphi-nhuc-bo-doan sách hay hâp[s đãnstyle tshirt
 
nhasachmienphi-tinh-duc-hoc-dai-cuong.pdf
nhasachmienphi-tinh-duc-hoc-dai-cuong.pdfnhasachmienphi-tinh-duc-hoc-dai-cuong.pdf
nhasachmienphi-tinh-duc-hoc-dai-cuong.pdfstyle tshirt
 
nhasachmienphi-78-cau-hoi-ve-nha-lanh-dao.pdf
nhasachmienphi-78-cau-hoi-ve-nha-lanh-dao.pdfnhasachmienphi-78-cau-hoi-ve-nha-lanh-dao.pdf
nhasachmienphi-78-cau-hoi-ve-nha-lanh-dao.pdfstyle tshirt
 
nhasachmienphi-thien-dinh-va-tam-tri-dieu-ky.pdf
nhasachmienphi-thien-dinh-va-tam-tri-dieu-ky.pdfnhasachmienphi-thien-dinh-va-tam-tri-dieu-ky.pdf
nhasachmienphi-thien-dinh-va-tam-tri-dieu-ky.pdfstyle tshirt
 
nhasachmienphi-kheo-an-noi-se-co-duoc-thien-ha.pdf
nhasachmienphi-kheo-an-noi-se-co-duoc-thien-ha.pdfnhasachmienphi-kheo-an-noi-se-co-duoc-thien-ha.pdf
nhasachmienphi-kheo-an-noi-se-co-duoc-thien-ha.pdfstyle tshirt
 
Tìm hiểu nhasachmienphi-vo-nga-vo-uu.pdf
Tìm hiểu nhasachmienphi-vo-nga-vo-uu.pdfTìm hiểu nhasachmienphi-vo-nga-vo-uu.pdf
Tìm hiểu nhasachmienphi-vo-nga-vo-uu.pdfstyle tshirt
 
[downloadsachmienphi.com] Tuổi Mới Lớn Và Vấn Đề Tình Dục.pdf
[downloadsachmienphi.com] Tuổi Mới Lớn Và Vấn Đề Tình Dục.pdf[downloadsachmienphi.com] Tuổi Mới Lớn Và Vấn Đề Tình Dục.pdf
[downloadsachmienphi.com] Tuổi Mới Lớn Và Vấn Đề Tình Dục.pdfstyle tshirt
 
nhasachmienphi tìm về -bi-an-cua-nhan-loai.pdf
nhasachmienphi tìm về -bi-an-cua-nhan-loai.pdfnhasachmienphi tìm về -bi-an-cua-nhan-loai.pdf
nhasachmienphi tìm về -bi-an-cua-nhan-loai.pdfstyle tshirt
 
Những vấn đề lý luận cơ bản về phát triển xã hội.pdf
Những vấn đề lý luận cơ bản về phát triển xã hội.pdfNhững vấn đề lý luận cơ bản về phát triển xã hội.pdf
Những vấn đề lý luận cơ bản về phát triển xã hội.pdfstyle tshirt
 
Tìm hiểu về Giáo trình lý thuyết kế toán.pdf
Tìm hiểu về Giáo trình lý thuyết kế toán.pdfTìm hiểu về Giáo trình lý thuyết kế toán.pdf
Tìm hiểu về Giáo trình lý thuyết kế toán.pdfstyle tshirt
 
Tìm hiểu về cách người ta Quy hoạch vùng.pdf
Tìm hiểu về cách người ta Quy hoạch vùng.pdfTìm hiểu về cách người ta Quy hoạch vùng.pdf
Tìm hiểu về cách người ta Quy hoạch vùng.pdfstyle tshirt
 
Học về môn học hay Kinh tế học vĩ mô.pdf
Học về môn học hay Kinh tế học vĩ mô.pdfHọc về môn học hay Kinh tế học vĩ mô.pdf
Học về môn học hay Kinh tế học vĩ mô.pdfstyle tshirt
 
nhasachmienphi-phu-nu-yeu-nhu-the-nao.pdf
nhasachmienphi-phu-nu-yeu-nhu-the-nao.pdfnhasachmienphi-phu-nu-yeu-nhu-the-nao.pdf
nhasachmienphi-phu-nu-yeu-nhu-the-nao.pdfstyle tshirt
 
Kho vận hiệu quả - Chìa khóa để Việt Nam nâng cao năng lực cạnh tranh.pdf
Kho vận hiệu quả - Chìa khóa để Việt Nam nâng cao năng lực cạnh tranh.pdfKho vận hiệu quả - Chìa khóa để Việt Nam nâng cao năng lực cạnh tranh.pdf
Kho vận hiệu quả - Chìa khóa để Việt Nam nâng cao năng lực cạnh tranh.pdfstyle tshirt
 
nhasachmienphi-bach-khoa-thu-lich-su.pdf
nhasachmienphi-bach-khoa-thu-lich-su.pdfnhasachmienphi-bach-khoa-thu-lich-su.pdf
nhasachmienphi-bach-khoa-thu-lich-su.pdfstyle tshirt
 

More Related Content

More from style tshirt

SỔ TAY LẠNG NGHỀ TRUYỀN THỐNG ĐỒNG THÁP.
SỔ TAY LẠNG NGHỀ TRUYỀN THỐNG ĐỒNG THÁP.SỔ TAY LẠNG NGHỀ TRUYỀN THỐNG ĐỒNG THÁP.
SỔ TAY LẠNG NGHỀ TRUYỀN THỐNG ĐỒNG THÁP.style tshirt
 
Bệnh học nam giới với sinh sản và tình dục.pdf
Bệnh học nam giới với sinh sản và tình dục.pdfBệnh học nam giới với sinh sản và tình dục.pdf
Bệnh học nam giới với sinh sản và tình dục.pdfstyle tshirt
 
Tìm hiểu về môn học Thống kê xã hội học.pdf
Tìm hiểu về môn học Thống kê xã hội học.pdfTìm hiểu về môn học Thống kê xã hội học.pdf
Tìm hiểu về môn học Thống kê xã hội học.pdfstyle tshirt
 
Hiểu biết về Tâm sinh lý phụ nữ giới.pdf
Hiểu biết về Tâm sinh lý phụ nữ giới.pdfHiểu biết về Tâm sinh lý phụ nữ giới.pdf
Hiểu biết về Tâm sinh lý phụ nữ giới.pdfstyle tshirt
 
nhasachmienphi-ban-thiet-ke-vi-dai tạo hóa.pdf
nhasachmienphi-ban-thiet-ke-vi-dai tạo hóa.pdfnhasachmienphi-ban-thiet-ke-vi-dai tạo hóa.pdf
nhasachmienphi-ban-thiet-ke-vi-dai tạo hóa.pdfstyle tshirt
 
nhasachmienphi-nhuc-bo-doan sách hay hâp[s đãn
nhasachmienphi-nhuc-bo-doan sách hay hâp[s đãnnhasachmienphi-nhuc-bo-doan sách hay hâp[s đãn
nhasachmienphi-nhuc-bo-doan sách hay hâp[s đãnstyle tshirt
 
nhasachmienphi-tinh-duc-hoc-dai-cuong.pdf
nhasachmienphi-tinh-duc-hoc-dai-cuong.pdfnhasachmienphi-tinh-duc-hoc-dai-cuong.pdf
nhasachmienphi-tinh-duc-hoc-dai-cuong.pdfstyle tshirt
 
nhasachmienphi-78-cau-hoi-ve-nha-lanh-dao.pdf
nhasachmienphi-78-cau-hoi-ve-nha-lanh-dao.pdfnhasachmienphi-78-cau-hoi-ve-nha-lanh-dao.pdf
nhasachmienphi-78-cau-hoi-ve-nha-lanh-dao.pdfstyle tshirt
 
nhasachmienphi-thien-dinh-va-tam-tri-dieu-ky.pdf
nhasachmienphi-thien-dinh-va-tam-tri-dieu-ky.pdfnhasachmienphi-thien-dinh-va-tam-tri-dieu-ky.pdf
nhasachmienphi-thien-dinh-va-tam-tri-dieu-ky.pdfstyle tshirt
 
nhasachmienphi-kheo-an-noi-se-co-duoc-thien-ha.pdf
nhasachmienphi-kheo-an-noi-se-co-duoc-thien-ha.pdfnhasachmienphi-kheo-an-noi-se-co-duoc-thien-ha.pdf
nhasachmienphi-kheo-an-noi-se-co-duoc-thien-ha.pdfstyle tshirt
 
Tìm hiểu nhasachmienphi-vo-nga-vo-uu.pdf
Tìm hiểu nhasachmienphi-vo-nga-vo-uu.pdfTìm hiểu nhasachmienphi-vo-nga-vo-uu.pdf
Tìm hiểu nhasachmienphi-vo-nga-vo-uu.pdfstyle tshirt
 
[downloadsachmienphi.com] Tuổi Mới Lớn Và Vấn Đề Tình Dục.pdf
[downloadsachmienphi.com] Tuổi Mới Lớn Và Vấn Đề Tình Dục.pdf[downloadsachmienphi.com] Tuổi Mới Lớn Và Vấn Đề Tình Dục.pdf
[downloadsachmienphi.com] Tuổi Mới Lớn Và Vấn Đề Tình Dục.pdfstyle tshirt
 
nhasachmienphi tìm về -bi-an-cua-nhan-loai.pdf
nhasachmienphi tìm về -bi-an-cua-nhan-loai.pdfnhasachmienphi tìm về -bi-an-cua-nhan-loai.pdf
nhasachmienphi tìm về -bi-an-cua-nhan-loai.pdfstyle tshirt
 
Những vấn đề lý luận cơ bản về phát triển xã hội.pdf
Những vấn đề lý luận cơ bản về phát triển xã hội.pdfNhững vấn đề lý luận cơ bản về phát triển xã hội.pdf
Những vấn đề lý luận cơ bản về phát triển xã hội.pdfstyle tshirt
 
Tìm hiểu về Giáo trình lý thuyết kế toán.pdf
Tìm hiểu về Giáo trình lý thuyết kế toán.pdfTìm hiểu về Giáo trình lý thuyết kế toán.pdf
Tìm hiểu về Giáo trình lý thuyết kế toán.pdfstyle tshirt
 
Tìm hiểu về cách người ta Quy hoạch vùng.pdf
Tìm hiểu về cách người ta Quy hoạch vùng.pdfTìm hiểu về cách người ta Quy hoạch vùng.pdf
Tìm hiểu về cách người ta Quy hoạch vùng.pdfstyle tshirt
 
Học về môn học hay Kinh tế học vĩ mô.pdf
Học về môn học hay Kinh tế học vĩ mô.pdfHọc về môn học hay Kinh tế học vĩ mô.pdf
Học về môn học hay Kinh tế học vĩ mô.pdfstyle tshirt
 
nhasachmienphi-phu-nu-yeu-nhu-the-nao.pdf
nhasachmienphi-phu-nu-yeu-nhu-the-nao.pdfnhasachmienphi-phu-nu-yeu-nhu-the-nao.pdf
nhasachmienphi-phu-nu-yeu-nhu-the-nao.pdfstyle tshirt
 
Kho vận hiệu quả - Chìa khóa để Việt Nam nâng cao năng lực cạnh tranh.pdf
Kho vận hiệu quả - Chìa khóa để Việt Nam nâng cao năng lực cạnh tranh.pdfKho vận hiệu quả - Chìa khóa để Việt Nam nâng cao năng lực cạnh tranh.pdf
Kho vận hiệu quả - Chìa khóa để Việt Nam nâng cao năng lực cạnh tranh.pdfstyle tshirt
 
nhasachmienphi-bach-khoa-thu-lich-su.pdf
nhasachmienphi-bach-khoa-thu-lich-su.pdfnhasachmienphi-bach-khoa-thu-lich-su.pdf
nhasachmienphi-bach-khoa-thu-lich-su.pdfstyle tshirt
 

More from style tshirt (20)

SỔ TAY LẠNG NGHỀ TRUYỀN THỐNG ĐỒNG THÁP.
SỔ TAY LẠNG NGHỀ TRUYỀN THỐNG ĐỒNG THÁP.SỔ TAY LẠNG NGHỀ TRUYỀN THỐNG ĐỒNG THÁP.
SỔ TAY LẠNG NGHỀ TRUYỀN THỐNG ĐỒNG THÁP.
 
Bệnh học nam giới với sinh sản và tình dục.pdf
Bệnh học nam giới với sinh sản và tình dục.pdfBệnh học nam giới với sinh sản và tình dục.pdf
Bệnh học nam giới với sinh sản và tình dục.pdf
 
Tìm hiểu về môn học Thống kê xã hội học.pdf
Tìm hiểu về môn học Thống kê xã hội học.pdfTìm hiểu về môn học Thống kê xã hội học.pdf
Tìm hiểu về môn học Thống kê xã hội học.pdf
 
Hiểu biết về Tâm sinh lý phụ nữ giới.pdf
Hiểu biết về Tâm sinh lý phụ nữ giới.pdfHiểu biết về Tâm sinh lý phụ nữ giới.pdf
Hiểu biết về Tâm sinh lý phụ nữ giới.pdf
 
nhasachmienphi-ban-thiet-ke-vi-dai tạo hóa.pdf
nhasachmienphi-ban-thiet-ke-vi-dai tạo hóa.pdfnhasachmienphi-ban-thiet-ke-vi-dai tạo hóa.pdf
nhasachmienphi-ban-thiet-ke-vi-dai tạo hóa.pdf
 
nhasachmienphi-nhuc-bo-doan sách hay hâp[s đãn
nhasachmienphi-nhuc-bo-doan sách hay hâp[s đãnnhasachmienphi-nhuc-bo-doan sách hay hâp[s đãn
nhasachmienphi-nhuc-bo-doan sách hay hâp[s đãn
 
nhasachmienphi-tinh-duc-hoc-dai-cuong.pdf
nhasachmienphi-tinh-duc-hoc-dai-cuong.pdfnhasachmienphi-tinh-duc-hoc-dai-cuong.pdf
nhasachmienphi-tinh-duc-hoc-dai-cuong.pdf
 
nhasachmienphi-78-cau-hoi-ve-nha-lanh-dao.pdf
nhasachmienphi-78-cau-hoi-ve-nha-lanh-dao.pdfnhasachmienphi-78-cau-hoi-ve-nha-lanh-dao.pdf
nhasachmienphi-78-cau-hoi-ve-nha-lanh-dao.pdf
 
nhasachmienphi-thien-dinh-va-tam-tri-dieu-ky.pdf
nhasachmienphi-thien-dinh-va-tam-tri-dieu-ky.pdfnhasachmienphi-thien-dinh-va-tam-tri-dieu-ky.pdf
nhasachmienphi-thien-dinh-va-tam-tri-dieu-ky.pdf
 
nhasachmienphi-kheo-an-noi-se-co-duoc-thien-ha.pdf
nhasachmienphi-kheo-an-noi-se-co-duoc-thien-ha.pdfnhasachmienphi-kheo-an-noi-se-co-duoc-thien-ha.pdf
nhasachmienphi-kheo-an-noi-se-co-duoc-thien-ha.pdf
 
Tìm hiểu nhasachmienphi-vo-nga-vo-uu.pdf
Tìm hiểu nhasachmienphi-vo-nga-vo-uu.pdfTìm hiểu nhasachmienphi-vo-nga-vo-uu.pdf
Tìm hiểu nhasachmienphi-vo-nga-vo-uu.pdf
 
[downloadsachmienphi.com] Tuổi Mới Lớn Và Vấn Đề Tình Dục.pdf
[downloadsachmienphi.com] Tuổi Mới Lớn Và Vấn Đề Tình Dục.pdf[downloadsachmienphi.com] Tuổi Mới Lớn Và Vấn Đề Tình Dục.pdf
[downloadsachmienphi.com] Tuổi Mới Lớn Và Vấn Đề Tình Dục.pdf
 
nhasachmienphi tìm về -bi-an-cua-nhan-loai.pdf
nhasachmienphi tìm về -bi-an-cua-nhan-loai.pdfnhasachmienphi tìm về -bi-an-cua-nhan-loai.pdf
nhasachmienphi tìm về -bi-an-cua-nhan-loai.pdf
 
Những vấn đề lý luận cơ bản về phát triển xã hội.pdf
Những vấn đề lý luận cơ bản về phát triển xã hội.pdfNhững vấn đề lý luận cơ bản về phát triển xã hội.pdf
Những vấn đề lý luận cơ bản về phát triển xã hội.pdf
 
Tìm hiểu về Giáo trình lý thuyết kế toán.pdf
Tìm hiểu về Giáo trình lý thuyết kế toán.pdfTìm hiểu về Giáo trình lý thuyết kế toán.pdf
Tìm hiểu về Giáo trình lý thuyết kế toán.pdf
 
Tìm hiểu về cách người ta Quy hoạch vùng.pdf
Tìm hiểu về cách người ta Quy hoạch vùng.pdfTìm hiểu về cách người ta Quy hoạch vùng.pdf
Tìm hiểu về cách người ta Quy hoạch vùng.pdf
 
Học về môn học hay Kinh tế học vĩ mô.pdf
Học về môn học hay Kinh tế học vĩ mô.pdfHọc về môn học hay Kinh tế học vĩ mô.pdf
Học về môn học hay Kinh tế học vĩ mô.pdf
 
nhasachmienphi-phu-nu-yeu-nhu-the-nao.pdf
nhasachmienphi-phu-nu-yeu-nhu-the-nao.pdfnhasachmienphi-phu-nu-yeu-nhu-the-nao.pdf
nhasachmienphi-phu-nu-yeu-nhu-the-nao.pdf
 
Kho vận hiệu quả - Chìa khóa để Việt Nam nâng cao năng lực cạnh tranh.pdf
Kho vận hiệu quả - Chìa khóa để Việt Nam nâng cao năng lực cạnh tranh.pdfKho vận hiệu quả - Chìa khóa để Việt Nam nâng cao năng lực cạnh tranh.pdf
Kho vận hiệu quả - Chìa khóa để Việt Nam nâng cao năng lực cạnh tranh.pdf
 
nhasachmienphi-bach-khoa-thu-lich-su.pdf
nhasachmienphi-bach-khoa-thu-lich-su.pdfnhasachmienphi-bach-khoa-thu-lich-su.pdf
nhasachmienphi-bach-khoa-thu-lich-su.pdf
 

Sách HD Lý thuyết thông tin và mã hóa.pdf

  • 1. T H 0 N G V A HOA GUYEN iLIEU
  • 2. VOH V I/M y VA Nil ONQH1 I I A O H J . A T
  • 3. VU NGOC PHAN l_Y T H U Y ^ T THONG TIN VA MA HOA NHA XUAT BAN Bl/U OIEN Ha Noi, thang 10 - 2006
  • 4. L d l NOIDAU Ngay nay, cac mang may tinh, mang dien thoai so him tuyen va vo tuyen, mang truyen hinh cap... dang co xu the hoi tu thdnh mang chung, da dich vu, co kha nang chuyen tdi thong tin tich horp vai toe do len den hang tram Mbit/s. Nhin tie gdc do khoa hoc, cac he thong thong tin ngay nay la cac he thong co do phirc tap cau true rat lan va chiu tdc dong cua nhieu loqi nhieu khde nhau. De cac he thong do co the lam viec on dinh va tin cay, dap ung duac yeu cau cua nguai su dung trong viec lieu giu, chuyen tdi vd chia se thong tin, khong the khong dua vao kien thi'cc ve ly thuyet thong tin vd ma hoa. Co the noi, khong co ly thuyet thong tin vd md hoa thi khong the giai quyet duac van de truyen tin chinh xdc tren cac duang truyen ddi hang ngdn km. Nham dap ung nhu cau tim hieu ve ly thuyet thong tin vd md hoa, Nhd xudt ban Buu dien xudt ban cuon sach Ly thuyet thong tin vd md hoa ” cua tdc gid Vu Ngoc Phan giai thieu den ban doc. Ly thuyet thong tin vd md hoa Id cong cu huu hieu de giai quyet nhung van de cong nghe thong tin dang dat ret nhu ndng cao tdc do truyen dan theo thai gian thuc, nen dir lieu, boo mat dir lieu,... Bo cuc cuon sdeh gom 8 chuang. Tu chuang 1 den chuang 7 trinh bay cu the cac cac van de ve ly thuyet thong tin rai rac nhu: luang tin vd En-tro-py, nguon rai rac vd kenh rai rac, md hoa nguon vd md hoa kenh, cac phuang phdp md hoa vd giai md, mat md. Dae biet chuang 8 giai thieu ve ly thuyet thong tin cac he lien tuc duac xem nhu la sir ma rong cua ly thuyet thong tin cac he rai rac. Trong khi trinh bay nhirng noi dung ly thuyet, cuon such dua ra nhirng vi du kha true quan, giiip nguai doc de theo ddi. Ngodi ra cudi cuon such co phdn Phil luc giai thieu mot so chuang trinh mo phong cue thudt loan md hoa viet tren MatLab giup cho ban doc hieu mot each true quan ve cdc md dd neliien ciru.
  • 5. Cuon sach la tai lieu tham khao rat huu ich cho cac chuyen gui. ky thuat vien, cung nhu can bo giang day va dac biet hoc vien nganh vien thong muon tim hieu nhung kiin thuc co ban va nghien ciru sdu vcrly thuyet thong tin va md hoa. Nha xudt ban xin tran trong giai thieu den ban doc va rat mong nhan duac y kien gop y cua qui vi. M oi y kien gop y xin gui ve Nha xudt ban Buu dien - 18 Nguyen Du, Ha Noi. Tran trong cam cm./. Ha Noi, thang 10 nam 2006 NHA XUAT BAN Bl/U DIEN
  • 6. Chuang 1 MG DAU 1.1. KHAI QUAT Sau chien tranh the gicri thu hai, co ba ly thuyet ra doi va da cung anh hucmg rat manh me den su phat trien khoa hoc va cong nghe. Do la ly thuyet he thong (System Theory), ly thuyet dieu khien (Control Theory) va ly thuyet thong tin (Information Theory). Trong cuon sach “Five More Golden Rules” xuat ban nam 2000 tai My. khong phai khong co ly khi John L. Casti xep ba ly thuyet tren cung vcri ly thuyet day (Knot Theory) va giai tich ham (Functional Analysis) la nam trong so nhung ly thuyet lan cua the ky XX. Luc dau ly thuyet thong tin duac phat trien chu yeu de phuc vu cho ky thuat truyen tin. Nhung ngay sau do nguai ta nhan ra rang, nhung ung dung cua ly thuyet thong tin khong chi dung lai a ky thuat truyen tin ma a ca cac linh vuc khac nhu sinh y. kinh te, ngon ngu. am nhac, nghe thuat. hoi hoa... Ly thuyet thong tin co vai tro het sue quan trong trong viec nghien cuu cac he thong tu to chuc, tu dieu chinh va tu on dinh. Ly thuyet thong tin. cung vai ly thuyet he thong va ly thuyet dieu khien. da dat nen mong cho qua trinh chuyen doi tir cach tiep can dua tren quan he hinh thuc-noi dung (Form-Content-Relation) sang cach tiep can dua tren quan he cau truc-chuc ndng (Structure-Function- Relation). Cach tiep can sau da gop phan tao ra nhung thanh tuu vo cung to lan cua nhan loai suot nua the ky qua trong viec phan tich va thiet ke he thong, dac biet la cac he thong lan (Large-scale Systems). Vao nam 1948 khi Shannon cong bo ly thuyet thong tin cua minh qua cuon sach noi tieng "A Mathematical Theory of Communication", duang cap lan nhat the giai luc bay gia mai chi cho phep thuc hien dong thai 1800 cuoc thoai. Duai tac dong cua ly thuyet thong tin. 20 nam sau so cuoc thoai dong thai tren duang truyen da la 230.000. Nam 2001 duang cap quang
  • 7. 8 Ly thuyet thong tin va md hoa Ngay nay nguai ta da thira nhan, ben canh qua trinh van dong vat chat la qua trinh van dong thong tin khong kern phan quan trong. Nhu da biet, cac nhiem sac the va chat long trang trung tao thanh bo nha sinh hoc. Ly thuyet thong tin la mot cong cu huu hieu de hieu ban chat cua nhung bo nha sinh hoc nay. Duai goc do cua ly thuyet thong tin ta thay hoat dong cua te bao khong khac gi hoat dong cua mot nha may, trong do nhan te bao la ban giam doc dieu hanh toan bo qua trinh san xuat. cac nhiem sac the la ho so ve qui trinh cong nghe va ke hoach san xuat. te bao chat la nguyen vat lieu, cac en-zim la doi ngu ky su va cong nhan. Neu vi mot ly do nao do, cac thong tin ehua trong nhiem sac the bi sai lech thi hoat dong cua nha may te bao se khong dung ke hoach va qui trinh cong nghe, san pham tao ra khong dam bao tieu chuan ve chat lugng va so lugng, benh tat xuat hien. Nhu da biet, nhiem sac the la mot chuoi rat dai cac phan tu chua thong tin. Trong qua trinh phan chia te bao, cac thong tin phai duac bao toan va chia deu cho ca hai nira (hai te bao mai). Cac thong tin ton tai trong nhiem sac the duai dang ma duac tao nen tu bon phan tu ca sa (ly thuyet thong tin va ma hoa goi la ma hieu). Do la Adenin (ky hieu la A), Thymin (ky hieu la T), Guanin (ky hieu la G) va Cytosin (ky hieu la C). Theo luat so mu cua sir lira chon (Exponential Law of Choice), neu mot nhiem sac the gom mot chuoi L phan tu nu-clein thi se co 4 l cau true khac nhau. Vai L = 100 ta co 4 100 « 1,6 x 1060 cau true nhiem sac the khac nhau. Tren thuc te, mot nhiem sac the co the bao gom hang ngan phan tu nu-clein. Dieu nay giai thich day dii tinh da dang phong phu cua the giai sinh vat. Trong ITnh uc than kinh hoc. nguai ta thay rang mot te bao thAn kinh co the duac mo ta hoan toan bai mot o-to-mat huu han va he than kinh co the xem nhu mot mang cac o-to-mat huu han. Mot na-ron bao gom phan than va cac sy-nap. Cac sy-nap bat dau tir than cua mot na-ron nay va noi tai mot na-ron khac. Cu nhu vay. nhi^u na-ron k^t n6 i vai nhau thanh mot mang na-ron. Moi aa-ron chi co the co hai trana thai. kich hoat (active) hoac khong kich hoat (passive), tucmg duane he nhi phan trong cac may tinh va cac thiet bj dien tu s6 thong dune. Qua trinh liru trCr thong tin trong bo nao duac hinh thanh nha hoat done cua
  • 8. Chuang 1: Md dau 9 cac sy-nap. Den nay nguai ta biet rang, moi na-ron chira nhieu han 1 bit. Theo Schaefer thi moi na-ron co dung lugng khoang 102 bit. Nhu vay mot bo nao trung binh vai khoang 1010 na-ron co the luu giu 1000 Gbit thong tin. Ly thuyet thong tin cung da tra lai cau hoi, mot he thong tu thich nghi hay mot he thong tu hoc co the co bac bang bao nhieu trong moi truang cua no. Duai goc nhin cudUy thuyet thong tin, nguai ta co the giai thich van de nay mot each kha thuyet phuc. Truac het chung ta tarn sir dung khai niem do du thira va luang tin se duac lam sang to a cac phan sau. Ta dat: r = 1— I I (1.1- 1) Trong bieu thuc (1.1-1), r la do du thira, I la lugng tin thuc te cua nguon tin va Im ax la lugng tin cuc dai co the co. Doi vai cac he thong tu thich nghi hoac cac he thong tu hoc, ta luon co: dr — > 0 hay -- dt Tir (1.1-2) suy ra: f d^ dt - I ai. at iL > o ( 1-1-2 ) dl, r*t > i * m ax - v at (1.1-3) Bieu thirc (1.1-3) noi len mot cach tong quat rang, gia tri ciia trang thai thong tin va su bien thien ciia no lien quan chat che vai nhau. Tir day ta co the rut ra ket luan rang, neu lugng tin cuc dai ciia mot he thong tu thich nghi hay he thong tu hoc khong thay doi thi lugng tin thuc te se giant. NghTa la: dl 1... = const a <0 (1.1-4) Ngugc lai. neu lugng tin thuc te ciia he thong tu thich nghi hay he thong tu hoc khong thay doi thi lugng tin cuc dai kha d! cua no se tang. NghTa la:
  • 9. 10 Ly thuyit thong tin va ma hoa I = const — >—— > 0 (M -5 ) dt Cac bieu thuc rat don gian vira trinh bay tren cho phep giai quyet mot van de da ton tai rat lau trong ljch sir nhan loai nhung chua duac tra lai mot cach thoa dang, do la vi sao cac cau true sinh hoc co kha nang thich ung vai moi truang va tu phat trien. Cac cau true sinh hoc khac cac cau true vo ca a cho no co kha nang chong lai su tang en-tro-py. Nhieu nghien ciru ly thuyet thong tin tren tinh tinh va nguai da di den ket luan, kha nang nhan biet sir vat la ket qua cua mot qua trinh hoc rat da dang. Cac thi nghiem da cho thay rang, mot nguai mu bam sinh co dau oc tucmg doi thong minh, sau khi truang thanh duac phau thuat mat va nhin duac, nhung ho phai can nhieu thang de co the nhan ra cac do vat het sue dan gian, trong khi nguai binh thuang lam duac viec nay ngay tir cai nhin dau tien. Doi vai tinh tinh va tre nho, nhung nghien ciru da cho thay rang, khi quay mot tam giac di mot goc 90 do thi tre nho va tinh tinh cung phai nghieng dau di 90 do mai nhan ra duac. Tom lai, khong co qua trinh hoc thi khong co su giam en-tro-py thong tin. Trong dai song hang ngay, con nguai da tiep xuc vai rat nhieu hien tugng ma ho khong du doan truac duac, hoac chi doan truac duac mot cach m a ho, khong cu the. Mot can loc xoay ap den bat nga. mot tran mua lut chua tirng thay trong lich sir hang tram nam, mot con tau bong nhien mat tich ngoai bien khai. Cac nha ky thuat thuang gap nhirng hien tugng kho chiu ma ho goi la tap am (noise) hoac sir thay doi bat thuang (fluctuation). Tat ca nhung hien tugng tren it nhieu lien quan den khai niem en-tro-py ta vira nhac den va se dugc lam ro dan trong nhirng phan sau cua cuon sach. Xet a mot goc do nao do, muc dich cuoi cung cua ly thuyet thong tin chinh la giup con nguai trong viec lam giam en-tro-py thong tin. Khai niem en-tro-py dung trong ly thuyet thong tin ma chunt; ta vira goi la en-tro-py thong tin, co nguon goc tir khai niem en-tro-p troniz nhiet dong hoc. Dinh luat thir 2 cua nhiet dong hoc chi ra rang, nhiet chi co the truyen tir nai co nhiet do cao han den nai co nhiet do thap hon a khong the ngugc lai. Trong tu nhien. nguai ta nhan thay co hai loai qua
  • 10. Chuang 1: Ma dau 11 trinh: qua trinh dao nguac duac (Reversible Process) va qua trinh khong dao nguac dupe (Non-Reversible Process). Qua trinh truyen nhiet la mot qua trinh khong dao nguac duac. Chung ta se phac hoa rat so luge khai niem en-tro-py cua nhiet dong hoc. Goi S la trang thai nhiet cua mot he thong va Q la nhiet lugng, ta co: Lay tich phan tir trang thai Si den trang thai S2, ta co: f ^ Q = s 2 - S |= A S (1.1-7) s T AS dugc goi la en-tro-py. Nam 1829, Cac-no, mot nha khoa hoc nguai Phap, da chirng minh rang, trong mot he thong kin, AS > 0. Dinh luat nay ve sau dugc m a rong thanh: trong mot he thong kin, en-tro-py khong tu giam theo nghTa chung nhat. Nhu vay nghTa la, mot he thong khong tiep xuc vai mot he nao khac (khong co quan he trao doi vai moi truang cua no), luon luon co xu hucrng tra ve trang thai xac suat dong deu, trang thai co en-tro-py cuc dai. Trang thai xac suat dong deu la trang thai hoan toan hon loan. Theo dinh luat nay, cac he thong kin cuoi cung se rai vao trang thai hon loan va huy diet. Trong ky thuat do la su hao mon, trong sinh hoc do la su gia coi, trong hoa hoc do la sir phan huy, trong xa hoi do la sir phan hoa, trong lich sir do la sir suy tan. Dieu nay cung dung vai cac he thong thong tin ma a do sir tang en-tro-py thong tin se dan tai sir bat dinh hoan toan. 1.2. NHUNG DINH HITONG CHINH CUA LY THUYET THONG TIN VA MA HOA Ly thuyet thong tin de cap den tat ca cac hinh thai van dong cua thong tin nhu: qua trinh hinh thanh thong tin ciia mot nguon tin. qua trinh thu nhan thong tin, qua trinh bien doi thong tin, qua trinh truyen dan thong tin, qua trinh xir ly thong tin va qua trinh luu trir thong tin. Nhimg qua trinh nay co the dien ra mot cach tuang minh nhu cac qua trinh thong tin trong ky thuat vien thong, nhung cung co khi khong tuang minh nhir
  • 11. 12 Ly thuyit thong tin va nui hoa qua trinh thong tin trong cac te bao cua co the song vira de cap a phan tren. Doi vai qua trinh hinh thanh thong tin cua mot nguon. Iv thuyet thong tin de cap den nhung van de nhu toe do lap tin. do du thua cua nguon va ma hoa nguon. Doi voi qua trinh truyen dan thong tin. ly thuyet thong tin da chi ra rang, hoan toan co the nhan dugc mot ban tin chinh xac qua mot kenh truyen co nhieu. Doi voi qua trinh luu giu thong tin. ly thuyet thong tin chi ra mire do nen thong tin chira trong mot moi truang luu tru. De tiet kiem bo nha, nguai ta co gang giam toi da do du thira cua tep tin can nha. Nhung nguai sir dung may tinh deu rat quen thuoc vai cac tep tin nen duoi ZIP hoac RAR. Thong tin khong ton tai rieng biet ma luon gan lien voi mot vat mang no (Carrier). Vat mang thong tin la mot khai niem tuang doi. Tieng noi la vat mang thong tin khi con nguai noi chuyen vai nhau. Chir viet la vat mang thong tin ciia nha van, nha bao den vai nguai doc. Birc tranh la vat mang thong tin ciia hoa si muon chuyen tai nguai xem. Tren cac may vi tinh, cac bit thong tin dugc mang tren cac xung dien, v.v... Tat ca cac qua trinh trao doi thong tin deu dien ra qua ba buac chinh. Buac 1, ma hoa thong diep tai nguon phat. Buac 2. truyen thong diep qua mot kenh trao doi thong tin. Buac 3, giai ma thong diep tai nai thu. Tai buac 1, thong diep can gui dugc dien ta duai dang mot tap hcrp nhung ky hieu hay tin hieu. Nhirng ky hieu nay co the la tir ngu. not nhac, bieu tugng, cong thirc toan hoc, v.v... Khi noi “xin chao" tire la nguai noi da ma hoa su chao hoi ciia minh vao hai tir do. Khi viet mot ban nhac nguai nhac sT da ma hoa cac am thanh khac nhau qua cac ky hieu am nhac. Ma hoa tro nen huu hieu vi no se dugc truyen den mot nguai hay mot vat khac. Viec truyen thong diep da ma hoa co the thong qua mot la thu viet tay. mot cuoc thoai hay mot thu dien tu, v.v... Tai nai thu, thong diep se dugc giai ma de tra lai dang ban dau no da sinh ra a nguon. Khi nghe thay hai tir "xin chao”. nguai biet tieng Viet se suii md va ho hieu nguai ta dang chao minh. Nguai khong biet tieng :c: se khong the giai ma hai tir "xin chao" va se khong hieu nguon noi ch.. Cn vai minh muon truyen dat thong diep gi vi ho khong biet qui luat ma hoa thong tin trong hai tir do.
  • 12. Chuang I : Ma dau 13 Theo cach nhin nhan thong thuang, mot tin doi vai nguai nhan co hai dac trung: do bat nga cua tin va y nghTa cua tin. De so sanh hai tin vai nhau, co the lay mot trong hai hoac ca hai dac tinh ke tren. Y nghTa cua tin la mot van de ca nhan thuoc ve nhung nguai cu the muon trao doi thong tin vcri nhau. Vi du, tin “tdi nay tai rap Thang Tam chieu phim khong mat l i e n Doi vai nhung nguai thich xem phim thi day la mot tin quan trong. Nhung doi vai nhung nguai khong thich xem phim thi tin do chang co y nghTa gi. Viec xir ly y nghTa rieng biet cua tin la mot van de ngay nay cung dugc nhieu nguai quan tarn, dac biet la khi xay dung cac he chuyen gia hay tri tue nhan tao. Nhung y nghTa cua mot tin lai khong lam anh hucrng den cac he thong truyen tai, xir ly va luu giur thong tin. Mot dac trung nua cua thong tin la do bat nga cua tin. Vi du, mot tin cang bat nga, sir xuat hien cua no cang hiem thi thai gian no chiem trong he thong truyen tin cang it. Nhu vay, muon nang cao hieu suat cua cac he thong truyen tin, ta khong the coi cac tin nhu nhau neu chung xuat hien nhieu it khac nhau. Do bat nga cua tin co sire cuon hut manh me va nganh bao chi hay khai thac dac diem nay. Ly thuyet thong tin truac het lay do bat nga cua thong tin lam dac trung de so sanh cac tin vai nhau. Nhu vay, mot tin co lugng tin cang lan neu no co do bat nga lan. Dieu nay la hgp ly vi nhan mot tin da biet truac thi coi nhu khong nhan dugc gi' ca. Noi cach khac, neu nguai nhan da biet tin do thi ho can gi phai nhan nua. Chung ta co the coi thong tin la mot dai lugng ngau nhien. Xac suat xuat hien mot tin lien quan den do bat nga cua tin do. Xac suat xuat hien tin cang nho thi do bat nga cang lan. Cung giong nhu nhieu ly thuyet khac. ly thuyet thong tin su dung cac mo hinh toan hoc chu khong sir dung true tiep cac nguon va cac kenh vat ly cu the. Ly thuyet thong tin xem qua trinh thong tin nhu la nhung qua trinh ngau nhien vai nhung dac trung xac suat cho truac hoac khong cho tnrac. Mo hinh nguon la nhung ca che ngau nhien sinh ra cac tin. Nguai ta tlnrang lay dac tinh cua qua trinh ngau nhien tao ra nguon de dat ten cho nguon. thi du nguon dung, nguon Markov. Trong truang hgp nguon rai rac. mo hinh nguon la mot bang an-pha-be gom L chu' cai vai xac suat chu cai do dugc chon ra trong nhung tinh huong nhat dinh nao
  • 13. 14 Ly thuyet thong tin va mu hoa do. Nguon co the con dugc dac trung boi trang thai va cac xac suat chuyen trang thai. Khi thong tin dugc truyen tren kenh (moi truang truyen tin) no thuang chiu tac dong cua nhung nguon tin khong mong muon (nguon nhieu) va do vay mo hinh kenh thuong dugc dac trung qua mo hinh nguon nhieu. Do tin cay cua mot he thong truyen tin la do do xac suat thong diep dugc truyen di dung dan. 0 cac kieu truyen tin chac chan, do tin cay cung co the la do do su xuat hien cua thong diep. Theo ly thuyet thong tin, lugng tin cua mot thong diep khong the tang a bat ky noi nao tren duong truyen tin cay mot khi thong diep da rai nguon phat (su giam en-tro-py thong tin). Han nua. trong cac he truyen tin khong nhieu, khong co thong tin them nao nhan dugc a bo thu neu nhu mot thong diep dugc truyen lai. Ngugc lai, tren cac kenh co nhieu. en-tro-py luon co chieu huang tang. Tuy nhien, doi vai nhung tuyen truyen co nhieu. do tin cay cua su truyen tai co the tang nho do du thua (Redundance). Su tang do tin cay nha do du thua dugc goi la su giam nhieu (Noise Reduction). Chang han. truyen hai lan mot thong diep la bien phap de giam nhieu. Ly thuyet thong tin dem lai mot sir phan tich dinh lugng nhung ca che giam nhieu va gia tri thuc cua viec giam nhieu a cac he th6ng khac nhau. Trong nhung bien phap chong lai tac dong cua nhieu la ma hoa. Day cung chinh la ly do vi sao ma hoa khong tach rai ly thuyet thong tin va de nhan manh tam quan trong cua no. cuon sach nay co ten “ly thuyet thong tin va ma hoa” thay vi “ly thuyet thong tin” nhu cac cu6n sach khac cung loai. 1.3. SO DO TONG QUAT CUA HE THONG TRUYEN TIN Hinh 1.3-1 dien ta so do khoi mot he thong truyen tin (mang nhieu y nghTa ky thuat) thuang gap hien nay. Nhiem vu cua ho md hoa nguon (Source Encoder) la dien ta thone tin dau ra cua nguon duai mot dang thich hop nao do (chang han duai dang mot chuoi cac bit nhi phan). Ma hoa nguon con can thiet de phat hien loi va sua sai trong qua trinh truyen tin. Mot cau hoi quan trone dugc dat ra la. phai tao ra bao nhieu bit nhi phan trong mot dan i thai
  • 14. Chuang 1: M a dau 15 gian de dien ta dau ra cua cac mo hinh nguon khac nhau. Ducmg nhien, neu 6 dau phat thong tin dugc ma hoa thi a dau thu phai co bo giai md nguon (Source Decoder) de thu dugc thong tin nguyen thuy. Bo md hoa kenh (Channel Encoder) va bo giai md kenh (Channel Decoder) cho phep nang cao do chinh xac cua cac chuoi thong tin tir bo ma hoa nguon di qua kenh den noi nhan. Ngoai ra ma hoa kenh con co the lam tang thong lugng kenh. Cau hoi quan trong nhat cua ma hoa kenh la, phai ma hoa nhu the nao de xac suat giai ma sai duai tac dong cua nhieu la nho nhat. Hinh 1.3-1: Sa do khoi cua he thong truyen tin Tir goc do ung dung, viec tach biet cac bo ma hoa va giai ma cho nguon va kenh la rat tien lgi. Bai vi cac kenh truyen tin hien nay phan lan truyen cac tin hieu nhi phan va viec thiet ke cac bo ma hoa va giai ma kenh hoan toan doc lap vai viec thiet ke cac bo ma hoa va giai ma nguon. Dieu nay rat can thiet cho viec ghep cac nguon khac nhau len cung mot kenh. Han nua. doi hoi ve do chinh xac trong truyen tin cung khac nhau doi vai cac nguon khac nhau. Chang han cac thong tin co ban chat am thanh (dien thoai) khong can do chinh xac cao nhu cac thong tin co ban chat du lieu (data). Ngay nay cac kenh truyen tin mang tinh cong nghe nhu mang vien thong B-1SDN hay NGN thuang dugc dung de truyen cac thong tin da phuang tien (Multimedia Information) vai nhung yeu cau ve chat lugng khac nhau va do do da hinh thanh cac giao thuc truyen tin khac nhau. Do dac diem vat ly cua moi truang truyen tin. khi truyen tin
  • 15. 16 Ly thuyit thong tin va md hoa di xa. ngucri ta phai dieu che cac tin hieu (vat mang) thong tin. Chang han cac tin hieu truyen hinh so phat vao khong trung la cac thong tin da duac dieu che bai cac song dien tir vai tan so rat cao. Nhin a goc do ciia ly thuyet thong tin, cac giao thuc truyen tin, cac phuang phap ma hoa, cac phucmg phap dieu che tin hieu,... khong gi khac la nhirng giai phap ngSn chan su tang en-tro-py thong tin trong qua trinh van dong cua no. Tuy nhien cung can phai lam ro mot van de la, khong phai luc nao cung co the dien ta cac qua trinh thong tin dua tren viec ap dung sa do khoi a hinh 1.3-1. Chang han, khong the ap dung so do khoi hinh 1.3-1 de nghien ciru cac qua trinh truyen tin trong ca the sinh vat. Bai vi, nhu trong phan tren da neu, cac bo phan nguon va kenh cung nhu cac chirc nang ma hoa va giai ma duac ket hop trong mot tong the het sire phirc tap, khong the de dang phan biet. Mac dau vay sa do he thong truyen tin neu tren van giCr mot vai tro dac biet trong suot cuon sach nay vi no duac viet chu yeu cho nhung nguai hoat dong tren lmh vuc vien thong va cong nghe thong tin. Hai ca cau trong so do khoi hinh 1.3-1 se duac de cap nhieu trong cac phan tiep theo la nguon va kenh. Viec nghien ciru nguon va kenh duai goc nhin ciia ly thuyet thong tin, chung ta se dua chu yeu vao cac mo hinh toan hoc chir khong quan tam den cac nguon va kenh vat ly cu the. Day la viec lam can thiet bai vi cung nhu ly thuyet he thong hay ly thuyet dieu khien, mo hinh toan hoc giiip cho viec phan tich cac tinh chat ciia doi tugng de dang va hieu qua hern. 1.4. NHLrNG KIEN THLfC CO SO VE XAC SUAT VA QUA TRINH NGAU NHIEN Nhu tren vira nhac den. ly thuyet thong tin sir dung nhi£u mo hinh toan hoe dac biet la mo hinh ngau nhien. Muc dich ciia phdn nay la giup nguai doc. jiac biet nhung nguai khong co diSu kien nghien ciru ky mon ly thuyet xac suat va qua trinh ngau nhien, de dang trong viec tiep can Iv thuyet thong tin. 1.4.1. Phep thirva bien co Viec thuc hien mot so cac dieu kien ca sa roi quan sat xem hien tugng gi se xay ra va xay ra nhu the nao goi la thirc hien mot phep thu
  • 16. Chuang 1: Ma dau 17 Vi du ta dat len mot dau day dan mot tin hieu dien co dang hinh sin voi tan so 1000 Hz roi do xem tin hieu a dau kia cua day dan xuat hien nhu the nao. Ngudi ta thuang dat cho moi phep thu mot cai ten de phan biet, thi du “phep tung dong xu”, “phep tung con xuc xac”, hay tong quat han, “phep thu a ”, “phep thu P”, v.v... Nhung hien tuang co the xay ra khi phep thu dugc tien hanh goi la bien co. Nguai ta phan biet ba loai bien co sau: • Bien co luon luon xay ra moi lan lap lai phep thu dugc goi la bien co chdc chan xay ra. Vi du, tung mot vat ran len trai chac chan no se rai tra lai xuong mat dat; tha mot mieng xop xuong nuac chac chan no se noi. • Bien co khong bao gia xay ra du co lap lai phep thu bao nhieu lan tiiy y dugc goi la bien co khong the xay ra. Vi du, cho ga ap trung da luoc chin chac chan khong the nao no ra ga con. • Bien co khi thi xay ra. khi thi khong xay ra dugc goi la bien co ngau nhien. Vi du, khi quay chiec non cua chuang trinh “Chiec non ky dieu” tren VTV3 cua Dai Truyen hinh Viet Nam, khong ai co the noi truac, trong mot lan quay mui kim co chi vao o “phan thuang” hay khong. Viec phan biet ba loai bien co tren day khong can thiet va mang tinh chat tuang doi. Vi rang, nhu sau nay se thay, bien co chac chan xay ra co the xem la bien co ngau nhien vai xac suat xuat hien bang 1, bien co khong the xav ra co the coi la bien co ngau nhien vai xac suat xuat hien bang 0. Nguai ta thuang dung cac chu cai hoa de chi cac bien co. Vi du, bien co A, bien co B|, bien co B?,... 1.4.2. Djnh nghTa xac suat Kha nang khach quan xuat hien bien co ngau nhien khi thuc hien phep thu dugc goi la xac suat xuat hien hay xac suat cua bien co. Co nhieu cach dinh nghTa xac suat khac nhau. chang han xac suat dugc cac nha toan hoc dinh nghTa kha trim tugng nhu la mot do do trong truang a (khong gian metric). Chung ta xet mot vai dinh nghTa mang tinh true giac thuang dugc su dung.
  • 17. 18 Ly thuyet thong tin vd md Iwa Dinh nglila 1.4-1: Xac suat xudt hien hien co A Id ty so giiia cac ket cuc thuan loi cho A vd long so cac ket cuc duy nhat dong kha nang co the co khi thuc hien mot phep thu. Ky hieu so eae ket cuc thuan loi cho bien co A la nAva tong so cac ket cuc duy nhat dong kha nang co the co cua phep thir la N. Khi do xac suat xuat hien bien co A se dugc tinh bang: p(A) = — (14-1) N Vi du doc ngau nhien mot byte trong bo nho may vi tinh. tinh xac suat de byte do gom 4 bit 0 va 4 bit 1. Ky hieu bien co nay la A. Ta thay rang moi byte gom 8 bit va nhu vay ta co tong cong 256 bien co dong kha nang. Ta thay trong 256 byte khac nhau co 70 byte bao gom dung 4 bit 0 va 4 bit 1, nghTa la co 70 ket cuc thuan lgi cho bien co A. Theo dinh nghTa 1.4-1 va bieu thuc (1.4-1), xac suat xuat hien bien co A dugc xac dinh bai: p(A) = — = 0.273 (1.4-2) 256 Tir dinh nghTa tren ta rut ra cac tinh chat sau day cua xac suat: • Xac suat cua mot bien co ngau nhien la mot so duang nam trong khoang 0 va 1, nghTa la 0 < p(A) < 1. Dieu nay rat de chimg minh vi so ket cuc thuan lgi cho bien co A luon luon thoa man bat dang thirc 0 < nA< N. • Xac suat cua bien co chac chan xay ra bang 1. That vay. vi khi bien co A chac chan xay ra thi moi ket cuc deu thuan lgi cho A hay nA = N. • Xac suat cua bien co khong the xay ra bang 0. That vay. i bi^n co A khong bao gia xay ra nen nA= 0. Dinh nghTa tren day cho phep tinh xac suat ciia mot bien co kha don gian. khong can phai tien hanh phep thu that ma chi can phep thu eia dinh. Tuy nhien iru diem nay chi dugc phat huy khi ma so ket cuc cua phep thu la nho. de dang kiem tra tinh duy nhat dong kha nang cua cac bien co. Neu so ket cuc Ion hoac vo han thi dinh nghTa tren khong ap
  • 18. Chuang 1: Ma dau 19 dung dugc nua. Trong truang hgp nay, nguai ta dinh nghia xac suat mot cach tong quat han. Dinh nghTa 1.4-2: Gia sic mot phep thu duac tien hanh K lan vd quan sat thay bien co A xudt hien nAlan. Dai luang: li(A) = %r (1.4-3) K duac goi la tan suat xudt hien bien co A. Neu ton tai giai han: lim x{A)~ lim — = p(A) (1.4-4) K— ► c o K-»co fc thi p(A) duac goi la xac suat cua bien co A. Trong thuc te khi ta tang K len tai mot gia tri K* du lan nao do thi |a(A) bat dau thay doi rat it. Vai gia tri K* do co the lay: p (A )« n (A ) = ^ (1.4-5) IV 1.4.3. Nguyen ly xac suat nho va xac suat loti Trong nhieu truang hgp ta gap cac bien co co xac suat xuat hien rat nho, gan nhu bang khong. Ve mat ly thuyet, xac suat du rat nho bien co van co the xay ra. va dieu dang noi la khong biet no xay ra a lan thir thu may. Tuy nhien qua kinh nghiem thuc te nguai ta thay rang, cac bien co co xac suat nho hau nhu se khong xay ra khi tien hanh phep thir trong K lan thir dau tien. Han nua, viec tien hanh nhieu phep thir se gay ra nhung ton kern ve thai gian va nguon lire. Vi vay, trong hau het cac ung dung thuc te, ta chap nhan nguyen ly xac suat nho sau day: Neu mot bien co ngau nhien co xac suat rat nho thi thuc te co the cho rang trong mot vai lan tien hanh phep thu, bien co do khong xay ra. Theo quan diem img dung, viec qui djnh xac suat bang bao nhieu thi goi la nho phai tiiy thuoc vao van de cu the. Trong ky thuat vien thong hien nay, xac suat loi bit tren mot kenh truyen so lieu theo khuyen cao ciia ITU la 10’ . Dieu nay co nghTa la, khi truyen di 10 trieu bit moi dugc phep sai mot bit. Trai lai. xac suat mot khach hang den cira hang bang 10"'
  • 19. 20 Ly tliuyei thong tin va ma hoa co the coi la nho, nghTa la cua hang co the dong cua vi tren thuc te hau nhu khong co ai den mua hang. Lap luan tuang tu nhu tren, ta co nguyen ly xac suat lan sau day: Neu mot hien co ngau nhien co xac suat xudt hien Ion gun hang 1 thi thuc te co the cho rang trong mot vdi lan tien hanh phep thu hien co do se xay ra. Cung nhu truang hap xac suat nho. xac suat bang bao nhieu thi duac coi la lan hoan toan tuy thuoc vao dac diem cu the cua van de ma ta quan tarn. 1.4.4. Nguyen ly cong va nhan xac suat Bien co C duac goi la tong cua hai bien co A va B neu C xay ra khi A xay ra hoac B xay ra. ky hieu la: C = A + B (1.4-6) Vi du, ta goi A la bien co xuat hien mat 2, B la bien co xuat hien mat 4 va C la bien co xuat hien mat chan khi tung con xuc xac. Ta de dang nhan ra rang C = A + B vi mat 2 hoac mat 4 deu la mat chan. Mot cach tong quat. bien co C dugc goi la tong cua cac bien co A|, A :.....A„ neu C xay ra khi co it nhat mot bien co A, xay ra, ta ky hieu la: C = £ a , (1.4-7) 1 =1 Hai bien co A va B goi la xung khac vai nhau neu chung khong the xay ra trong cung mot phep thu. Vi du, goi A la bi£n co nhan dugc bit 0 va B la bien co nhan dugc bit 1 tren kenh truydn tin thi A va B la xung khac nhau. vi hien nhien bit 0 va bit 1 khong thS xudt hien dong thai. Ngugc lai. A va B dirge goi la khong xung khac nhau neu chung co the xay ra trong cung mot phep thir. Vi du, n£u goi A la bic;n c6 mua va B la bien co gio thi hai bien co nay khong xung khac nhau vi mua a gio co the cung xay ra. Neu A], A;...., An la n bien co xung khac nhau timg doi mot thi chung lap thanh mot nhom day du. Ta co djnh ly sau:
  • 20. Chuang 1: M a dau 21 Dinh ly 1.4-1: Neu {A,} = {A„ A,,..., A,,} Id mot nhom day du thi: p(As + A,) =p(As) + p(A,) va T A, = 2 > w = i (1.4-8) (1.4-9) (1.4-10) /’ = ! Neu A va B la hai bien co lap thanh mot nhom day du thi B goi la bien co bu cua A va nguac lai, ky hieu la B = A va A = B . Vi du bien co “con trai” va bien co “con gai” la hai bien co bu nhau cua nhom bien co “giai tinh tre sa sinh” khi mot dua tre ra dai. Ta de dang thay rang: p(A) = l- p ( A ) (1.4-11) Bien co C dugc goi la tich cua hai bien co A va B neu C xay ra khi va chi khi ca hai bien co A va B xay ra, ky hieu la: C = A.B (1.4-12) Vi du, bien co “den dien sang” la tich cua hai bien co “co dien" va “cong tac dong”. Mot cach tong quat, bien co C dugc goi la tich cua n bien co A|, A:,..., An neu C xay ra khi va chi khi tat ca cac bien co A, xay ra, ky hieu la: c = n A , (1.4-13) Hai bien co A va B goi la doc lap (hay doc lap thong ke) vai nhau neu viec xay ra bien co nay khong lam thay doi xac suat xuat hien bien co kia va ngugc lai. Neu mot bien co xay ra lam thay doi xac suat xuat hien bien co kia thi chung khong doc lap vai nhau. Cac bien co A|, A :.....An goi la doc lap tung doi mot vcri nhau neu moi cap hai trong n bien co do doc lap vai nhau. Cac bien co A|. A:....... n goi la doc lap toan phan voi nhau neu moi bien co doc lap voi mot to hop bat ky cua cac bien co con lai.
  • 21. 22 Ly thuyet thong tin vd md hoa Dinh ly 1.4-2: Neu A/, A2.....An la doc lap toan phan thi: " 4- 14) f p 1 = 1 / i=i Bieu thuc (1.4-14) cho thay rang, xac suat tich cua cac bien co bang tich xac suat cua tung bien co khi chung doc lap toan phan voi nhau. 1.4.5. Xac suat co dieu kien Xac suat bien co A xay ra khi bien co B da xay ra goi la xac suat co dieu kien cua A va dugc ky hieu boi p(A/B). Dinh ly 1.4-3: Xac suat cua tich hai hien co phu thuoc A vd B bang tich xac suat cua mot trong hai bien co do voi xac suat co dieu kien cua bien co con lai. NghTa la: p(AB) =p(A)x p(B/A) = p(B)xp(A/B) (1.4-15) Mot cach tong quat, xac suat cua tich cac bien co Ai, A2,..., An dugc tinh bcri: p(Ai, A2,..., An) - p(Ai) X p(A2/Ai) X p(A3/A|,A2) ... p(An/Ai,A2,..., An.i) (1.4-16) De dang thay rang, neu A va B doc lap thi: P(A/B) = p(A) va p(B/A) = p(B) (1.4-17) P(AB) = p(A) x p(B) (1.4-18) P(B) = ~(Aa B) khi p(A) * 0 (1.4-19) P(A) Neu A va B lap thanh mot nhom day du thi: p(A/B) = p(B/A) = 0 va p(AB) = 0 (1.4-20) Dinh ly 1.4-4: Neu A vd B la hai bien co khong xung khac nhau thi: p(A + B) = p(A) + p(B) -p(A B ) (1.4-21) Bieu thuc (1.4-21) noi len rang, xac suat cua bien co tong hai bien co khong xung khac nhau bang tong xac suat rieng cua time bien co tru
  • 22. Chuang 1: Ma dau 23 di xac suat dong thai xuat hien hai bien co do. Ta cung co the mo rong bieu thuc (1.4-21) cho truang hop n bien co khong xung khac nhau. Neu A la tong cua cac bien co A], A2,..., An khong xung khac nhau thi: p(A) = p £ a , = J p ( A , ) - X p (A,Aj ) V 1=1 / 1= 1 K J + £ p ( A , A JA 1) — •+ ( - i r ' p ( A lA, - A„) (1.4-22) i<j<k 1.4.6. Cong thu’ c Bernoulli Cac phep thu dugc goi la doc lap voi nhau neu xac suat xay ra mot bien co nao do trong tung phep thu khong phu thuoc vao viec bien co do co xay ra 6 phep thir khac hay khong. Mot cach tuang duang, ta noi rang mot phep thir la doc lap neu xac suat xuat hien cac bien co ciia no khong phu thuoc vao thir tu cac lan tien hanh phep thu. Vi du, phep tung dong xu la mot phep thir doc lap vi xac suat xuat hien mat ngira luon luon bang I/2, khong phu thuoc vao do la lan tung thir may. Bay gia ta gia sir ta chi quan tarn den bien co A ciia phep thir a. Xac suat A xay ra la p va xac suat A khong xay ra la q = 1 - p. Khi do xac suat bien co A xay ra dung k lan trong n lan tien hanh phep thir a dugc tinh bai cong thuc Bernoulli: pn(k) = C^pk(l- p )" -k , k = 0, 1, 2,..., n (1.4-23) Vi du: Tren mot kenh truyen so lieu, xac suat loi bit la 10' Tinh xac suat mot byte truyen di bj sai dung 3 bit. Giai: Goi bien co loi bit (loi 1 bit) la A. Vi xac suat loi bit p(A) bang 1CP1 nen xac suat bit khong bi loi p(A) bang (1 - lO0 ). Ky hieu B la bien co mot byte truyen di co dung 3 loi bit. Ta ap dung cong thurc Bernoulli (1.4-23) va thu dugc. P ( B ) = v (10", )'1(1-1 O'3)8- = 56x10 4 x(0.999)5 =55,72x10' (1.4-24)
  • 23. 24 Ly thuyet thong tin vu md hoa 1.4.7. Cong thirc xac suat day du Gia sir bien co A co the xay ra dong thai vai mot trong cac bien co Hi, H2,..., Hn. Nhom cac bien co H], Hn la mot nhom day du. Khi do xac suat ciia bien co A duac tinh bang cong thirc sau: P(A) = j^ p ( H , )p ( A /H ,) (1.4-25) i=l Cac bien co Hi, H2,..., Hn thuang duac goi la cac gia thuyet. De thay y nghTa ciia cong thuc xac suat day du, ta xet mot thi du ve duang truyen theo phuang thirc truyen khong dong bo ATM (Asynchronous Transfer Mode). Phuang thirc truyen khong dong bo, mot phuang thirc chuyen mach va ghep kenh sir dung cac goi tin hieu co chieu dai co djnh (53 byte gom 5 byte tieu de va 48 byte so lieu), dugc chap nhan rong rai la mot phuang thirc chuyen giao thich hgp cho mang so lien ket da dich vu bang rong (B-ISDN), rat dang thinh hanh hien nay trong cong nghe vien thong. Vi du: Mot duang truyen ky thuat so theo cong nghe chuyen mach ATM gom 3 tuyen truyen. Xac suat loi te bao ciia tuyen thir nhat la 0,0027; ciia tuven thir 2 la 0,0012 va ciia tuyen thir 3 la 0,0046. Gia su co che dieu khien ket noi phan bo te bao vao cac tuyen truyen mot cach - 1 2 5 ngau nhien vai xac suat tuane ime lan luat la - , — va - . Tim xac suat 8 8 8 loi te bao cua duang truyen. Giai: Goi A la bien co te bao tren duang truyen bi loi. Bien c6 A co the xay ra khi mot trong ba bien co sau day xay ra: Hi: Te bao dugc truyen tren tuyen thir 1. H2: Te bao dugc truyen tren tuven thir 2. Hi: Te bao dugc truyen tren tuven thir 3. De dang thay rang, cac bi^n c6 H,, H:, H, lap thanh mot nhom day du. Theo gia thiet ta co: p(H,) = ^ ; p(H2) = ^ ; p(H.O = - (1.4-26) o o 8
  • 24. Chuang 1: M o dau 25 Xac suat co dieu kien cua bien co A (te bao bi loi) khi cac bien co Hi, H2, H3 xay ra la: p(A/H|) - 0,0027; p(A/H2) = 0,0012; p(A/H3) = 0,0046 (1.4-27) Tir cong thuc xac suat day du ta xac dinh dugc: p(A) = p(H,)p(A/Hi) + p(H2)p(A/H2) + p(H3)p(A/H3) = - x 0,0027+ - x 0,0012+ - x 0,0046 = 0,0035 (1.4-28) 8 8 8 1.4.8. Cong thuc Bayes Gia sir bien co A co the xay ra dong thai voi mot trong cac bien co H|, H2,..., Hn. Nhom cac bien co Hi, H2,..., Hn la mot nhom day du. Khi do: p(H, / A) = P<H .)P(A /H .) (1.4-29) X p (H ,)p (A /H i) 1=1 Cac bien co H,, H2,..., Hn thuang dugc goi la cac gia thuyet. Cac xac suat p(H|), p(H2),..., p(Hn) dugc xac djnh truac khi phep thir dugc tien hanh va vi vay dugc goi la xac suat tien nghiem. Cac xac suat p(H,/A) dugc xac dinh sau khi phep thir da dugc thuc hien va bien co A da xay ra nen dugc goi la xac suat hau ngliiem. Nhu vay cong thirc Bayes cho phep danh gia lai xac suat xay ra cac gia thuyet sau khi da biet ket qua ciia phep thir la bien co A da xay ra. Vi du: Mot duang truyen ky thuat so theo cong nghe chuyen mach ATM gom 3 tuven truyen. Xac suat loi te bao cua tuyen thir nhat la 0,0037; ciia tuyen thir 2 la 0,0015 va ciia tuyen thir 3 la 0,0049. Gia su ca che dieu khien ket noi phan bo te bao vao cac tuyen truyen mot cach ngau nhien vai xac suat tuang ung lan lugt la - , — va - . Mot te bao 8 8 8 khi den dau cudi bj loi. Tinh xac suat te bao do da dugc truyen: a) tren tuyen thu 1. b) tren tuyen thir 2, c) tren tuyen thir 3.
  • 25. 26 Lv thuyet thong tin vd md hoa Giai: Goi A la bien co te bao tren ducrng truyen bi loi. H i: Te bao dugc truyen tren tuyen thu 1. H2: Te bao dugc truyen tren tuyen thu 2. H3: Te bao dugc truyen tren tuyen thir 3. p (H ,/A ) la xac suat te bao loi da dugc truyen tren tuyen 1. p (H ,/A ) la xac suat te bao loi da dugc truyen tren tuyen 2 . p (H i/A ) la xac suat te bao loi da dugc truyen tren tuyen 3. Ap dung cong thirc Bayes ta co: p / H /A ) = ________________ p(H ,)p (A H,)________________ p(H,)p(A H,) + p(H: )p(A H 2) + p(H ,)p(A H ,) 0.0037 x - 8 -0 ,7 0 0 8 (1.4-30) 0,0037x - +0,0015x - + 0,0049x - 8 8 8 p (H ,/A ) = ________________P<H; )p (A .H ,)________________ P(H,)p (A Hl) + p(H ,)p(A / H 2) + p(H ,)p(A H ,) 0.0015x~ ----------- 8 = 0,1136 (1.4-31) 0.0037x " *+ 0.0015 x +0.0049x 1 8 8 8 p (H ./A ) = ________________ P(H -)P<A H > ________________ P(H,)p(A H,) + p(H ; )p(A H 2) + p(H ,)p(A H ,) 0.0049x1 “ ----------------- 8 =0,1856 (1.4-32) 0.0037x * *+0.0015x 2 +0.0049x 1 8 8 8 Cong thirc xac suat day du va cong thirc Bayes deu xet bien co A cung vcri mot nhom day du bien co Hi. H: ,..., Hn. Diem khac nhau nam o
  • 26. Chuang 1: Ma dau 27 cho, trong khi cong thuc xac suat day du quan tarn den xac suat xuat hien bien co A khi cac bien co Hi, H2,..., Hn da xuat hien thi cong thuc Bayes quan tarn den xac suat xuat hien cac bien co Hi, H2,..., Hn khi bien co A da xuat hien. Noi cach khac, cong thuc xac suat day du kiem dinh su xuat hien cua bien co khi cac gia thiet la dung, trong khi cong thuc Bayes kiem djnh gia thiet khi bien co da xuat hien. 1.4.9. Bien ngau nhien va qui luat phan bo xac suat cua bien ngau nhien Tap hop cac bien co ngau nhien cua mot phep thu co the dien ta bang mot bien dai so va ta goi no la hien ngau nhien. Nhu vay, bien ngau nhien la mot dai lugng chi nhan mot gia tri co the co tuy thuoc vao su tac dong ngau nhien. Thong thuang nguai ta dung cac chu hoa de ky hieu bien ngau nhien, thi du X, Y... Tat ca cac gia tri co the co cua bien ngau nhien X tao thanh mot tap Q nao do. Neu Q la mot tap huu han hay vo han dem dugc thi ta noi rang X la bien ngau nhien rai rac. Vi du, neu X chi so te bao bi loi trong mot don vj thai gian cua he thong chuyen mach ATM thi X la mot bien ngau nhien rai rac, bai vi trong truang hgp nay X chi co the nhan cac gia tri nguyen duang. Neu Q la mot tap khong dem dugc thi ta goi X la bien ngau nhien lien tuc. Neu ky hieu Y la bien do tin hieu dien tu thu dugc qua mot dan ang ten thi Y la bien ngau nhien lien tuc vi Y co the nhan bat ky gia tri nao. Tuang tu nhu cac bien tien dinh, a day ta co the coi Q la mien xac dinh cua bien ngau nhien. Doi vai bien tien dinh ta chi can biet Q la du. Trong trucmg hgp bien ngau nhien, chi biet Q la chua du. Bai vi duai cac tac dong ngau nhien, X co the nhan cac gia tri khac nhau trong Q. Mac du ta khong the biet chac chan gia trj cua X nhung ta can biet xac suat X nhan mot gia tri cu the nao do trong Q. Qui luat cho biet xac suat mot bien ngau nhien nhan gia tri nao trong nhung gia tri co the co cua no dugc goi la qui luat phcin bo xac suat cua bien ngau nhien. 1.4.9.1. Qui luat phan bo xac suat cua bien ngau nhien rai rac Gia sir bien ngau nhien rai rac X co the nhan cac gia tri X|, x2,..., xn vai cac xac suat tuang irng pi, p?,..., pn.
  • 27. 28 Ly thuyit thong tin vd md hoa X p ,= 1 (1.4-33) i=l Doi voi bien ngau nhien rai rac ta co hai cach dien ta qui luat phan bo xac suat, do la ham phan bu xac suat va bang phan bo xac suat. Ham phan bo xac suat F(x) cua bien ngau nhien rcri rac X dugc djnh nghTa la xac suat de X nhan cac gia tri nho hon mot gia tri x cho truac. NghTa la: F ( x ) = X P , <1 4 '34> X, < x Gia tri: E (x _ c }k = Z ( X. " c )kp. (1.4-35) 1 =1 voi c la mot hang so va k la mot so nguyen duang, dugc goi la mo-men bac k cua bien ngau nhien rai rac X. Vai c = 0 va k = 1 ta co: E ( X ) = £ x lPl= H <1 4-36) 1 =1 dugc goi la ky vong toan hay ky> vong (expected value) cua bien ngau nhien rai rac X. Vai c = E{X} = ji va k = 2 ta co: E {(X - p ) ! } = 2 > , - P)!P. = 81 = v {X} ( 1 .4-37) 1= 1 dugc goi la phuang sai (variance), 8 dugc goi la do lech chudn (standard deviation) cua bien ngau nhien rai rac X. Gia tri X |<vai xac suat pv sao cho: k 1 1 £ p , < 0 , 5 < £ p. (1.4-38) i= l i=K + l dugc goi la trung vi cua X. Gia tri xmvai xac suat pm sao cho: Pm = max {Pi} (14-39) dugc goi la mot cua X. Bang 1.4-1 cho thay mot vai qui luat phan b o cua bien ngau nhien rai rac thuang gap trong thuc te va cac dai lugng dac trung cua chung.
  • 28. Chuang 1: Ma dau 29 Bang 1.4-1: Phan bo xac suat rai rac Ten goi qui lu$t Bernoulli Nhj th u ’C Poisson Hinh hpc Ham phan b6 P 1 -p C"pk(1 -p )nk ^ -X — e k! P(1 - P)k Gia tri 0 1 ke[0,n] k e [0 ,x ] ke[0,oo] Tham so pe[0.1] pe[0,1] XeZ* p e[0.1l Ky vong tocin P np X 1 - p P P h yan g sai P(1 - P ) np(1 - np) X 1 - p P2 Ham phan bo xac suat rai rac thuang duac dung cho truang hap mien gia trj co the co cua bien ngau nhien la mot tap vo han dem dugc. Trong truang hgp mien gia trj co the co cua bien ngau nhien la mot tap huu han nguai ta dung bang phan bo xac suat. Bang phan bo xac suat cua bien bien ngau nhien (mot chieu) X co dang nhu trong bang 1.4-2. Hang thu nhat cua bang chi cac gia tri co the co cua X va hang thu hai chi xac suat tuang ung. Bang 1.4-2: Bang phan bo xac suat X x. *2 xn P Pi P2 Pn 1.4.9.2. Qui luat phan bo xac suat ciia bien ngau nhien lien tuc Vai bien ngau nhien lien tuc va Q = {x: - qo < x < oo}, ta xay Sung ham so F(x) = Pr{X < x}, dugc goi la ham phan bo xac suat hay ham phan bo. F(x) chinh la xac suat de X nhan gia tri X < x. Ham F(x) co nhung tinh chat sau day: • F(-co) = 0 va F(oo) = 1; 0 < F(x) < 1; • F(x) la mot ham khong giam, nghTa la: neu x > y thi F(x) > F(y); • F(x) lien tuc ben trai Doi vai bien ngau nhien lien tuc, xac suat de X nhan mot gia tri cu the nao do se bang 0. nhung co the tinh xac suat de X nhan gia trj tromi mot khoang huu han. vi du a < x < b.
  • 29. 30 Ly thuyet thong tin vd md hoa De lam diSu nay ta xay dung mot ham p(x) sao cho: b Pr{a < x < b} = Jp(x)dx (1.4-40) a Tir bi£u thirc (1.4-40) ta co djnh nghTa ham phan bo xac suat ciia bien ngau nhien lien tuc: x F(x)= Jp(u)du (1.4-41) — x Ham p(x) goi la ham mat do xac suat. De dang thay rang: p(x) = ^ (1.4-42) dx Theo dinh nghTa ciia ham mat do xac suat (1.4-42) va tir cac bieu thuc (1.4-40) va (1.4-41) ta suy ra: X Jp(x)dx = l (1.4-43) — cc Tuang tu nhu doi vai bien ngau nhien rai rac, bieu thirc: 4-X E {(x _ c ) }= J ( x - e ) k p(x )dx (1.4-44) dugc goi la mo-men bac k ciia bien ngau nhien lien tuc. Vai c = 0 va k = 1 ta co: -*-x E{X} = | xp(x)dx = p. (1.4-45) - x dugc goi la ky vong toan ciia X. Vai c = E{X} = ^ va k = 2 ta co: e {(x “ M)"}= j ( x - | i ) :p(x)dx = 82 =V {X } (1.4-46) - x dugc goi la phuang sai cua X. Bang 1.4.-3 cho thay mot vai qui luat phan bo xac suat cua bien ngau nhien lien tuc thuang gap trong thuc te va cac dai luang dac trung ciia chime.
  • 30. Chwmg 1: Mcrdau 31 Bang 1.4-3: Phan ho xac suat lien tuc Ten goi qui ludt Phan bd d&u Phan bd chudn tic Phan bd mu Ham mat < 36x3c su£t X . (» p 1 "f —e x b - a 5/2n X Gia tri xe[a,b] xe[-oo,x] xeR* Tham so a < b ; a.beR H,5gR ; 5 > 0 XeR* Ky vong to^n a +b 2 X Phu-ong sai CD ^ k ISJ 52 X2 1.4.10. Ham cua bien ngau nhien mot chieu Cung giong nhu doi voi cac bien thong thuang (con goi la cac bien tien dinh), ta thucrng phai xac dinh gia tri cua ham Y = g(X). Khac voi cac bien tien dinh. ngoai gia tri cua Y ta con phai xac dinh cac dac tinh thong ke cua no (mat do xac suat. ky vong toan. phuang sai,...). Neu g la mot anh xa mot-mot thi viec xac dinh cac dac tinh thong ke cua Y noi chung co the thirc hien dugc. Khi g khong phai la anh xa mot-mot thi cong viec nay kha kho khan, doi khi khong the giai quyet dugc. Chung ta xet mot vai vi du dan gian. Vi du 1: Xet ham ngau nhien: Y = a X + b (1.4-47) trong do a va b la cac hang so, a * 0. Goi Fx(x) va Fy(y) la cac ham phan bo xac suat cua X va Y. Khi do theo djnh nghTa ta co: Fv(y) = P r{Y < y} = Pr{aX + b < y } = P r j x < - ^ j (1.4-48) Mat khac cung theo dinh nghTa ta co: P r | x < ^ — - 1 = j p(x)dx = Fvf j (1.4-49)
  • 31. 32 Ly thuyet thong tin va md hoa So sanh (14.48) va (1.4-49) ta suy ra: Fv(y) = Fx V a (1.4-50) Lay dao ham hai ve cua (1.4-50) ta thu dugc: Pv(y) = “ Px a y - b V a (1.4-51) Vi du 2: Cho ham Y = aX2 + b trong do X la bien ngau nhien co ham mat do xac suat px(x). Tuomg tu nhu vi du 1, ta co: Fv(y ) - Pr{ Y < y} = Pr {aX2 + b < y} = Pr j |X| < Tu (1.4-52) ta suy ra: = P H X < fy —b (1.4-52) Pr X < y - b y - b V + P r lx s -J? (1.4-53) Theo djnh nghTa. tir (1.4-53) ta thu dugc: Fv(y) = Fx v - b + F. [ y - b (1.4-54) Lay dao ham cua hai ve cua (1.4-54) ta co: Pv (>’)=■ 2a. v - b Px v - b + Px y - b (1.4-55) Qua hai vi du tren ta rut ra ket luan sau: Cho Y = g(X) Id anh xa mot-mot Biin ngdu nhien X co ham mat do xdc suat la pjx). Khi do ham mat do xac suat cua hien ngdu nhien Y se duoc xdc dinh hoi: p .,(>■) = g' (x = g~' (y))' I (1.4-56)
  • 32. Chuang 1: Ma dau 33 trong do g ' la ham nguac cua g va g' la dao ham bac nhat cua g theo x. Nhu a dau muc nay ta da luu y, neu g la anh xa mot-mot thi g 1 la duy nhat va viec xac dinh py(y) khong may kho kh&n. Nhung neu g khong phai la anh xa mot-mot thi g' 1 khong duy nhat va van de tra nen phuc tap. 1.4.11. Bien ngau nhien nhieu chieu Trong thuc te, doi khi chung ta phai xet nhieu phep thu ngau nhien cung mot luc hoac cac phep thu ngau nhien phuc tap. Khi do chung ta phai su dung bien ngau nhien nhieu chieu. Bien nay dong thai nhan mot bo gia tri ngau nhien, moi gia tri co the coi nhu gia tri cua mot bien ngau nhien thanh phan. Ham phan bo xac suat cua bien ngau nhien nay goi la ham phan bo xdc suat nhieu chieu hay ham phan bo nhieu chieu. De de hinh dung, ta xet truang hap bien ngau nhien gom hai thanh phan X = (X), X2). Tuang tu cach dinh nghTa ham phan bo cua bien ngau nhien mot chieu, ta co: F (x ,,x ,) = Pr{X, < x ,,X 2 < x 2} = | |p ( u , , u 2)duldu2 (1.4-57) -00 — co Ham mat do xac suat hai chieu (con goi la ham mat do xdc suat dong thai cua X| va X;) se la: (1.4-58) <7x,ax, Khi lay tich phan cua ham mat do xac suat hai chieu theo mot chieu nao do ta se thu dugc ham mat do xac suat cua chieu con lai, goi la ham mat do xdc suat bien (mutual density function). + 0C Jp (x ,,x : )dx, =p(x,) (1.4-59)
  • 33. 34 Ly thuyet thong tin va ma hoa J p (x ,,x 2)dx, = p(x2) (1.4-60) — co Gia sir bay gia ta muon xac djnh xac suat de bien ngau nhien X| nhan gia tri Xi < X| khi bien ngau nhien X2 da nhan gia trj cu the x2 - Ax2 < X2 < x2. NghTa la ta muon xac dinh xac suat: Pr {X, < x, / x, - Ax, < X, < x 2} (1.4-61) Ta da biet. theo bieu thirc (1.4-15): Pr {X, < x,.x, - Ax, < X 2 < x,} = Pr{x2 - A x 2 < X 2 < x ,} .P r{X, < x , / x 2 - A x 2 < X 2 < x,} (1.4-62) Tir (1.4-62) ta suy ra: P r{X, < x, /x , - Ax, < X , < x. _ p ( Pr{X, < x ,,x 2 - Ax, < X 2 < x 2} Pr{x, - Ax, < X, < x 2} (1.4-63) Tir (1.4-63). theo dinh nghTa ve ham phan bo xac suat va ham mat do xac suat ta co: p ( x , / x2) = p(x'-x - ) = , p(x'- x :)----- (1.4-64) P^xi) J_ p(x,,x2)dx, Bieu thirc (1.4-64) duac goi la ham mat do xac suit co di^u kien ciia bien ngau nhien thanh phan. Trong truang hap hai bien ngau nhien thanh phan doc lap vai nhau thi: p (x ,,x 2) = p(x,)p(x2) (1.4-65) va do do: p (x 1/ x 2) = p(x,), p (x , / x t) = p(x2) f 1.4 -6 6 ) Doi vai bien ngau nhien hai chieu. bieu thirc: C 0 V | X , X . | = E { [ X - E [Xjj] [ X , - E j X , }]} (1.4-6-,
  • 34. Chuang 1: Ma dau 35 dugc goi la hiep phuang sai cua cac bien ngau nhien thanh phan. Tir bieu thirc (1.4-67) co the suy ra: 00 cC Cov{X,,X,} = | J x ,x 2p (x ,,x 2)dxldx2 -E { X ,} -E { X 2} (1.4-68) — 00 H» Goi C T | va 02 la do lech chuan ciia cac bien ngau nhien thanh phan, khi do ty so: p = C0V<X '-X ^ ,,.4-69) c t , c t 2 dugc goi la he so tuang quan ciia Xi va X2. Co the de dang nhan ra rang -1 < a < 1. 1.4.12. Qua trinh ngau nhien Mot tap hgp cac bien ngau nhien phu thuoc thai gian dugc goi la mot qua trinh ngdu nhien (Random Process), ky hieu la {X(t)}. Cac the hien cua mot qua trinh ngau nhien dugc ky hieu la x(t). Neu t co the nhan bat ky gia trj nao thi {X(t)} goi la qua trinh ngau nhien lien tuc theo thai gian. Neu t chi nhan cac gia tri t|, t2,... thi {X(t)} dugc goi la chuoi ngau nhien. Qua trinh ngau nhien {X(t)} dugc goi la qua trinh ngdu nhien dung (Stationary Random Process) neu tinh chat xac suat ciia no khong phu thuoc vao thai diem quan sat (thoi diem chon lam goc toa do). Neu ky hieu F(x(t)) la ham phan bo xac suat cua qua trinh ngau nhien {X(t)} va T la mot khoang thai gian huu han thi vai qua trinh ngau nhien dimg ta co: F(x(t)) = F(x(t + T)) (1.4-70) Qua trinh ngau nhien (X(t)} dugc goi la co tinh ergodic neu: i t E{X(t)| = lim — J x(t)dt (1.4-71) t-> k T _t Chuoi ngau nhien {X(t)} dugc goi la chuoi Markov hay .vich Markov (Markov Chain) neu:
  • 35. 36 Ly thuyet thong tin vu nui hoa p(x(tn)/x(tn.|,x(tn.2), —,x(to) = p(x(tn)/x(t„_,)) (1.4-72) Bieu thuc (1.4-72) co nghTa la, doi vai qua trinh Markov, tinh chat xac suat co dieu kien tai mot thai diem chi phu thuoc vao tinh chat xac suat cua thai diem ngay truac do. Qua trinh ngau nhien dung, co tinh ergodic va tuan theo qui luat phan bo chuan dugc goi la qua trinh Gauss (Gaussian Process). Qua trinh Gauss co ky vong toan bang 0 dugc goi la qua trinh tap am trang (White Noise Process).
  • 36. Chiro’ng 2 LlTQfNG TIN VA EN-TRO-PY 2.1. KHAI QUAT Mot trong nhung muc tieu quan trong cua ly thuyet thong tin la du ra dugc mot cach co the dinh lugng thong tin giong nhu nguai ta dua ra khi niem ki-lo-gam de do khoi lugng, khai niem met de do chieu dai, v.v. Truac het chung ta xet mot vai vi du. Ai cung biet phat thanh vien cu dai truyen hinh luon luon phai noi that. Gia su chung ta nghe tren truye hinh dua tin vao ngay 03 thang 7 rang, “ngay mai khong co gio mu Dong-Bac va troi khong ret". Vi hang ngan nam nay khong bao gia c gio mua Dong-Bac vao thang 7, chuyen nay ai cung biet nen dieu m nguai phat thanh vien dua tin tren truyen hinh ve thai tiet khong co thon tin. Tuy nhien neu vao ngay 03 thang 7 anh ta thong bao rang, "ngay me co gio mua Dong-Bac va troi tro ret ”, thong tin nay se gay xon xao d luan, co nghTa la thong bao tren co rat nhieu thong tin. Mot vi du kha< neu ta hoi mot nguai cho thue phong rang "phong nay co sach khong' cau tra lai ma ta nhan dugc se la “co”, bat ke su that nhu the nao. T khong nhan dugc mot chut thong tin gi trong cau tra lai cua nguai ch thue phong. Tuy nhien, neu ta hoi mot nguai ban than da tung thu phong a dja diem do. cau tra lai co the se khac va ta co nhieu thong ti han. Cac vi du tren cho ta thay rang, tac dung cua thong tin chua tron mot thong diep la lam thay doi xac suat lien quan den nhung tinh huon ma nguai nhan quan tarn. Noi cach khac, lugng thong tin chua trong me thong diep co the xac djnh thong qua sir thay doi xac suat do thong die tao ra. Vi le do va de de hieu, trong phan tiep theo chung ta se dinh nghi 2.2. DO DO THONG TIN CUA BIEN CO Trong muc 1.4 cua chuang 1 chung ta da biet xac suat xuat hien cac bien co trong mot phep thir. Chung ta cung biet rang, cac phep thir
  • 37. 38 Ly thuyet thong tin va ma hoa cung c£p cho chung ta thong tin. Mot cau hoi rat tu nhien dugc dat ra la, lugng thong tin (hay lugng tin) ma moi bien co cua mot phep thu co the dem lai cho ta la bao nhieu? Dieu nay ham nghTa la, chung ta phai di tim mot do do de lugng hoa thong tin cua cac bien co cua phep thir. Do do (metric) ciia mot dai lugng dugc dung de xac dinh do Ion ciia dai lugng do. Do do chieu dai la co don vi la met. do do the tich co dom vj la lit. do do cuang do dong dien co don vi la am-pe, v.v... Qua cac v( du tren ta nhan thay, do do phai co cac tinh chat sau: a) Do do phai phan anh do lan ciia dai lugng. Dai lugng cang lorn thi gia trj do dugc cang Ion. b) Do do phai la mot so khong am. c) Do do phai tuyen tinh, nghTa la, gia tri do dugc ciia dai lugng tong cong phai bang tong gia tri do dugc ciia cac dai lugng thanh phan. DT nhien do do thong tin cung phai co nhirng tinh chat tren. Bang true giac chung ta de dang nhan thay mot so dieu sau day: a) Mot bien co cang it xuat hien thi thong tin no dem lai cho nguai nhan cang lan. Dieu nay co nghTa la, do do thong tin phai ty le nghich vai xac suat xuat hien cua thong tin do. Gia su bien co A, co xac suat xuat hien la p(A,). Khi do do do thong tin phai la mot ham ty le nghich voi p(A,), nghTa la mot ham co dang cp( 1/p(A,)). b) Mot bien co da biet truac ket cuc ciia no, nghTa la xac suat xuat hien bien co do bang 1. phai co do do thong tin bang 0 hay cp( 1) = 0 . c) Hai bien co khong keo theo nhau. khi ket hgp lai phai co do do thong tin bang tong do do thong tin ciia tirng bien co rieng 1c. Gia su co hai bien co A, va Aj vai cac xac suat xuat hien tuang img la p(A ) va P(Aj). Xac suat de ca hai bien co xuat hien dong thai la: p(A„Aj) = p(A,)p(Aj) (2.2-1) Khi do ta phai co: o(l p(A )p( A.)) = o(l p(A,) + (j>(l/p(A,) (22-2) Ta tha rang, ham lo-ga-nt la ham thoa man cac dieu kien da neu. No dugc Shannon chon lam do do thong tin khi ong xav dimg l thm et
  • 38. Chuang 2: Luang tin va en-tro-py 39 nay. Ta ky hieu I(A,) la luang tin cua bien co A,. Lugmg tin cua bien co A, dugc djnh nghTa bai: I(A,) = log(l/p(A,)) = - log(p(Aj)) (2.2-3) Ca so cua ham lo-ga-rit co the chon bang 2, 10 hay lo-ga-rit tu nhien. • Vai lo-ga-rit ca so 2 ta co dan vi thong tin la hit. • Vai lo-ga-rit tu nhien ta co dan vi thong tin la Nat. • Vai lo-ga-rit ca so 10 ta co don vj thong tin la Hartley (hoac clit). De thay ro y nghTa cua do do thong tin, chung ta xet vai vi du dan gian sau day. Ta tien hanh phep thir rut ngau nhien mot quan bai trong bo bai tu-la-kha gom 52 quan bai. Nhu ta da biet, xac suat de rut dugc mot quan 4 bai nao do, chang han B, bang — . Nhu vay theo (2.2-3) va sir dung lo-ga-rit ca so 2 ta thu dugc lugng tin ve bien co xuat hien quan B bang f 4 N -lo g , = 3,7 bit. Trong mot chiec hop co 5 hon bi xanh va 7 hon bi do. Lav ngau nhien tir trong hop ra mot hon bi. Xac suat de lay dugc bi xanh bang va lugng tin ve bien co lay dugc bi xanh bang -lo g f c 1 0 = 0,32 dit. Xac suat lav duac bi do bang — va luang tin ve bien co lav duac bi do 12 banii - lo O fc *|0 7 = 0,234 dit. Nhu ta cho dgi. vi kha nans lav duac bi xanh nho hon nen lugng tin ve bien co nay phai Ion han. 2.3. EN-TRO-PY Lugng tin cho ta biet do lan ciia thong tin ma mot bien co cung cap. Trong thuc te chiing ta thuang phai xet den tat ca cac bien co cua
  • 39. 40 Ly thuyet thong tin va ma hoa phep thir va cin phai xac dinh luang tin trung binh cua toan bp phep thir. Do chinh la khai niem en-tro-py. En-tro-py la dai luang dung de do muc do khong xac dinh cua cac phep thir. Gia sir ta nghien ciru phep thir a gom co n ket cuc A|, A2, Ay, ., An vai xac suat xuat hien tuang ung la pi, p2,.., pn- Ta ky hieu en-tro-py ciia phep thir nay la H(a). Duang nhien H(a) phai la mot ham phu thuoc p,. Ta dat: H (a) = 0 ( p , ,p 2,...,pn) (2.3-1) Ham 0 ( p ,,p 2,....pn) phai co nhung tinh chat sau day: a) Gia tri cua <D(p,,p2,...,pn) hoan toan khong thay doi khi ta hoan vi tiiy y cac bien so p„ (i = 1, 2,..., n). b) 0 ( p ,,p 2,...,pn) phai la mot ham phu thuoc n. That vay. khi n = 1 tire la ket cuc ciia phep thir hoan toan xac dinh, 0 (p ,,p 2,...,pn) phai co gia tri bang 0. Khi n tang, ro rang viec doan truac su xuat hien mot ket cuc nao do cang kho. Do vay gia trj ciia 0 ( p ,, p 2,...5,pn) phai tang khi n tang. c )0 (p ,,p , pn) phai la mot ham lien tuc theo p, vai moi (i = 1. 2, ..., n). Dieu nay nghTa la 0 (p ,.p ,,...,p n) chi thay ddi rat it khi p, thay doi nho. d) Gia sir phep thu a co m ket cuc, phep thir P co n ket cuc. Cac ket cuc ciia phep thir a doc lap vai cac k k cuc cua phep thir p. Phep thu lien hap a p se gom m.n ket cuc vai xac suat p,j (i = 1, 2,..., m; j = 1. 2.....n). Mot dieu hien nhien, chiing ta mong muon la do khong xac dinh cua phep thu lien hap phai bang do khong xac dinh cua phep thu a va do khong xac dinh cua phep thu p cong lai. Nhu vay ham O phai thoa man he thirc: P|I*Pi:.....Pim-P;i-P:;......P;n...... Pm|,•••,Pm n) = ^ ( P l- P :.....Pm) + <j>(p,-p2......P„) (23-2)
  • 40. Chuang 2: Luang tin va en-tro-py 41 Gia sir phep thir a gom cac ket cuc A|, A2, A3,.., An. Bay gio gia sir rang phep thu p dugc xay dung tren co so ket hgp hai ket cuc dau tien cua phep thir a vai nhau. Xac suat ciia ket cuc nay se bang pi + p2. Phep thir p co do bat dinh bang 0 ( p ,,p 2,...,pn). Khi ket cuc Ai + A2 da xuat hien. ta van chua biet A| hay A2 xuat hien. Sir bat djnh nay ro rang phai co dang <t>(pi/(pi + p2), p2/(pi + p2)). Nhu vay do bat djnh ciia phep thir a phai bang do bat dinh ciia phep thir p cong them do bat djnh ciia phep thir de xac dinh xem A] hay A2 xuat hien. Tir lap luan nay ta yeu cau: <I>(P|.P2......Pn) = ^ ( P l + P j . - . P n ) + (p, + p2) d>(pi/(p, + p2), p2/(p, + p2)) (2.3-3) Can cu vao cac lap luan tir a) den e) Shannon da chon ham: 0 ( p ,, p 2,...,pn) = - p , l o g p , - p 2logp2 - . . . - p n logpn (2.3-4) Ham 0 ( p ,, p 2,...,pn) a bieu thirc (2.3-4) thoa man tat ca cac dieu kien vira neu tren. Gia trj ciia ham nay dugc goi la en-tro-py cua phep thu a va ky hieu bai H(a). Nhu vay, trong truang hgp phep thir a gom n ket cuc ta co: H (a ) = - 2 > , loSP. (2-3' 5) 1 =1 Theo dinh nghTa ve lugng tin cua mot bien co dien ta bai cong thirc (2.2-3), bieu thirc (2.3-5) co the viet thanh: H ( a ) = £ p,I(A,) (2.3-6) 1 =1 Cong thirc (2.3-6) chirng to rang, en-tro-py chinh la luang tin trung hinh ciia cac bien co cua phep thir. Can luu y rang, en-tro-py cho biet do khong xac dinh cua toan bo phep thir chir khong xet timg ket cuc rieng re. Thi du, phep thu a a bang 2.3-1 vai cac bien co X|, x2,..., x> co phan bo xac suat khac han phep thir P a bang 2.3-2 vai cac bien co yi, y2.....ys nhung co ciing en-tro-py bang 1,731 bit.
  • 41. 42 Ly thuyet thong tin va ma hoa Bang 2.3-1: Phep thu a Bi6n c6 Xi x2 x s x« x s Xac s u it p(x,) 0,3959 0,4041 0,1060 0,0927 0.0013 Luang tin l(x,) 0,5292 0,5282 0,3432 0,3181 0.0125 Bang 2.3-2: Phep thir ft Bi6n cd yi y2 yi y« Yi Xac s u it p(y,) 0,1898 0,1445 0,5595 0,0918 0.0144 Lim ng tin l(y,) 0,4550 0,4033 0,4687 0,3163 0.0881 2.4. EN-TRO-PY CUA BIEN CO HOP VA EN-TRO-PY CO DIEU KIEN Gia sir a va P la hai phep thu doc lap. Phep thu a co k bien co voi xac suat tuomg ung ghi trong bang 2.4-1. Phep thu (3 co n bien co voi xac suat tuang irng ghi trong bang 2.4-2. Phep thu hop a p (thuc hien dong thai phep thu a va phep thu P) co k.n ket cuc vai cac xac suat tucmg ung duac ghi trong bang 2.4-3. Bang 2.4-1: Cac bien co cua phep thu a Cac bien co A, A2 A. Xac suat P(A0 P(A2) P(A.) Bang 2.4-2: Cac ket cuc cua phep thu ft Cac bien co B, b 2 ' B- Xac s u it P(B-) p (B2) P(B-) Bang 2.4-3: Cac ket cuc cua phep thu hop aft Cac bien c6 A B a b 2 A.B Xac suat P(AB-) p(A .B; ) P(A.B-) Ta chirng minh rang, neu < /. a p la hai phep thu doc lap tin: H(uP) - 11(a) - H(P) Theo djnh nghTa cua en-tro-pv ta co:
  • 42. Chuang 2: Luang tin va en-tro-py 43 H (a P ) = _ P(A|B,)log(p(AlBl))-p (A ,B 2)log(p(AlB2)) -...-p (A ,B n)log(p(A,Bn)) -p (A 2B ,)log(p(A 2B,)) ~ P ( A 2B2) log (p( A2B2) ) - . . . - p ( A 2Bn) log (p(A2Bn)) -p (A kB,)log(p(AkB ,))-p (A kB2)log(p(AkB2)) - p(AkBn) log (p(AkBn)) (2.4-2) Vi a va p la hai phep thir doc lap nen cac bien co cua chung doc lap vai nhau hay: p(A ,B,) = p(A,) p(Bi) (2.4-3a) p(A 1B2) = p(A1)p(B 2) (2.4-3b) p(AkBn) = p(Ak) p(Bn) (2.4-3k) Nen ta co the viet: “ P(A,B, )log(p(A ,B l)) -...-p (A ,B n)log(p(A ,Bn)) = _ P(A, )p(B, )[lo g (p (A ,)) + log(p(B ,))] ~P(A, )p( B2)[ log (p( A ,)) + log (p(B 2) ) ] - ... -p(A , )p(B„ )[lo g(p(A ,)) + log(p(Bn))] (2.4-4) Tir (2.4-4), bang cach bien ddi hop ly ta thu dugc: ~P ( A,B,) log(p(A,B,)) -... - p(A,Bn) log (p(A,Bn)) - - P(Ai)lo g (p (A ,))[p (B l) + p(A l)p(Bl)log (p(B ,))] -PC A ,) log(p(A, ))[p (B ,) + p(A, )p( B: ) log (p( B: ))] - ... - p ( A ,) log(p(A ,))[p(B n) + p(A,)p(B„) log( p(Bn))] = -p(A,)log(p(A,)) X p (B, ) + P( A, p(Bf) log ( p( B ,)) | (2.4-5] i-i
  • 43. Ta thay rang: £ p (B,) = 1 (2.4-6) J=' - ^ p ( B J)log(p(B |)) = H(P) (2.4-7) j=i Thay (2.4-6) va (2.4-7) vao (2.4-5) ta thu dugc'. -p (A lB1)log(p(A lB ,) ) - ...- p ( A 1Bn)lo g (p (A lBn)) = _ P(A,) log(p(A ,))+ p(A, )H(P) (2.4-8) Mot cach tong quat ta co: - P(A,B,) log(p(A,B,) ) - . . . - p(A,Bn)log(p(A ,B n)) = _ P(A,) log(p( A ,)) + p(A, )H(P) (2.4-9) Cuoi cung ta co: H(ap) = - p(A,)log p(Ai) - p(A2)log p(A2) -... - p(Ak)log p(Ak) + [p(A)) + p(A2) + ... + p(Ak)] H(p) = H(a) + H(P) (2.4-10) Bieu thirc: H(aP) = H(a) +H (p) (2.4-11) dugc goi la qui tac cong en-tro-py. Bay gio ta xet truang hgp cac phep thir a va P khong doc lap vcri nhau. Trong truang hgp nay ta co: p(A,B,) = p(A, )p(B, / A ,) (2.4-12a) P(A ,B ,) = p(A, )p(B; / A ,) (2.4-12b) 44 Ly thuyet thong tin va ma hoa P(A|B„ =p(A,)p(B„ /A ,) (2.4-12n) Tir (2.4-12) ta co: -p(A,B, )log(p(A ,B l) ) - . . . -p (A ,B ii)lo g (p(A lBn))
  • 44. Chutmg 2: Luang tin va en-tro-py 45 = -p(A, )p(B, / A,)[log(p(A,)) + log(p(B, / A,))] -pCA^pCB./A^flogfpCA^J + lo gfp fB ,/A ,))]-••■ _ P(A,)p(Bn/ A,)[log(p(Al)) + log(p(Bn/ A,))] (2.4-13) Thong qua bien doi ta co: -p(A,B,) log(p(A,B,))-... -p (A ,B n)log(p(A,Bn)) = -p (A ,) log(p(A,))[p(B, / A ,) + p(A,)p(B, / A ,) log(p(B, / A ,))] -p (A l)log(p(Al))[p(B3/ A 1) + p(A1)p(B,/A,)log(p(B1/ A 1))]-... -p (A ,) log (p(A, ))[p(Bn/ A ,) + p(A,)p(Bn/ A,) log(p(Bn/ A ,))] = -p(A,)log(p(A,)) J p(Bj / A ,) + p(A ,) £ p(Bj / A ,) log(p(BJ/ A ,)) (2.4-14) H j=i Ky hieu: - £ p( / A ,) log p( B, / A ,) = H((3 / A ,) (2.4-15) H va goi H (P /A ,) la en-tro-py cua phep thir p khi ket cuc Ai cua phep thu a da xuat hien. Ngoai ra ta cung thay rang: X p(B ,/A ,) = 1 (2.4-16) K£t hop (2.4-14), (2.4-15) va (2.4-16) ta co: -p(A ,B ,)log(p(A lBl) ) ------- p(A lBn)log(p(A 1 B j ) = P( A ,) log (p (A ,)) + p(A, )H (p /A ,) (2.4-17) Mot cach tong quat: _ P(A,B, )log(p(A,Bl))------- p(A,Bn)log(p(A ,Bn)) - _ P( A ,) log(p(A ,)) + p(A, )H (P /A ,) (2.4-18)
  • 45. 46 Ly thuyet thong tin vd md hoa 0 day ta ky hieu H (p/A ,) la en-tro-py cua phep thir P voi dieu kien k§t cuc A, ciia phep thir a da xuat hien. Dua vao (2.4-18) va lay tong theo i ta thu dugc: H (a P) = -p (A lB1)log(p(A lBl) ) - p(A lB2)log(p(A ,B : ) -...-p (A ,B n)log(p(A,Bn) -p ( A 2B ,)log(p(A ;B,)) -p ( A :B2) log (p( A :B2) ) - . . . - p(A 2Bn) log (p(A : Bn)) ~P(AkB, )log(p( A kB,) ) - p(AkB2) log(p(A kB ,)) - ...- p ( A kBn)log(p(A kBn) = _ P(Al)p(B1/ A l)[log(p(A ,)) +log(p(B, / A ,))] -p(A ,)p(B : /A l)[log(p(A ,)) + log(p(B 3/ A ,))]-... -p(A ,)p(B n /A ,)[log(p(A ,)) + log(p(B n/A ,))] -p (A ; )p(B, / A 2)[log(p(A ,)) +log(p(B, / A 2) ) ]-... -p (A 2)p(Bn / A 2)[log(p(A 2)) + log(p(B n / A ,) ) ] - ... -p (A k)p(B„ / A k)[log(p(A k)) + log(p(Bn / A k))] k k -X p (A ,)lo g (p (A i)) + X p (A ,)H (p /A ,) 1=1 1=1 = H (a) + Ha(P) (2.4-19) Bieu thirc: Ha(P)= X p (a ,)h (P /a ,) (2.4-20) 1 =1 dugc goi la en-tro-py cd dieu kien trung hinh cua phep thu p khi phep thu a duoc thuc hien (goi tut la en-tro-py cd dieu kien cua P khi ct dune thuc hien).
  • 46. Chuang 2: Luang tin va en-tro-py 47 Tir bieu thirc (2.4-20) ta co the rut ra nhirng nhan xet sau: • Neu tat ca cac xac suat p(Ai), p(A2),..., p(Ak) deu khac 0 thi H«(P) = 0 khi va chi khi: H (p /A .) = H (p /A ,)= ... = H (p /A k) = 0 (2.4-21) NghTa la khi va chi khi vai bat ky mot ket cuc nao ciia phep thir a thi ket qua ciia phep thir p cung dugc hoan toan xac djnh. • Neu cac phep thir P va a doc lap thi: H(P / A ,) = H(P / A 2)= ... = H(P / A k) = H(P) (2.4-22) hay: H„(P) = H(P) (2.4-23) Hai ket luan tren cho thay, viec thuc hien phep thu a lam giam do khong xac dinh ciia phep thir p, tire la lam giam en-tro-py ciia phep thir p (it nhat la H(P) khong tang khi phep thir p va phep thir a la doc lap). Ta goi phep thir p la phep thir chinh va phep thir a la phep thir phu. Sau day ta se chirng minh rang, hieu en-tro-py ciia phep thir chinh va phep thir phu bao gia cung nho han en-tro-py co dieu kien cua phep thir chinh va nho han en-tro-py cua ban than phep thir chinh. NghTa la: H(P) - H(a) < H„(P) < H(p) (2.4-24) De dan gian cach chung minh tinh dung dan ciia bieu thirc (2.4-24) ta xet truang hgp phep thu a co hai ket cuc Ai va A2 dong kha nang. Theo cong thirc (2.4-20) ta co: H„ (P) = ^ H(P / A,) + —H(P/ A ,) (2.4-25) Bay gid ta se chimg minh bat dang thirc: —H (p /A ,) + 1-H (p/A ,) < H(p) (2.4-26) Theo (2.4-25) ta phai chirng minh rang:
  • 47. 48 Ly thuyet thong tin vd md hoa —[ — p(B, / A ,) log(p(B, / A ,) ) - ...- p ( B n/ A,)log(p(Bn/ A,))] + i [ - p ( B , / A 2)log(p(B, / A : - p ( Bn / A 2)log(p(B n / A ,))] < -p (B ,) log(p(B,)) - p(Bn) log(p(B n)) (2.4-27) Xet do thi ham y = -x log x trong hinh 2.4-1. Gia sir cac diem A. B. C, D, M, N, P co toa do nhu sau: A = (xi, 0), B = (xi, y,), C = (x2, y2), D = (x2, 0), M f X. + X-, / - 1 — - . o , N = I 2 ; V x , + x 2 y ,+ y 2 2 2 Ta co the thay the cac gia tri cua X| va x2 bai cac xac suat: x, = p (B ,/A ,); x : = p (B ,/A ,) (2.4-28) Khi do: y, = — p(B, / A ,) log(p(B, /A ,)) (2.4-29) y, = -p (B , A ,)log (pCB,/A,)) (2.4-30) Ta nhan thay rang, tung do cua diem N bang —(yi - v2) la duong trung binh cua tir giac ABCD va ngan han tung do » cua diem P. Ca hai diem N va P deu co hoafih do bing x, + x, . Tir (2.4-28) ta suy ra
  • 48. Chuang 2: Luang tin vd en-tro-py 49 x N = x p = ^ P ( B i / A , ) + ^ p ( B | / A 2 ) = p(A, )p(B, / A ,) + p(A2)p(B, / A ,) = p(B,) (2.4-31) Va nhu vay: yp = - p(B,) log p(B,) (2.4-32) Tom lai ta co: - i p ( B l /A 1)lo g (p (B ,/A l) ) - I p ( B , / A ; )log(p(B 1/A .)) < -p (B ,)lo g p (B ,) (2.4-33) -± p (B „ / A,)log(p(B„ /A ,)) - i p ( B n / A j)log(p(B n / A 2)) < - p(B„) log p(B„) (2.4-34) Cong tat ca cac bat dang thuc a tung ve voi nhau dugc bieu thuc (2.4-26). 2.5. LlTONG TIN CUA PHEP THU' Nhu tren da thay. H([3) dac trung cho do khong xac dinh cua phep thu p. Khi H(P) = 0 chung to ket qua cua phep thu P hoan toan biet truac. That vay. H(P) chi co the bang 0 khi xac suat cua cac bien co cua phep thu p bang 0. tru mot bien co co xac suat xuat hien bang 1. Gia tri cua H(P) cang lan thi su nghi nga ve ket qua cua phep thu cang lan. Ta nhan thay rang, bat ky mot su quan sat hay do luang nao do lien quan din phep thu p, coi nhu phep thir phu a, xay ra truac phep thir P cung deu lam giam do bat dinh ve phep thir p. Chang han do khong xac dinh ciia phep thu tim vat nang nhat trong 3 vat, se giam di sau khi da so sanh hai vat vai nhau. Viec tien hanh truac phep thir phu a se lam giam do khong xac dinh cua phep thir p. Dieu nay dugc the hien a cho en-tro-py co dieu kien Ha(P) ciia phep thir p luon luon nho han en-tro-py H(P). Dai lugng:
  • 49. 50 Ly thuyet thong tin vd nid hoa I(a,P) = H(P) - H„(P) (2.5-1) cho thay viec thuc hien phep thu a lam giam do khong xac dinh cua phep thu p din muc nao. Dai lugng nay dugc goi la luang tin ve phep thu P chira trong phep thu a. Nhu vay. mu6n hilt kit qua cua phep thir P nha phep thu a thi phai tien hanh phep thu a sao cho H jfi) cang nho cang tot, hoac Ua.fi) cang lan cang tot Nen nha rang co nhieu cach tien hanh phep thu phu a. Tir cac cong thirc (2.4-24) va (2.5-1) ta suy ra: I(«,P) < H(a) (2.5-2) NghTa la, de lam tang I(a,P) ta phai to chirc phep thu phu a sao cho H(a) cang lan cang tot. Noi chung khong co huang dan chi tiet cu the cho viec xay dung phep thu phu. Tuy nhien ly thuyet thong tin cho ta biet qui mo ma phep thu phu se phai duac tien hanh. Vai vi du sau day co the giup ta hinh dung tot han viec giai quyet van de nay. Vi du 1: Co 13 dong tien kim loai cung mot menh gia nen phai co khoi luang nhu nhau. Trong do co 1 dong tien gia khoi lugng nhe hern dong tien that. Hoi phai can toi da bao nhieu lan (tren mot cai can dTa khong co qua can) thi chac chan tim ra dong tien gia? Giai Phep thu p (xac djnh dong tien gia) trong truang hgp nay co 13 ket cuc vi bat ky dong tien nao cung co the la dong tien gia. Cac bien co nay dT nhien la dong kha nang va co xac suat bang ^ . En-tro-py cua phep thir p bang: J2, 1 1 H(P) = - X — log' — = lo g ,13*3.70 bit (2.5-3) i 1j 13 Phep thu ai (can mot lan nhu the nao tuy y) co 3 ket cuc: dTa can ben phai nang hon, dTa can ben trai nang hem va hai dTa can bang nhau. Ba ket cuc nay cho en-tro-py Ion nhat khi chung dong kha nang. Nhu a moi lan can cho mot lugng thong tin bang:
  • 50. Chuang 2: Luang tin vd en-tro-py 51 (2.5-4) Bay gia ta xet phep thu hop a = a ^ a j . . . ak (can k lan lien tiep). Phep thu nay cho thong tin khong vuat qua 1,58 x k bit (moi lan can ta co thong tin bang 1,58 bit, so lan can la k). Neu phep thir a cho phep xac dinh hoan toan ket qua phep thir P thi phai dat duac: H(a) > I(a,P) > H(P) (2.5-5) Tir do suy ra: 1,58 x k > 3,70 (bit) (2.5-6) hay: k > 2,34 (2.5-7) Vi k la mot so nguyen nen k > 3. Ta co the chi ra rang, vai k = 3 lan can ta hoan toan xac djnh duac dong tien gia trong so 13 dong tien. Phep thir a/ (can lan thu nhat) Gia sir lan can thir nhat, phep thir ai, ta dat len moi dTa can x dong tien. Nhom con lai se la 13-2x dong tien. Hien nhien la xac suat dong tien gia nam a nhom nao phu thuoc vao so dong tien co trong nhom do. Nhu , , X X vay ba bien co cua phep thir ai co cac xac suat tuang irng la — , — va 1 3 -2 x 13 . Ta co: x , x x , x 13- 2 x , 13- 2 x H (a.) = ----- lo g ,---------- lo g ,----------------- lo g ,---------- ' 13 -13 13 13 13 2 13 = Y j[l°g : 13-lo g , x ] + » * [log, 13 - log,(13 - 2 x)] 2x 1 3 -2 x i n 2 x i 1 3 -2 x ... lo g ,1 3 - — log, x ------—— lo g ,( lj- 2 x ) 1j 1j 2x 1 3 -2 x = log, 13------ log, x -------------log,(13-2x) 13 - 13 (2.5-8) Ta tim x sao cho H(ai) la cuc dai. Lay dao ham cua H(ai) theo x ta thu duac:
  • 51. 52 Ly thuyet thong (in vd md hoa (2.5-9) dx 13 * x 13 ,, dH (a.) , d :H (a,) . . . .. Voi x = — thi — — —= 0 va -------< 0. Do chinh la diem cuc 3 dx dx‘ dai. Vi x chi co the la so nguyen nen chi co the x = 4 hoac x = 5. Vori x = 4 ta co H(ot]) = 1,58 bit. Vai x = 5 ta co H (ai) = 1,55 bit. Nhu vay ta sa chon x = 4 va dat len moi dTa can 4 dong tien. Co 3 ket cuc co the xa ra. Do la. can thang bang, can lech ve ben phai va can lech ve ben trai. Trong truang hap can thang bang, ta con 5 dong tien nghi nga. Trong truang hap can khong thang bang (lech ve ben phai hoac lech ve ben trai), ta con 4 dong tien nghi nga. Phep thu aj (can lan thu hai) Ta xet truang hap con 5 dong tien nghi nga. Tien hanh tuang tu nhu ta da lam trong phep thu ai, ta se thu duac: ^ = M log, ^ 0 (2.5-10) dx 5 x Tu (2.5-10) ta thay rang x = ^ . Nhu vay co the x = 1 hoac x = 2. Vcri x = 1 thi H(«:) = 1,37 bit. Vai x = 2 thi H (a2) = 1,52 bit. Nhu va ta se chon x = 2 va dat len moi dTa can 2 dong tien. Co 3 ket cuc co the xay ra. Do la. can thang bang, can lech ve ben phai va can lech ve ben trai. Trong truang hap can thang bang, ta con 1 dong tien nghi nga a do chinh la dong tien gia. Trong truang hop can khong thang bang (lech c ben phai hoac lech ve ben trai), ta con 2 ddng tien nghi nga. Phep thir a< (can lan thu ha) So sanh hai dong tien nghi nga vai nhau. Ben nao nhe hon do chinh la dong tien gia. Tom lai ta hoan toan co the xac dinh dugc dong tien gia sau toi da ba lan can. 11 du 2: Co 12 dong tien kim loai cung mot menh gia nen phai co khoi lugng nhu nhau. Trong do co 1 done tien eia khoi krone khac done
  • 52. Chuang 2: Luang tin va en-tro-py 53 tien that (nSng han hoac nhe han dong tien that). Hoi phai can toi da bao nhieu lan (tren mot cai can dTa khong co qua can) thi chac chan tim ra dong tien gia? Giai. 0 day phep thir p co 24 bien co (12 bien co la dong tien gia nhe han va 12 bien co la dong tien gia nang han). En-tro-py ciia phep thir P bang: H(p) = - V — log, — = log, 24*4,585 bit (2.5-11) i 24 2 24 Trong vi du 1 da phan tich, phep thir hop a = a i a 2a 3... a^ (can k lan lien tiep) cho ta lugng tin khong lan han k x log23 = log23k bit. Muon xac dinh dugc dong tien gia thi log23k > log224 hay 3k > 24. Vi 33 = 27 > 24 nen ta cam thay rang vai 3 lan can co the xac djnh dugc dong tien gia. Ta kiem tra lai cam giac nay. Phep thir a/ (cun kin thu nhat) Gia sir lan can thir nhat ta dat len moi dTa can x dong tien. Xac suat ' ' ' x x 12 —2 x de dong tien gia nam a mot nhom nao do se bang — , — va ----------. 12 12 12 Vai cach lam tuang tu nhu khi lap phep thir ai a vi du 1, muon cho H(ai) lan thi cac xac suat nay phai xap xi bang nhau. Dieu nay co nghTa la ta phai chon x = 4. nhom con lai cung la 4 dong tien. Truang hgp xau nhat. can khong thang bang, ta con lai 16 ket cuc dong kha nang (dong tien gia la 1 trong 8 dong tien nam tren dTa can). Lan can tiep theo. neu dat len moi dTa can 3 dong tien thi khi can khong thang bang ta con lai 12 ket cuc dong kha nang. khong the xac dinh dugc dong tien gia chi bang mot lan can nua. Neu dat len moi dTa can 2 dong tien thi bat ke trang thai can nhu the nao ta van con lai 8 ket cuc dong kha nang. cung khong the xac dinh dirge dong tien gia chi bang mot lan can tiep theo. Khong the xac dinh dugc dong tien gia sau chi 3 lan can? Cam giac ciia cluing ta dua tren ca sa ly thuyet thong tin la sai hay co gi do chua dung trong cach thiet lap cac phep thir? Dimg la cach lam nhu tren khong hoan hao. Khi xa dung phep thir a 2 (can lan thir hai) nhu vira lap luan
  • 53. 54 Ly thuyet thong tin vd md hoa tren day. ta da khong tan dung het thong tin thu duac sau lan can thu nhat. That vay. tuy rang sau lan can thu nhat ta chua xac dinh dugc dong tiln gia nhung ta da xac dinh dugc 4 (neu can khong thang bang) ho&c 8 (neu can thang bang) dong tien that. Nhung dong tien that nay co the tham gia vao cac phep can tiep theo. Tuy nhien tan dung nhung thong tin ve dong tien that bang cach nao thi van con la cau hoi bo ngo. Nhu tren da neu, khong co mot huong dan cu the nao cho viec xay dung cac phep thu phu va ta luon can mot chut suy luan khon ngoan. Phep thu a: (can lan thu hai) Ta xet truang hgp xau nhat sau lan can thu nhat. can khong thang bang. Ta con lai 8 dong tien nghi nga. Ta goi nhom ben phai la nhom P], nhom ben trai la nhom T| va nhom ngoai la nhom N). Gia su nhom P| nang han nhom Tj. Khi do dong tien gia co the nam a nhom P, va no nang han dong tien that, hoac dong tien gia nam a nhom T| va no nhe hon dong tien that. (Neu nhom T| nang han nhom Pi thi tinh huong se ngugc lai). Ta tien hanh xay dung phep thu a 2 nhu sau: • Dat len dTa phai xP dong tien cua nhom Pi va xT dong tien cua nhom T i. Goi nhom nay la nhom P2. • Dat len dTa trai yP dong tien cua nhom P|, yT dong tien cua nhom Ti va z = (xp + xj) - (yP+ yT) dong tien that. Goi nhom nay la nhom T2. Bang 2.5-1 cho thay cac phuang an khac nhau va en-tro-py tuang ung cua cac phuang an do. Trong bang 2.5-1 ta thdy co 13 phuang an khac nhau de tien hanh phep thu a : va deu cho ta lugng tin bang 1.56 bit. Chung ta co the chon bat ky phuang an nao trong cac phuang an nav Thi du ta chon phuang an 1 vai cac gia tri xP = 2, xt = 1, yP = 2 va vT = 1. Ta thay: P; = {xi» = 2 .x r = 1} ; T: = { y p = 2 .yT =1} N : s t = ;:; (2.5-12) (2 5-13)
  • 54. Chuang 2: Luang tin vd en-tro-py 55 Trong truang hop P2 = T2 thi dong tien gia nam trong N2 va no nang hon dong tien that khi P| < Ti, nhe hon dong tien that khi Pi > T|. Chung ta con 2 dong tien nghi nga. Bang 2.5-1: Cac phuang an ciia phep thu a2 (trrn'mg hap con 8 dong tien nghi nga) P2 t 2 TT xP xT yp yr z P(N2) P(P2) P(T2) H(a2) (bit) 1 2 1 2 1 0 2/8 3/8 3/8 1,56 2 2 1 2 0 1 3/8 2/8 3/8 1,56 3 2 1 1 1 1 3/8 3/8 2/8 1,56 4 1 2 1 2 0 2/8 3/8 3/8 1,56 5 1 2 2 1 3/8 3/8 2/8 1,56 6 1 2 1 1 1 3/8 2/8 3/8 1,56 7 3 1 1 0 3 3/8 3/8 2/8 1,56 8 1 3 1 3 3/8 2/8 3/8 1,56 9 2 2 1 1 2 2/8 3/8 3/8 1,56 10 2 2 1 0 3 3/8 2/8 3/8 1,56 11 2 2 0 1 3 3/8 3/8 2/8 1,56 12 3 2 1 0 4 2/8 3/8 3/8 1,56 13 2 3 0 1 4 2/8 3/8 3/8 1,56 • Neu P2 > T2 va P| > T t thi dong tien gia la mot trong hai dong tien x p e P , va no nang hon dong tien that. • Neu P2 > T2 va P i < T| thi dong tien gia la mot trong hai dong tien y(, € T, va no nhe hon dong tien that. • Neu P2 < T: va P| > T| thi dong tien gia la mot trong hai dong tien yp e T, va no nang hon dong tien that. • Neu P: < T2 va P| < T| thi dong tien gia la mot trong hai dong tien x,, e P, va no nhe hon dong tien that. Trong truang hop P| = Ti cua phep thir ai ta con 4 dong tien nghi ngo o N i.
  • 55. 56 Ly thuyet thong tin vd md hoa Bang 2.5-2: Cac phuang an cua phep thu a> (truang hop con 4 dong tien nghi nga) P2 t 2 TT Xn Yn y. P(N2) P(P2) P(T2) H (a2) 1 1 1 0 1/2 1/4 1/4 1.50 2 1 0 1 3/4 1/8 1/8 1.19 3 2 2 0 0 1/2 1/2 1.00 4 2 1 1 1/4 3/8 3/8 1.56 5 2 0 2 1/2 1/4 1/4 1,50 6 3 1 2 0 1/2 1/2 1,00 7 3 0 3 1/4 3/8 3/8 1,56 8 4 0 4 0 1/2 1/2 1.00 Ta xav dung phep thu a 2 bang each dat len dTa phai xn dong tien nghi ngo, dat len dTa trai yn dong tien nghi ngo va y, dong tien that. Bang 2.5-2 cho thay tat ca cac phuang an co the co cung vai en-tro-py tuang ung. Trong 8 phuang an thi cac phuang an 4 va 7 co en-tro-py lan nhat. Nhu vay ta phai chon mot trong hai phuang an nay. Gia su ta chon phuang an 4. Ta thay: P: = K = 2) ; T , = { y n =l. y, = 1} (2.5-14) • Neu P2 > T2 thi dong tien gia la mot trong hai dong tien x n eP , va no nang hon dong tien that hoac no la dong yn e T, va nhe han dong tien that. • Neu P2 < T2 thi dong tien gia la mot trong hai ddng tiln x n € P, va no nhe hon dong tien that hoac no la dong yn e T, va nang hon done tien that. Phep thu at (can lan thir ha) Sau phep thu a 2 chung ta con lai hai dong tien nghi ngo. dong thai da biet no nang hon hay nhe hon dong tien that. Chi can so sanh 2 dong tien nghi nga voi nhau ta se tim duoc d6ng tien gia. Nhu vay sau tdi da ba lan can chac chan ta tim duac dong tien eia va dieu khang dinh cua ly thuyet thong tin da duoc chung minh
  • 56. Chuang 3 NGUON R&I RAC VA KENH ROl RAC • • 3.1.NGU6N R&I RAC 3.1.1. Mo hinh tong quat cua nguon roi rac Tat ca cac mo hinh su dung trong ly thuyet thong tin deu la mo hinh qua trinh ngau nhien hoac chuoi ngau nhien. Mo hinh nguon tin rai rac (goi tat la nguon roi rac) la mo hinh don gian nhat trong cac mo hinh nguon. Nguon roi rac la nguon ma dau ra cua no la cac chuoi ngau nhien {X(t); t = 1, 2,..., n}. Cac gia tri co the co cua X(t) la Q := {xi, x2,~-, xk}. X(t) nhan gia trj x,- voi xac suat tuang ung p ,(x ,). Neu pt(x,) khong phu thuoc vao t, nghTa la neu: p ,(x,)= p(x,) (3.1-1) thi ta goi nguon do la nguon dung (Stationary Source). Neu xac suat xuat hien mot tin khong phu thuoc vao cac tin da xuat hien truac, nghTa la neu: P (x , / x , x , = p(x,) (3.1-2) thi ta goi nguon do la nguon khong nho (Memoryless Source). Nguac lai. neu xac suat xuat hien mot tin phu thuoc vao cac tin da xuat hien truac. nghTa la neu: p ( x ,/x 1 _l.x,_2....)* p (x 1) (3.1-3) thi ta goi nguon do la nguon co nho. Thi du. ngon ngu Viet la mot nguon co nho. That vay. xac suat xuat hien tir “roi” khi tu “rac" da xuat hien la rat lan. bai vi di sau tir "rac“ chi co the la tir “roi" (rac roi). tir “cat" (rac cat”) va mot so it tir nua. Ta nhan thay rang, moi tin x, ciia nguon dirng X chinh la mot bien cd ngau nhien va ta co mot lugng tin dugc djnh nghTa bai:
  • 57. 58 Ly thuyit thong tin va md hoa I(x,) = - log p(x,) (3.1-4) Lugng tin trung binh cua tat ca cac tin cua nguon dung X dugc goi la en-tro-py cua nguon va dugc xac dinh bcri cong thuc: H(X) = - £ p ( x ,) lo g ( p ( x ,) ) (3.1-5) 1= 1 Ky hieu H(X)nm la gia tri en-tro-py Ion nhat ma mot nguon co the co. Khi do bieu thuc: Rs = H (X )nm- H ( X ) (3.1 r6) dugc goi la do du thua cua nguon (Source Redundance). Ty so: rs = — ^ — = 1- H()L L (3.1-7) H ( X L H (X )nm dugc goi la d<j du thira tuang doi cua nguon. Trong truang hgp Q la mot tap him han. nguon X co en-tro-py Ion nhat khi cac tin co xac suat xuat hien bang nhau. Nhu vay do du thira cho biet mire do khac biet nhau ve xac suat xuat hien cac tin cua nguon. Rs cang Ion thi su khac biet ve xac suat xuat hien cac tin cang 1 cm. En-tro-py cua nguon cho biet tinh chat thong ke cua nguon. Nhung su hinh thanh tin nhanh hay cham (de dua tin vao kenh truyen dan) lai phu thuoc nhung tinh chat khac ciia nguon nhu quan tinh, do phan biet. v.v... Trong thuc te cac tin x, cua nguon X dugc tao ra tir nhirng ky hieu so cap. Ky hieu so cap la nhung tin khong the phan chia nho hon. Thi du. neu x, tuang irng vai mot tir cua mot ngon ngir nao do thi no dugc tao ra bai nhung chu cai. Trong truang hgp nay, nhung chu cai chinh la nhirng ky hieu so cap. So ky hieu so cap dugc tao ra trong mot don vi then eian o cac nguon khac nhau co the rat khac nhau. mac dii cac nguon nav co en- tro-py nhu nhau. Nhu vay thong so dac trung thir hai cua mot neuon la toe do lap tin. Gia su tin x, cua nguon X gom r, ky hieu so cap Gia su thai gian de tao ra moi ky hieu so cap la nhu nhau. Ky hieu u la so kv hieu so cap lap dugc trong mot dan vi thai gian (vi du trong 1 giay). Nhu vay thai gian tao ra mot tin x, se la jar,. Gia su tap ky hieu so cap bao
  • 58. Chuang 3: Nguon rai rac va kenh rai rac 59 gom m ky hieu dong kha nang. Khi do moi ky hieu so cap chua mot lugng tin bang log(m). Vai r, ky hieu sa cap ta co mot lugng tin bang r, log(m). Lugng tin nay di nhien phai bang lugng tin tuang ung vai x„ nghTa la bang -log(p(x,)). Tir lap luan tren day ta suy ra: r, log(m) = -lo g (p (x ,)) (3.1-8) Tir bieu thirc (3.1-8) ta suy ra: to g f o W ) (3.1-9) log(m) Lay trung binh vai moi tin ciia nguon ta thu dugc: log(p(x,)) r = Z r,p(x, ) = - X p ( x,)- 1 = 1 1 = 1 log(m) log(m) ' ' log(m) De dang nhan ra rang, r chinh la so trung binh cac ky hieu sa cap ciia cac tin trong nguon. Toe do lap tin ciia nguon X dugc djnh nghTa qua bieu thuc: X = nr = — L - H(X) (3.1-11) log(m) Trong truang hgp m = 2 (nguon co 2 ky hieu sa cap) va chung ta chon lo-ga-rit ca so 2 thi toe do lap tin ciia nguon se la: X = |aH(X) bit/s (3.1-12) Sau nay ta se thay rang, toe do lap tin ciia nguon va dung lugng cua kenh (neu nguon dugc ghep vao kenh truyen dan) thi chiing phai tuang thich vai nhau. 3.1.2. Nguon Markov Trong cac nguon tin rai rac. nguon Markov co mot vai tro dac biet. Chang han khi irng dung ly thuyet hang dgi tren mang vien thong lam viec theo nguyen ly chuyen mach goi, nguai ta thuang gia thiet rang
  • 59. 60 Ly thuyet thong tin vd md hoa dong cac goi den mot nut mang tuan theo phan bo Poisson. Gia thiet nay cho phep ap dung dirge cac phuang trinh Erlang de tinh toan cac tham so cua mang. Tuy nhien trong thuc te, gia thiet phan bo Poison cua dong den hau nhu khong thoa man. De vugt qua kho khan nay. nguai ta coi cac goi den nhu la cac tin dugc tao ra tir mot nguon Markov. Sau day chirng ta se nghien ciru xem nguon Markov la gi? Ky hieu I = {1, 2,..., J} la tap hgp tat ca cac trang thai cua nguon. Ky hieu Q = {ai, a:,..., aK[ la an-pha-be cua nguon, a^ la cac ky tu cua an-pha-be. Trong moi dan vi thai gian. nguon sinh ra mot ky tu dong thai chuyen sang mot trang thai moi. Chuoi ky tu do nguon sinh ra dugc ky hieu la U = {ui, u2,..., u,} va chuoi cac trang thai ciia nguon dugc ky hieu la S = {si, s2,..., s,}. Goi q(i/j) la xac suat co dieu kien cho biet kha nang nguon chuyen tir trang thai i sang trang thai j. NghTa la: q (i/j) = Pr{s, = i/s,_, = j} (3.1-13) Nguon Markov la nguon ma sir hinh thanh trang thai cua no a thai diem t chi phu thuoc vao trang thai a thai diem ngay truac do. NghTa la: Pr {s,/s,_,.st_-,. ---} = Pr {st/s t_,} (3.1-14) Mot chuoi cac trang thai tuan theo dieu kien (3.1-13) va (3.1-14) dugc goi la chuoi Markov hay xich Markov dong nhat him han (Finite Homogeneous Markov Chain). Ky hieu Pj(a0 la xac suat ky tu a^ dugc sinh ra khi nguon dang o trang thai j. Gia thiet rang xac suat nay chi phu thuoc vao trang thai hien tai cua nguon. NghTa la: Pj(ak) = Pr{u, = a k/s, = j} (31-15) Hay: Pr (U, /s ,.s, .s , = P r|u ,/s,} (3.1-16)
  • 60. Chuang 3: Nguon rai rac va kenh rai rac 61 Cuoi cung ta gia thiet rang, trang thai cua nguon ducrc xac djnh mot cach duy nhat bai trang thai truac do va ky tu sinh ra truac do. Hinh 3.1-1 minh hoa mot nguon Markov. Do la mot do thj co huong. Cac nut cua do thi tucmg ung voi cac trang thai va chieu mui ten tren cac cung chi su chuyen doi giua cac trang thai. Trang thai cua nguon Markov co the dugc xem nhu sir bieu hien anh huong ciia qua khir den xac suat xuat hien ky tu dau ra hien tai. Hinh 3.1-1: Nguon Markov dau ra a* vai xdc suat p/aij tuang ung Nguon Markov dong nhat huu han co mot so tinh chat rat dac biet. Trirdc het chirng ta thong nhat mot vai khai niem nham giiip cho cach trinh bay dugc de dang hon. Trang thai s dugc goi la trang thai qua do (transient state) neu tir trang thai s. qua mot hay mot vai lan chuyen doi co the dat tdi nhung trang thai khac. nhirng tir cac trang thai kia khong the quay ve trang thai s dugc. Vi du trong hinh 3.1-1 trang thai 1 la trang thai qua do. Mot tap hgp cac trang thai dugc goi la tap tdi gian (Irreducible Set of States) neu moi trang thai trong tap deu co the dat tdi tir mot trang thai khac cua tap qua mot hoac nhieu lan chuyen doi. nhung tir bat ky trang thai nao cua tap deu khong the dat tdi cac trang thai ngoai tap do. Trong hinh 3.1-1 cac trang thai 2 va 3 lap thanh mot tap tdi gian. Cd the tach mot cach duy
  • 61. 62 Ly thuyet thong tin va md hoa nhat cac trang thai trong mot chuoi Markov dong nhat huu han thanh nhirng tap toi gian va mot tap cac trang thai qua do. Tap cac trang thai qua do co the la tap rong. Trong qua trinh hoat dQng. vdri xac suat bang 1, cuoi cung chuoi Markov chuyen ve mot trong cac tap toi gian cua no va dT nhien se dirng tai do. Bat dau tir trang thai s nao do trong mot tap toi gian, so cac chuyen doi can thiet de nguon lan dau tien quay tro lai trang thai s, duoc goi la thai gian tdi hoi (Recurrence Time) ciia s. Thai gian tai hoi la mot bien ngau nhien. Uoc so chung Ion nhat ciia thoi gian tai hoi ciia moi trang thai trong tap toi gian duoc goi la chu ky. Trong vi du 6 hinh 3.1-1, chu ky ciia tap toi gian cac trang thai 2 va 3 la 1, boi vi thoi gian tai hoi ciia cac trang thai nay co the la bat ky so nguyen duong nao. Chu ky cua tap toi gian cac trang thai 4 va 5 la 2 vi thoi gian tai hoi ciia moi trang thai deu bang 2. Neu mot tap toi gian co chu ky bang hoac Ion hon 2 thi ta noi rang no co tinh tuan hoan va tap trang thai do duoc goi la tap trang thai tuan hoan (The Periodic Set of States). Neu mot tap toi gian co chu ky bang 1 thi ta noi rang no co tinh ergodic va tap do duoc goi la tap trang thai ergodic (The Ergodic Set of States). Mot tap trang thai ergodic, ky hieu la E, duoc dac trung boi tap phan bo xac suat q(j). Ta co cac moi lien he sau: ^ q (j)q (i/j) = q(i) ieE jeE X q ( j ) = i jeH Ngoai ra voi i va j thuoc E ta co: lim Pr{s,_T= i/s, = j} =q(i) (3.1-19) Ta co the thay rang cac phan bo xac suat da neu tren day khong mo ta day du tinh chat cua nguon Markov. Boi vi ta con chua biet khi nao nguon bat dau khoi dong va trang thai xuat phat cua no la gi. Neu nguon duoc khoi dong khi no dang o trong mot tap ergodic rat xa qua khu thi: (3.1-17) (3.1-18)
  • 62. Chuang 3: Nguon rcri rac vd kenh rai rac 63 Pr{s, = i} = q(i) Vt (3.1-20) va nguon do la mot nguon dung. Van de qua do doi voi tap trang thai tuan hoan la van de nghiem trong hon so voi tap trang thai ergodic. Doi voi tap trang thai tuan hoan chu ky m, neu ta quan tarn den mot trang thai nao do cua nguon thi ta khong the biet chac chan trang thai do xuat hien 6 thoi diem nao. Co m truong hop tuong ung, trang thai do co the xuat hien tai mot trong cac thcri diem..., -m, 0, m,... hoac..., -m + 1, 1, m + 1..., hoac -m + (m-1), (m-1), m + (m -1)... Cung nhu cac nguon noi chung, tham so dac trung nhat cua nguon Markov la en-tro-py. De dang thay rang, neu ta chi quan sat cac chuoi dau ra gom mot ky tu thi en-tro-py cua nguon tai mot thoi diem xac dinh va trang thai hien thoi cua no se la: H (U /s = j) = - J ] p |(ak)log(pJ(ak)) (3.1-21) V =! Dinh ly 3.1-1 H (U ,/U ,.,.U ,.,,--.U ,.s , = j) = i> { s, =i/s, = j} H (U /s = i) (3.1-22) 1 =1 Chung minh Theo dinh nghTa nguon Markov, trang thai s2 hoan toan duoc xac djnh boi trang thai Si va dau ra ui cua nguon. Suy dien tren co so do ta thay trang thai st se duoc xac dinh hoan toan boi U|, u2,..., u,_i va sj. Nhu vay: P r{ u ,/u ,.u ,.....u,_„S|} = Pr {u, /s t, u ,,— u,_, ,s ,} (3.1-24) Boi vi u, chi phu thuoc vao s, nen ta co: P r{ u ,/u |.u : .....ut_,,s,} = Pr {u,/s,} (3.1-25) Lay lo-ga-rit hai ve cua (3.1-24) va lay trung binh tren toan khong gian dau ra ta thu duoc:
  • 63. 64 Ly thuyet thong tin va md hoa X Pr{ul,u 2,...,ul,st/s 1}log(Pr{ut/u „ ...,u M,s1}) U |. .U, .s, = £ Pr{ul,u 2,...,ut. l,sl/ s l}Pr{u,/s,}log(Pr{ut/s t}) (3.1-25) ui ....u,-st Lay trung binh tren toan bo khong gian dau ra, tir (3.1-25) ta se thu dugc (3.1-22). Khi da biet phan bo xac suat ciia trang thai si ta co the xac djnh dugc xac suat cua cac trang thai khac. Chung ta cung de dang thay tinh dung dan ciia bieu thirc: H (U ,/U 1 _|,U I_,,...,U |,S1) = £ p r { s ,= i ) H { U / s = i) (3.1-26) 1= 1 Doi voi nguon Markov dimg va co tinh ergodic, xac suat xuat hien trang thai Pr{st = i} khong phu thuoc vao t va do do ta co: H (U l/ U t. l,U t. 2,...,U l,S ,)= X q (i)H (U /s = i) Vt > 1 (3.1-27) i 3.2. KENH ROI RAC Ve mat toan hoc. co the xem kenh thong tin nhu la mot phep bien doi (hay anh xa) mot khong gian cac bien ngau nhien vao mot khong gian cac bien ngau nhien khac. Kenh roi rac la kenh ma cac thong tin o dau vao va cac thong tin o dau ra deu la cac bien ngau nhien roi rac. Khi truyen qua kenh, thong tin x o dau vao ciia kenh co the chuyen thanh thong tin y o dau ra ciia kenh. Neu ket qua ciia su chuyen doi tai mot thcri diem khong phu thuoc vao cac chuyen doi trudc do thi kenh dugc goi la kenh khong nho (Memoryless Channel), ngugc lai goi la kenh co nho (Channel with Memory). Sau day chung ta se lan lugt nghien ciru cac loai kenh tren. 3.2.1. Kenh roi rac khong nhd I Quan sat mot kenh rcri rac khong nho gom an-pha-be dau ao X va an-pha-be dau ra Y. De don gian ta coi X bao gom K so nguyen ducmg 0. 1 K-l va Y bao gom J so nguyen duang 0. 1..... J-l. Kenh roi rac
  • 64. Chuang 3: Nguon rai rac va kenh rai rac 65 khong nha dirge dSc trirng bai xac suat chuyen tai p(j/k) vai 0 < j < J-l va 0 < k < K -l. Do la xac suat dau ra cua kenh nhan dugc j khi biet rang dau vao giri di k. Ta ky hieu mot chuoi gom N ky tu dau vao la x = (xi, X2,..., xn) trong do xn, 1 < n < N, nhan cac gia trj tir an-pha-be dau vao X. Chuoi dau ra tuang ung dugc ky hieu la y = (yi, y2,..., yN) trong do yn nhan cac gia tri tir an-pha-be dau ra Y. Xac suat co dieu kien ciia ky hieu dau ra yn khi biet ky hieu dau vao xn dugc goi la xac suat chuyen tai p (y n/ x n). Vi kenh khong nha nen moi ky hieu dau ra chi phu thuoc dau vao tuang irng, do do xac suat cua mot chuoi dau ra y = (yi, y2,..., yN) khi cho truac mot chuoi dau vao x = (xi, x2,..., xN) dugc xac djnh bai bieu thirc: P N ( y / x ) = f ] p ( y n / x , 1) (3.2-1) n=l Nhu vay ta co the thay rang, mot kenh dugc goi la kenh khong nha neu xac suat chuyen tai p(j/k) ton tai va thoa man bieu thirc (3.2-1) vai moi chuoi y = (yi, y2,..., yN) va x = (xj, X2,..., x n ) . De lam sang to nhirng dieu vira trinh bay, chung ta xet vi du mot kenh nhi phan doi xung nhu trong hinh 3.2-1. Tren hinh 3.2-1 cho thay xac suat chuyen tai p(0/0) = 0,9; p(l/0) = 0,1; p(0/l) = 0,1; p (l/l) = 0,9. Vai mot chuoi co do dai bang 2, bieu thirc (3.2-1) cho ket qua p2(00/00) = (0,9)(0,9) = 0,81; p2(10/00) = (0,1)(0,9) - 0,09; p2(01/00) = (0,9)(0,1) = 0,09; p2(l 1/00) = (0,1)(0,1) = 0,01;... 0,9 Hinh 3.2-1: Mo hinh kenh nhi phan doi ximg
  • 65. 66 Lv thuyet thong tin vd md hoa Cho den luc nay ta chua de y den viec cac ky tir dau vao xuat hien nhu thi nao. Ky hieu p(k) la xac suat xuat hien ky tu k 6 dau vao. Khi do lugng tin tuang ho trung binh giua dau vao va dau ra se la: I(X,Y) = X £ p < k )p (j/k )lo g k=l j=l P(j k ) 2 ^p(i)p(j i) 1 =1 Trong bieu thirc (3.2-2) ta da sir dung quan he: 2^P(i)P(j/i) = P(j) (3 (3.2-3) 1= 1 de nhan manh moi lien quan giua xac suat chuyen tai va xac suat xuat hien ky tu dau vao anh huong toi su xuat hien ky tu dau ra. Nhu ta da biet trong muc 3.1 noi ve nguon roi rac. ta co the dieu chinh toe do lap tin ciia nguon va do do toe do cac ky tu di vao kenh co the thay doi. Lugng tin I(X,Y) giu vai tro lugng hoa thong tin tren kenh. Nguai ta dinh nghTa dung luang kenh (Channel Capacity) cua kenh roi rac khong nho la la lugng tin tuang ho trung binh I(X,Y) lan nhat co the dugc chuyen tai tren kenh. Do la dai lugng C dugc xac dinh boi bieu thirc: C = max p(k) ( V X X p ( k)p(j / k ) los k=l 1 = 1 p (j/k ) K V i=i / . (3.2-4) Trong khi xac dinh dung lucmg C cua kenh qua bai toan cuc dai hoa the hien o bieu thirc (3.2-4) ta phai luu y den cac dieu kien: p(k) > 0 va ^ p ( k ) (3.2-5) k= l Ta co the dua vao dinh ly sau day de xac dinh dung lugng cua kenh roi rac khong nho. Viec giai bai toan cuc dai hoa (3.2-4) noi chung kha phirc tap. Chung ta co the xac dinh dung lugng kenh khong nho mot cach don gian hon nho dinh ly sau day.
  • 66. Chuang 3: Nguon rai rac vd kenh rai rac 67 Djnli ly 3.2-1: Cho truac cac xdc suat chuyen tdi p(j/k). C la dung luang cua kenh rai rac khong nha khi vd chi khi cac dieu kien sau duac thoa man: l(x = k,Y) = C Vk, p(k) > 0 (3.2-6) I(x = k , Y ) < C V*. p(k) = 0 (3.2-7) Trong do I(x = k,Y) la thong tin tuang ho ddi vai dau vao k lay trung binh tren toan bo dau ra duac xdc dinh bai: I(x = k,Y) = Y j p(j/k)og 7 = 1 P ( j /*) Y s P ^ p i j H ) V/= ! (3.2-8) Chung minh: Theo dinh nghTa dung lugng kenh ta phai cuc dai hoa phiem ham: I(X,Y) = £ p (k ) p (j/k )lo g k.j P ( j / k ) £ p ( i) p ( j/i) V i (3.2-9) theo p(k) vai rang buoc (3.2-5). Sir dung phuang phap nhan tir Lagrange ket hgp vai dieu kien Kuhn-Tucker ta suy ra dieu kien can va du cho bai toan toi uu la: dI(X, Y) 5p(k) ai(x,Y) dp(k) Tir (3.2-9) ta co: ai(X,Y) = X Vp(k) > 0 <X Vp(k) = 0 (3.2-10) (3.2-11) c*p(k) = I(x = k, Y) —log(e) Tir (3.2-10), (3.2-11) va (3.2-12) ta thu dugc: I(x = k,Y) = log(e) + X V p (k )> 0 l(x = k. Y) < log(e) + X Vp(k) = 0 (3.2-12) (3.2-13) (3.2-14)
  • 67. 68 Ly thuyet thong tin va md hoa De dang thay rang, tir (3.2-13) va (3.2-14) ta co (3.2-6) va (3.2-7) khi thay C = log(e) + X. De thay ro y nghTa ciia dinh ly 3.2-1 ta xet mot vai vi du don gian. Vi du 1: Hinh 3.2-2 mo ta mot kenh nhi phan doi ximg. 1 - c Hinh 3.2-2: Kenh nhi phan ddi xung Ta gia thiet rang xac suat p(0) = p(l) = ~ • Ta tinh xac suat nhan dugc cac ky tu dau ra: q(0) = p(0)p(0/0) + p(l)p(0/l) = i ( l - e ) + i e = i (3.2-15) Z. A A q(l) = p(0)p(l/0) + p(l)p(l/l) = i e + i ( l - e ) = i (3.2-16) Theo (3.2-8) ta co: I(x = 0.Y) = p ( 0 / 0 ) l o g , ^ - ^ + p ( l / 0 ) l o g ^ i - ^ q(0) q(1) = (l-e )[lo g ,(l-E ) + l] + e[log,e + l] = 1+ slog, e + (l —e)log: ( l - e ) (3 .2- 17) Tuang tu ta co: I(x = 1. Y )= 1+ elog; e + (1 —e)log2(1 —e) (3.2-18) So sanh (3.2-17) va (3.2-18) 6 i (3.2-6) ta suy ra:
  • 68. Chu(mg 3: Nguon rai rac va kenh rai rac 69 C = 1-e lo g , e —(1 -e )lo g 2( l- e ) bit (3.2-19) Vi du 2: Hinh 3.2-3 dien ta mot kenh co 2 dau vao va 3 dau ra voi cac xac suat chuyen tai tuang ung. 1 - e Hinh 3.2-3: Kenh rai rac 2 dau vao va 3 dau ra Ta gia thiet rang xac suat p(0) = p(l) = —. Can cu vao cac xac suat cho trong hinh 3.2-3 ta co: q(0) = p(0)p(0/0) + p(l)p(0/l) =I(l_e)+IxO=— 2 2 2 (3.2-20) q(l) = p(0 )p (l/0) + p(l)p(l/l) = —e + - e = e q(2 ) = p(0 )p(2 / 0 ) + p(l)p(2 /l) =- x 0+-(l-e) =— 1 7 (3.2-21) (3.2-22) Theo (3.2-8) taco: I(x = 0. V) = p(0 / 0 )log. P(Q/Q) q(0) + p (l/0)log: P(l/Q) qd) +p(2/0)log, = (1 -E )log, 2 + Elog J q(2) = (1-E) (3.2-23)
  • 69. 70 Ly thuyet thong tin va ma hoa I(x = 1, Y) = p(0/ 1) log, + p(l /1)log, q(0) qd) -p(2 / 1) log, = e log j 1+ (1 - e) log, 2 q(2) - (1- e ) So sanh (3.2-23) va (3.2-24) voi (3.2-6) ta suy ra: C = (1 - e ) bit (3.2-24) (3.2-25) Qua hai vi du tren ta thay rang, doi voi mot kenh doi ximg. ma tran xac suat co dieu kien cua dau ra (ma tran xac suat chuyen tai) co the tach thanh cac ma tran con voi tinh chat la: cac hang va cac cot cua ma tran con la hoan vi ciia cac hang va cac cot khac. Trong vi du 1, ma tran xac suat co dieu kien ciia dau ra la mot ma tran bac 2 doi ximg: 1 - 8 (3.2-26) P = 8 1 -8 Trong vi du 2, ma tran xac suat co dieu kien ciia dau ra co dang: 1 - 8 8 0 P = 0 8 1 - 8 va co the duoc tach thanh 2 ma tran con co dang: (3.2-27) 1- 8 0 8 p, = va P, - 1 0 1- 8 8 (3.2-28) Qua cac vi du tren ta co the rut ra ket luan sau: dung hccrng cua mot kenh rai rac, ddi ximg va khong nha la luang tin tuang ho giua dau vao vd dau ra khi cac dau vao co cung phan bd xdc suat. Trong truang hop cac kenh khong doi ximg, viec xac dinh dung lugng kenh tro nen phuc tap hon. mac dii cac dau vao co cung phan bo xac suat. Vi du 3 Hinh 3.2-4 dien ta mot kenh co 2 dau vao va 3 ddu ra vcri cac xac suat chuyen tai tuang irng. 0 day ta cung gia thiet rang xac suat dau ao
  • 70. Chuong 3: Nguon roi rac vd kenh roi rac 71 2 cho (3.2-9) nhan gia tri cuc dai. P(0) —p( 1) — —- Cung nhu cac vi du truac, xac suat nay la xac suat lam 2 Dau ra Hinh 3.2-4: Kenh khong doi ximg Ma tran xac suat chuyen tai co dang: '0,7 0,2 0,1' 0,2 0,1 0,7 (3.2-29) Ma tran nay khong cho phep tach thanh cac ma tran con co dang nhu 6 (3.2-28). Can cir vao cac xac suat cho trong hinh 3.2-4 ta co: q(0 ) = p(0)p(0/0) + p(l)p(0/l) = -^x0,7 + -^x0,2 = ^ ^ (3.2-30) q(l) = p(0)p(l/0) + p(l)p(l/l) =-^-x0,2 + -^0,l = - ^ - (3.2-31) q(2) = p(0)p(2/0) + p(l)p(2/l) = ^ x 0 , l + ^ x 0 .7 = ^ (3.2-32) Theo (3.2-8) taco: I(x = 0, Y) = p(0 / 0) log, + p (l/0)log, q(0) ' q(l) dP / 0 ) 1 4 0 4 + p( 2 / 0) log, ^ = 0,7 log, — + 0.2 loe, — q(2) 0.9 0.3 + 0. 11og: ^ | = 0.329 (3.2-33)