1. Tema Nr. 2
Teoria Transmisiunii Informafie
Anul II B, semestrul I' 200912010'
Titular de disciplina: Prof. Dr. ing. Adriana VI-AD
Titulari cle aplicafii: As"ing.Adrian Luca, As. ing.MAdAlin Frunzete
Problema II. Fie sursa S fird memorie: S={s1,s2,s3,.r4,s5,s6} cu probabilitAliile simbolurilor
P(.S) = tl | 4;l t 4;l I 4;qt;q2;q3l .
l. Alege{i q, astfel incdt sd se poatA coda binar absolut optirnal. in aceastd situalie calcula{i entropia sursei
/1(S), redundanfa sursei, R5 gi redundanla relativ ps a sursei. Pentru codul binar construit calculali
lungimea medie I qi eficienfa ry. Aveti mai multe solulii pentru probabilit{iile qi?
2. Pentru cazul in care probabilitaliile il = Qz = q, calculali entropia sursei F11S;, redundanfa sursei R5 9i
redundanla relativa a sursei p5 .
a) Sd se construiasca un cod binar simbol cu simbol dupi algoritmul folosit in demonstralia teoremei I a lui
Shannon, conform relaliei :
"- p(si) -'P(si) *t
lon,I</,*<logr-l ,(*)
unde /;* este lungimea cuvantului de cod asociat sirnbolului si al sursei S . Sd se calculeze lungimea
medie, L gi eficienla codului, ?* pentru codul ob{inut conform relaliei (*).
b) 56 se construiasca un cod binar simbol cu simbol dupd metoda Huffrnan. 56 se calculeze lungimea
medie, /s gi eficienla codului, 7s . Comentali rezultatele in compara{ie cu cele oblinute la punctul a).
c) 56 se formuleze teorema I a lui Shannon pentru cazul codului binar 9i sursa S dat6.
3. Fie sursa binar6 ,S = {0, l}. Simbolurile sursei sunt emise cu probabilitdliile p0 qi h. Sirnulali sursa
de
gi evidenlia{i nofiunea dc air tipic. Se vor consiCera pe rind cazurile: i) pa = 0.2 ;
iiiesaje binare
ii) pg = 0.4 gi iii) p6 e (0.25;0.35). pentru cele trei situafii, construifi un cod binar optimal pentrn
extensia de ordinul 2 a sursei S gi evidenliali experimental rolul redundanlei in eficienla codului construit'
Obs. Toate mirimite care intervin vor fi definite pi toate afirmafiile vor fi justificate.
consulta{ii tema: sala B323rioi, orele 14-16.
Noiembrie, 2009.

2. poate ducc la oblincrca unui
cod absolut optimal Coduri Hamming grup SEC-DED
5.4. Codarea Huffman binar5'/ternard
(cu n = l)? $
*rczliznzc
(A B) probabilittrlite p = (0.7, o-3). surse s[ sc
5.5. Fie o surstr s cu simborurilc { 9i l. Obiectivul lucrirll
o1yai""i 2 9i 3 alc sccstei
o codarc Huftnan uinu'vtt'i"tie-frt'u:l . lt; ri^ili. c.tir-ri
* po'forman;clc folosind
i";; iJarii .i-uor rcspoctiv dccodgc' cu ajutoru| codului
compsrc cu cca oblinutt Aceasta lucrarc srudiazA procesul dc codarc, dctectic
modslitstca di corcclie a unci crori sau dc
*""0,is;i#T:;i,*r, rczutratul-verificarii Kraft-McMittan' atit pentru
incgalitntii r{arnming grup c(s3), p,rrrana m'cvia.nF
a doutr crori.
cca temara?
codarea binara, cet fi pcntru ^ ,.1- ^^.r,:r,ri r{,rffrnrn tcrndr?
tcrnar?
in construcfia codului Hu(tnan
5.7- Cc dificultati poi'e apartr de codare Huftnan' 2. Introducere teoreticl
5.8 lnrtica1i -"
p*"i* a
'lietdiei
""";;;T;"oiit"*
Unuldincodurilegrupcelcmaicunosculccstccodu|HammingC(z.l)corectordco
croarc,lacarecoloanatramatriceidccontrolllcsrcrcprczcntarcabinarf,anum{ruluii'dactr
cr()ilrea esle singularl.
Codul Harnming arc urmAlortl paramctrll:
' tungime: n=2 'l;
. numtrr simboluri dc informalic: k = 2^'m-l:'
. trum,ilr simboluri dc control: n = n'k''
. distanla miniml: 4,-= 3;
. r: l '
ltumtrr crori corcctabilc:
.ti: 'tingu'ul cotl grup pcrfccl corcctor dc o croare Accst cod cstc
Cotltrl Ilarlrrtirrg
ncsistcrnutic. tcspccliv po'iiirtit tont"'i
tuui :'' 2:' ""2''" corcsJrunz'ird 1.''rr vQClo(i
curlrol l/ cu o sinsurl pozilic difcriti rlc 0' ccca cc
usurcaT-tr
coloani tlin tllalricca dc
dctcrntitrurca sinrbolurilor dc control dirr rclalir:
lfir:0.
Daci'pclanglcorr-c|iauncicrori.trcbui.-.sli-scasigurcaidctcclia.-'o11"'dul.llc.sc
inlr-un
croarc ("singlc-Enor Corrccting":
transfornri co4ul Hamuung ltrrcctor dc o ^SEC)
corlllanlnringcorcclor..]c-o.rou,"5itlctcctor<JccrorirJublc(..Sirrglc.ErrorCorrcctingartd
Doublc-Enor Dctccting": SEC-DED)
Distanlaminimiaunuicodcarccorcclc.rdrcrori5isimultanrlctcctcazAlcrori(l>l).
trciruie sd fic ccl pulin ! + t + l'- d^ >t+l+l' Dcci' l: l' | =2 =d^'' )l+2+l=4'
ASadar,dislan|aminimtracoduluitrebuiccrcsculicuounitatc-Accastasepoatercalizain
prcscurtat'
sau un cod Hamming
,f,lur r,toO*lt utiliz6nd un cod Hamming cxtins
Hammiig cxtins sc bo(lcaz5 matricea de control H a
codului
pcntru a oUlln* un
Ilarnming inilial cuo coloand
"J dc "0" la siinga gi cu o linic de -1" in partea inferioard:
'-L' tJ-Lt '?': I I ll
n=[onl=[h I I I I ?l=hl bbubbbl
Matricea de control I ua avea m = /n+l linii si a =
tt+l coloane, de unde rezulttr
introduccrii
c(rr+I,ft).Deci lungimca cuvflntului de cod va cre$te cu o unitate' Qre corspundc
din stinga'
unui bit dc control iuplinientar, pe prima pozitie
de cotl va fi acum:
Exemplu: codul C1l ,+'1. Strucfuta unui cuvant
I=ko ct cr i, ct it i6 trl,
iar rela[ia matric€altr de codare pentru codul extins
c(8'4):
H'vr =0
va conducc la unn[toarele ccuafii de codarc:
G',

3. b
! modulo 2
anrnci corcctonrl g va consta din suma
Dac[ a aptrnrt un numfu par dc erori,
din matri cta H, dc acelagi tip:
co a unui numf,r pui O" coloane
I
/^-' cl h, =lil
[oio o o I I t
t
tl'' c7 [rr=ir+i.+i,
lo' o I I o o t tt. il =ft+r'o+r' sc va afla birul so -0.
:o=lt'
- tlcci pe ultima pozilie a corcctorului
urmarc' un indicc dc recunoagtcrc a Prczcnlei
erorilor duble'
o * r o----l -g l-- o-^ t I c. lt, =tir+i, Simbolul so va fi' prio
=ir*ir+io
[4 = ct+c2+fr+ ct*l'+io+it
I
i, cere va impiedica o falsl corec[te'
va efectua conform urmitoarcror
reguli-
lrlllltlU in aceasttr situa[ ie, decadareasc aparut crori (l= y);
t6
. dactr s: so:0, decizia va fi : nu au
0.$i
a aptrrut o croarc corcctabill;
i.
-t
' dacf, s * 0 $i so: l' decizia va fi:
.dacf,s*0$iso:0,dcciziavafi:auaptr'rutdoulcrorinecorcctabilc;
paritatc.
co este suma modulo 2 a tururor
bitul dc control suplimentar
celorlalli . dacf,s: 0 $i so: l, decizia va fi: a fost cronat birul dc
Se observl cf, al paritdlii' Sau' pe scurt'
el se nurnegte sirnb ol de contral I-rt:ntPlu. C(7,4) = C(8'4)'
bili din cuvintul dc cod' De aceca
ctr accstbitdeparitatecreltedistan[aminimlacoduluicu Iric
.te paritatc- Se poate artrta uSor
r-[o I o I o I o tJ'
Uii
o unitatc.
Eremplu.
{r. =o
oI oo t ,l{:[] =ii 0 t- IIr'-hr+hr+h, =,
r=[o I o I o
o
,=[i, i, io i,]={o I rJ-i.; rJ-
=; =y=[t
o q
lto=l
=o
|l.|l.ll []?s
[r. datl de
apirut o croare corectabill pc pozilia
:
I rl- = I =y=[o I o I o I o ,l{:[]=.i = a
i=[r, i, io ir]=[t 0
frl
1.:
l.co = 0 ,=lol= hr=i= 5=q=[o o o o o I o oJ
tl
L'J
!ncazulcuvintclortlccotlcercinilialavcaupontlercarr'(r')=d""'=3'bituldcparttate
.".t.,i:.::i)ilL,l,iu,.,o, rv(v) = r/*-+I = 4, bitul de =y =L+g=[0
r o I o o o rJ+[o o o o o I o oJ=
dc cotl carc inilre! a,r,cau ponrlerea
=[o I o I o I o lJ=r
paritrrtc cslt"O' ut:t-':(:l =-lui.rr tlxtiils este d^""= 4' in gencral' prin
A5atllr, <lis!un1u ntt u codului ilununing
.'.,'"*",., r,i,"i',l::rt':::i;i:ilTiia*,';.;':J;;:::,:n:Ui"jJ;"JHlfix':i"l#i: r=[o I o a o A o rJ= !=Hrr =h'+h'
" l" crc,ste cu o u[ltatc' lar I
rtrniirrc trcschtlnbliu i "
va avca acutn'i poztltr: Ll]L.JLil
La decodarc. corcctorul calculat
Jo:0=
f"l
$= Hrt = He' =1 " l=i'-l
t' L"'-j pentru a obline un cod Harnming sistematic s-au permutat
=auaptrrutdou[erorinecorectabile,dardetectabile" coloanele nlatricei dc
i 1 fl:
control H, oblinindu-se matricea
L'o J
for 0010
{. va consta din suma rnodulo
DaciiaapIrurul]nul}lirimpardeerori,atuncicorectoiul lo o l0l I
2 ii unui nurllir irnpar dc coloane
cin matrice a a' de tipul: tr=lo o 0l0l
t-l'
h .=lL'JI
'l , [t r I lll 1t
se va afla bitul su: l'
,ieci pe ultima pozilie a corectorului I)in relalia:

4. pozilia 2 ei bitii dc
La ap[sarca celei de a cincca taste, comutalorul K va rccc Pc prin
conrrol c. i, c, c, vor fi calculali gi afigati- Accftia vor fi trccu;i la iegirca codorului
[t,=io+ir+it apdsarea succesiv[ a
-tnce parru uste.
ltr=ro+i,+it -'!--- alll
H,,, -o={ . :, Dup[ cc s_a tcrminat codarea, la icgirca schcmci sc cuvantul de cod
ltt=it+lt+tt v=CuC,CrC1 Islshll
l.., =io+f,+i,
rransmis. Acest cuvent va fi inscris, duptr aptrsarca unci noi Ustc' in cadrul (l)'
etapa transmisie sc apastr tasta T' Pc ccran va aptrrca un
nou csdru:
Pentm a trece ta
..erori<letransmisie"(3),undevaiiintrodusdetsts.statrrrtrcuvintulcroare.
sistematictr'
se oblin ecuaf iile de codare pentru forma Duptrintroduccrcaccluidc.a|S.lcabilslcuventu|uicroare'r'cecranvafiafiiattr
schcrna hloc a lanlului de transmisiunc' carc la inFarc va avca
cuvintul dc circl
t''!';i
3. Flcscrierea f'r'{t!''1i'ti ;'}i-o t':'':1t v=C,,C,CrCrLIrlrI!,
poatc' fi arylat sub numcle
cuvinr dc cod carc va fi adunal modulo 2 cu cuvintul croatc e, iar la
icairca accstcia va fi
Programul dc simularc
a codului Hammine-.,SfC-DED (l) a fost
in cxcculic' pc ecran
va apare urmltorul m€nru: inscris cuvantul recepllonat r. Prin aptrsarcu unei noi tastc sc obscrvi ctr in cadrul
"hamming.exc"' oupl t"n'"iti inscris cuvint ul rccePlionar r.
r lntroduccrctcoretlce
e Cotlarc
r Transmisic Schema bloc a lanfuiui de translnlsle
. l)ccodarc
r cXit.
Accslc crapc vrt n scrcctarc
'" 'li"'*]'l'^'ll]::;:;',;*'ft;?;;;;.il
sc al
in lotaritate a
CANAL
P.nr* ui"nii''"rca introduccrii tcorcttcc
n
,n*ouul'liT"ffi ie
*[*:^,ruT:,1il:i[:fi i*i:xfi'**r j:.:ff i:'il,;ll:l ,9)
ITr:il1[;llip:,;r;ril1i'$lildiitTilt**lrull:;;ni::','."J;:'i]i:
f"'"'"' pc ccran va aparc mcsajur:
Fll li*::llJ;1Jfi,il1;iill;t:I'lTll"";*
'..-tin,in.l:i c rorldta"' schema va fi afr5atl
Dupi introtluccrca ccir'i p:rtrrr
'niii Uc i,nfoyllic ce luli' pc ccran
inttri5i cci^patrutili introdu$i S SUTSA i: b{i de informaJie
I-,rl,,rr,ir.,, accsr(.r.s.hcrnc..'t,r'',,rio r v cuvant de cod
--:-
dc codarc pcnrru ctt{.4). c odor
'ii'ilo'
dclatastrttlrlAcc5tto'ii-;o'i'u'"inschcrlip'i''-"pitu'""d"i':ti'":ttt-ti"itastc-Sc K estc pc pozilia l' bilii r=- cuven t recepfionat
Jc inf..,rrnalic"iomutatorul dec odor
obsen'i cj pc rinrptrl t"t''l."t"t D
lrinrJ afi$alr 5i la ic5ilca
scltctttct R: rec eptor eroare
SCHEML DE CODARE
CtS'a)
P: sursi de perturb
Flg. 2. Schema bloc a lmlului dc tmsmisimc pcnru codul Hamming SEC'SIiD
Pcntruaurmirietapa<|edccodarcseapastrtastaD'iarpeecranva|i.afigalischcmade
carc se introduc
dccodare pentru C(8,4). L" intr"."u schemci vor fi inscrigi bilii receplionali,
in scheml prin apEsarea succesivd a 8 tastc'
in c"rul in care cuvintul a fost transmis cu o eroare, la iegirca schemei va fi afi$at
putca fi aligat
cuvintul de cod corectat, iar daci transmisia s-a fdcut cu doutr crori nu va
cuvi4tul corect (codul detectee"r doutr erorj gi coreclea2i doar una), dar se va aprinde becul
din stiAnga schemei indicdnd grezenta 8 doud crori'
irin aplsarea unei noi taste, pe ecran va apdrea incl un cadru (4) unde va fi afigat
r-J'--r
lc, I
il sindromul s
irrrnrrniri"
ii pozilia bitului eronar (la transmisia cu un bit cronat) sau aparc mesajul:
aoi Uiti eronali", iar in cadrul (l) va ti inscris cuvAntul de cod corectat
(atunci
L.----t "u
cdnd cste posibil).
a conunua Pentru iegirea din program se spasd tssta X'
Apasatt on'ce t?'sla Peutru
SEC-DIID'
ctvJare a c<xjultri llarnming
Fig. t- Scherna 'Je
s=

5. scHEMA DE DECODARE C(E,4) .Coduri Harnming ciclice
, I. Obiectirul lucririi
Lucrarea Ee ocupe cu su.diul oodurjtor Hsnrung cidicc qlrcctoarc dc o
c.ronrc/detcctoare de doui crori, oqCate $i dcoodsc prin circuirc de divi z&re pi regrgre de
dcplasare crl rcaqic.
" - Intnoducrre trorctici
C<xiurilc ciclice surt coJptl bloc in carc cc.lc n rirnboluri carc formcazl un cr.n.Anr nmr
uutsidcratc ca fiind cocficicnpi brnui ai unui polinom r{.r)dc gra^l n-1.
Codunle cicllcc au propricutea ci dscl rlrl estc rm qn,g.nt cu scns, an:ncr oricc
Dcrrnuurc crclicA a srmb.rlunlor sajc eSr,-; '. -:^'enl cu scns.
I)e. aserncnes, cuun::jc dc qrJ sunt Fn-rtc c.r clcrncntc atc unei algcbrc l:ncarc (-t.r
)
rnodulo pt.r) : r' + ]. Cuuntclc cu sCn: {in numlr dc l'} suat clerrentc alc rdealulur gcncrat
.Je pulinomui :raJuctrbrl $t pnmtnv A'{ r} (numit p.,hnonl gcncrator. dilrzor al prlrnornutur
0tuv 7rt r) t ..J* rra,j nl-
Apasati orice tasta Petrtru a coootrua r't ri=r{r}.({{).
Hamming SEC-DED tar cu'tntclc f),ri scns (in r;i.:rll Jc '" - l') alc!ru:esr-: crlc l^ clgsc Cc rcrrurr mcdulo
Flg' 3' Schcmr dc dccuiarc a codului r,r{ x I
Relallile raarjccelc,jc,Jus.- i:: c:,zgl c;i;r;lo;6rup rtmln .i,j.'.Jc. c^/Jdrllc crcl:cc
flcel.i p3rtc- dc asernencJ. *l cateEorrr cojur-r joi- l:ncarc.
4. Deslbgurar€a lucririi r lf,'l:nomului srn:bolunlor tJc corlrol <{.r) i'
Codarsr cslc opcrilt,' .jc dctcn::iirarc
funcl:c dc polrnomul st:rLu:'.i:rilurr dc iilirrl-:Tr3lre ;fr). Simb,.rlurrlc,jc r.arntrol :nrrixJuc o
rc^1und:,rii cerc facilitca:n dclcclra 1i cLrrcclr:r cronl,er. Accsie.r fxrt fi ca1cuJ:rc
4. I . Sc studiaztr introduccrca tcorctica' flc bfiA
4.2. sc introduc d.
j;;;il;t-(5i se notcazi) trilii dc informalic.Io t'III'_jl.T pi, i lnrrr:: uiu i gcncraror,.$ .r r. an rci eiir -
urmere$tc calcutul bililor dc;;t;;i','
c''c' c' pc.tctt"ma dc codare' facSndu-se comparapa -
t't.t(.r
:-
)
ttrt J"rcult" i]' iirrt"rul t"htiilor din i":tdT:]i:i:Y r(-Tl -resl-
valorilor dc Pe ccran
"' pc 3( r)
noreazr; cuvdntul etoare e gi sc urmlrcatc
4.1. Sc inrrodu"" a" iu taslaturtr 1ii se sau pc b'aza pr:irnonrulul dc co::rrol lt-r) dc greJ i...j.ur rci;r1ia
."r""rrr cuvintului receplionat afigat, calculat cu rclalia:
schema canalului de transmiii*. l1.r)ltr) - U ::-,o.1rl( r),
' ='* i;.Se urmiregte pc schema dc .ecodarc modul
dc coreclie a unci crori sau de dctccfie in ambclc caa:ri rea:ltand ua cuviar dc ccxJ dc forra.l:
a dou[ crori ;i sc compartr Ot"i'i"
a""oaorului cu valoarea simCromului-
pcntru un cuvint croarc cu rur bit eronat
(dc x''i(r)
4.5. Se repettr punctctc 4'2'4'3 9i 4'4 r(r) = -T"'i(r) + res, .
informa|iesaudecontrol)'p."'."un.uuant.,oa,."udoibilieronaligipcnmruncuvAntdc s(r)
Polinomul de cnnrrol poare fi dscrminat drn pcluromul modulo gi plinonrul generaror
cod f[r6 eroarc-
cu relatria.
5. lntrebiri P(tl
fr(-r) - S(;)
5. | . Ce sc intelege prin cod perfect?
Cu ajutorul coeficicaf lor polinomului dc control, marricca H poatc fi sc.rise aflfel:
5.2.Ceesteuncodsistcmatic?Darnesist€rnatic?
ele h,ale matricei de control f/J
[0 0 0 trr t,
5.3. Ce sernnificafie au coloan contol inilial[ ffl /,,,-l
5.4. cum se obrine marricea de co;tror extinstr F/din matricea de
introdus de codul Hamming cxtins? ,r, |0 0 lrn Jrr-, /ro
-rl ;S
5.5. Cum se nume$te bitur de contror
suprimen;
a codului cxtins c(8'4X
'H-l " (-r I
5.6. cnt este distanla minim[ a codului Hamming c(?,4)? Dar
5..r . care cstc rerafia de carcur
a corcctorurui pentn, c(7 ,42 Dar
pcntru c(8'4)? tl
l_/r, lr*-t ,l, 0 ,0 ,0
I
5.S.Careestesernnificafiatermenilordinmmpunereacorectorilorslif?dou[ erori? 1
SEC-DED daca apar mai mult de
5.9. cum acfioneazf, codur Hamrning
50
t*
i