Tema 2:Teoría de la información y capacidad de canalDr. José Ramón Cerquides BuenoTeoría de la Señal y ComunicacionesUnive...
Organización• Introducción• Fundamentos de teoría de la información• Incertidumbre, información, entropía• Teorema de codi...
Introducción• Trataremos de resolver dos preguntas:• ¿Cuál es el nº mínimo de bits necesario para representaruna cierta ca...
Definición del experimento• Un experimento S tiene un conjunto de J posiblesresultadosS = {s0, s1,...,sJ-1}cada uno de ell...
Incertidumbre, información y entropía• Se va a realizar el experimento S• Antes de conocer el resultado tenemos cierta inc...
Incertidumbre, información y entropía• Propiedades de la información:• I(sj) ≥ 0, cumpliendose la igualdad si y solo si pj...
Incertidumbre, información y entropía• Se define la entropía de S como:• H(S) mide la incertidumbre ante el experimento S....
Incertidumbre, información, entropía• EJEMPLO: Fuente binaria• S={s0, s1} = {‘0’,’1’} con probabilidades {p0,p1} = {p,1-p}...
Teorema de codificación de fuente• Dada una fuente S con J posibles símbolos decidimoscodificarla utilizando para cada sím...
Teorema de codificación de fuente• EJEMPLO:• Considere el conjunto S de posibles resultados de unexamenS={NP, SU, AP, NO, ...
Entropía condicionada• Consideremos un conjunto posible de símbolosemitidos S={sj}, j=0..J-1 y otro conjunto posible desím...
Entropía condicionada• Definimos la entropía de S condicionada a R como:es decir, como incertidumbre promedio que quedares...
Información mutua• Consideremos dos experimentos S y R:• Antes de conocer R nuestro desconocimiento de S esH(S)• Conocida ...
Información mutua• Propiedades de la información mutua:• I(S;R) = I(R;S)• I(S;R) ≥ 0, con igualdad si y solo si S y R inde...
Información mútua• Otra forma de calcular la información mútua:I(S;R) = H(S) + H(R) - H(S;R) =( )( )( )( )( )( )J 1 K 1 K ...
Información mutua• EJEMPLO: Transmisión Y-QAM equiprobable:p(sj) = ¼p(r0) = ¼ (0.55+0.1+0.1+0.1) = 0.2125p(r1) = ¼ (0.15+0...
Capacidad de un canal discreto• Deseamos que la información mutua sea máxima.• El canal está fijado, luego lo único que po...
• Ejemplo: Canal binario simétrico• p(r0|s0)=1-pe• p(r0|s1)=pe• p(r1|s0)=pe• p(r1|s1)=1-pe• p(r0,s0)=p(r0|s0)p(s0)=(1-pe)p...
Ejemplo: Canal binario simétrico (2)• p(r0)= p(r0,s0)+p(r0,s1)=(1-pe)p(s0) + pe(1-p(s0))• p(r1)= 1-p(r0) =pep(s0) +(1-pe)(...
Ejemplo: Canal binario simétrico (3)( )( )0H R | S0p r∂=∂( ) ( )( )K 1 J 1k j 2k 0 j 0 k j1H R | S p r ,s logp r | s− −= =...
Ejemplo: Canal binario simétrico (4)p(r0)= p(r0,s0)+p(r0,s1)=(1-pe)p(s0) + pe(1-p(s0))( )( ) ( ) ( )( )2 2 e0 0 0I S,R 1 1...
Ejemplo: Canal binario simétrico (y 5)• La solución implica p(r0) = 1 – p(r0), luego p(r0) = ½• Por tanto p(s0) = ½ , como...
• Fuente S• Genera símbolos de fuente a una velocidad Rs (símbolos defuente/segundo)• Entropía de S es H(S) (bits informac...
EJEMPLOS• EJEMPLO: Canal binario simétrico• pe = 0.03  C = 0.8 bits / símbolo de canal• Fuente S binaria equiprobable (H(...
Entropía diferencial• ¿Podríamos trasladar los resultados obtenidos aseñales analógicas?• Calculemos la entropía de una va...
Entropía diferencialAl hacer tender J a infinitop(xj) ≈ fX(xj)ΔxxfX(x)x0 x1 x2 . . . xJ-1Δx-∞ ∞dx( ) ( )( )X j 2x 0j X j1H...
Entropía diferencial (continuación)( ) ( )( )( ) ( )X j 2 X j 2x 0j jX j1H X lim f x xlog f x xlog xf x∞ ∞∆ →=−∞ =−∞  ...
Entropía diferencial• CONSIDERACIONES:• Cualquier variable aleatoria tiene infinita información• La entropía diferencial v...
Información mútua entre variables continuas• Partiendo de la expresión de la información mútuapara variables discretas:• I...
Teorema de capacidad de canal• Dado un canal con las características• Ancho de banda B (ideal dentro de la banda)• Ruido g...
Teorema de capacidad de canalXkNkYk… k-1 k k+1 …RuidoSeñal emitidaSeñal recibida
Teorema de capacidad de canal• ¿Cuánta información podrá transportar cadamuestra?Tendremos que obtener la capacidad del ca...
Teorema de capacidad de canal• Como Yk tiene potencia Ps+Pn, su entropía será:h(Yk) = ½log2(2πe[Ps+Pn])• Por tanto, la cap...
Teorema de capacidad de canal• EJEMPLO: Canal teléfónico: Centralitas digitales• B < 4000 Hz• SNR < 48 dB (6,02 dB/bit x 8...
Implicaciones del teorema• Consideremos un sistema ideal que transmite a lamáxima velocidadRb= CPs = EbRb = CEbC = B·log2(...
Implicaciones del teorema• Si el sistema transmite a una velocidad Rb < C• CONCLUSIONES:• Compromiso entre la relación Eb/...
Compromiso Eb/N0 y Rb/B-5 0 5 10 15 20 2510-1100101Eb/No dBRb/BRelació n Eb/No y Rb/BZonaposibleZonaimposible
Referencias• Communication Systems, 3rd.ed.• Simon Haykin, John Wiley & Sons, 1994.• Páginas 614 a 622 y 631 a 656.• Digit...
Upcoming SlideShare
Loading in...5
×

Tema 2 teoría de la información y capacidad de canal

3,130

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
3,130
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
81
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Tema 2 teoría de la información y capacidad de canal

  1. 1. Tema 2:Teoría de la información y capacidad de canalDr. José Ramón Cerquides BuenoTeoría de la Señal y ComunicacionesUniversidad de SevillaTransmisión Digital
  2. 2. Organización• Introducción• Fundamentos de teoría de la información• Incertidumbre, información, entropía• Teorema de codificación de fuente• Entropía condicionada e información mútua• Capacidad de un canal discreto• Teorema de codificación de canal• Capacidad de un canal analógico• Entropía diferencial• Información mútua entre variables continuas• Teorema de Shannon• Consecuencias e implicaciones• Conclusiones• Referencias
  3. 3. Introducción• Trataremos de resolver dos preguntas:• ¿Cuál es el nº mínimo de bits necesario para representaruna cierta cantidad de información?TEOREMA DE CODIFICACIÓN DE FUENTE• ¿Existe una velocidad de transmisión de información límitepara un cierto canal? ¿Cuál es?TEOREMA DE CODIFICACIÓN DE CANALTEOREMA DE CAPACIDAD DE CANAL• Necesitaremos introducir algunos conceptos deTeoría de la Información:• Entropía• Información mutua• Capacidad de canal
  4. 4. Definición del experimento• Un experimento S tiene un conjunto de J posiblesresultadosS = {s0, s1,...,sJ-1}cada uno de ellos con probabilidad pj• EJEMPLOS:• Lanzamiento de una moneda o un dadoS = {s0, s1} = {‘cara’,’cruz’} = {‘c’,’+’} {p0, p1} = {1/2, 1/2}S = {s0, s1, s2, s3, s4,s5} = {‘1’,’2’,’3’,’4’,’5’,’6’}{p0, p1, p2, p3, p4,p5} = {1/6, 1/6, 1/6, 1/6, 1/6, 1/6}• Meteorología (lluvioso, nublado, soleado)S = {s0, s1, s2} = {‘lluvioso’,’nublado’,’soleado’}{p0, p1, p2} = {?, ?, ?} = {1/10, 1/5, 7/10}• Transmisión de un símbolo QPSKS = {s0, s1, s2, s3} = {‘1’,’j’,’-1’,’-j’}{p0, p1, p2, p3} = {1/4, 1/4, 1/4, 1/4}
  5. 5. Incertidumbre, información y entropía• Se va a realizar el experimento S• Antes de conocer el resultado tenemos cierta incertidumbre:¿cuánta?• Una vez conocido el resultado ganamos cierta cantidad deinformación: ¿cuánta?• Cantidad de información al observar el evento sj es:I(sj) = log2(1/pj) = -log2(pj) bits• EJEMPLOS:• Lanzamiento de una moneda  I(‘c’) = I(‘+’) = 1 bit• Lanzamiento de un dado  I(‘sj’) = 2,58 bits• Meteorología  I(‘lluvioso’) = 3,32 bitsI(‘nublado’) = 2,32 bitsI(‘soleado’) = 0,51 bits• Transmisión QPSK  I(‘sj’) = 2 bits
  6. 6. Incertidumbre, información y entropía• Propiedades de la información:• I(sj) ≥ 0, cumpliendose la igualdad si y solo si pj=1• “Cualquier evento nos da cierta cantidad de información, amenos que sea seguro que va a ocurrir, en cuyo caso suocurrencia no nos da ninguna información”.• EJEMPLO: Al tirar un dado sale un nº entre 1 y 6.• I(sj) > I(si) si pj < pi• “Un evento tiene más información cuanto menos probable es”• EJEMPLO: Meteorología• I(sj,si) ≤ I(sj) + I(si) cumpliéndose la igualdad si y solo si sj ysi son independientes.• “La información del resultado de dos experimentos es menor oigual que la suma de las informaciones por separado”.• EJEMPLOS: I(‘lluvioso’,’2’) = 5.90 bits = I(‘lluvioso’) + I(‘2’)I(‘transmito ‘0’,’recibo ‘0’) = 0.152 bits < 2 bits.
  7. 7. Incertidumbre, información y entropía• Se define la entropía de S como:• H(S) mide la incertidumbre ante el experimento S. Otambién la información media que cabe esperar delresultado.• La entropía es máxima si todos los casos son equiprobables0 ≤ H(S) ≤ log2(J)• EJEMPLOS:• Lanzamiento de una moneda  H(S) = 1 bit• Lanzamiento de un dado  H(S) = 2,58 bits• Meteorología  H(S) = 1.153 bits• Transmisión QPSK  H(S) = 2 bits( ) ( ){ } ( )J 1 J 1j j j j 2j 0 j 0 j1H S E I s p I s p logp− −= = = = =  ÷ ÷ ∑ ∑
  8. 8. Incertidumbre, información, entropía• EJEMPLO: Fuente binaria• S={s0, s1} = {‘0’,’1’} con probabilidades {p0,p1} = {p,1-p}• H(S) = -p·log2(p) - (1-p)·log2(1-p)• Nótese que:• Si p=0 o p=1, H(S) = 0• Si p=1/2, H(S) es máxima e igual a 1 bit.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 100.10.20.30.40.50.60.70.80.91pH(S) Entropía de una fuente binaria
  9. 9. Teorema de codificación de fuente• Dada una fuente S con J posibles símbolos decidimoscodificarla utilizando para cada símbolo sj unapalabra binaria bj de longitud Lj (digitos binarios).• La longitud media de una palabra código (o númeromedio de dígitos binarios por símbolo) será:• El teorema de codificación de fuente (Shannon, 1948)establece que• La eficiencia de un codificador de fuente, η es:J 1j jj 0L p L−== ∑( )SHL ≥( )LSH=η
  10. 10. Teorema de codificación de fuente• EJEMPLO:• Considere el conjunto S de posibles resultados de unexamenS={NP, SU, AP, NO, SO, MH}con probabilidades asociadas {0.1,0.15,0.4,0.2,0.1,0.05}• La entropía de fuente es:H(S) = 2.28 bits• Si codificamos de la forma siguiente:NP SU AP NO SO MH000 001 010 011 100 011obtenemos L = 3 y η=76%.• De la forma siguiente:NP SU AP NO SO MH110 111 0 101 1001 1011obtenemos L = 2.35, y η=97%.
  11. 11. Entropía condicionada• Consideremos un conjunto posible de símbolosemitidos S={sj}, j=0..J-1 y otro conjunto posible desímbolos recibidos R = {rk}, k=0..K-1.• Definimos H(S|rk) de la forma siguiente:como entropía de S condicionada a la recepción delsímbolo rk (incertidumbre que queda respecto a Suna vez recibido rk).• EJEMPLO• S={carta baraja (40 posibilidades)}, R={figura, no figura},• H(S) = 5.32 H(R)=0.88• H(S|figura) =3.58 H(S|no figura) = 4.8( ) ( )( )J 1k j k 2j 0 j k1H S| r p s | r logp s | r−=  ÷= ÷ ∑
  12. 12. Entropía condicionada• Definimos la entropía de S condicionada a R como:es decir, como incertidumbre promedio que quedarespecto a S una vez recibido R.• EJEMPLO:• S={carta baraja (40 posibilidades)}, R={figura, no figura},• H(S) = 5.32 H(R)=0.88• H(S|figura) =3.58 H(S|no figura) = 4.8• H(S|R) = p(figura)·H(S|figura) + p(no figura)·H(S|no figura)• H(S|R) = 0.3·3.58 + 0.7·4.8 = 4.43( ) ( )( )K 1 J 1j k 2k 0 j 0 j k1H S| R p s ,r logp s | r− −= =  ÷= ÷ ∑∑( ) ( ){ } ( ) ( )( )K 1 J 1k k j k 2k 0 j 0 j k1H S| R E H S| r p r p s | r logp s | r− −= =  ÷= = ÷ ∑ ∑
  13. 13. Información mutua• Consideremos dos experimentos S y R:• Antes de conocer R nuestro desconocimiento de S esH(S)• Conocida R nuestro desconocimiento de S esH(S|R)• Luego R aportaH(S) – H(S|R)información sobre S.• La información mútua entre S y R se define como:I(S;R) = H(S) - H(S|R)y mide la cantidad de información que R tiene sobreS (o S sobre R).• EJEMPLO:• Cartas y figuras  I(S;R) = 5.32 – 4.43 = 0.89 bits
  14. 14. Información mutua• Propiedades de la información mutua:• I(S;R) = I(R;S)• I(S;R) ≥ 0, con igualdad si y solo si S y R independientes• I(S;R) = H(S)–H(S|R) = H(R)–H(R|S) = H(S)+H(R)-H(S;R)siendo H(S;R) la entropía conjunta de S y R( ) ( )( )K 1 J 1j k 2k 0 j 0 j k1H S;R p s ,r logp s ,r− −= =  ÷= ÷ ∑∑( ) ( )( )( )( )J 1 K 1 J 1j 2 j k 2j 0 k 0 j 0j j k1 1I S;R p s log p s ,r logp s p s | r− − −= = =    ÷  ÷= − ÷  ÷   ∑ ∑∑( ) ( )( )( )( )K 1 J 1j k 2 j k 2k 0 j 0 j j k1 1I S;R p s ,r log p s ,r logp s p s | r− −= =    ÷  ÷= − ÷  ÷   ∑∑( ) ( )( )( )K 1 J 1j kj k 2k 0 j 0 jp s | rI S;R p s ,r logp s− −= =  ÷= ÷ ∑∑
  15. 15. Información mútua• Otra forma de calcular la información mútua:I(S;R) = H(S) + H(R) - H(S;R) =( )( )( )( )( )( )J 1 K 1 K 1 J 1j 2 k 2 j k 2j 0 k 0 k 0 j 0kj j k1 1 1p s log p r log p s ,r logp rp s p s ,r− − − −= = = =     ÷  ÷= + − = ÷ ÷ ÷  ÷    ∑ ∑ ∑∑( )( )( ) ( )( )( )K 1 J 1j k 2 j k 2 j k 2k 0 j 0 kj j k1 1 1p s ,r log p s ,r log p s ,r logp rp s p s ,r− −= =     ÷  ÷= + − = ÷ ÷ ÷  ÷    ∑∑( )( ) ( ) ( )K 1 J 1j k 2 2 2k 0 j 0 kj j k1 1 1p s ,r log log logp rp s p s ,r− −= =      ÷ ÷  ÷= + − = ÷ ÷ ÷  ÷ ÷     ∑∑( )( )( ) ( )( )K 1 J 1j kj k 2k 0 j 0 j kp s ,rp s ,r log I S;Rp s p r− −= =  ÷= = ÷ ∑∑
  16. 16. Información mutua• EJEMPLO: Transmisión Y-QAM equiprobable:p(sj) = ¼p(r0) = ¼ (0.55+0.1+0.1+0.1) = 0.2125p(r1) = ¼ (0.15+0.8+0.05+0.05) = p(r2) = p(r3) = 0.2625H(S)=2 H(R) = 1.99H(S;R)=3,19I(S;R) = 2 + 1.99 – 3.19 = 0.8H(S|R) = H(S) – I(S;R) = 1.2H(R|S) = H(R) – I(R;S) = 1.19( )k j0.55 0.15 0.15 0.150.1 0.8 0.05 0.05P r | s0.1 0.05 0.8 0.050.1 0.05 0.05 0.8   =   ReIm-js3s0s2 s1j/23232−
  17. 17. Capacidad de un canal discreto• Deseamos que la información mutua sea máxima.• El canal está fijado, luego lo único que podemosmodificar son las probabilidades de los diferentessímbolos transmitidos.• Cuando se maximiza I(S;R) respecto a lasprobabilidades de los diferentes sj j={0..J-1}, al valormáximo lo denominamos capacidad del canal:• Para obtener C será preciso tener en cuenta que:P(sj) ≥0 ∀j( )( )jp sC max I S;R=( )J 1jj 0p s 1−==∑
  18. 18. • Ejemplo: Canal binario simétrico• p(r0|s0)=1-pe• p(r0|s1)=pe• p(r1|s0)=pe• p(r1|s1)=1-pe• p(r0,s0)=p(r0|s0)p(s0)=(1-pe)p(s0)• p(r1,s0)=pep(s0)• p(r0,s1)=pep(s1)=pe(1-p(s0))• p(r1,s1)=(1-pe)(1-p(s0))Capacidad de un canal discreto01011-pe1-pepe pe
  19. 19. Ejemplo: Canal binario simétrico (2)• p(r0)= p(r0,s0)+p(r0,s1)=(1-pe)p(s0) + pe(1-p(s0))• p(r1)= 1-p(r0) =pep(s0) +(1-pe)(1-p(s0))I(S;R) = H(R)–H(R|S)( )( )( )( )( )( )00 0 0I S,R I S,R p r0p s p r p s∂ ∂ ∂= =∂ ∂ ∂( )( )jp sC maxI S;R=( )( )( )( )( )( )( )( )00 0 0 0I S,R H R H R | S p r0p s p r p r p s ∂ ∂ ∂ ∂= − = ÷ ÷∂ ∂ ∂ ∂ ( ) ( )( )( )( )0 2 1 20 11 1H R p r log p r logp r p r   = + ÷  ÷   ( )( ) ( ) ( )2 20 0 0H R 1 1log logp r p r 1 p r    ∂  = − ÷  ÷  ÷  ÷∂ −     
  20. 20. Ejemplo: Canal binario simétrico (3)( )( )0H R | S0p r∂=∂( ) ( )( )K 1 J 1k j 2k 0 j 0 k j1H R | S p r ,s logp r | s− −= =  ÷= ÷ ∑∑( ) ( )( )( )( )( )( )( )( )0 0 2 0 1 20 0 0 11 0 2 1 1 21 0 1 11 1H R | S p r ,s log p r ,s logp r | s p r | s1 1p r ,s log p r ,s logp r | s p r | s   = + + ÷  ÷ ÷  ÷      + + ÷  ÷ ÷  ÷   ( ) ( ) ( ) ( )( )( ) ( ) ( )( )e 0 2 e 0 2e ee 0 2 e 0 2e e1 1H R | S 1 p p s log p 1 p s log1 p p1 1p p s log 1 p 1 p s logp 1 p   = − + − + ÷  ÷−      + + − − ÷  ÷−   
  21. 21. Ejemplo: Canal binario simétrico (4)p(r0)= p(r0,s0)+p(r0,s1)=(1-pe)p(s0) + pe(1-p(s0))( )( ) ( ) ( )( )2 2 e0 0 0I S,R 1 1log log 1 2p 0p s p r 1 p r    ∂  = − − = ÷  ÷  ÷  ÷∂ −     ( )( )( )( )( )( )( )( )00 0 0 0I S,R H R H R | S p r0p s p r p r p s ∂ ∂ ∂ ∂= − = ÷ ÷∂ ∂ ∂ ∂ ( )( ) ( ) ( )2 20 0 0H R 1 1log logp r p r 1 p r    ∂  = − ÷  ÷  ÷  ÷∂ −     ( )( )0H R | S0p r∂=∂( )( )0e0p r1 2pp s∂= −∂
  22. 22. Ejemplo: Canal binario simétrico (y 5)• La solución implica p(r0) = 1 – p(r0), luego p(r0) = ½• Por tanto p(s0) = ½ , como cabía esperar.• La capacidad es:( )e 2 e 2e e1 1C 1 p log 1 p logp 1 p   = − − − ÷  ÷−   ( )( ) ( ) ( )( )2 2 e0 0 0I S,R 1 1log log 1 2p 0p s p r 1 p r    ∂  = − − = ÷  ÷  ÷  ÷∂ −     
  23. 23. • Fuente S• Genera símbolos de fuente a una velocidad Rs (símbolos defuente/segundo)• Entropía de S es H(S) (bits información/símbolo de fuente)• Canal• Capacidad C (bits/símbolo de canal transmitido)• Transmite símbolos a un régimen Rc (símbolos de canaltransmitidos/segundo)• Teorema de codificación de canal (Shannon, 1948)• Es posible enviar (con el código adecuado) con unaprobabilidad de error arbitrariamente pequeña si y solo si:H(S)·Rs ≤ C·RcTeorema de codificación de canalS Cod.canalCanalRs Rc RcDecod.canalDestinoRs
  24. 24. EJEMPLOS• EJEMPLO: Canal binario simétrico• pe = 0.03  C = 0.8 bits / símbolo de canal• Fuente S binaria equiprobable (H(S)=1 bit/símbolo defuente) con velocidad Rs = 1 símbolo de fuente/segundoH(S)Rs ≤ CRc1 bit/segundo ≤ 0.8 RcRc ≥ 1.25 símbolos de canal transmitidos / segundo• EJEMPLO: Modem V.90• Modo 56 kbps• peb = 10-3 C = 0.988• Permitiría transmitir datos con una probabilidad de errortan pequeña como se quiera siempre que la velocidad deinformación de la fuente sea inferior a 56000· 0.988 = 55361bits información / segundo (y se haga uso de la codificaciónapropiada).
  25. 25. Entropía diferencial• ¿Podríamos trasladar los resultados obtenidos aseñales analógicas?• Calculemos la entropía de una variable aleatoriacontinua X como límite de una discreta con infinitosniveles:X = {xj} j = 0..J-1( ) ( ){ } ( )J 1 J 1j j j j 2j 0 j 0 j1H X E I x p I x p logp− −= = = = =  ÷ ÷ ∑ ∑xfX(x)x0 x1 x2 . . . xJ-1Δxp(x1) ≈ fX(x1)Δx
  26. 26. Entropía diferencialAl hacer tender J a infinitop(xj) ≈ fX(xj)ΔxxfX(x)x0 x1 x2 . . . xJ-1Δx-∞ ∞dx( ) ( )( )X j 2x 0j X j1H X lim f x xlogf x x∞∆ →=−∞  ÷= ∆ ÷∆ ∑
  27. 27. Entropía diferencial (continuación)( ) ( )( )( ) ( )X j 2 X j 2x 0j jX j1H X lim f x xlog f x xlog xf x∞ ∞∆ →=−∞ =−∞    ÷= ∆ − ∆ ∆  ÷   ∑ ∑( ) ( )( )( ) ( )X 2 X 2x 0X1H X f x log dx f x dx lim log xf x∞ ∞∆ →−∞ −∞   = − ∆ ÷  ÷  ∫ ∫( ) ( )2x 0H X h(X) lim log x∆ →= − ∆( ) ( )( )X 2X1h X f x log dxf x∞−∞ =  ÷ ∫( ) ( )( )X j 2x 0j X j1H X lim f x xlogf x x∞∆ →=−∞  ÷= ∆ ÷∆ ∑( ) ( )( )( )X 2 2x 0X1H X f x log dx lim log xf x∞∆ →−∞ = − ∆ ÷ ∫
  28. 28. Entropía diferencial• CONSIDERACIONES:• Cualquier variable aleatoria tiene infinita información• La entropía diferencial va a servir para compararlas entre sí• EJEMPLO: Distribución uniformefX(x) = 1/a·[u(x) – u(x-a)]h(X) = log2(a)• EJEMPLO: Distribución gaussiana• Dada una varianza σ2, la variable gaussiana tiene la mayorentropía diferencial de todas las posibles v.a.• La entropía diferencial es independiente de la media µ.( )( )22x2X1f x e2−µ−σ=πσ( ) ( )221h X log 2 e2= π σ
  29. 29. Información mútua entre variables continuas• Partiendo de la expresión de la información mútuapara variables discretas:• Información mútua entre X e Y• Propiedades• I(X,Y) = I(Y,X)• I(X,Y) ≥ 0• I(X,Y) = h(X)+h(Y)– h(X;Y) = h(X)–h(X|Y) = h(Y)–h (Y|X)( ) ( )( )( ) ( )XYXY 2X Yf x, yI X,Y f x, y log dxdyf x f y∞ ∞−∞ −∞ =  ÷ ÷ ∫ ∫( ) ( )( )XY 2XY1h X;Y f x, y log dxdyf x, y∞ ∞−∞ −∞ =  ÷ ÷ ∫ ∫( ) ( )( )( ) ( )K 1 J 1j kj k 2k 0 j 0 j kp s ,rI S;R p s ,r logp s p r− −= =  ÷= ÷ ∑∑
  30. 30. Teorema de capacidad de canal• Dado un canal con las características• Ancho de banda B (ideal dentro de la banda)• Ruido gaussiano de potencia Pn• Señal recibida de potencia Ps¿cuál es la máxima velocidad de transmisión deinformación alcanzable?• Sea cual sea el esquema de codificador(es),modulador, etc. … acabaremos emitiendo una señalde ancho de banda B.• Por el teorema de Nyquist“Cualquier señal de ancho de banda B Hz puede representarsepor un conjunto de muestras tomadas a frecuencia 2B”• CONCLUSIÓN: La señal emitida (y la recibida)pueden representarse con 2B muestras/segundo.
  31. 31. Teorema de capacidad de canalXkNkYk… k-1 k k+1 …RuidoSeñal emitidaSeñal recibida
  32. 32. Teorema de capacidad de canal• ¿Cuánta información podrá transportar cadamuestra?Tendremos que obtener la capacidad del canal• La relación entre muestras emitidas y recibidas es:Yk = Xk + Nk• La capacidad de canal se obtiene maximizando lainformación mútua (potencia emitida limitada):C=max{I(Xk,Yk), E{Xk2}= Ps}I(Xk,Yk) = h(Yk) – h(Yk|Xk)h(Yk|Xk) = h(Xk+Nk|Xk) = h(Nk)pero el ruido es gaussiano  h(Nk) = ½log2(2πePn)I(Xk,Yk) = h(Yk) – h(Nk) = h(Yk) - ½log2(2πePn)que será máxima cuando Yk sea gaussiana.
  33. 33. Teorema de capacidad de canal• Como Yk tiene potencia Ps+Pn, su entropía será:h(Yk) = ½log2(2πe[Ps+Pn])• Por tanto, la capacidad de canal será:C = ½log2(2πe[Ps+Pn]) - ½log2(2πePn)C = ½log2(1+Ps/Pn)bits/muestra transmitidaEl número máximo de muestras independientestransmisibles es 2B muestras /segundo, luegoC = B·log2(1+Ps/Pn) bits/segundoC = B·log2(1+SNR)Para el caso más habitual (ruido térmico) dedensidad espectral N0/2C = B·log2(1+Ps/(BN0))
  34. 34. Teorema de capacidad de canal• EJEMPLO: Canal teléfónico: Centralitas digitales• B < 4000 Hz• SNR < 48 dB (6,02 dB/bit x 8 bits)C < 4000·log2(1+104.8) = 63781 bps• Centralitas analógicas• B < 3100 Hz (300 Hz – 3400 Hz)• SNR < 30 dB (estudios de canal telefónico)C < 3100·log2(1+103) = 30898 bps• Canal TV analógico• B  5 MHz• SNR  38 dB (canal regular)C  5·106·log2(1+103.8) = 63,1 Mbps
  35. 35. Implicaciones del teorema• Consideremos un sistema ideal que transmite a lamáxima velocidadRb= CPs = EbRb = CEbC = B·log2(1+Ps/(BN0))Si B  ∞,Eb/N0 = ln(2) = 0.693 = -1.6 dBPor debajo de esa relación Eb/N0 es absolutamenteimposible la transmisión sin errores.b20EC Clog 1B N B = + ÷ CBb0E B2 1N C  ÷  = − ÷ ÷ 
  36. 36. Implicaciones del teorema• Si el sistema transmite a una velocidad Rb < C• CONCLUSIONES:• Compromiso entre la relación Eb/N0 (relación SNR) y Rb/B(eficiencia)• Existen zonas en las que resulta posible/imposible latransmisión sin errores.• Se establece así el límite de Shannon o cota de capacidad decanal.b b20E RBlog 1 CN B + ≤ ÷ 
  37. 37. Compromiso Eb/N0 y Rb/B-5 0 5 10 15 20 2510-1100101Eb/No dBRb/BRelació n Eb/No y Rb/BZonaposibleZonaimposible
  38. 38. Referencias• Communication Systems, 3rd.ed.• Simon Haykin, John Wiley & Sons, 1994.• Páginas 614 a 622 y 631 a 656.• Digital Communications, 4thed.• John G. Proakis, McGraw-Hill, 2000.• Páginas 381 a 387• An Introducction to Digital Communications• Jack Kurzweil, John Wiley & Sons, 1999.• Páginas 366-380• Digital Transmission Engineering• John B. Anderson, 1999.• Páginas 268-272.
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×