Lecture 18 channel capacity

Universidad Nacional de Ingeniería
Comunicaciones II
Conferencia 18: Capacidad de Canal
UNIDAD VII: CODIFICACIÓN DE CANAL
Instructor: Israel M. Zamora, P.E., MS Telecommunications Management
Profesor Titular, Departamento de Sistemas Digitales y Telecomunicaciones.
Universidad Nacional de Ingeniería
2S 2009 - I. ZamoraU n i VII-Conf 18: Codificaci1ón de Canal

Contenido
• Limitaciones en el diseño de DCS
• Canal Discreto Sin Memoria (DMC)
• Canal Simétrico Binario
• Entropía Condicional
• Información Mutua
• Propiedades de la Información Mutua
• Ilustración de las relaciones entre diversas entropía
de canal
• Capacidad de Canal
– Ejemplo 1
• Teorema de la Capacidad de Información
– Ejemplo 2
• Fronteras e Implicaciones del 3er Teorema de
Shannon

Limitaciones en el diseño de un DCS
D Limitaciones:
Å El requerimiento de mínimo ancho de banda teórico
de Nyquist
Å El teorema de la capacidad de Shannon-Hartley (y el
límite de Shannon)
Å Regulaciones del Gobierno
Å Limitaciones tecnológicas
Å Otros requerimeintos de sistemas (e.g órbitas
satelitales)

Limitaciones en el diseño de un DCS
• El mínimo ancho de banda teórico W necesario
para transmisión bandabase R símbolos por
segundos es R/2 hertz.
0 - 2T -T 0 T 2T
1
2T
-1
2T
H( f )
T
h(t) = sinc(t /T)
1
f t

Canal Discreto Sin Memoria (DMC)
En la conferencia #4 estudiamos las fuentes discretas sin memoria
(DMS) generadoras de información y la manera como se cuantificaba
la cantidad de información. En esta ocasión estudiamos el aspecto
de la transmisión de esa información a su destino a través de un
canal discreto sin memoria. Un adelanto de este estudio se planteó
rápidamente en la conferencia #2 (Canal Simétrico Binario).
Fuente Discreta
de Información
 2 1 0 1 2 x x x x x DMS estudiada en - -
Conferencia #10
X
Fuente
Discreta de
Información
X
 2 1 0 1 2 x x x x x - -
Canal DMS   2 1 0 1 2 y y y y y - - Destino
de Información
P(Y / X ) Y
LX Alfabeto
DMC que estudiaremos
Alfabeto
Fuente
en esta conferencia Destino
LY 2S 2009 - I. ZamoraU n i VII-Conf 18: Codificaci5ón de Canal

•Un canal discreto sin memoria es un modelo estadístico con una
entrada X y una salida Y que es una versión ruidosa de X.
•X e Y son variables aleatorias.
Muestras del
alfabeto destino
ü
ï ï
{ x , x ,..., x } X 0 1 J -1 L =
{ y , y ,..., y } Y 0 1 K -1 L =
Muestras del
alfabeto fuente Matriz de probabilidades
ì
ï ï í
Alfabeto Fuente de J símbolos
Alfabeto Destino de K símbolos
que caracterizan el canal
0 0
P(Y X )
p( y x ) k j
X Y
1 1
L
L
Y
x y
x y
 
ï ï
x y
J- K-X
ý
ï ï
þ
î
1 1

Las probabilidades de ocurrencia de cada símbolo para LX y LY son:
P(Y y ) p(y para toda k = k = k )
P(X x ) p(x para toda j = j = j )
p(x )
j 1
p(y )
J
0 å-
j
K
1
=
0 å-
k
=
k 1
1
=
=
El conjunto de probabilidades de transición (condicionales) está dado por:
P(Y y X x ) p(y x ) para toda j y k = k = j = k j
j k å-
=
ù
é
p( y x ) p( y x ) 
p( y x )
0 0 1 0 -
1 0
K
p( y x ) p( y x ) 
p( y x )
0 1 1 1 -
1 1
K
  
p( y x ) p( y x ) 
p( y x )
1
1
0
p(y x )
K
k
=
Para toda j
ú ú ú ú ú ú
û
ê ê ê ê ê ê
ë
=
- - - -
P(Y X)
J J K J
0 1 1 1 1 1
Para toda j
Para toda k
Matriz (J x K) de canal o de transición.
0 £ p(y x ) £1 k j
Para toda j y k

En la matriz de canal se observa que cada renglón corresponde a una
entrada de canal fija, en tanto que cada columna de la matriz corresponde a
una salida de canal fija.
La probabilidad de distribución conjunta de las variables X e y está dada
por:
)
)
P(X = x ,Y = y ) =
p(x , y
j k j k
P(Y = y ,X = x ) =
p(y , x
k j k j
P(X = x ,Y = y ) = P(Y = y ,X =
x )
j k k j
=
p(y ,x ) p(x ,y )
k j j k
donde se cumple que:
p(x ,y ) = P(X = x ,Y =
y )
j k j k
P(Y y X x )P(X x )
= = = =
k j j
p(y x )p(x )
k j j
=

La probabilidad de distribución marginal de la variable aleatoria de salida Y
se obtiene promediando la dependencia de p(xj,yk) con respecto a xj, como se
indica:
p(y ) = P(Y =
y )
k k
P(X x )P(Y y X x )
-
å
= = = =
k j
k
0
p(x )p(y x ) para k , ,...,K-
0 1 1
1
=
1
-
å
= =
0
J
J
j
j k j
j
=

Canal Simétrico Binario
El canal simétrico binario es de gran interés teórico y corresponde al ejemplo
estudiado en la conferencia #2. Consiste en un DMC con J=K=2 (ambos
alfabetos – fuente X y destino Y- poseen dos símbolos: 0’ y 1’), y es simétrico
porque la probabilidad de recibir un 1’ si se envió un ‘0 es igual que la
probabilidad de recibir un ‘0 cuando se envía un ‘1 la cual denotamos por p.
El diagrama siguiente ilustra este caso.
1 2 0 p(x ) = /
“0”
“1”
j j p(y ) p(x )p(y x )
0 0
“0”
=
“1”
p(y x ) =1- p 0 0
p(y x ) = p 1 0
p(y x ) = p 1 0
p(y x ) =1- p 1 1
1 2 1 p(x ) = /
1
å=
0
j
Ver conferencia #2 !!!
1
å=
p(y ) =
p(x )p(y x )
j j 1 1
0
j
2S 2009 - I. ZamoraU n i VII-Conf 18: Codificaci1ó0n de Canal

Entropía Condicional
• Cuando tenemos dos alfabetos LX y LY podemos medir la incertidumbre de
X después de observar Y definiendo la entropía condicional de X elegida del
alfabeto LX, dado que Y=yk, utilizando la fórmula siguiente:
J 1
1
j j k
å-
ù
é
H( X Y y ) p(x y )log
= ú úû
ê êë
= =
k j k p(x y )
0
2
• Esta misma cantidad es una variable aleatoria que toma los valores H(X|
Y=y0), H(X|Y=y1),…, H(X|Y=yK-1) con probabilidades p(y0), p(y1), …,p(yK-1),
respectivamente. La media de la entropía H(X|Y=yk) sobre el alfabeto de
salida Y está dado por:
1
-
K
å
H( X Y ) = H( X Y =
y )p( y )
1
=
1
-
1
-
k
K
J
åå
1
=
1
k
-
k
p(x y )p( y )log
j k k
k
p(x y )
j =
0
j k
1
-
=
K
J
åå
1
=
p(x , y )log
j k
p(x y )
j =
0
j k
1
ù
ú úû
é
ê êë
=
ù
ú úû
é
ê êë
2
2
1
k
H(X|Y) es la entropía condicional que
representa la cantidad de
incertidumbre que queda acerca de
la entrada del canal después de que
se ha observado la salida del canal.
donde:
p( x , y ) p( y )p( x y ) j k k j k =

Información Mutua
• Sabemos que H(X) representa nuestra incertidumbre en torno a la
entrada del canal antes de observar la salida del mismo, y H(X|Y)
representa nuestra incertidumbre con respecto a la entrada del canal
después de observar la salida de éste, se puede concluir que la
diferencia H(X)- H(X|Y) debe representar nuestra incertidumbre en torno a
la entrada del canal que se resuelve al observar la salida del mismo.
• Esta importante cantidad se denomina la información mutua del canal
que denotamos I(X,Y), o en general:
I( X ,Y) = H( X )-H( X Y )
I(Y ,X) = H(Y )-H(Y X )
donde H(Y) es la entropía de la salida del canal y H(Y|X) es la entropía
condicional de la salida del canal dada la entrada del mismo.

Propiedades de la Información Mutua
• Propiedad 1: La información mutua de un canal es simétrica, esto es
I( X ,Y) = I(Y ,X )
• Propiedad 2: La información mutua es siempre no negativa, es decir,
I( X ,Y) ³0
• Propiedad 3: La información mutua de un canal se relaciona con la
entropía conjunta de la entrada y la salida del mismo mediante
I( X ,Y) = H( X )+H(Y )-H( X ,Y )
donde la entropía conjunta H(X,Y) está definida por
J 1
K
1
1
j
åå -
-
=
H( X ,Y ) p( x , y )log
i k p( x , y )
k =
1
i k
ù
úû
é
êë
=
0
2

Ilustración de las relaciones entre diversas entropía de
canal
H(Y )
H( X ,Y )
H( X )
H( X Y ) I( X ,Y ) H(Y X )

Capacidad de Canal
• Definimos la capacidad del canal de un canal discreto sin memoria como
la información mutua máxima I(X,Y) en cualquier uso simple del canal (es
decir, el intervalo de transmisión de señales), donde la maximización es
sobre todas las distribuciones de probabilidad de entrada posibles {p(xj)}
en x.
• La capacidad de canal se denota comúnmente por medio de C. De este
modo escribimos:
C máx I(X,Y )
{p(x j )}
=
La capacidad del canal C se mide en bits por uso del canal o bits por
transmisión. Advierta que la capacidad de canal C es una función
exclusiva de las probabilidades de transición p(yk,xj), las cuales definen el
canal. El cálculo de C implica la maximización de la información mutua
I(X,Y) sobre J variables sujeta dos restricciones:
J
1
p( x ) ³j 0 para toda j 1
= å-
=
j y p(x )
0
j

Ejemplo 1
• Con base en el caso estudiado en la diapositiva #8 (Canal Discreto
Simétrico Binario) determinaremos la Capacidad de ese modelo de canal.
Tenemos que H(X) es máximo si p(x0)=p(x1)=p=1/2 (Ver Conferencia #4,
diapositiva #15), por lo que podemos escribir:
p(x0 ) p(x1 ) 1/ 2 C I(X,Y) = = =
Por tanto, sustituyendo estas probabilidades de transición del canal con
J=K=2, e igualando después la probabilidad de entrada p(x0)=p(x1)=1/2 de
acuerdo con la ecuación de C, encontramos que la capacidad del canal
simétrico binario es:
C 1 p log p ( 1 p)log ( 2 2 1
p)
= -
= + + - -
1
H( p )

Ejemplo 1
C 1 p log p ( 1 p)log ( 1 p)
2 2
= -
= + + - -
1
H( p )
Observaciones:
1. Cuando el canal no tiene ruido, lo
que nos permite dejar p=0, la
capacidad C del canal alcanza su
valor máximo de un bit por uso de
canal, lo cual es exactaemtneo la
información en cada entrada del
canal. A este valor p, la función de
entropía H(p) llega a su valor
mínimo de cero.
2. Cuando la probabilidad condicional
de error p=1/2 debido al ruido, la
Capacidad C del canal alcanza su
valor mínimo de cero, en tanto que
la función de entropía H(p) llega a
si valor máximo de la unidad; en un
caso de este tipo se dice que el
canal será inútil.

Teorema de la Capacidad de Información
• Formularemos el teorema de la Capacidad de Información correspondiente a
canales gaussianos limitado en potencia y limitado en frecuencia.
Para el modelo de canal con ruido AWGN
Y X N , k , ,...,K k = k + k =1 2
Muestra de ruido
gaussiana con media
cero y varianza:
s 2 =
N tx N BW 0
Proceso aleatorio con media cero que
está limitado en frecuencia a BT hertz, y
cuya varianza es la potencia de
transmisión limitada a S watts:
s2 = = 2
S E[X ] X k
k S X
k N
Señal
transmitida
Ruido
AWGN
Modelo de canal
con ruido AWGN
k Y
Señal
recibida
Proceso aleatorio con
media igual a cero y
varianza:
2 2 2
σ = σ +
σ
Y X N
2
N
S σ
= +

• La capacidad de información del canal bajo las condiciones anteriores es:
= 2 =
C máx { I( X ,Y ) : E[ X ] S } f ( x ) k k k Xk
• Se puede demostrar que la entropía diferencial de Yk se calcula como:
[ ] log [2 ( )]
( ) 1 2 0
log 2 ( ) 1
2
k 2 X N tx H Y = p e s +s = p e S + N BW
2
2 2
• Se puede demostrar que la entropía diferencial de Nk se calcula como:
( ) 1 2 0
log (2 ) 1
2
k 2 N tx H N = p es = p eN BW
log (2 )
2
2
• De los resultados anteriores y con base en la definición de la capacidad de
información tenemos que:
ö
s Bits por transmisión
÷ ÷ø
æ
+ = ÷ ÷ø
2
C S
ç çè
ö
æ
1
log 1 1
2
ç çè
= +
X
log 1
2 N BW
2 2
2
s
N 0
tx

• Si multiplicamos este resultado por el número de transmisiones /segundo ,
el cual es 2W obtendremos la capacidad de canal en bits por segundos
(bps):
BW
ö
segundos ÷ ÷ø
æ
C BW S
ç çè
= + Bits por
tx
ö
æ
C log 1 S 2
× 2 N BW
tx
÷ø
÷ 1
2
0
ç çè
= +
2 log 1
tx N BW
tx
0
• Con base en los resultados anteriores, es posible establecer el tercero y mas
famoso teorema de Shannon, el TEOREMA DE LA CAPACIDAD DE LA
INFORMACIÓN, dado por:
• La capacidad de información de canal continuo de ancho de banda BWtx
hertz, perturbado por ruido blanco gaussiano aditivo con densidad espectral
de potencia N0/2 y limitado en ancho de banda a BWtx, está dado por:
ö
Bits por
segundos ÷ ÷ø
æ
C W S
ç çè
= +
N BW
0
tx 2 log 1
Note que la razón señal a ruido SNR del
canal está dado por:
SNR S
N BW
0
tx =

• El teorema de Shannon pone un límite en la tasa
de transmisión de datos, no en la probabilidad de
error:
– Es teóricamente posible transmitir información a
cualquier tasa R
, con una probabilidad
arbitrariamente pequeña b de error al utilizar un esquema
de codificación lo suficientemtne complejo R £
C .
b – Para una tasa de información R >
C , NO es posible
encontrar un código que pueda materializar b una
probabilidad de error arbitrariamente pequeña.

Fronteras e Implicaciones del 3er Teorema de
Shannon
C/W [bits/s/Hz]
Región práctica
Region no
alcanzable
SNR [bits/s/Hz]

Ejemplo 2
• Encuentre la capacidad de un canal telefónico con ancho de banda de
transmisión de 3,000Hz y SNR de 39 dB.
Tenemos que : SNR 39 ó SNR 7 ,943 dB = =
Por tan to:
C , log ( , ) , bps
3 000 1 7 943 38 867 2 = + »

Fronteras e Implicaciones del 3er Teorema
de Shannon
• Consideremos un sistema ideal definido como uno que transmite datos
binarios a una tasa de bits Rb igual a la capacidad de información C (Rb=C).
Entonces podemos expresar la potencia promedio transmitida como:
S E R E C b b b = =
• Donde Eb es la energía transmitida por el bit. Por tanto, el sistema ideal se
define mediante la ecuación:
ö
÷ ÷ø
æ
ç çè
E
= + ×
C
C
BW
2 log 1
tx BW
tx
b
N
0
• De esta manera equivalente, podemos definir la relación de la energía de la
señal por bit a la densidad espectral de la potencia de ruido Eb/N0 en
términos de la razón C/BT para el sistema como:
E 2 / tx = -
1
0
b
N CBW
tx
C BW

Shannon
• El diagrama de la
relación Rb/BW en
función de Eb/N0 recibe el
nombre de diagrama de
eficiencia de ancho de
banda.

Capacidad de Canal de Shannon con AWGN

Shannon
1. Para un ancho de banda infinito, la razón Eb/N0 tiende al valor límite
ö
- = = = ÷ ÷ø
æ
E b
ç çè
E
lim log 2 0 693 1.6 dB 10
ö
= ÷ ÷ø
0 0
C C S
= lim = log
W 2
0 E / N b
æ
ç çè
®¥
.
N
N
W
b
• El valor límite correspondiente de la capacidad de canal se obtiene
dejando que el ancho de banda W del canal tienda a infinito;
consecuentemente encontramos:
e
N
0
¥ ®¥
Límite de Shannon para un
canal AWGN
– Existe un valor limitante de bajo el cual NO PUEDE
HABER TRANSMISIÓN LIBRE DE ERRORES a cualquier tasa de
transmisión de información.
– El hecho aislado de incrementar meramente el ancho de banda
por sí , no signfica que la capacidad aumentada a algún valor
deseado.

Shannon
Región
Práctical
/ [dB] 0 E N b
W/C [Hz/bits/s]
Region No
alcanzable
-1.6 [dB]

Shannon
2. La frontera de la capacidad, definida por la curva para la tasa de bits crítica
Rb=C, separa las combinaciones de parámetros del sistema que tienen el
potencial para soportar una transmisión sin errores (Rb<C) de aquellas para
las cuales no es posible ese tipo de transmisión (Rb>C).
3. El diagrama subraya los compromisos potenciales entre Eb/N0, Rb/W y la
probabilidad del error de símbolo Pe. En particular, podemos observar el
movimiento del punto de operación a lo largo de una línea horizontal como
el intercambio de Pe en función Eb/N0 para una Rb/W fija. Por otra parte, es
posible advertir el movimiento del punto de operación a lo largo de unalínea
vertical como el intercambio de Pe en función de Rb/W para una Eb/N0 fija.

Lecture 18 channel capacity

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to Lecture 18 channel capacity

Similar to Lecture 18 channel capacity (20)

More from nica2009

More from nica2009 (20)

Recently uploaded

Recently uploaded (20)

Lecture 18 channel capacity