Lecture 4 teoría de la información

2,739
-1

Published on

0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
2,739
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
72
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

Lecture 4 teoría de la información

  1. 1. <ul><li>Comunicaciones II </li></ul><ul><li>Conferencia 4: Teoría de la Información. </li></ul><ul><li>UNIDAD II: FORMATEO DE SEÑALES Y CODIFICACIÓN FUENTE </li></ul><ul><li>Instructor: Israel M. Zamora, P.E., MS Telecommunications Management </li></ul><ul><li>Profesor Titular, Departamento de Sistemas Digitales y Telecomunicaciones. </li></ul><ul><li>Universidad Nacional de Ingeniería </li></ul>Universidad Nacional de Ingeniería
  2. 2. Contenido <ul><li>Teoría de la Información </li></ul><ul><li>Medida de la Información </li></ul><ul><li>Entropía </li></ul><ul><ul><li>Propiedades de la Entropía </li></ul></ul><ul><li>Ejemplo 1 </li></ul><ul><li>Ejemplo 2 </li></ul><ul><li>Ejemplo 3 </li></ul><ul><li>Entropía de fuente extendida </li></ul><ul><li>Ejemplo 4 </li></ul><ul><li>Codificación fuente (nuevamente) </li></ul><ul><li>Codificación fuente: código Huffman </li></ul>
  3. 3. Teoría de la Información <ul><li>En esta conferencia estudiamos los conceptos de INFORMACIÓN y ENTROPÍA . Con esta teoría, es posible determinar matemáticamente la tasa máxima de transmisión de información a través de un canal dado. Esto es lo que llamamos CAPACIDAD DE CANAL. </li></ul><ul><li>Aún cuando usualmente no es posible alcanzar la CAPACIDAD DE CANAL en los sistemas prácticos, es un buen punto de referencia cuando se evalúa el desempeño de un sistema. </li></ul><ul><li>De hecho, la ley de Shannon-Hartley es una ley fundamental importante en el campo de la teoría e las comunicaciones, y es muy útil también en el trabajo práctico ingenieril. </li></ul><ul><li>En el estudio de esta conferencia, se tendrá que las señales mensaje se modelan como procesos aleatorios. Iniciaremos considerando lo observable en una variable aleatoria: </li></ul><ul><ul><li>Cada observación da cierta cantidad de información. </li></ul></ul><ul><ul><li>Las observaciones raras dan mas observación que las usuales. </li></ul></ul>
  4. 4. Teoría de la Información ¿Qué entendemos por el término información? La noción intuitiva y común de información se refiere a cualquier nuevo conocimiento acerca de algo . Sin embargo, en nuestro contexto, apelaremos a la teoría de la información. Esta disciplina de amplia base matemática ha efectuado aportaciones fundamentales, no solo a las comunicaciones, sino también a la ciencia del cómputo, la física estadística y la inferencia estadística, así como a la probabilidad y la estadística. En el contexto de las comunicaciones, la teoría de la información tiene que ver con el modelado y el análisis matemático de un sistema de comunicación y no con los canales y las fuentes físicos.
  5. 5. Teoría de la Información <ul><li>En particular, esto proporciona respuestas a dos preguntas fundamentales (entre otras): </li></ul><ul><li>¿Cuál es la complejidad irreductible debajo de la cual no es posible comprimir una señal? </li></ul><ul><li>¿Cuál es la máxima velocidad de transmisión de información posible en un canal de comunicaciones con la cantidad mínima de errores posibles (comunicación confiable). </li></ul><ul><li>Los teóricos de información procuran determinar la forma en que esto es posible y, si existe alguna cota máxima posible de alcanzar. </li></ul><ul><li>La teoría de la información también permite establecer si es posible encontrar un código de fuente que permita enviar más información en menos tiempo. </li></ul>...001011... ...010110... ...110101...
  6. 6. Teoría de la Información Una de las cosas más importantes que debemos acordar es: ¿podemos establecer una buena medida de lo que es información? ¿Cómo obtener un mecanismo para establecer el grado de información que contiene un grupo limitado de mensajes? La respuesta a estas preguntas se encuentran en la entropía de una fuente y en la capacidad de un canal. Entropía: Se define en términos del comportamiento probabilístico de una fuente de información. Capacidad de Canal: Se define como la posibilidad intrínseca de un canal para transportar información; se relaciona de forma natural con las características de ruido de canal.
  7. 7. Medida de la Información En términos generales, la medida de la información que genera una fuente está relacionada con la “calidad “ o “nivel” de novedad (conocimiento) que provee al destino. <ul><li>• Por ejemplo, considérese que una fuente sólo puede transmitir uno de los 4 mensajes siguientes: </li></ul><ul><li>x 1 : Mañana saldrá el sol por el Este. </li></ul><ul><li>x 2 : La próxima clase de este curso la dará Bernard Sklar </li></ul><ul><li>x 3 : Durante la próxima semana se cerrará la Avenida Bolívar por reparaciones. </li></ul><ul><li>x 4 : En un mes ocurrirá un alineamiento exacto con respecto al sol, de todos los planetas del sistema solar incluyendo sus satélites naturales. </li></ul><ul><li>Cuál de estos mensajes tiene más información? </li></ul><ul><li>En base a qué fenómeno se puede establecer el grado de información que tiene uno de estos mensajes? </li></ul>• La respuesta es que la información es inversamente proporcional a la probabilidad de ocurrencia del mensaje.
  8. 8. Medida de la Información <ul><li>Por tanto, el mensaje x 1 no es información ya que no agrega conocimiento ya que todos sabemos que el sol sale por el Este y que dicho evento ocurrirá con el 100% de certeza (siempre ocurre). </li></ul><ul><li>El mensaje x 2 conlleva bastante información debido al nivel de novedad que tiene el hecho que el Profesor Bernard Sklar, PhD, imparta la próxima conferencia. Sin embargo, podemos decir que este evento es poco probable, aunque posible, ya que está rodeado de incertidumbre puesto que nunca ha sucedido. </li></ul><ul><li>El mensaje x 3 es bastante probable ya que en ocasiones anteriores ha ocurrido , es decir, con cierta frecuencia este evento se repite. </li></ul><ul><li>El mensaje x 4 resulta ser casi imposible , aunque no se descarta, y sería un magno evento si ocurriera, llevando una vasta cantidad de información y conocimiento. </li></ul>• Con base en lo anterior, se infiere que el mensaje x 4 conlleva la mayor cantidad de información por ser el menos probable y encerrar un alto grado de incertidumbre.
  9. 9. Medida de la Información <ul><li>De la discusión y análisis anterior, se puede concluir que la cantidad de información debe satisfacer las siguientes condiciones: </li></ul><ul><ul><li>El contenido de información del símbolo (evento) x k depende sólo de su probabilidad de ocurrencia. </li></ul></ul><ul><ul><li>La información propia es una función continua. </li></ul></ul><ul><ul><li>La información propia es una función decreciente de su argumento, es decir, el evento menos probable conlleva mayor información </li></ul></ul><ul><ul><li>Si los eventos j y j 1 y j 2 están relacionados tal que j={j 1 ,j 2 } y p j =p j1 p j2 entonces: </li></ul></ul><ul><ul><ul><ul><li>“ información (p j )”= “información (p j1 )”+ “información (p j2 ) </li></ul></ul></ul></ul><ul><li>Desde un punto de vista de ingeniería interesa establecer medidas comparativas de la riqueza de información que puede tener un conjunto de mensajes. </li></ul>Usamos la nomenclatura de información dada por:
  10. 10. Medida de la Información
  11. 11. Medida de la Información Una buena medida es la esperanza matemáticas de los valores estadísticos de un espacio muestral. Consideremos una fuente de información que envía uno de los símbolos del siguiente alfabeto: Cada uno de los símbolos es entonces una muestra de la variable aleatoria discreta X la cual toma símbolos de dicho alfabeto. La probabilidad que un símbolo x k sea enviado (ocurra) está dada por: Entonces una medida de la información propia que acarrea cada símbolo x k sería: Medida en bits Fuente Discreta de Información X
  12. 12. Medida de la Información El valor medio o esperanza de la información que acarrea la variable aleatoria discreta X, la cual sería: Sin embargo, definir la información del mensaje como I(x k )= 1/p k , crea un serio problema para establecer la esperanza de la medida de información y para cumplir con las 4 condiciones impuestas en la diapositiva #10. Se puede probar que esta inconveniencia desaparece si se estable que: El log 2 1/p k se justifica dado que un bit es la cantidad mínima de información: la ausencia o presencia de un mensaje determinado. Medida en bits
  13. 13. En este caso se define a la entropía , como la media de la información acarreada por la variable aleatoria discreta X, y se calcula como: La cantidad H(X) recibe el nombre de entropía de una fuente discreta sin memoria con alfabeto de fuente. Esta es una medida del contenido de información promedia por símbolo de la fuente. Se debe notar que H(X) depende sólo de las probabilidades del símbolo en alfabeto L X de la fuente. Entropía Medida en bits
  14. 14. Propiedades de la Entropía
  15. 15. Ejemplo 1 Consideremos una fuente binaria discreta sin memoria (DMS) cuyo alfabeto está compuesto de símbolos enviados con las probabilidades p y 1 - p respectivamente. Determinaremos la entropía de este alfabeto, trazaremos su gráfica y determinaremos el valor de p que maximiza dicha entropía <ul><li>Cuando p=0, la entropía H(X)=0, esto es porque xlogx-->0 cuando x-->0. </li></ul><ul><li>Cuando p=1. la entropía H(X)=0. </li></ul><ul><li>La entropía, H(X) alcanza su valor máximo, H máx =1 bit, cuando p 1 =p 2 =1/2, es decir, los símbolos son equiprobables. </li></ul>Este resultado también se obtiene al derivar H(X) e igualando a cero para determinar su máximo. Luego se despeja p, o sea hallar p tal que dH(p)/dp=0, H(X) en bits Probabilidad de símbolo H máx
  16. 16. NOTA: Observe que en el estudio que realizaremos sobre el formateo de señales como PCM y DM, la tasa de muestreo r la denominaremos f S , y la velocidad de transmisión de información binaria como R b . Codificación fuente (nuevamente) <ul><li>Si consideramos una fuente discreta en el tiempo y en la amplitud que crea observaciones independientes de una variable aleatoria X a una tasa de r muestras por segundo, entonces la tasa de emisión (transmisión) de la fuente es : </li></ul><ul><li>Tal fuente puede ser codificada usando un codificador fuente, en una corriente de bit, cuya tasas de transmisión de bits es menor que R+e, con e >0. </li></ul><ul><li>Es oportuno notar que a menudo es difícil construir códigos que provean una tasa que sea arbitrariamente cercana a R. Pero a menudo es fácil alcanzar una tasa mas o menos cercana a R. </li></ul>
  17. 17. Ejemplo 2 Una fuente con un ancho de banda de 4000Hz es muestreada a la frecuencia de Nyquist y es cuantizada a cinco niveles. Asumiendo que la secuencia resultante puede modelarse aproximadamente por un DMS con un alfabeto {-2, -1, 0, 1, 2} y con sus probabilidades correspondientes de {1/2, 1/4, 1/8, 1/16, 1/16}. Determinaremos la tasa o velocidad de transmisión de la fuente en bits por segundos. Por tanto, podemos hallar la velocidad de transmisión como:
  18. 18. Ejemplo 3
  19. 19. Entropía de fuente extendida En la práctica, la transmisión de información ocurre mas en bloques de símbolos que en símbolos individuales. El alfabeto L n X compuesto de estos de K n (donde K es el número de símbolos individuales distintos del alfabeto fuente original L X ) bloques distintos suele nombrarse como alfabeto extendido en cuyo caso la determinación de la medida de información y de la entropía, cuando la fuente es DMS, se obtiene como: donde: La entropía de un alfabeto compuesto de orden n es igual a n veces la entropía de el alfabeto original de orden 1 que le dio origen. Compuesto de K n bloques de n símbolos Compuesto de K símbolos
  20. 20. Ejemplo 4 Considere una fuente discreta sin memoria con alfabeto de fuente L X ={x 0 , x 1 , x 2 } con probabilidades respectivas ={1/4, 1/4, 1/2}. Determinaremos la entropía H(X) y la entropía compuesta para n=2, o H(X 2 ). Se comprobará que H(X 2 )=2H(X). Se deja como ejercicio los detalles de este cálculo. Cuadro auxiliar donde se muestran los alfabetos L X y L 2 X 1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16 Probabilidad de símbolos L 2 X x 2 x 2 x 2 x 1 x 2 x 0 x 1 x 2 x 1 x 1 x 1 x 0 x 0 x 2 x 0 x 1 x 0 x 0 Secuencia correspondiente de símbolos L X  8  7  6  5  4  3  2  1  0 Símbolos (bloques) L 2 X
  21. 21. Ejemplo 3 Evaluando el resultado tenemos. De tal manera vemos que H(X 2 )=2H(X), es decir (3) = (2)*(3/2)
  22. 22. Codificación fuente (nuevamente) Hemos indicado que uno de los objetivos de la teoría de la información es establecer si es posible encontrar un código de fuente que permita enviar más información en menos tiempo, esto es, encontrar un código que sea suficientemente eficiente. Por código eficiente se entiende aquel código cuya longitud media es la mínima posible que resulta de asignar códigos mas cortos a símbolos mas probables y códigos mas largos a símbolos menos probables. En la conferencia #3 , estudiamos un caso particular conocido como Código Huffman el cual cumple con esta condición. Alfabeto Fuente Probabilidad de los símbolos del Alfabeto Fuente Longitud media del código Varianza de la longitud de los códigos
  23. 23. Codificación fuente (nuevamente) Matemáticamente, la eficiencia  de un código se define como: Es el valor mínimo posible de L X El valor mínimo de L (L mín ) se obtiene a través del primer teorema de Shannon conocido como teorema de la codificación fuente. Este teorema se enuncia como: Entonces, la eficiencia del código se puede reescribir como: La redundancia del código se calcula como: Dada una fuente discreta sin memoria de entropía H(X),La longitud promedio de palabra de código L para cualquier esquema de codificación fuente sin distorsión está acotada como: Primero teorema de Shannon Fuente discreta sin memoria Fuente discreta sin memoria x k a k Secuencia Binaria
  24. 24. Codificación fuente: código Huffman <ul><li>Para el código Huffman, puede mostrarse que el número medio de bits de código de un símbolo fuente, L(x) satisface la relación siguiente: </li></ul><ul><li>Cuando se codifican n símbolos al mismo tiempo, se obtiene el resultado correspondiente: </li></ul><ul><li>Así que, al usar códigos amplios de Huffman, con bloques de longitud suficientemente grande, es posible que se llegue arbitrariamente a valores muy cercanos del límite de la entropía. Esto no es una forma práctica, pero este desarrollo básicamente constituye una prueba del teorema de codificación fuente. </li></ul><ul><li>Una limitación fundamental de los códigos Huffman es que las estadísticas de los símbolos fuentes tienen que ser conocidas (o estimadas). </li></ul>
  25. 25. Gracias por su Atención
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×