• Like
Slides teoriadainformacao
Upcoming SlideShare
Loading in...5
×

Slides teoriadainformacao

  • 471 views
Uploaded on

 

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
471
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
68
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Teoria da Informação Codificação de FonteProf. Dr. Luciano Leonel Mendeslucianol@inatel.br Teoria da Informação 1/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 2. Conteúdo e Referência1. Revisão: Probabilidade e Variáveis Aleatórias2. Fontes de informação – amostragem e quantização3. Princípios da Teoria da Informação4. Compactação de Fonte5. Limitantes para Canais AWGNLivro Texto: Haykin, Simon, “Sistemas de Comunicação”, 4° Edição, John Wilwy & Sons, 2001. Teoria da Informação 2/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 3. Revisão de Probabilidade1. Noções Básicas de Probabilidade• Diagrama de Venn: permite realizar uma representação gráfica dosconjuntos e/ou sua probabilidade de ocorrência. s A AB B Teoria da Informação 3/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 4. Revisão de Probabilidade2. Os Axiomas da Probabilidade• Para qualquer evento A, P[A]=0.• P[S]=1, onde S é o espaço amostral.• P[AUB]=P[A]+P[B]-P[AB].Exemplo: Seja o espaço amostral S={0, 1, 2, 3}. Então:P[S]=P[0]+P[1]+P[2]+P[3]=1. Logo P[ S ] = ∑i =0 P[ si ] = 1 3 “A probabilidade é sempre um número entre 0 e 1” Teoria da Informação 4/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 5. Revisão de Probabilidade Continuando...Seja um evento B={números pares}. Logo B = ? Qual é P[B]?P[B]=P[0]+P[2]Seja um evento C={números menores que 2}. Logo C=? Qual é P[C]?P[C]=P[0]+P[1]Seja D=BUC. Logo D=? Qual é P[D]?P[D]=P[BUC]=P[B]+P[C]-P[BC]=P[0]+P[2]+P[0]+P[1]-P[0]P[D]=P[0]+P[1]+P[2] Teoria da Informação 5/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 6. Revisão de Probabilidade3. Eventos Mutualmente Exclusivos: são aqueles que nunca acontecemao mesmo tempo.Exemplo: A={números pares} e B={números ímpares}.Se A e B são mutualmente exclusivos, então P[AB]=0.4. Probabilidade de eventos conjuntos: considere o diagrama de Venn. B1 B2 B3 B4 Qual é a P[A]? P[A]=P[AB1]+P[AB2]+P[AB3]+P[AB4] 4 P[ A] = ∑ P[ A ⋅ Bi ] A i =1 Note que Bi e Bj são mutualmente exclusivos! Teoria da Informação 6/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 7. Revisão de Probabilidade5. Eventos Independentes: dois eventos são independentes somente se aprobabilidade de ocorrência de um evento não alterar a probabilidade deocorrência do outro evento.P[AB]=P[A]xP[B] somente se A e B forem independentes.6. Probabilidade Condicional: é a probabilidade de ocorrência de umevento, sabendo-se que outro evento já aconteceu.Exemplo: Qual é a probabilidade de um pneu novo estourar? Qual é a probabilidade de um pneu novo estourar, dado que existem pregos na pista? P[ A ⋅ B ] P[ A / B ] = P[ B ]Qual é P[A/B], quando A e B são independentes? Teoria da Informação 7/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 8. Revisão de ProbabilidadeExercício: considere um dado honesto e os seguintes eventos:Ei={número sorteado é i}Mj={número sorteado é maior do que j}P={número sorteado é par}a) Qual é a probabilidade de ter-se sorteado um 3, dado que o númerosorteado é maior do que 1, ou seja, P[E3/M1]=?b) Qual é a probabilidade condicional de se obter um 6 dado que onúmero sorteado é maior do que 3?c) P[M3/P]=?d) Dado que o número sorteado é maior do que 3, qual é aprobabilidade dele ser par?e) P[E1E2], P[M6P], P[M3UP], P[M3P] Teoria da Informação 8/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 9. Revisão de Probabilidade7. Variáveis aleatórias: são variáveis cujo valor em um dado instante detempo não pode ser determinado. No entanto é possível determinar aprobabilidade do valor desta variável estar dentro de uma faixa devalores.Parâmetros de uma V. A.a) Função densidade de probabilidade (f.d.p.) - fX(x): mostra como osvalores que a variável pode assumir estão distribuídos.b) Função distribuição cumulativa (F.D.C.) - FX(x): mostra aprobabilidade de uma variável assumir um valor maior do que x. 1.1 0.99 0.88 0.77 x 0.66 FX ( x) = P[ X ≤ x] = ∫f −∞ X ( y )dy Função densidade de probabilidade 0.55 Função distribuição cumulativa 0.44 0.33 0.22 0.11 3 2.4 1.8 1.2 0.6 0 0.6 1.2 1.8 2.4 3 x Teoria da Informação 9/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 10. Revisão de ProbabilidadeContinuando...c) Média: é o valor médio da variável aleatória, também conhecidocomo valor esperado. Eqüivale ao nível DC, se a variável aleatória forum sinal elétrico. ∞ +∞E[ X ] = ∑ x ⋅ P[ X = x ] i = −∞ i i E[ X ] = ∫ x⋅ f X ( x)dx −∞d) Desvio padrão: é uma medida de quanto a variável aleatória pode sedistanciar da média. Pode ser interpretado como sendo a tensão RMS, sea V.A for um sinal elétrico. Teoria da Informação 10/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 11. Revisão de ProbabilidadeContinuando...e) Variância: é o quadrado do desvio padrão. Pode ser associado àpotência AC do sinal. σ 2 = E[ X 2 ] − E[ X ] 2 ∞ ∞ E[ X 2 ] = ∑ xi ⋅ P[ X = xi ] E[ X 2 ] = ∫ x 2 ⋅ f X ( x)dx 2 i = −∞ −∞ Teoria da Informação 11/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 12. Revisão de Probabilidade8. Alguns tipos de variáveis aleatórias.a) Distribuição uniforme 1 X ∈ {x0 , x1 , x2 ,..., x N −1} f X ( x) = a≤ X ≤b 1f X ( x) = b−a N 0.2 0.2 0.18 0.15 0.16 0.14 f (x) 0.12 f (x) X 0.1 X 0.1 0.08 0.05 0.06 0.04 0.02 0 1 2 3 4 5 6 0 X 0 1 2 3 4 5 6 7 XCalcule a média e a variância das duas F.D.P’s. Teoria da Informação 12/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 13. Revisão de ProbabilidadeContinuando...b) Gaussiana 1  ( x − µ )2  µ = E[ X ] f X ( x) = exp    2σ  2 2πσ 2 σ 2 = E[ X 2 ] − µ 2 0.4 0.35 0.3 0.25 f (x) X 0.2 0.15 0.1 0.05 0 -3 -2 -1 0 1 2 3 X Teoria da Informação 13/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 14. Fontes de Informação• As fontes de informação em um sistema de comunicação digital são osdispositivos que geram os dados que devem ser transmitidos.• Toda fonte de informação de um sistema de comunicação digital deveter um número discreto de símbolos.• Algumas fontes são discretas por natureza.• Outras possuem um número infinito de símbolos. Essas fontes devemser discretizadas.• Tipos de fontes: binárias, m-árias e analógicas. Teoria da Informação 14/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 15. Fontes de Informação• Fontes binárias: são aquelas que somente geram dois tipos desímbolos. Exemplo: computador.• Os dados emitidos por esta fonte não precisam sofrer maioresprocessamentos para serem transmitidos por um sistema decomunicação digital. Bits mk s(t) r(t) ^ mk Fonte Digital Transmissor Canal Receptor Destino Binária Digital Ruidoso Digital Teoria da Informação 15/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 16. Fontes de Informação• Fontes discretas ou fontes m-árias; são aquelas que podem emitir atéM símbolos diferentes. Exemplo: texto.• Os símbolos emitidos por esta fonte devem ser codificados em bits.• A quantidade de bits necessária para codificar uma fonte com Msímbolos é: m = dlog2 (M )e• Exemplo: qual é a quantidade de bits necessária para representar onosso alfabeto? Teoria da Informação 16/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 17. Fontes de Informação• O dispositivo responsável em atribuir os bits aos símbolos da fonte éconhecido como codificador. Símbolos Bits ^ s(t) r(t) ^ mk Ak Fonte Ak mk Transmissor Canal Receptor De- Codificador Destino Discreta Digital Ruidoso Digital codificador• Exemplo: assuma que a fonte de informação seja um dado. Proponhauma tabela de codificação para que os símbolos gerados por esta fontepossam ser transmitidos por um sistema de comunicação digital. Teoria da Informação 17/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 18. Fontes de Informação•.Fontes Analógicas: são aquelas que geram sinais com uma quantidadeinfinita de amplitudes. Exemplo: câmera de vídeo ou microfone.• As fontes analógica devem ser digitalizadas para que os dados possamser transmitidos em um sistema de comunicação digital.• Esse procedimento consiste de dois passos:a) Amostragem: consiste em discretizar o sinal no domínio do tempo.Esse processo não introduz distorções no sinal.b) Quantização: consiste em limitar a amplitude das amostras em Mníveis possíveis. Esse processo introduz uma distorção denominada deruído de quantização. Teoria da Informação 18/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 19. Fontes de Informação• Transmissão de um sinal analógico através de um sistema decomunicação digital. Símbolos Bits Fonte Ak mk Transmissor s(t) Canal Amostragem Quantizador Codificador Analógica Digital Ruidoso r(t) ^ ^ Filtro de Ak De- mk Receptor Destino Recuperação codificador Digital Teoria da Informação 19/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 20. Fontes de Informação• Amostragem: consiste em pegar o valor da amplitude do sinal a cadaTs segundos, que é chamado de período de amostragem.• A freqüência de amostragem é fs=1/Ts. Amostragem temporal 1.0 t=kTs .5 0 -.5 -1.0 0 .5 1 1.5 2 2.5 3 3.5 4 Tempo [s] Teoria da Informação 20/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 21. Fontes de Informação• Teorema da Amostragem ou Teorema de Nyquist: Um sinal limitado em freqÄ^ncia, cuja freqÄ^ncia m¶xima ¶ dada por fmax , ue ue a epode ser perfeitamente representado por suas amostras, desde que estas sejamtomadas a uma taxa de amostragem maior ou igual a duas vezes fmax , ou seja,se fs ¸ 2 ¢ fmaxent~o ¶ poss¶ recuperar o sinal original a partir das suas amostras, sem dis- a e ³veltor»~o." ca Teoria da Informação 21/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 22. Fontes de Informação• Para recuperar o sinal original a partir das suas amostras, bastaempregar um filtro passa-baixa. Sinal Original e Sinal Recuperado 2 t=kTs 1 0 -1 -2 0 .5 1 1.5 2 2.5 3 3.5 4 Tempo [s] Teoria da Informação 22/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 23. Fontes de Informação• Outro tipo de amostragem bastante utilizado é a amostragem comretenção, onde o valor da amostra é mantido até o próximo instante deamostragem. Sinal Original e Sinal Amostrado com Retenção 1.0 Retenção .5 t=kTs 0 -.5 -1.0 0 .5 1 1.5 2 2.5 3 3.5 4 Tempo [s]• A recuperação da informação original é feita da mesma forma que naamostragem instantânea. Teoria da Informação 23/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 24. Fontes de Informação• Quantização: é processo no qual o valor da amplitude das amostras édiscretizado.• Um quantizador permite apenas NQ níveis de amplitude em sua saída.• O número de bits necessários para representar cada uma das amostrasé q = log2(NQ), ou seja, o número total de níveis possíveis com q bits éNQ = 2q. Sinal Contínuo e Sinal Quantizado 1.0 Quantizador .5 0 -.5 -1.0 0 .5 1 1.5 2 2.5 3 3.5 4 Tempo [s] Teoria da Informação 24/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 25. Fontes de Informação• A quantização insere uma distorção que não pode ser mais removidado sinal.• Essa distorção pode ser modelada como um ruído de potência: 2 ¢2 ¾Q = 12• A taxa de bits mínima para representar essa fonte analógica é limitadapelo Teorema de Nyquist e pelo número de amostras na saída doquantizador. Rb ¸ 2 log2 (NQ ) ¢ fmax Teoria da Informação 25/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 26. Fontes de Informação• Exemplo: qual é a menor taxa para representar um sinal telefônico quefoi quantizado com 256 níveis? Teoria da Informação 26/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 27. Teoria da Informação• O que é Teoria da Informação?Teoria da Informação é o modelo matemático que permite tratar, demodo analítico, os diferentes modos de transmitir informação em umcanal de comunicação.• Questões tratadas na Teoria da Informação:a) Qual é a menor quantidade de bits necessária para representar umafonte discreta sem perda de informação?b) Qual é a máxima taxa de transmissão para uma comunicaçãoconfiável em um canal ruidoso?Para responder a essas questões, é necessário compreender o que éInformação, Entropia, Canal e Confiável! Teoria da Informação 27/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 28. Teoria da Informação• Informação: é a quantidade de surpresa que um evento causa aoocorrer.Seja S ={s0, s1, s2 , s3 ,..., sK-1} uma fonte discreta com K elementos,onde pk é a probabilidade de ocorrência de sk.A quantidade de informação associada ao símbolo sk é dada por  1  I (sk ) = log 2   p   k• Conclusões importantes:- Se há certeza de ocorrência de um evento, não há ganho deinformação quanto esse evento ocorre!- A ocorrência de um evento nunca causa perda de informação!- Quanto menor a probabilidade de ocorrência, maior é a informaçãoganha quando o evento acontece! Teoria da Informação 28/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 29. Teoria da Informação• Algumas propriedades da informação:1) I(sk) = 0 quando p(sk) = 12) I(sk) > 0 para 0 < p(sk) < 13) I(sk) > I(si) para p(sk) < p(si)4) I(sksi) = I(sk) I(si) se sk e si forem independentes.Exemplo: calcule a informação associada a cada um dos símbolospertencentes S={a, b, c, d}, sendo que p(sk) = {0.5, 0.3, 0.15, 0.05}. Teoria da Informação 29/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 30. Teoria da Informação• Entropia: é a quantidade média de informação fornecida por uma fontediscreta. K −1 K −1  1  H (S ) = ∑ pk I (sk ) = ∑ pk log 2   p  bits k =0 k =0  k• Propriedades da Entropia:1) 0 = H(S) = log2(K)A entropia é nula quando a fonte possui um evento certo.A entropia é máxima quando a fonte é equiprovável.Exercício: calcule a entropia de uma fonte binária onde o símbolo “0”possui probabilidade p0 e o símbolo “1” possui probabilidade p1. Teoria da Informação 30/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 31. Teoria da Informação• Fonte discreta sem memória: é uma fonte que envia símbolos discretosa cada T segundos, onde a ocorrência de um símbolo específico nãomuda a probabilidade de ocorrência do próximo símbolo. Teoria da Informação 31/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 32. Teoria da Informação• Extensão de uma fonte discreta sem memória: consiste em criar umanova fonte cujos elementos são combinações da fonte inicial.• A probabilidade de cada novo elemento será o produto dasprobabilidades individuais dos elementos elementares.Exemplo: Considere uma fonte que representa o resultado de umajogada de um dado honesto.S={1, 2, 3, 4, 5, 6} pk = [1/6, 1/6, 1/6, 1/6, 1/6, 1/6]Quais serão os elementos da extensão de ordem 2 desta fonte, ou seja,de uma fonte que consiste em duas jogadas sucessivas de um dado? Teoria da Informação 32/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 33. Teoria da Informação• A entropia de uma fonte estendida de ordem n é n vezes maior do quea entropia da fonte original.• Exemplo: Seja uma fonte S = {s0, s1, s2} com pk = {¼, ¼, ½}.a) Qual é a entropia desta fonte?b) Encontre a fonte estendida de ordem 2. Qual é a entropia desta fonte? Teoria da Informação 33/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 34. Teoria da Informação• Codificação de fonte: utilizar a estatística da fonte para minimizar onúmero de bits necessários para representar seus eventos. As palavrascódigos devem ser inequívocas.Exemplo: uma fonte emite os caracteres S={a,b,c,d}. Associe bits acada evento dessa fonte de modo intuitivo.Sabendo que P[a]=0.8, P[b]=0.1, P[c]=0.07 e P[d]=0.03, calcule aentropia da fonte e compare com o número médio de bits que vocêutilizou anteriormente. É possível fazer algo mais eficiente?A resposta para esta questão é fornecida pelo 1° Teorema de Shannon! Teoria da Informação 34/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 35. Teoria da Informação• 1° Teorema de Shannon: Teorema de Codificação de Fonte.“O número médio de bits necessários para representaruma fonte discreta é maior ou igual à Entropia destafonte.” K −1 L ≥ H (S ) L = ∑ pk ⋅ l k H (S ) η= k =0 L• É possível construir uma representação binária mais eficiente parauma fonte discreta utilizando palavras código de comprimento variável.Exemplo: código Morse. Teoria da Informação 35/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 36. Teoria da Informação• Compressão: retira a redundância da fonte, reduzindo a entropia demaneira controlada. Exemplos: JPEG, MPEG, Vocoders.• Compactação: retira a redundância da fonte, sem alterar sua entropia.Exemplo: compactadores de arquivos. Redundância Entropia Redundância Entropia Entropia Redundância Compactação Compressão Teoria da Informação 36/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 37. Teoria da Informação• Código do Prefixo: compactação de fonte onde a representação bináriade um símbolo nunca é o prefixo da representação binária de outrosímbolo.• O símbolo mais provável é sempre representado pela menorquantidade de bits.Quais destes códigos é um código do prefixo?• Códigos do prefixo podem ser codificados ou decodificados utilizando Estado 0 ξuma árvore. inicial 0 1 0 ξ1 1 0 ξ2 1 ξ3 Teoria da Informação 37/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 38. Teoria da Informação• Exemplo: encontre um código do prefixo para representar a seguintefonte: S ={s0, s1, s2 , s3}, onde p0=0.7, p1=0.2, p2=0.15 e p3=0.05.Codifique a seguinte seqüência de dados: s1 s0 s0 s0 s2 s0 s3.Desenhe a árvore deste código. Calcule a eficiência da codificação. Teoria da Informação 38/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 39. Teoria da Informação• Limites para o comprimento médio do código do prefixo: H(sk) = L = H(sk)+1• O limite inferior é obtido quando pk = 2-lk.• Quando o limite inferior é atingido, então o código está casado com afonte.• Pode-se utilizar o conceito de fonte estendida para casar um código doprefixo com a fonte. Note o que ocorre com os limites do comprimentomédio normalizado de uma fonte estendida: ¹ H(S n ) · Ln < H(S n ) + 1 ¹ nH(S) · Ln < nH(S) + 1 ¹ Ln 1 H(S) · < H(S) + n n Teoria da Informação 39/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 40. Teoria da Informação• Código de Huffman: é a técnica de codificação empregada noscompactadores ZIP.Procedimento para codificação empregando código Huffman:a) Liste os símbolos em ordem decrescente de probabilidade. Atribua osbits “1” e “0” aos últimos dois símbolos da lista.b) Os dois símbolos combinados formam um novo símbolo cujaprobabilidade de ocorrência é a soma das probabilidades anteriores. Onovo símbolo deve ser reposicionado na lista, que contém um símbolo amenos.c) Repita o processo até que se tenha apenas dois símbolos. O códigopara cada símbolo é obtido pegando-se os “1” e “0” no sentido reversoque culminou nos últimos dois símbolos. Teoria da Informação 40/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 41. Teoria da Informação• Exemplo: Seja uma fonte S={ ?0, ?1, ?2, ?3, ?4}, onde p0=0.15, p1=0.2,p2=0.4, p3=0.15 e p4=0.1. Encontre o código de Huffman para estafonte. Encontre a árvore de decodificação e calcule a eficiência docódigo. ξ2 0,40 0,40 0,40 0,60 0 ξ1 0,20 0,25 0,35 0 0,40 1 ξ0 0,15 0,20 0 0,25 1 ξ3 0,15 0 0,15 1 ξ4 0,10 1 Teoria da Informação 41/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 42. Teoria da Informação• Continuando... Estado 1 ξ2 inicial 0 1 1 ξ4 0 0 ξ3 1 ξ0 0 ξ1 Teoria da Informação 42/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 43. Teoria da Informação• Código Lempel-Ziv: é um código de comprimento fixo que éadaptativo à fonte discreta.• Este código utiliza a correlação entre os símbolos enviados pela fontepara aumentar a sua eficiência.• Outra vantagem: não requer o conhecimento prévio das estatísticas dafonte para obter um alto desempenho.• Para que este código atinja um desempenho adequado é necessárioque uma longa seqüência de símbolos seja codificada.• O Lempel-ziv utiliza um livro de palavras-código cujo tamanho édefinido pelo comprimento da palavra-código. Teoria da Informação 43/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 44. Teoria da Informação• Exemplo: veja página 32 da apostila.• Exercício: utilize o código de Lempel-ziv com n=3 para codificar umafonte discreta S={s0, s1, s2 s3} cujas estatísticas não são conhecidas.Recupere os símbolos a partir do resultado da codificação.Seqüência de saída da fonte: s0 s1 s2 s0 s0 s0 s2 s2 s0 s1 s3 Teoria da Informação 44/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 45. Teoria da Informação• Canais discretos sem memória: é um modelo estatístico do canal decomunicação com J entradas e K saídas.• O sinal de entrada é modelado por uma variável aleatória: X={x0 x1 x2 ... xj-1}• O sinal de saída, que é uma versão ruidosa do sinal de entrada, émodelado por uma variável aleatória Y: Y={y0 y1 y2 ... yk-1}• Para caracterizar o canal é necessário conhecer as probabilidades detransição p(yk/xj) para todo k e todo j. Teoria da Informação 45/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 46. Teoria da Informação• Caracterização de um canal discreto sem memória através da matrizde transição:  p ( y0 / x0 ) p ( y1 / x0 ) L p ( yk −1 / x0 )   p( y / x ) p ( y1 / x1 ) L p ( yk −1 / x1 )  P=  0 1   M M O M     p ( y0 / x j −1 ) p ( y1 / x j −1 ) L p ( yk −1 / x j −1 )  • Dado que um símbolo foi inserido na entrada do canal, haverá umsímbolo na saída com uma dada probabilidade. Logo: K −1 ∑ p( y k =0 k / xj) =1 Teoria da Informação 46/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 47. Teoria da Informação• Utilizando a lei das probabilidades marginais pode-se obter aprobabilidade de um dado símbolo Y aparecer na saída do canal. J −1 p ( yk ) = ∑ p ( x j , yk ) j =0 J −1 p ( yk ) = ∑ p ( yk / x j ) p( x j ) j =0 Teoria da Informação 47/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 48. Teoria da Informação• Modelo de canal binário discreto sem memória: é uma maneirasimples e eficiente de modelar o comportamento de um canal decomunicação binário. 1-p x0 = 0 y0 = 0 p p x1 = 1 y1 = 1 1-p• A matriz de transição deste canal é dada por: 1 − p p  P=   p 1 − p Teoria da Informação 48/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 49. Teoria da Informação• Exemplo: um canal binário discreto sem memória apresenta p=0.1.• Assumindo que uma fonte com p0=0.4 e p1=0.6 seja empregada naentrada do canal, qual é a entropia do sinal na saída do canal?• Qual é a probabilidade de erro de bit neste canal?• Qual será a entropia na entrada e na saída deste canal se a fontesempre emitir o símbolo “1”? Teoria da Informação 49/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 50. Teoria da Informação• Informação Mútua: determina a quantidade de informação obtidasobre uma ponta do canal, dado que foi observada a outra ponta docanal. I(X :Y) = H (X ) − H (X /Y ) I (Y : X ) = H (Y ) − H (Y / X )• Entropia condicional: determina a quantidade de incertezaremanescente sobre uma ponta do canal, dado que a outra ponta foiobservada K −1 J −1  1  H ( X / Y ) = ∑∑ p ( x j , yk ) log 2    p( x / y )  k =0 j =0  j k  K −1 J −1  1  H (Y / X ) = ∑∑ p ( x j , yk ) log 2    p( y / x )  k =0 j =0  k j  Teoria da Informação 50/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 51. Teoria da Informação• Propriedades da Informação Mútua:a) Simetria: I(X:Y) = I(Y:X)b) Polaridade: I(X:Y) = 0c) Dependência conjunta: I(X:Y)=H(X)+H(Y)-H(X,Y) H ( X ;Y ) K −1 J −1  1 H ( X , Y ) = ∑∑ p ( x j , yk ) log 2    p( x , y )  k =0 j =0  j k  H (X | Y) I ( X ;Y ) H (Y | X ) H(X ) H (Y ) Teoria da Informação 51/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 52. Teoria da Informação• Exemplo: Qual é a informação mútua do canal do exemplo anterior,para ambas distribuições de probabilidade da fonte de entrada? Teoria da Informação 52/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 53. Teoria da Informação• Capacidade do canal: é a máxima informação mútua que se pode obterde um canal de comunicação.• A informação mútua depende da distribuição da fonte de entrada e daprobabilidade de transição do canal.• A capacidade do canal somente será atendida se a fonte de entradaapresentar a distribuição adequada.• Para um canal binário, a capacidade do canal é atingida apenas quando 1a fonte de entrada é equiprovável. 0.9 0.8C = 1 + (1 ¡ p) ¢ log2 (1 ¡ p) + p ¢ log2 (p) 0.7 Capacidade do Canal 0.6 0.5 0.4• Qual é a Capacidade do Canal quando: 0.3 0.2 p = 0, p = 0.5 e p = 1? 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Probabilidade de transição Teoria da Informação 53/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 54. Teoria da Informação• Qual é a variação da Informação Mútua de um canal binário semmemória em função da distribuição da fonte de entrada e daprobabilidade de transição? Teoria da Informação 54/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 55. Teoria da Informação• Codificação de canal: tem como objetivo inserir bits de redundânciade maneira controlada que permitem detectar e corrigir erros causadospelo canal. Fonte discreta Codificador Canal discreto Decodificador Destino sem memória de canal sem memória de Canal Ruído Teoria da Informação 55/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 56. Teoria da Informação• Transmissão confiável: é aquela em que a probabilidade de erro de bitpode ser tão baixa quanto necessário.• O 2° Teorema de Shannon determina qual é a condição para que tenhauma transmissão confiável.“Existe um esquema de codificação de canal que permite que a taxa deerro de bit seja tão baixa quanto desejada se a seguinte condição forsatisfeita: H (S ) C ≤ Ts Tc• Ts é o tempo de emissão dos símbolos pela fonte e TC é o tempo de bitapós a codificação de canal. Teoria da Informação 56/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 57. Teoria da Informação• Aplicação do Teorema de Codificação de Canal:a) Taxa de codificação: é a razão entre o número de bits de informaçãopelo número total de bits inseridos pelo codificador de canal: k k r= = n k+pb) Se a vazão do sistema tiver que se manter constante, então o tempode sinalização na saída do codificador terá que ser menor do que otempo de sinalização na entrada. Tc r= Tsc) Portanto a condição para que a probabilidade de erro possa ser tãobaixa quanto necessária pode ser reescrita como r·C Teoria da Informação 57/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 58. Teoria da Informação• Exemplo: Código de Repetição – ver página 50 da apostila. Teoria da Informação 58/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 59. Teoria da Informação• Ruído AWGN (Additive White Gaussian Noise): é o ruído térmicopresente em todos os modelos de canais de comunicação. Suascaracterísticas são:a) Média nula.b) Potência: Pruído=s 2=B.N0, onde N0 é a densidade espectral depotência do ruído e B é a largura de faixa do sinal transmitido. SN(f)c) Distribuição Gaussiana e independente. N0/2 f Teoria da Informação 59/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 60. Teoria da Informação• Teorema da Capacidade do Canal: 3° Teorema de Shannon.“Um canal de comunicação limitado em B Hertz delargura de faixa e contaminado por um ruído AWGNcom densidade espectral de potência de N0/2 permitea comunicação confiável a uma taxa menor ou igual a  P   N B  = B log 2 (1 + SNR ) C = B log 2 1 +   0 P é a potência do sinal. SNR é a relação sinal-ruído. Teoria da Informação 60/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 61. Teoria da Informação• Limitante de Shannon 100 Região para a qual Rb>C 10 Fronteira onde Eficiência de BW (Rb/B) Rb=C 1 Região para a qual Rb<C 0.1 0 10 20 30 Eb/N0 em dB Teoria da Informação 61/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações
  • 62. Teoria da Informação• Exemplo 1: qual é a máxima taxa de dados para uma transmissãoconfiável em um canal telefônico com relação sinal ruído igual à 15dB?• Exemplo 2: Qual é a menor largura de faixa possível para se obteruma taxa de transmissão de 15kb/s em um canal com SNR=10dB?• Exemplo 3: Qual é a potência necessária para se conseguir 15kb/s emum canal com 5kHz de banda, sabendo-se que a potência do ruído éigual a 2mW? Teoria da Informação 62/62 Prof. Dr. Luciano Leonel MendesPós-graduação – Redes e Sistemas de Telecomunicações