Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Wege, Umwege, Irrwege zur Kanalkapazität : Zur Geschichte der Entwicklung hocheffizienter digitaler Übertragungsverfahren

1,987 views

Published on

Mit der Entwicklung der Informationstheorie gelang C. E. Shannon, dessen 100. Geburtstag heuer im Mai durch zahlreiche Feiern gedacht wurde, bereits im Jahre 1948 der Beweis, dass mittels Codierverfahren auch über gestörte Übertragungskanäle prinzipiell eine fehlerfreie digitale Übertragung möglich ist, solange nicht versucht wird, mehr Daten zu übertragen als die Kapazität des Kanals zulässt. Dieses Kanalcodierungstheorem leitete eine breite Forschungstätigkeit auf dem Gebiet der Kanalcodierung ein. Dennoch wurden über viele Jahre trotz des Einsatzes anspruchsvollster mathematischer Methoden nur eher bescheidene Fortschritte erreicht und das Ziel, die informationstheoretische Kapazität von Übertragungskanälen in der Praxis nutzbar zu machen, galt viele Jahre als grundsätzlich unerreichbar. Erst durch die Zufallserfindung der sog. „Turbo-Codes“ kam 1993 neue Bewegung in das Gebiet und dabei stellt es sich heraus, dass die Entwicklung durch das wenig geeignete Optimierungsziel „Maximierung der Minimaldistanz“, das aber niemals hinterfragt worden war, in eine ungünstige Richtung gelenkt worden war. Schließlich erkannte McKay 1996, dass die bereits 1963 von R. Gallager vorgeschlagenen „Low Density Parity Check Codes“ von allen bisher bekannt gewordenen Ansätzen wohl der direkteste Weg nahe an die Kanalkapazität gewesen wäre. So war das Problem eigentlich bereits 33 Jahre lang weitgehend gelöst, ohne dass dies bemerkt worden war. Im Jahr 2007 stellte schließlich Erdal Arikan mit der Erfindung der Polar Codes einfache Codier- und Decodierverfahren vor, durch die für eine nach unendlich strebende Codewortlänge die Kanalkapazität mathematisch beweisbar erreicht wird. Wieder zeigte sich, dass mit den nahe verwandten Reed-Muller Codes infolge des falschen Optimierungskriteriums bereits 53 Jahre zuvor das Ziel nur knapp verfehlt worden war.

Im Vortrag wird ausgehend von der Shannon´schen Informationstheorie der Begriff Kanalkapazität eingeführt. Die Wissenschaftsgeschichte wird anhand von verschiedenen Lösungsansätzen nachgezeichnet und es werden die Hemmnisse, die dabei zu Irr- und Umwegen geführt haben, identifiziert. Ein Ausblick auf die aktuelle Forschung und offene Fragen schließt den Vortrag ab.

Published in: Technology
  • Hi there! Get Your Professional Job-Winning Resume Here - Check our website! http://bit.ly/resumpro
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

Wege, Umwege, Irrwege zur Kanalkapazität : Zur Geschichte der Entwicklung hocheffizienter digitaler Übertragungsverfahren

  1. 1. O Wege, Umwege, IrrwegeWege, Umwege, Irrwege zur Kanalkapazit¨atzur Kanalkapazit¨at – Die Entwicklung hocheffizienter digitaler ¨Ubertragungsverfahren – Johannes Huber Lehrstuhl f¨ur Informations¨ubertragung Friedrich–Alexander–Universit¨at Erlangen–N¨urnberg Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 1/50
  2. 2. O ¨Ubersicht¨Ubersicht Informationstheorie Kanalcodierung und Kanalcodierungstheorem Algebraische Kanalcodierung Faltungscodierung Turbo–Codes LDPC–Codes und deren Wiederentdeckung Polar Codes Zusammenfassung und Schlußfolgerungen Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 2/50
  3. 3. O InformationstheorieInformationstheorie Das Shannonsche Informationsmaß: Informationssymbol X = {x1, x2, . . . , xi, . . . , xM } Informationsempf¨anger: Beobachter eines Zufallsexperiments Information: Verringerung der Unsicherheit ¨uber das Ergebnis eines Zufallsexperiments Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 3/50
  4. 4. O InformationstheorieInformationstheorie Das Shannonsche Informationsmaß: Informationssymbol X = {x1, x2, . . . , xi, . . . , xM } Informationsempf¨anger: Beobachter eines Zufallsexperiments Information: Verringerung der Unsicherheit ¨uber das Ergebnis eines Zufallsexperiments Informationsmaß nach C.E. Shannon (1948): IS(xi) = − log2(Pr{X = xi}) bit Symbol Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 3/50
  5. 5. O InformationstheorieInformationstheorie Mittlerer Informationsgehalt je Quellensymbol: → Entropie der Informationsquelle H(X) = − M i=1 Pr{X = xi} log2(Pr{X = xi}) bit Symbol Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 4/50
  6. 6. O InformationstheorieInformationstheorie Mittlerer Informationsgehalt je Quellensymbol: → Entropie der Informationsquelle H(X) = − M i=1 Pr{X = xi} log2(Pr{X = xi}) bit Symbol Beispiel: Vereinfachtes Lotto X = {6−, 5−, 4−, 3 − Richtige, kein Gewinn} H(X) = 0,14 bit/Ziehung Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 4/50
  7. 7. O InformationstheorieInformationstheorie Beispiel: Bin¨are Quelle X ∈ {A, B} , Pr{X = A} = p , Pr{X = B} = 1 − p H(X) bit Bin¨arsymbol p Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 5/50
  8. 8. O InformationstheorieInformationstheorie Beispiel: Bin¨are Quelle X ∈ {A, B} , Pr{X = A} = p , Pr{X = B} = 1 − p fairer M¨unzwurf ↓H(X) bit Bin¨arsymbol p Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 5/50
  9. 9. O InformationstheorieInformationstheorie Informations¨ubertragung ¨uber gest¨orte Kan¨ale: Direkte Beobachtung von X nicht m¨oglich. ⇒ R¨uckschluß auf X anhand der Beobachtung von Y , aber leider unzuverl¨assig! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 6/50
  10. 10. O InformationstheorieInformationstheorie Informations¨ubertragung ¨uber gest¨orte Kan¨ale: Direkte Beobachtung von X nicht m¨oglich. ⇒ R¨uckschluß auf X anhand der Beobachtung von Y , aber leider unzuverl¨assig! Kanal: Mehr oder weniger zuf¨allige Erzeugung von Y aus X. M × L bedingte Wahrscheinlichkeiten Pr{Y = yj | X = xi} = kij Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 6/50
  11. 11. O InformationstheorieInformationstheorie Beispiel: Symmetrischer Bin¨arkanal BER: Bit Error Ratio Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 7/50
  12. 12. O InformationstheorieInformationstheorie Beispiel: Symmetrischer Bin¨arkanal BER: Bit Error Ratio Beispiel: Additives weißes gauß’sches Rauschen Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 7/50
  13. 13. O InformationstheorieInformationstheorie Transinformation, Kanalkapazit¨at: Verringerung der Unsicherheit ¨uber X durch Beobachtung von Y : Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 8/50
  14. 14. O InformationstheorieInformationstheorie Transinformation, Kanalkapazit¨at: Verringerung der Unsicherheit ¨uber X durch Beobachtung von Y : − log2(Pr{X = xi}) Unsicherheit vorher Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 8/50
  15. 15. O InformationstheorieInformationstheorie Transinformation, Kanalkapazit¨at: Verringerung der Unsicherheit ¨uber X durch Beobachtung von Y : − log2(Pr{X = xi}) − (− log2(Pr{X = xi | Y = yj})) Unsicherheit vorher − Unsicherheit nachher Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 8/50
  16. 16. O InformationstheorieInformationstheorie Transinformation, Kanalkapazit¨at: Verringerung der Unsicherheit ¨uber X durch Beobachtung von Y : − log2(Pr{X = xi}) − (− log2(Pr{X = xi | Y = yj})) = Unsicherheit vorher − Unsicherheit nachher = = ¨ubertragene Information bit Kanalbenutzung Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 8/50
  17. 17. O InformationstheorieInformationstheorie Im Mittel je Kanalbenutzung ¨ubertragene Information: → Transinformation I(X; Y ) = M i=1 L j=1 Pr{X = xi} kij log2 kij M l=1 Pr{X = xl} klj Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 9/50
  18. 18. O InformationstheorieInformationstheorie Im Mittel je Kanalbenutzung ¨ubertragene Information: → Transinformation I(X; Y ) = M i=1 L j=1 Pr{X = xi} kij log2 kij M l=1 Pr{X = xl} klj Maximierung der Transinformation Kanalkapazit¨at: C = max Pr{X} I(X; Y ) bit Kanalbenutzung Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 9/50
  19. 19. O InformationstheorieInformationstheorie Beispiel: Symmetrischer Bin¨arkanal mit Bit Error Ratio BER C = 1 + BER log2(BER) + (1 − BER) log2(1 − BER) bit Kanalbenutzung C bit Kanalbenutzung BER Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 10/50
  20. 20. O InformationstheorieInformationstheorie Beispiel: Kanal mit additivem weißen gauß’schen Rauschen Bei beschr¨ankter mittlerer Sendeleistung S = σ2 x wird die Transinformation f¨ur kontinuierlich gaußverteilte Eingangsvariable X maximiert: Kanalkapazit¨at (AWGN–Kanal): C = 1 2 log2 1 + S N bit Kanalbenutzung Shannons ber¨uhmte Gleichung (1948). Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 11/50
  21. 21. O InformationstheorieInformationstheorie Kapazit¨at des AWGN–Kanals: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
  22. 22. O InformationstheorieInformationstheorie Kapazit¨at des AWGN–Kanals: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
  23. 23. O InformationstheorieInformationstheorie Kapazit¨at des AWGN–Kanals: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
  24. 24. O InformationstheorieInformationstheorie Kapazit¨at des AWGN–Kanals: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
  25. 25. O InformationstheorieInformationstheorie Kapazit¨at des AWGN–Kanals: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
  26. 26. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Redundante Kanalcodierung: Wort aus n Bin¨arsymbolen Xi ∈ {0, 1} ⇒ Es existieren somit 2n m¨ogliche verschiedene W¨orter Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 13/50
  27. 27. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Redundante Kanalcodierung: Wort aus n Bin¨arsymbolen Xi ∈ {0, 1} ⇒ Es existieren somit 2n m¨ogliche verschiedene W¨orter Beispiele: • n = 10 210 = 1024 • n = 100 2100 = 1,3 · 1030 • n = 1000 21000 = 1,1 · 10301 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 13/50
  28. 28. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information je Wort k bit Information je Wort n Bin¨arsymbole Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
  29. 29. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information je Wort k bit Information je Wort n Bin¨arsymbole Von 2n m¨oglichen W¨ortern sind nur 2k Codew¨orter zugelassen → Code Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
  30. 30. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information je Wort k bit Information je Wort n Bin¨arsymbole Von 2n m¨oglichen W¨ortern sind nur 2k Codew¨orter zugelassen → Code Mittlerer Informationsgehalt je Codesymbol → Rate des Code R = k n bit Codesymbol Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
  31. 31. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information je Wort k bit Information je Wort n Bin¨arsymbole Von 2n m¨oglichen W¨ortern sind nur 2k Codew¨orter zugelassen → Code Mittlerer Informationsgehalt je Codesymbol → Rate des Code R = k n bit Codesymbol Coderedundanz je bin¨arem Codesymbol: ρ = 1 − R = n − k n bit Codesymbol Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
  32. 32. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information je Wort k bit Information je Wort n Bin¨arsymbole Von 2n m¨oglichen W¨ortern sind nur 2k Codew¨orter zugelassen → Code Mittlerer Informationsgehalt je Codesymbol → Rate des Code R = k n bit Codesymbol Coderedundanz je bin¨arem Codesymbol: ρ = 1 − R = n − k n bit Codesymbol Je zugelassenem Codewort werden 2n−k m¨ogliche W¨orter verworfen! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
  33. 33. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information/Wort k bit Information/Wort n Bin¨arsymbole Beispiel: Code mit Rate R = 0,6 bit Codesymbol • n = 100, k = 60 → Dichte = 1 1,1 · 1012 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 15/50
  34. 34. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information/Wort k bit Information/Wort n Bin¨arsymbole Beispiel: Code mit Rate R = 0,6 bit Codesymbol • n = 100, k = 60 → Dichte = 1 1,1 · 1012 • n = 1000, k = 600 → Dichte = 1 2,6 · 10120 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 15/50
  35. 35. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information/Wort k bit Information/Wort n Bin¨arsymbole Beispiel: Code mit Rate R = 0,6 bit Codesymbol • n = 100, k = 60 → Dichte = 1 1,1 · 1012 • n = 1000, k = 600 → Dichte = 1 2,6 · 10120 • n = 10000, k = 6000 → Dichte = 1 1,3 · 101204 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 15/50
  36. 36. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information/Wort k bit Information/Wort n Bin¨arsymbole Beispiel: Code mit Rate R = 0,6 bit Codesymbol • n = 100, k = 60 → Dichte = 1 1,1 · 1012 • n = 1000, k = 600 → Dichte = 1 2,6 · 10120 • n = 10000, k = 6000 → Dichte = 1 1,3 · 101204 Die geringe Dichte zugelassener Codew¨orter erlaubt sichere Erkennung und Korrektur von Fehlern! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 15/50
  37. 37. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Kanalcodierungstheorem (Shannon 1948): Theorem: Auch ¨uber einen gest¨orten ¨Ubertragungskanal kann Information prinzipiell mit beliebig hoher Zuverl¨assigkeit ¨ubertragen werden, wenn man eine redundante Kanalcodierung einsetzt und dabei die Rate R des Codes kleiner als die Ka- pazit¨at C des Kanals sowie die Blockl¨ange n gen¨ugend groß gew¨ahlt werden. ¨Ubersteigt dahingegen die Coderate die Kanalkapazit¨at, dann ist eine zu- verl¨assige Informations¨ubertragung prinzipiell unm¨oglich. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 16/50
  38. 38. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Kanalcodierungstheorem (Shannon 1948): Theorem: Auch ¨uber einen gest¨orten ¨Ubertragungskanal kann Information prinzipiell mit beliebig hoher Zuverl¨assigkeit ¨ubertragen werden, wenn man eine redundante Kanalcodierung einsetzt und dabei die Rate R des Codes kleiner als die Ka- pazit¨at C des Kanals sowie die Blockl¨ange n gen¨ugend groß gew¨ahlt werden. ¨Ubersteigt dahingegen die Coderate die Kanalkapazit¨at, dann ist eine zu- verl¨assige Informations¨ubertragung prinzipiell unm¨oglich. Beweisverfahren: Berechnung einer oberen Schranke f¨ur den Mittelwert der Wort- fehlerwahrscheinlichkeit f¨ur alle m¨oglichen Codes, bzw. wenn Codew¨orter zuf¨allig aus der Menge der m¨oglichen W¨orter ausgew¨ahlt werden. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 16/50
  39. 39. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Kommentare und Interpretationen: ¨Uber einen gest¨orten Kanal kann je Benutzung aufgrund der verbleibenden Unsicherheit beim Einzelsymbol nicht log2(M) sondern h¨ochstens C ≤ log2(M) bit Information sicher ¨ubertragen werden. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 17/50
  40. 40. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Kommentare und Interpretationen: ¨Uber einen gest¨orten Kanal kann je Benutzung aufgrund der verbleibenden Unsicherheit beim Einzelsymbol nicht log2(M) sondern h¨ochstens C ≤ log2(M) bit Information sicher ¨ubertragen werden. Durch den Kanalcode werden k bit Information auf n Codesymbole gleichm¨aßig verteilt. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 17/50
  41. 41. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Kommentare und Interpretationen: ¨Uber einen gest¨orten Kanal kann je Benutzung aufgrund der verbleibenden Unsicherheit beim Einzelsymbol nicht log2(M) sondern h¨ochstens C ≤ log2(M) bit Information sicher ¨ubertragen werden. Durch den Kanalcode werden k bit Information auf n Codesymbole gleichm¨aßig verteilt. Eine zuverl¨assige ¨Ubertragung ist dann und nur dann m¨oglich, wenn im Mittel nicht mehr Informations¨ubertragung vom Kanal verlangt wird, als dieser zu ¨ubertragen in der Lage ist. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 17/50
  42. 42. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Ein Kanalcode funktioniert wie eine Krankenversicherung: • Krankheit: → St¨orung • Pr¨amie: → Redundanz • mehr Versicherte, bessere Mittellung: → große Codewortl¨ange • Bankrott der Versicherung (mehr Kosten als Pr¨amien): → Codewortfehler Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 18/50
  43. 43. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Ein Kanalcode funktioniert wie eine Krankenversicherung: • Krankheit: → St¨orung • Pr¨amie: → Redundanz • mehr Versicherte, bessere Mittellung: → große Codewortl¨ange • Bankrott der Versicherung (mehr Kosten als Pr¨amien): → Codewortfehler Informationstheorie liefert nur prinzipielle Aussagen: • keine Hinweise auf praktikable Verfahren • Tabellen f¨ur Coder und Decoder sind f¨ur gr¨oßere Wortl¨angen prinzipiell nicht m¨oglich! ⇒ Suche nach algorithmischen Verfahren Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 18/50
  44. 44. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Ein Kanalcode funktioniert wie eine Krankenversicherung: • Krankheit: → St¨orung • Pr¨amie: → Redundanz • mehr Versicherte, bessere Mittellung: → große Codewortl¨ange • Bankrott der Versicherung (mehr Kosten als Pr¨amien): → Codewortfehler Informationstheorie liefert nur prinzipielle Aussagen: • keine Hinweise auf praktikable Verfahren • Tabellen f¨ur Coder und Decoder sind f¨ur gr¨oßere Wortl¨angen prinzipiell nicht m¨oglich! ⇒ Suche nach algorithmischen Verfahren Bei großen Wortl¨angen sind (fast) alle m¨oglichen Codes gute Codes! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 18/50
  45. 45. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Ein Kanalcode funktioniert wie eine Krankenversicherung: • Krankheit: → St¨orung • Pr¨amie: → Redundanz • mehr Versicherte, bessere Mittellung: → große Codewortl¨ange • Bankrott der Versicherung (mehr Kosten als Pr¨amien): → Codewortfehler Informationstheorie liefert nur prinzipielle Aussagen: • keine Hinweise auf praktikable Verfahren • Tabellen f¨ur Coder und Decoder sind f¨ur gr¨oßere Wortl¨angen prinzipiell nicht m¨oglich! ⇒ Suche nach algorithmischen Verfahren Bei großen Wortl¨angen sind (fast) alle m¨oglichen Codes gute Codes! Die Codiertheoreme best¨atigen die Relevanz des Shannonschen Informationsmaßes Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 18/50
  46. 46. O Algebraische BlockcodesAlgebraische Blockcodes Konstruktion von Codes mittels Mathematik in endlichen K¨orpern (Galoisfelder) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
  47. 47. O Algebraische BlockcodesAlgebraische Blockcodes Konstruktion von Codes mittels Mathematik in endlichen K¨orpern (Galoisfelder) • Algorithmische Verfahren f¨ur Codierung und Decodierung • Codes mit großen Wortl¨angen werden praktikabel! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
  48. 48. O Algebraische BlockcodesAlgebraische Blockcodes Konstruktion von Codes mittels Mathematik in endlichen K¨orpern (Galoisfelder) • Algorithmische Verfahren f¨ur Codierung und Decodierung • Codes mit großen Wortl¨angen werden praktikabel! Anzahl der Symbole, in denen sich zwei zugelassene Codew¨orter unterscheiden: Hammingdistanz Codewort A: 0 1 0 1 0 1 1 0 1 Codewort B: 1 1 1 1 0 0 1 0 1 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
  49. 49. O Algebraische BlockcodesAlgebraische Blockcodes Konstruktion von Codes mittels Mathematik in endlichen K¨orpern (Galoisfelder) • Algorithmische Verfahren f¨ur Codierung und Decodierung • Codes mit großen Wortl¨angen werden praktikabel! Anzahl der Symbole, in denen sich zwei zugelassene Codew¨orter unterscheiden: Hammingdistanz Codewort A: 0 1 0 1 0 1 1 0 1 Codewort B: 1 1 1 1 0 0 1 0 1 Hammingdistanz δ = 3 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
  50. 50. O Algebraische BlockcodesAlgebraische Blockcodes Konstruktion von Codes mittels Mathematik in endlichen K¨orpern (Galoisfelder) • Algorithmische Verfahren f¨ur Codierung und Decodierung • Codes mit großen Wortl¨angen werden praktikabel! Anzahl der Symbole, in denen sich zwei zugelassene Codew¨orter unterscheiden: Hammingdistanz Codewort A: 0 1 0 1 0 1 1 0 1 Codewort B: 1 1 1 1 0 0 1 0 1 Hammingdistanz δ = 3 Der Code, d.h. die Menge der zugelassenen Codew¨orter, wird zu einem metrischen Raum! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
  51. 51. O Algebraische BlockcodesAlgebraische Blockcodes Code als metrischer Raum bzgl. der Hammingdistanz: Menge der 2n m¨oglichen W¨orter Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 20/50
  52. 52. O Algebraische BlockcodesAlgebraische Blockcodes Code als metrischer Raum bzgl. der Hammingdistanz: Menge der 2n m¨oglichen W¨orter Menge der 2k zugelassenen Codew¨orter (Code) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 20/50
  53. 53. O Algebraische BlockcodesAlgebraische Blockcodes Code als metrischer Raum bzgl. der Hammingdistanz: Menge der 2n m¨oglichen W¨orter Menge der 2k zugelassenen Codew¨orter (Code) Hammingdistanz δ Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 20/50
  54. 54. O Algebraische BlockcodesAlgebraische Blockcodes Code als metrischer Raum bzgl. der Hammingdistanz: Menge der 2n m¨oglichen W¨orter Menge der 2k zugelassenen Codew¨orter (Code) Hammingdistanz δ Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 20/50
  55. 55. O Algebraische BlockcodesAlgebraische Blockcodes Optimierungsziel seit Hamming (1947): m¨oglichst große minimale Hammingdistanz δmin Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 21/50
  56. 56. O Algebraische BlockcodesAlgebraische Blockcodes Optimierungsziel seit Hamming (1947): m¨oglichst große minimale Hammingdistanz δmin Code mit minimaler Hammingdistanz δmin → sicher bis zu t ≤ δmin − 1 2 Codesymbolfehler korrigierbar Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 21/50
  57. 57. O Algebraische BlockcodesAlgebraische Blockcodes Optimierungsziel seit Hamming (1947): m¨oglichst große minimale Hammingdistanz δmin Code mit minimaler Hammingdistanz δmin → sicher bis zu t ≤ δmin − 1 2 Codesymbolfehler korrigierbar Effiziente algebraische Methoden zur Vorw¨artsfehlerkorrektur (Forward Error Correction: FEC) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 21/50
  58. 58. O Algebraische BlockcodesAlgebraische Blockcodes Optimierungsziel seit Hamming (1947): m¨oglichst große minimale Hammingdistanz δmin Code mit minimaler Hammingdistanz δmin → sicher bis zu t ≤ δmin − 1 2 Codesymbolfehler korrigierbar Effiziente algebraische Methoden zur Vorw¨artsfehlerkorrektur (Forward Error Correction: FEC) Bounded–Minimum–Distance (BMD) Fehlerkorrektur: ” Kugel“ mit Radius t (bzgl. Hammingdistanz) um die Codew¨orter Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 21/50
  59. 59. O Algebraische BlockcodesAlgebraische Blockcodes Bose–Chaudhuri–Hocquenghem (BCH) Codes (1959/60): Konstruktion mittels Methoden der Signalverarbeitung, jedoch in finiten K¨orpern: ⇒ K¨orpererweiterung, Diskrete Fouriertransformation, Tiefpassfilterung, Abtasttheorem usw. (Blahut 1979) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 22/50
  60. 60. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): Eb: Empfangsenergie je bit ¨ubertragener Information N0: einseitige Rauschleistungsdichte Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  61. 61. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): Eb: Empfangsenergie je bit ¨ubertragener Information N0: einseitige Rauschleistungsdichte Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  62. 62. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): Eb: Empfangsenergie je bit ¨ubertragener Information N0: einseitige Rauschleistungsdichte Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  63. 63. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): Eb: Empfangsenergie je bit ¨ubertragener Information N0: einseitige Rauschleistungsdichte Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  64. 64. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): Eb: Empfangsenergie je bit ¨ubertragener Information N0: einseitige Rauschleistungsdichte Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  65. 65. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): Eb: Empfangsenergie je bit ¨ubertragener Information N0: einseitige Rauschleistungsdichte Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  66. 66. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  67. 67. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): 5,8 dB Codegewinn bei BER ≈ 10−8 : ⇒ Reduktion der Sendeleistung um Faktor 3,8 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  68. 68. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): 5,8 dB Codegewinn bei BER ≈ 10−8 : ⇒ Reduktion der Sendeleistung um Faktor 3,8 6,0 dB Abstand zur Kapazit¨atsschranke Halber Weg zur Kanalkapazit¨at! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  69. 69. O Algebraische BlockcodesAlgebraische Blockcodes Ursachen der beschr¨ankten Leistungsf¨ahigkeit algebraischer Codierverfahren: optimale Maximum–Likelihood–Decodierung Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 24/50
  70. 70. O Algebraische BlockcodesAlgebraische Blockcodes Ursachen der beschr¨ankten Leistungsf¨ahigkeit algebraischer Codierverfahren: optimale Maximum–Likelihood–Decodierung stattdessen Bounded–Minimum–Distance–Fehlerkorrektur Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 24/50
  71. 71. O Algebraische BlockcodesAlgebraische Blockcodes Bin¨are Vorentscheidung ¨uber die Codesymbole vor der eigentlichen Decodierung (Hard–Decision FEC) ⇒ Verlust von Zuverl¨assigkeitsinformation f¨ur die einzelnen Symbole Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 25/50
  72. 72. O Algebraische BlockcodesAlgebraische Blockcodes Bin¨are Vorentscheidung ¨uber die Codesymbole vor der eigentlichen Decodierung (Hard–Decision FEC) ⇒ Verlust von Zuverl¨assigkeitsinformation f¨ur die einzelnen Symbole Bisher keine effizienten Soft–Decision–Maximum–Likelihood– Decodieralgorithmen f¨ur lange, algebraisch konstruierte Codes bekannt! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 25/50
  73. 73. O FaltungscodesFaltungscodes Scrambler ( ” Verw¨urfler“) f¨ur Bin¨arsequenzen: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 26/50
  74. 74. O FaltungscodesFaltungscodes Scrambler ( ” Verw¨urfler“) f¨ur Bin¨arsequenzen: Ausgangsfolge = Faltung der Eingangsfolge mit der Impulsantwort g[i] des linearen, dispersiven Systems A(z)/B(z) mit z−1 : Bin¨are Speicherzelle (D-Flip-Flop) : Addition modulo 2 (XOR) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 26/50
  75. 75. O FaltungscodesFaltungscodes Faltungscoder mit Rate 1/2: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 27/50
  76. 76. O FaltungscodesFaltungscodes Faltungscoder mit Rate 1/n: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 27/50
  77. 77. O FaltungscodesFaltungscodes Systematischer Faltungscoder mit Rate 1/n: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 27/50
  78. 78. O FaltungscodesFaltungscodes Systematischer Faltungscoder mit Rate 1/n: Auswahl der Scrambler f¨ur gr¨oßtm¨ogliche minimale Hammingdistanz zwischen unterschiedlichen Ausgangsfolgen X[l] Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 27/50
  79. 79. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
  80. 80. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
  81. 81. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
  82. 82. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Bestimmung von a-posteriori Wahrscheinlichkeiten f¨ur die einzelnen Codesymbole Pr {X[l] = 0 | Y [l]} Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
  83. 83. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Bestimmung von a-posteriori Wahrscheinlichkeiten f¨ur die einzelnen Codesymbole Pr {X[l] = 0 | Y [l]} Decodierung: Suche nach Codewort mit gr¨oßter Wahrscheinlichkeit ⇒ Verwertung von Zuverl¨assigkeitsinformationen f¨ur die einzelnen Symbole Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
  84. 84. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Bestimmung von a-posteriori Wahrscheinlichkeiten f¨ur die einzelnen Codesymbole Pr {X[l] = 0 | Y [l]} Decodierung: Suche nach Codewort mit gr¨oßter Wahrscheinlichkeit ⇒ Verwertung von Zuverl¨assigkeitsinformationen f¨ur die einzelnen Symbole Soft–Decision–Decodierung Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
  85. 85. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Decodierung von Faltungscodes: Bestimmung der Folge U[0], U[1], . . . , die aufgrund der analogen Empfangswerte Y [0], Y [1], . . . , unter Ber¨ucksichtigung der Codegesetze die gr¨oßte Wahrscheinlichkeit besitzt. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 29/50
  86. 86. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Decodierung von Faltungscodes: Bestimmung der Folge U[0], U[1], . . . , die aufgrund der analogen Empfangswerte Y [0], Y [1], . . . , unter Ber¨ucksichtigung der Codegesetze die gr¨oßte Wahrscheinlichkeit besitzt. Verwertung von Zuverl¨assigkeitsinformation: Soft–Decision–Maximum–Likelihood–Sequence–Estimation Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 29/50
  87. 87. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Decodierung von Faltungscodes: Bestimmung der Folge U[0], U[1], . . . , die aufgrund der analogen Empfangswerte Y [0], Y [1], . . . , unter Ber¨ucksichtigung der Codegesetze die gr¨oßte Wahrscheinlichkeit besitzt. Verwertung von Zuverl¨assigkeitsinformation: Soft–Decision–Maximum–Likelihood–Sequence–Estimation Viterbi–Algorithmus (1967/1971) Linear Programming (Bellman 1958) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 29/50
  88. 88. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Decodierung von Faltungscodes: Bestimmung der Folge U[0], U[1], . . . , die aufgrund der analogen Empfangswerte Y [0], Y [1], . . . , unter Ber¨ucksichtigung der Codegesetze die gr¨oßte Wahrscheinlichkeit besitzt. Verwertung von Zuverl¨assigkeitsinformation: Soft–Decision–Maximum–Likelihood–Sequence–Estimation Viterbi–Algorithmus (1967/1971) Linear Programming (Bellman 1958) Komplexit¨at steigt exponentiell mit der Zahl der bin¨aren Speicherzellen! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 29/50
  89. 89. O Faltungscodes: Soft-In/Soft-Out DecodingFaltungscodes: Soft-In/Soft-Out Decoding Decodierung von Faltungscodes: Berechnung von a–posteriori Wahrscheinlichkeiten f¨ur alle einzelnen Informationssymbole: Pr {U[i] = 0 | (Y [0], Y [1], . . .)} Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 30/50
  90. 90. O Faltungscodes: Soft-In/Soft-Out DecodingFaltungscodes: Soft-In/Soft-Out Decoding Decodierung von Faltungscodes: Berechnung von a–posteriori Wahrscheinlichkeiten f¨ur alle einzelnen Informationssymbole: Pr {U[i] = 0 | (Y [0], Y [1], . . .)} Verwertung von Zuverl¨assigkeitsinformation und Erzeugung von Zuverl¨assigkeitsinformation: Soft–In/Soft–Out–Decoder (SISO) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 30/50
  91. 91. O Faltungscodes: Soft-In/Soft-Out DecodingFaltungscodes: Soft-In/Soft-Out Decoding Decodierung von Faltungscodes: Berechnung von a–posteriori Wahrscheinlichkeiten f¨ur alle einzelnen Informationssymbole: Pr {U[i] = 0 | (Y [0], Y [1], . . .)} Verwertung von Zuverl¨assigkeitsinformation und Erzeugung von Zuverl¨assigkeitsinformation: Soft–In/Soft–Out–Decoder (SISO) Effizienter Algorithmus (Bahl, Cocke, Jelinek, Raviv 1974) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 30/50
  92. 92. O Faltungscodes: Soft-In/Soft-Out DecodingFaltungscodes: Soft-In/Soft-Out Decoding Decodierung von Faltungscodes: Berechnung von a–posteriori Wahrscheinlichkeiten f¨ur alle einzelnen Informationssymbole: Pr {U[i] = 0 | (Y [0], Y [1], . . .)} Verwertung von Zuverl¨assigkeitsinformation und Erzeugung von Zuverl¨assigkeitsinformation: Soft–In/Soft–Out–Decoder (SISO) Effizienter Algorithmus (Bahl, Cocke, Jelinek, Raviv 1974) Komplexit¨at steigt exponentiell mit der Zahl der bin¨aren Speicherzellen! optimale Decodieralgorithmen verf¨ugbar, aber nur f¨ur relativ einfache Codes Soft-Output Viterbi-Algorithmus (SOVA) (Hagenauer, H¨oher / Huber, 1988) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 30/50
  93. 93. O Faltungscodes: BeispielFaltungscodes: Beispiel Faltungscode mit Rate R = 1/2: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 31/50
  94. 94. O Faltungscodes: BeispielFaltungscodes: Beispiel Faltungscode mit Rate R = 1/2: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 31/50
  95. 95. O Faltungscodes: BeispielFaltungscodes: Beispiel Faltungscode mit Rate R = 1/2: • 6 dB Codegewinn bei BER ≈ 10−8 : ⇒ Reduktion der Sendeleistung um Faktor 4 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 31/50
  96. 96. O Faltungscodes: BeispielFaltungscodes: Beispiel Faltungscode mit Rate R = 1/2: • 6 dB Codegewinn bei BER ≈ 10−8 : ⇒ Reduktion der Sendeleistung um Faktor 4 • Abstand zur Kapazit¨atsschranke: 5,8 dB Halber Weg zur Kanalkapazit¨at! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 31/50
  97. 97. O Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990 Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
  98. 98. O Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990 Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache Codes Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
  99. 99. O Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990 Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache Codes Verkn¨upfung von algebraischer Blockcodierung und Faltungs- codierung: NASA–Standard–Code: BER ≈ 10−8 bei 3,2 dB Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
  100. 100. O Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990 Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache Codes Verkn¨upfung von algebraischer Blockcodierung und Faltungs- codierung: NASA–Standard–Code: BER ≈ 10−8 bei 3,2 dB 3/4 des Weges zur Kanalkapazit¨at! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
  101. 101. O Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990 Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache Codes Verkn¨upfung von algebraischer Blockcodierung und Faltungs- codierung: NASA–Standard–Code: BER ≈ 10−8 bei 3,2 dB 3/4 des Weges zur Kanalkapazit¨at! Die Kanalkapazit¨at erscheint unerreichbar! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
  102. 102. O Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990 Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache Codes Verkn¨upfung von algebraischer Blockcodierung und Faltungs- codierung: NASA–Standard–Code: BER ≈ 10−8 bei 3,2 dB 3/4 des Weges zur Kanalkapazit¨at! Die Kanalkapazit¨at erscheint unerreichbar! ” Theorem“ der Informationstheorie (Jacobs): Alle Codes sind gut, bis auf diejenigen, die wir kennen und anwenden k¨onnen. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
  103. 103. O Turbo–CodesTurbo–Codes Parallele Verkettung von Faltungscodes: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 33/50
  104. 104. O Turbo–CodesTurbo–Codes Parallele Verkettung von Faltungscodes: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 33/50
  105. 105. O Turbo–CodesTurbo–Codes Parallele Verkettung von Faltungscodes: Decodierung nach dem Turbo–Prinzip mit Soft–In/Soft–Out–Decoder Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 33/50
  106. 106. O Turbo–CodesTurbo–Codes Parallele Verkettung von Faltungscodes: Decodierung nach dem Turbo–Prinzip mit Soft–In/Soft–Out–Decoder Inspiriert durch die Arbeiten von Hagenauer, H¨oher / Huber zu Soft-Output Viterbi-Decodierung Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 33/50
  107. 107. O Turbo–CodesTurbo–Codes Blockschaltbild der iterativen Decodierung: C. Berrou und A. Glavieux (ENST Brest, Frankreich, 1991, publ. 1993): • Interpretation des SISO–Decoders als Signalverarbeitungsmodul • Anwendung von Methoden der Regelungstechnik zur Stabilisierung des rekursiven Decodierprozesses Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 34/50
  108. 108. O Turbo–CodesTurbo–Codes Blockschaltbild der iterativen Decodierung: C. Berrou und A. Glavieux (ENST Brest, Frankreich, 1991, publ. 1993): • Interpretation des SISO–Decoders als Signalverarbeitungsmodul • Anwendung von Methoden der Regelungstechnik zur Stabilisierung des rekursiven Decodierprozesses • Erfindung von Außenseitern • nicht betriebsblind durch Fixierung auf Minimaldistanz Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 34/50
  109. 109. O Turbo–CodesTurbo–Codes Blockschaltbild der iterativen Decodierung: C. Berrou und A. Glavieux (ENST Brest, Frankreich, 1991, publ. 1993): • Interpretation des SISO–Decoders als Signalverarbeitungsmodul • Anwendung von Methoden der Regelungstechnik zur Stabilisierung des rekursiven Decodierprozesses • Erfindung von Außenseitern • nicht betriebsblind durch Fixierung auf Minimaldistanz Tutorial Paper von Hagenauer et. al. 1996 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 34/50
  110. 110. O Turbo–Codes — BeispielTurbo–Codes — Beispiel 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
  111. 111. O Turbo–Codes — BeispielTurbo–Codes — Beispiel 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
  112. 112. O Turbo–Codes — BeispielTurbo–Codes — Beispiel 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1Iteration 2 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
  113. 113. O Turbo–Codes — BeispielTurbo–Codes — Beispiel 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1Iteration 23 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
  114. 114. O Turbo–Codes — BeispielTurbo–Codes — Beispiel 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1Iteration 236 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
  115. 115. O Turbo–Codes — BeispielTurbo–Codes — Beispiel 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1Iteration 23618 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
  116. 116. O Turbo–Codes — BeispielTurbo–Codes — Beispiel 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1Iteration 23618 10 log10(Eb/N0) in dB −→ BER−→ Theor.Grenze,0,19dB L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal 95% des Weges zur Kanalkapazit¨at! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
  117. 117. O Turbo–Codes — KennzeichenTurbo–Codes — Kennzeichen Optimale Decodierbarkeit von strukturierten Teilcodes Anwendung des Prinzips der Zufallscodierung → Shannons Beweistechnik! → pseudozuf¨allige Permutation zur Verkn¨upfung der Teilcodes ⇒ Verkn¨upfung der Zufallscodierung mit algorithmischen Verfahren f¨ur Codierung und Decodierung von Teilcodes v¨ollige Vernachl¨assigung der Minimaldistanz bei der Codekonstruktion Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 36/50
  118. 118. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Stefan ten Brink 1999 Analyse des iterativen Decodiervorgangs: Bestimme minimalen St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
  119. 119. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Stefan ten Brink 1999 Analyse des iterativen Decodiervorgangs: Bestimme minimalen St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
  120. 120. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Stefan ten Brink 1999 Analyse des iterativen Decodiervorgangs: Bestimme minimalen St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
  121. 121. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Stefan ten Brink 1999 Analyse des iterativen Decodiervorgangs: Bestimme minimalen St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
  122. 122. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Stefan ten Brink 1999 Analyse des iterativen Decodiervorgangs: Bestimme minimalen St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1) I(U; E2) = I(U; A2) ; I(U; A1) = I(U; E1) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
  123. 123. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Stefan ten Brink 1999 Analyse des iterativen Decodiervorgangs: Bestimme minimalen St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1) I(U; E2) = I(U; A2) ; I(U; A1) = I(U; E1) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
  124. 124. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Geschlossener Tunnel Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 38/50
  125. 125. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Geschlossener Tunnel ⇒ keine Konvergenz bei (1,1)! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 38/50
  126. 126. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Abstand zur Kanalkapazit¨at: Fl¨ache des Konvergenztunnels Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 38/50
  127. 127. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart kapazit¨atserreichende Turbo–Codes (ten Brink 2000): • irregul¨are Turbo–Codes (K¨otter, T¨uchler) • Multiple Turbo–Codes (Huber, H¨uttinger) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 39/50
  128. 128. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart kapazit¨atserreichende Turbo–Codes (ten Brink 2000): • irregul¨are Turbo–Codes (K¨otter, T¨uchler) • Multiple Turbo–Codes (Huber, H¨uttinger) Das Ziel ist nach 52 Jahren erreicht! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 39/50
  129. 129. O Turbo–CodesTurbo–Codes Theorem (Lazic 1995): ¨Ubersteigt die minimale Hammingsdistanz die Gilbert–Varshamov Schranke, so k¨onnen sehr lange Codes die Kapazit¨at des symmetrischen Bin¨arkanals nicht erreichen! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 40/50
  130. 130. O Turbo–CodesTurbo–Codes Theorem (Lazic 1995): ¨Ubersteigt die minimale Hammingsdistanz die Gilbert–Varshamov Schranke, so k¨onnen sehr lange Codes die Kapazit¨at des symmetrischen Bin¨arkanals nicht erreichen! Ebenso beim Entwurf von Codierverfahren f¨ur bandbreiteneffiziente, mehrstufige ¨Ubertragungsverfahren: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 40/50
  131. 131. O Turbo–CodesTurbo–Codes Theorem (Lazic 1995): ¨Ubersteigt die minimale Hammingsdistanz die Gilbert–Varshamov Schranke, so k¨onnen sehr lange Codes die Kapazit¨at des symmetrischen Bin¨arkanals nicht erreichen! Ebenso beim Entwurf von Codierverfahren f¨ur bandbreiteneffiziente, mehrstufige ¨Ubertragungsverfahren: Erfolg durch informationstheoretischen Ratenentwurf (Huber/Wachsmann 1993/1996) f¨ur Multilevel Codes anstelle Maximierung der minimalen Distanz im Signalraum. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 40/50
  132. 132. O Turbo–CodesTurbo–Codes Theorem (Lazic 1995): ¨Ubersteigt die minimale Hammingsdistanz die Gilbert–Varshamov Schranke, so k¨onnen sehr lange Codes die Kapazit¨at des symmetrischen Bin¨arkanals nicht erreichen! Ebenso beim Entwurf von Codierverfahren f¨ur bandbreiteneffiziente, mehrstufige ¨Ubertragungsverfahren: Erfolg durch informationstheoretischen Ratenentwurf (Huber/Wachsmann 1993/1996) f¨ur Multilevel Codes anstelle Maximierung der minimalen Distanz im Signalraum. Optimierung von Codes nach Kriterium große Minimaldistanz erweist sich als Irrweg! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 40/50
  133. 133. O LDPC–CodesLDPC–Codes Low–Density–Parity–Check–Codes: Pr¨ufgleichungen eines linearen Codes Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
  134. 134. O LDPC–CodesLDPC–Codes Low–Density–Parity–Check–Codes: Pr¨ufgleichungen eines linearen Codes X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
  135. 135. O LDPC–CodesLDPC–Codes Low–Density–Parity–Check–Codes: Pr¨ufgleichungen eines linearen Codes X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . . Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
  136. 136. O LDPC–CodesLDPC–Codes Low–Density–Parity–Check–Codes: Pr¨ufgleichungen eines linearen Codes X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . . . . . Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
  137. 137. O LDPC–CodesLDPC–Codes Low–Density–Parity–Check–Codes: Pr¨ufgleichungen eines linearen Codes X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . . . . . . . . Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
  138. 138. O LDPC–CodesLDPC–Codes Low–Density–Parity–Check–Codes: Pr¨ufgleichungen eines linearen Codes X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . . . . . . . . Zusammenfassung aller Pr¨ufgleichungen in einer (n − k) × n Parity–Check–Matrix H Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
  139. 139. O LDPC–CodesLDPC–Codes Low–Density–Parity–Check–Codes: Pr¨ufgleichungen eines linearen Codes X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . . . . . . . . Zusammenfassung aller Pr¨ufgleichungen in einer (n − k) × n Parity–Check–Matrix H f¨ur alle zugelassenen Codew¨orter x gilt xHT = 0 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
  140. 140. O LDPC–CodesLDPC–Codes Eine Pr¨ufgleichung bewirkt eine doppelte ¨Ubertragung eines Symbols (wie beim Wiederholungscode!) • Intrinsische Information ¨uber X1 X1 → Y1 → pin = Pr{X1 = 0 | Y1} Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 42/50
  141. 141. O LDPC–CodesLDPC–Codes Eine Pr¨ufgleichung bewirkt eine doppelte ¨Ubertragung eines Symbols (wie beim Wiederholungscode!) • Intrinsische Information ¨uber X1 X1 → Y1 → pin = Pr{X1 = 0 | Y1} • Extrinsische Information ¨uber X1 X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 → X1 = X5 ⊕ X9 ⊕ X13 X5, X9, X13 → Y5, Y9, Y13 → pex = Pr{X1 = 0 | Y5, Y9, Y13} Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 42/50
  142. 142. O LDPC–CodesLDPC–Codes Eine Pr¨ufgleichung bewirkt eine doppelte ¨Ubertragung eines Symbols (wie beim Wiederholungscode!) • Intrinsische Information ¨uber X1 X1 → Y1 → pin = Pr{X1 = 0 | Y1} • Extrinsische Information ¨uber X1 X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 → X1 = X5 ⊕ X9 ⊕ X13 X5, X9, X13 → Y5, Y9, Y13 → pex = Pr{X1 = 0 | Y5, Y9, Y13} • Verkn¨upfen beider Wahrscheinlichkeiten Pr{X1 = 0 | . . .} = pinpex pinpex + (1 − pin)(1 − pex) Codegesetze genutzt zur Erh¨ohung der Zuverl¨assigkeit! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 42/50
  143. 143. O LDPC–CodesLDPC–Codes Iterativer Prozess: → Erneute Verbesserung von Pr{Xi = 0 | . . .} durch Wiederholung m¨oglich! Nur g¨ultig, solange die statistische Unabh¨angigkeit der unterschiedlichen Aussagen ¨uber ein Symbol gewahrt bleibt! Es sollten keine Kreise (Zyklen) bei der Informationsweitergabe entstehen. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 43/50
  144. 144. O LDPC–Codes — Gallager (1963)LDPC–Codes — Gallager (1963) Wahl der Pr¨ufgleichungen m¨oglichst zuf¨allig Jedes Symbol ist an J Pr¨ufgleichungen beteiligt Jede Pr¨ufgleichung erstreckt sich ¨uber K Symbole Coderate R = 1 − J K (Beispiel: J = 3, K = 6, R = 1 2 ) Vermeidung von Zyklen durch sehr große Wortl¨ange und durch Verwendung weniger Symbole in der Pr¨ufgleichung (Low Density) Verkn¨upfung von Struktur und Zufallsentwurf Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 44/50
  145. 145. O LDPC–Codes — Gallager (1963)LDPC–Codes — Gallager (1963) Iterativer Decodierprozeß mit Ber¨ucksichtigung von Zuverl¨assigkeitsinformation f¨ur die einzelnen Codesymbole! einfachste Teildecoder: • Single–Parity–Check–Code • Wiederholungscode (Repetition Code) In den 60er Jahren weder theoretisch noch simulativ bei großen Wortl¨angen und sehr vielen Iterationen analysierbar Eher bescheidene Leistungsdaten bei handhabbaren kurzen Codes Nicht vorgebbare und daher meist geringe minimale Hammingdistanz ⇒ als ” schlechte“ Codes verworfen Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 45/50
  146. 146. O LDPC–Codes — Gallager (1963)LDPC–Codes — Gallager (1963) Iterativer Decodierprozeß mit Ber¨ucksichtigung von Zuverl¨assigkeitsinformation f¨ur die einzelnen Codesymbole! einfachste Teildecoder: • Single–Parity–Check–Code • Wiederholungscode (Repetition Code) In den 60er Jahren weder theoretisch noch simulativ bei großen Wortl¨angen und sehr vielen Iterationen analysierbar Eher bescheidene Leistungsdaten bei handhabbaren kurzen Codes Nicht vorgebbare und daher meist geringe minimale Hammingdistanz ⇒ als ” schlechte“ Codes verworfen Fallen ab 1965 der Vergessenheit anheim! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 45/50
  147. 147. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung ¨Ahnlichkeiten iterativer Decodierverfahren von LDPC–Codes und Turbo–Codes (MacKay 1996) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 46/50
  148. 148. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung ¨Ahnlichkeiten iterativer Decodierverfahren von LDPC–Codes und Turbo–Codes (MacKay 1996) Nun m¨ogliche Simulationen bei sehr langen Wortl¨angen und sehr vielen Iterationen zeigen ¨ahnlich gute Leistungsf¨ahigkeit wie bei Turbo–Codes Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 46/50
  149. 149. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung ¨Ahnlichkeiten iterativer Decodierverfahren von LDPC–Codes und Turbo–Codes (MacKay 1996) Nun m¨ogliche Simulationen bei sehr langen Wortl¨angen und sehr vielen Iterationen zeigen ¨ahnlich gute Leistungsf¨ahigkeit wie bei Turbo–Codes Entwicklung von ” Density Evolution“ zur Analyse und Optimierung von LDPC–Codes (Richardson/Urbanke) • Irregul¨are LDPC–Codes: unterschiedlich viele Symbole je Pr¨ufgleichung und unterschiedlich viele Pr¨ufgleichungen je Symbol • LDPC–Codes erreichen f¨ur n → ∞ die Kanalkapazit¨at Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 46/50
  150. 150. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung ¨Ahnlichkeiten iterativer Decodierverfahren von LDPC–Codes und Turbo–Codes (MacKay 1996) Nun m¨ogliche Simulationen bei sehr langen Wortl¨angen und sehr vielen Iterationen zeigen ¨ahnlich gute Leistungsf¨ahigkeit wie bei Turbo–Codes Entwicklung von ” Density Evolution“ zur Analyse und Optimierung von LDPC–Codes (Richardson/Urbanke) • Irregul¨are LDPC–Codes: unterschiedlich viele Symbole je Pr¨ufgleichung und unterschiedlich viele Pr¨ufgleichungen je Symbol • LDPC–Codes erreichen f¨ur n → ∞ die Kanalkapazit¨at Schranken f¨ur EXIT–Kurven f¨ur LDPC–Codes unabh¨angig von den speziellen Kanaleigenschaften (Huber/Land, Shamai/Sutzkover 2004) ⇒ Analytische Optimierung von LDPC–Codes wird m¨oglich! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 46/50
  151. 151. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  152. 152. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  153. 153. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 2 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  154. 154. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 210 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  155. 155. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 21020 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  156. 156. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 2102030 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  157. 157. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 2102030 40 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  158. 158. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 2102030 40 100 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  159. 159. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 2102030 40 100 10 log10(Eb/N0) in dB −→ BER−→ Theor.Grenze,0,19dB L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Das Tor zur Kanalkapazit¨at stand bereits 1963 weit offen! Der Umweg erforderte 33 Jahre harter Arbeit! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  160. 160. O Polar Codes (Arikan 2007)Polar Codes (Arikan 2007) 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 der Symbole unsichere ÜbertragungX Y n × n Polar Matrix Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
  161. 161. O Polar Codes (Arikan 2007)Polar Codes (Arikan 2007) 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 der Symbole unsichere Übertragung sehr unsichere Symbole sehr sichere Symbole X Y n × n Polar Matrix Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
  162. 162. O Polar Codes (Arikan 2007)Polar Codes (Arikan 2007) 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 der Symbole unsichere Übertragung sehr unsichere Symbole sehr sichere Symbole X Y n × n Polar Matrix 0 0 0 0 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
  163. 163. O Polar Codes (Arikan 2007)Polar Codes (Arikan 2007) 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 der Symbole unsichere Übertragung sehr unsichere Symbole sehr sichere Symbole X Y n × n Polar Matrix 0 0 0 0 Schrittweise Decodierung mit Entscheidungsr¨uckkopplung m¨oglich: O (n log(n)) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
  164. 164. O Polar Codes (Arikan 2007)Polar Codes (Arikan 2007) 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 der Symbole unsichere Übertragung sehr unsichere Symbole sehr sichere Symbole X Y n × n Polar Matrix 0 0 0 0 Schrittweise Decodierung mit Entscheidungsr¨uckkopplung m¨oglich: O (n log(n)) ⇒ Anwendung der Kettenregel f¨ur die Transinformation (vgl. Huber / Wachsmann ” Codierte Modulation“ 1993) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
  165. 165. O Polar Codes (Arikan 2007)Polar Codes (Arikan 2007) 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 der Symbole unsichere Übertragung sehr unsichere Symbole sehr sichere Symbole X Y n × n Polar Matrix 0 0 0 0 Schrittweise Decodierung mit Entscheidungsr¨uckkopplung m¨oglich: O (n log(n)) ⇒ Anwendung der Kettenregel f¨ur die Transinformation (vgl. Huber / Wachsmann ” Codierte Modulation“ 1993) Beweis der Polarisierungseigenschaft und der Erreichbarkeit der Kanalkapazit¨at anhand von ” Extremes in Information Combining“ (Huber / Land 2004) E {WER} = 2− √ nEp(R) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
  166. 166. O Polar Codes (Arikan 2007)Polar Codes (Arikan 2007) 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 der Symbole unsichere Übertragung sehr unsichere Symbole sehr sichere Symbole X Y n × n Polar Matrix 0 0 0 0 Schrittweise Decodierung mit Entscheidungsr¨uckkopplung m¨oglich: O (n log(n)) ⇒ Anwendung der Kettenregel f¨ur die Transinformation (vgl. Huber / Wachsmann ” Codierte Modulation“ 1993) Beweis der Polarisierungseigenschaft und der Erreichbarkeit der Kanalkapazit¨at anhand von ” Extremes in Information Combining“ (Huber / Land 2004) E {WER} = 2− √ nEp(R) Konstruktionsprinzip wie bei Reed–Muller–Code, jedoch Auswahl von aktiven Zeilen f¨ur Generatormatrix nicht nach dem Kriterium max. Minimaldistanz Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
  167. 167. O ZusammenfassungZusammenfassung Der Weg zur Kanalkapazit¨at wurde ¨uber lange Zeit durch Fixierung auf das Optimierungskriterium Minimaldistanz verstellt. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 49/50
  168. 168. O ZusammenfassungZusammenfassung Der Weg zur Kanalkapazit¨at wurde ¨uber lange Zeit durch Fixierung auf das Optimierungskriterium Minimaldistanz verstellt. Verkn¨upfung von Zufall und Struktur f¨uhrt zusammen mit iterativen Decodierverfahren schließlich zum Ziel. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 49/50
  169. 169. O ZusammenfassungZusammenfassung Der Weg zur Kanalkapazit¨at wurde ¨uber lange Zeit durch Fixierung auf das Optimierungskriterium Minimaldistanz verstellt. Verkn¨upfung von Zufall und Struktur f¨uhrt zusammen mit iterativen Decodierverfahren schließlich zum Ziel. ⇒ Dieser Weg w¨are durch die Beweistechnik der Zufallscodierung in der Informationstheorie eigentlich vorgezeichnet gewesen! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 49/50
  170. 170. O ZusammenfassungZusammenfassung Der Weg zur Kanalkapazit¨at wurde ¨uber lange Zeit durch Fixierung auf das Optimierungskriterium Minimaldistanz verstellt. Verkn¨upfung von Zufall und Struktur f¨uhrt zusammen mit iterativen Decodierverfahren schließlich zum Ziel. ⇒ Dieser Weg w¨are durch die Beweistechnik der Zufallscodierung in der Informationstheorie eigentlich vorgezeichnet gewesen! Manchmal kann es Jahrzehnte dauern, bis die Zeit zur technischen Umsetzung genialer Erfindungen reif wird. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 49/50
  171. 171. O SchlussfolgerungenSchlussfolgerungen Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik: • Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra, diskrete Mathematik, Numerik, Stochastik usw.) • Systemtheorie, Informations- und Codierungstheorie • Digitale Signalverarbeitung • Hochfrequenztechnik, Mikroelektronik Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
  172. 172. O SchlussfolgerungenSchlussfolgerungen Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik: • Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra, diskrete Mathematik, Numerik, Stochastik usw.) • Systemtheorie, Informations- und Codierungstheorie • Digitale Signalverarbeitung • Hochfrequenztechnik, Mikroelektronik Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der Lage, die aktuelle Technik zu verstehen und davon ausgehend neue, konkurrenzf¨ahige Technik zu entwickeln. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
  173. 173. O SchlussfolgerungenSchlussfolgerungen Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik: • Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra, diskrete Mathematik, Numerik, Stochastik usw.) • Systemtheorie, Informations- und Codierungstheorie • Digitale Signalverarbeitung • Hochfrequenztechnik, Mikroelektronik Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der Lage, die aktuelle Technik zu verstehen und davon ausgehend neue, konkurrenzf¨ahige Technik zu entwickeln. Nichts ist praktischer als eine gute Theorie! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
  174. 174. O SchlussfolgerungenSchlussfolgerungen Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik: • Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra, diskrete Mathematik, Numerik, Stochastik usw.) • Systemtheorie, Informations- und Codierungstheorie • Digitale Signalverarbeitung • Hochfrequenztechnik, Mikroelektronik Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der Lage, die aktuelle Technik zu verstehen und davon ausgehend neue, konkurrenzf¨ahige Technik zu entwickeln. Nichts ist praktischer als eine gute Theorie! Digitale Signalverarbeitung und Softwarel¨osungen verk¨urzen den Weg von der theoretischen Erkenntnis zum Produkt dramatisch: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
  175. 175. O SchlussfolgerungenSchlussfolgerungen Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik: • Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra, diskrete Mathematik, Numerik, Stochastik usw.) • Systemtheorie, Informations- und Codierungstheorie • Digitale Signalverarbeitung • Hochfrequenztechnik, Mikroelektronik Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der Lage, die aktuelle Technik zu verstehen und davon ausgehend neue, konkurrenzf¨ahige Technik zu entwickeln. Nichts ist praktischer als eine gute Theorie! Digitale Signalverarbeitung und Softwarel¨osungen verk¨urzen den Weg von der theoretischen Erkenntnis zum Produkt dramatisch: Die Theorie ist der direkte Weg zur Praxis! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
  176. 176. O SchlussfolgerungenSchlussfolgerungen Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik: • Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra, diskrete Mathematik, Numerik, Stochastik usw.) • Systemtheorie, Informations- und Codierungstheorie • Digitale Signalverarbeitung • Hochfrequenztechnik, Mikroelektronik Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der Lage, die aktuelle Technik zu verstehen und davon ausgehend neue, konkurrenzf¨ahige Technik zu entwickeln. Nichts ist praktischer als eine gute Theorie! Digitale Signalverarbeitung und Softwarel¨osungen verk¨urzen den Weg von der theoretischen Erkenntnis zum Produkt dramatisch: Die Theorie ist der direkte Weg zur Praxis! Was macht in diesem Umfeld ein Bachelor? Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50

×