Документ содержит лекцию о кодировании информации, охватывающую основные концепции, такие как операции кодирования и декодирования, а также префиксные коды, обеспечивающие однозначное декодирование. Представлены ключевые теоремы кодирования, включая неравенство Крафта и теоремы о кодировании источников, которые описывают условия существования однозначно декодируемых кодов. Важные акценты делаются на значении средней длины кодового слова и свойствах кодов для дискретных источников.

1. ЛЕКЦИЯ 8

2. Кодирование информации Основные понятия Основные теоремы кодирования

3. Операции кодирования и декодирования Кодирование информации – операция преобразования сообщений в последовательность сигналов Декодирование информации – операция восстановления сообщения по принятым сигналам

4. Префиксные коды Префиксные коды – это такие коды, в которых ни одна более короткая комбинация не является началом более длинной комбинации. Использование префиксных кодов позволяет производить однозначное декодирование без разделителей.

5. Основные теоремы кодирования Теорема 6.1. Неравенство Крафта Для существования однозначно декодируемого (разделимого) кода, содержащего N кодовых слов в множестве {0, 1, D – 1} с длинами n 1 , n 2 , …, n N , необходимо и достаточно, чтобы выполнялось неравенство , ,

6. Основные теоремы кодирования Теорема 6.2. Неравенство Мак-Миллана. Каждый однозначно декодируемый код удовлетворяет неравенству Крафта. , ,

7. Основные теоремы кодирования Теорема 6.3. Теорема кодирования источников I . Для любого дискретного источника без памяти X с конечным алфавитом и энтропией H ( X ) существует D -ичный префиксный код, в котором средняя длина кодового слова удовлетворяет неравенству , ,

8. Основные теоремы кодирования Теорема 6.4. Теорема кодирования источников II . Для блока длины L существует D -ичный префиксный код, в котором средняя длина кодового слова на один символ удовлетворяет неравенству , , где

9. Вопросы Слово в алфавите Префикс и суффикс слова Кодирование множества Побуквенное кодирование Разделимые коды Кодовое дерево Неравенство Крафта Утверждение Мак-Миллана Теорема о кодировании источников I Теорема о кодировании источников II