Документ представляет собой конспект лекций по цифровой обработке аудио и видеосигналов, предназначенный для студентов и инженеров в области радиотехники. В нем рассматриваются методы аналогово-цифрового преобразования, характеристики ацп, типы преобразования данных, а также принципы сжатия аудиоинформации. Особое внимание уделено теоремам, определяющим дискретизацию сигналов, и классификации методов сжатия данных.

1. НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ
ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ
ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
КАЗАНСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
ИМ. А.Н.ТУПОЛЕВА
О. Г. МОРОЗОВ, Р. Р. САМИГУЛЛИН, Н. В. ДОРОГОВ, А. Р. НАСЫБУЛЛИН
ЦИФРОВАЯ ОБРАБОТКА АУДИО И ВИДЕОСИГНАЛОВ
Конспект лекций
КАЗАНЬ
2010

2. Инновационность


Предназначен
для
подготовки
студентов
обучающихся
по
профилю
подготовки
«Аудиовизуальная техника» направления 210400 «Радиотехника», а также для студентов вузов
соответствующих специальностей и инженерам,
специализирующихся в данной области.
Совместное рассмотрение методов и средств
цифровой обработки аудио и видео сигналов
в одном учебном пособии

3. Лекция 1
АНАЛОГО-ЦИФРОВОЕ
ПРЕОБРАЗОВАНИЕ СИГНАЛОВ
Аналоговый сигнал :
U (t ) = A0 sin ω (t )
Преобразование аналогового сигнала в
цифровой состоит из двух этапов:

дискретизации по времени

квантовании по амплитуде.
Дискретизация по времени, как правило,
означает что сигнал представляется
рядом своих отсчётов (дискретов)
непрерывных по амплитуде и взятых
через равные промежутки времени.
Квантование сигнала по амплитуде это
преобразование сигнала в сигнал со
ступенчатым изменением амплитуды.

4. Теорема Котельникова
f ä > 2Ω
где fд– частота с которой производятся
дискретизация по времени
Ω - верхняя частота в спектре
аналогового сигнала.
из теоремы Котельникова вытекают 2 следствия:

Любой аналоговый сигнал, может быть восстановлен с какой
угодно точностью по своим дискретным отсчётам, взятым с
частотой.

Если максимальная частота в сигнале превышает половину
частоты дискретизации, то способа восстановить сигнал из
дискретного в аналоговый без искажений не существует.

5. Параметры, определяющие характеристики
Аналого-цифровых преобразователей
(АЦП)
Статические параметры:

Разрешающая способность

Погрешность полной
шкалы
h = U пш /(2 N − 1)
δ ПШ =
ε ПШ
* 100%
U ПШ

6. Нелинейность - максимальное отклонение реальной характеристики
преобразования D(Uвх) от оптимальной.
εj
δЛ =
* 100%
U ПШ
δ ДЛ
hk − h
=
*100%
U ПШ
дифференциальная
нелинейность
Погрешность линейности характеристики
преобразования АЦП

7. 
Непропадание кодов - свойство АЦП выдавать все возможные
выходные коды, при изменении входного напряжения от
начальной до конечной точки диапазона преобразования.

Монотонность характеристики преобразования - это
неизменность знака приращения выходного кода D при
монотонном изменении входного преобразуемого сигнала.
Монотонность
не
гарантирует
малых
значений
дифференциальной нелинейности и непропадания кодов.

Температурная
нестабильность
АЦ-преобразователя
характеризуется температурными коэффициентами погрешности
полной шкалы и погрешности смещения нуля.

Динамические параметры. Возникновение динамических
погрешностей
связано
с
дискретизацией
сигналов,
изменяющихся во времени. Можно выделить следующие
параметры АЦП, определяющие его динамическую точность.

8. 
Максимальная частота дискретизации (преобразования) - это наибольшая
частота, с которой происходит образование выборочных значений сигнала, при
которой выбранный параметр АЦП не выходит за заданные пределы.
Измеряется числом выборок в секунду.

Время преобразования (tпр) - это время, отсчитываемое от начала импульса
дискретизации или начала преобразования до появления на выходе
устойчивого кода, соответствующего данной выборке.

Время выборки (стробирования) - время, в течение которого происходит
образование одного выборочного значения. При работе без УВХ равно времени
преобразования АЦП.

Шумы АЦ. В идеале, повторяющиеся преобразования фиксированного
постоянного входного сигнала должны давать один и тот же выходной код.
Однако, вследствие неизбежного шума в схемах АЦП, существует некоторый
диапазон выходных кодов для заданного входного напряжения.

9. Контрольные вопросы









Чем определяется выбор частоты дискретизации аналогового сигнала?
Какие два следствия вытекают из теоремы Котельникова?
Какие параметры определяют характеристики АЦП?
Что такое разрешающая способность АЦП?
Что такое погрешность полной шкалы АЦП?
Что такое погрешность смещения нуля АЦП?
Что такое погрешность линейности характеристики преобразования
АЦП?
Какие динамические параметра АЦП вы знаете

10. Лекция 2
Типы преобразования

Линейные АЦП. Большинство АЦП считаются линейными, хотя
аналого-цифровое преобразование по сути является нелинейным
процессом (поскольку операция отображения непрерывного
пространства в дискретное — операция нелинейная).

Нелинейные АЦП. Если бы плотность вероятности амплитуды
входного сигнала имела равномерное распределение, то отношение
сигнал/шум (применительно к шуму квантования) было бы
максимально возможным.

11. Классификация АЦП

12. Параллельные АЦП
АЦП прямого преобразования или параллельный АЦП.
содержит по одному компаратору на каждый дискретный
уровень входного сигнала.
Рис. Структурная схема параллельного АЦП

13. Последовательно-параллельные АЦП являются компромиссом между
стремлением получить высокое быстродействие и желанием сделать это по
возможности меньшей ценой. Последовательно-параллельные АЦП
занимают промежуточное положение по разрешающей способности и
быстродействию между параллельными АЦП и АЦП последовательного
приближения. Последовательно-параллельные АЦП подразделяют на
многоступенчатые, многотактные и конвеерные .
МНОГОСТУПЕНЧАТЫЕ ПОСЛЕДОВАТЕЛЬНО-ПАРАЛЛЕЛЬНЫЕ АЦП

14. Многотактные последовательно-параллельные АЦП

15. Конвеерные АЦП. Быстродействие многоступенчатого АЦП можно повысить,
применив конвеерный принцип многоступенчатой обработки входного сигнала.
Диаграмма работы конвеерного
АЦП

16. Контрольные вопросы








Что обозначает термин линейный применительно к АЦП?
Что значит нелинейный АЦП?
Как классифицируются АЦП?
Что такое параллельные АЦП?
Перечислите все типы последовательно-параллельных АЦП.
В чем преимущество многоступенчатых последовательнопараллельных АЦП?
Нарисуйте схему конвейерного АЦП.
В чем “плюсы” и “минусы” использования конвейерного АЦП?

17. Лекция 3
АЦП последовательные
АЦП последовательного счета.
Структурная схема АЦП последовательного счета
f пр. макс. = (2
N
− 1) / f такт.
Например, при N=10 и fтакт=1 МГц tпр.макс=1024 мкс, что обеспечивает
максимальную частоту выборок порядка 1 кГц.

18. АЦП последовательного приближения (рис.) или АЦП с поразрядным
уравновешиванием.
Структурная схема АЦП последовательного приближения

19. Интегрирующие АЦП.
Недостатком рассмотренных выше последовательных АЦП является низкая
помехоустойчивость результатов преобразования. Действительно, выборка
мгновенного значения входного напряжения, обычно включает слагаемое в виде
мгновенного значения помехи. Впоследствии при цифровой обработке
последовательности выборок эта составляющая может быть подавлена, однако на
это требуется время и вычислительные ресурсы. В АЦП, рассмотренных ниже,
входной сигнал интегрируется либо непрерывно, либо на определенном
временном интервале, длительность которого обычно выбирается кратной
периоду помехи. Это позволяет во многих случаях подавить помеху еще на этапе
преобразования. Платой за это является пониженное быстродействие
интегрирующих АЦП.
АЦП многотактного интегрирования.
Упрощенная схема АЦП работающего в два основных такта (АЦП двухтактного
интегрирования), приведена на рис.

20. Время интегрирования входного напряжения t1 постоянно; в качестве таймера
используется счетчик с коэффициентом пересчета Kсч, так что:
t1 =
K сч
f так.
К моменту окончания интегрирования выходное напряжение интегратора
составляет:
U вх.ср К сч
1 t1
U И (t1 ) = −
∫ U вх (t )dt = −
RC 0
f такт RC
где Uвх.ср. - среднее за время t1 входное напряжение.
Интервал времени, в котором проходит стадия счета, определяется уравнением
1 t1 +t2
U И (t1 ) +
∫U ОП dt = 0
RC t1

21. t2 =
n2
f такт
где n2 - содержимое счетчика
после
окончания стадии
счета, получим результат:
n2 =
Временные диаграммы АЦП
двухкратного интегрирования
U вх.ср К сч
U оп

22. Сигма-дельта АЦП (или АЦП с уравновешиванием или балансом зарядов).
Структурная схема сигма-дельта модулятора
Структурная схема сигма-дельта АЦП

23. ПРЕОБРАЗОВАТЕЛИ НАПРЯЖЕНИЕ-ЧАСТОТА
Структурная схема ПНЧ
Структурная схема АЦП на основе
ПНЧ

24. Контрольные вопросы
Перечислите все типы последовательных АЦП.
•
Объясните принцип работы АЦП последовательного счета по структурной
схеме.
•
От чего зависит время преобразования АЦП последовательного счета?
•
Объясните принцип действия АЦП последовательного приближения.
•
Перечислите все типы интегрирующих АЦП.
•
Какая отличительная особенность метода многотактного интегрирования?
•
Какой принцип лежит в основе сигма-дельта АЦП.
•
Нарисуйте схему
напряжение - частота.
•
АЦП
построенного
по
принципу
преобразователя

25. Лекция 4
Особенности преобразование аудиосигналов в цифровую форму.
показан период гармонического колебания (справа)
и соответствующий ему двоично-дополнительный код (слева).

26. Линейное квантование по амплитуде
шум квантования
ξ Ш КВ ≤
∆
2
Линейное квантование
по уровню:
а) амплитудная
характеристика;
б) шумы квантования.

27. Нелинейное квантование по амплитуде
Нелинейное
квантование
по уровню:
а) амплитудная
характеристика;
б) шумы квантования.

28. Выбор частоты дискретизации аудиосигнала
выбор частоты дискретизации при операции аналого-цифрового преобразования
должен подчиняться теореме Котельникова-Шэннона-Найквиста.
Система
Телефония
Компакт-диск
Профессиональная
аудиосистема
DVD аудио
Частота дискретизации, Гц
8000
44100
48000
96000
(для 6-канального
аудиосигнала)

29. Контрольные вопросы
Что вносит дискретизация в спектр исходного сигнала если ее частота
выбрана согласно теореме Котельникова?
•
Что называют шумом (ошибкой) квантования АЦП?
•
От каких параметров зависит величина шума квантования?
•
Какой цифровой код используют при оцифровке аудиосигнала и почему?
•
Что такое «линейное квантование по амплитуде»?
•
Что такое «нелинейное квантование по амплитуде»?
•
Назовите некоторые типовые значения частот дискретизации, используемые
в широкораспространенных системах.
•
Какой объем будет занимать аудиофайл длительностью 10 мин в формате
ИКМ
•

30. Лекция 5
Цифровое сжатие
Сжатие данных (англ. data compression) — алгоритмическое
преобразование данных, производимое с целью уменьшения их объёма.
Применяется для более рационального использования устройств хранения и
передачи данных. Синонимы — упаковка данных, компрессия, сжимающее
кодирование, кодирование источника.
Сжатие основано на устранении избыточности, содержащейся в
исходных данных. В основе любого способа сжатия лежит модель источника
данных, или, точнее, модель избыточности. Иными словами, для сжатия данных
используются некоторые априорные сведения о том, какого рода данные
сжимаются. Простейшим примером избыточности является повторение в тексте
фрагментов (например, слов естественного или машинного языка). Подобная
избыточность обычно устраняется заменой повторяющейся последовательности
ссылкой на уже закодированный фрагмент с указанием его длины. Другой вид
избыточности связан с тем, что некоторые значения в сжимаемых данных
встречаются чаще других. Сокращение объёма данных достигается за счёт замены
часто встречающихся данных короткими кодовыми словами, а редких —
длинными (энтропийное кодирование). Сжатие данных, не обладающих
свойством избыточности (например, случайный сигнал или шум, зашифрованные
сообщения), принципиально невозможно без потерь.

31. В целом все существующие методы кодирования аудиоинформации можно
условно разделить всего на два типа.
1. Сжатие данных без потерь (lossless coding) - это способ кодирования
(уплотнения) цифровой аудиоинформации, позволяющий осуществлять 100%-ное
восстановление исходных данных из сжатого потока (под понятием "исходные
данные" здесь подразумевается исходный вид оцифрованных аудиоданных). К
такому способу уплотнения данных прибегают в случаях, когда требуется
абсолютное сохранение качества оригинального звучания аудиоданных.
Существующие сегодня алгоритмы сжатия без потерь позволяют сократить
занимаемый данными объем на 20-50%. Механизмы работы подобных кодеров
сходны с механизмами работы архиваторов общих данных, таких, как, например,
ZIP или RAR, но при этом адаптированы специально для сжатия аудиоданных10.
Кодирование без потерь, хотя и идеально с точки зрения сохранности качества
аудиоматериалов, неспособно обеспечить высокий уровень компрессии.
2. Сжатие данных с потерями (lossy coding). Цель такого кодирования достижение любыми путями максимально высокого коэффициента компрессии
данных при сохранении качества их звучания на приемлемом уровне. В основе
идеи кодирования с потерями лежат два простых основополагающих
соображения:
•исходные
цифровые аудиоданные избыточны - они содержат много
бесполезной для слуха информации, которую можно удалить, повысив тем самым
коэффициент компрессии;
•требования к качеству звучания аудиоматериала могут быть разными и
зависят от конкретных целей и сфер использования.

32. Характеристики алгоритмов сжатия и их применимость.
Коэффициент сжатия — основная характеристика алгоритма сжатия. Она
определяется как отношение объёма исходных несжатых данных к объёму сжатых,
то есть:
k = So/Sc,
где k — коэффициент сжатия, So — объём исходных данных, а Sc — объём
сжатых.
Таким образом, чем выше коэффициент сжатия, тем алгоритм эффективнее.
Следует отметить:
если k = 1, то алгоритм не производит сжатия, то есть выходное сообщение
оказывается по объёму равным входному;
если k < 1, то алгоритм порождает сообщение большего размера, нежели
несжатое, то есть, совершает «вредную» работу.
Ситуация с k < 1 вполне возможна при сжатии. Принципиально невозможно
получить алгоритм сжатия без потерь, который при любых данных образовывал
бы на выходе данные меньшей или равной длины. Обоснование этого факта
заключается в том, что поскольку число различных сообщений длиной n бит
составляет ровно 2n, число различных сообщений с длиной меньшей или равной n
(при наличии хотя бы одного сообщения меньшей длины) будет меньше 2 n. Это
значит, что невозможно однозначно сопоставить все исходные сообщения
сжатым: либо некоторые исходные сообщения не будут иметь сжатого
представления, либо нескольким исходным сообщениям будет соответствовать
одно и то же сжатое, а значит их нельзя отличить.

33. Коэффициент сжатия может быть как постоянным (некоторые алгоритмы
сжатия звука, изображения и т. п., например А-закон, μ-закон, ADPCM, усечённое
блочное кодирование), так и переменным. Во втором случае оценён по некоторым
критериям:
•средний (обычно по некоторому тестовому набору данных);
•максимальный (случай наилучшего сжатия);
•минимальный (случай наихудшего сжатия);
Коэффициент сжатия с потерями при этом сильно зависит от допустимой
погрешности сжатия или качества, которое обычно выступает как параметр
алгоритма. В общем случае постоянный коэффициент сжатия способны
обеспечить только методы сжатия данных с потерями.
Допустимость потерь. Основным критерием различия между алгоритмами
сжатия является описанное выше наличие или отсутствие потерь, в то время как
возможность применения сжатия с потерями должна быть обоснована. Для
некоторых типов данных искажения не допустимы в принципе. В их числе:
•символические
данные, изменение которых неминуемо приводит к
изменению их семантики: программы и их исходные тексты, двоичные массивы и
т. п.;
•жизненно
важные данные, изменения в которых могут привести к
критическим ошибкам: например, получаемые с медицинской измерительной
аппаратуры или контрольных приборов летательных, космических аппаратов и т.
п.;
многократно подвергаемые сжатию и восстановлению промежуточные
данные при многоэтапной обработке графических, звуковых и видеоданных.

34. Системные требования алгоритмов. Различные алгоритмы могут
требовать различного количества ресурсов вычислительной системы, на которых
они реализованы:
•оперативной памяти (под промежуточные данные);
•постоянной памяти (под код программы и константы);
•процессорного времени.
Алгоритмы сжатия данных неизвестного формата. Имеется два
основных подхода к сжатию данных неизвестного формата.
На каждом шаге алгоритма сжатия очередной сжимаемый символ либо
помещается в выходной буфер сжимающего кодера как есть (со специальным
флагом, помечающим, что он не был сжат), либо группа из нескольких сжимаемых
символов заменяется ссылкой на совпадающую с ней группу из уже
закодированных символов. Поскольку восстановление сжатых таким образом
данных выполняется очень быстро, такой подход часто используется для создания
самораспаковывающихся программ.
Для каждой сжимаемой последовательности символов однократно либо в
каждый момент времени собирается статистика её встречаемости в кодируемых
данных. На основе этой статистики вычисляется вероятность значения очередного
кодируемого символа (либо последовательности символов). После этого
применяется та или иная разновидность энтропийного кодирования, например,
арифметическое кодирование или кодирование Хаффмана, для представления
часто встречающихся последовательностей короткими кодовыми словами, а редко
встречающихся — более длинными.

35. Контрольные вопросы
Что такое цифровое сжатие?
•
Назовите характеристики алгоритмов сжатия и их применимость.
•
В чем может заключаться избыточность в компрессированных сигналах?
•
Что характеризует коэффициент сжатия?
•
Какой механизм работы сжатия без потерь?
•
Какие ограничения накладываются на сжатие с потерями?
•
Какие два основных подхода к сжатию данных неизвестного формата?
•
Системные требования алгоритмов.
•

36. Лекция 6
Цифровое представление звукового сигнала при записи
Цифровая обработка звукового сигнала при записи
Импульсно-кодовая
модуляция
(ИКМ)
является
наиболее
распространенной формой цифрового представления аудиосигнала. Полученный
в результате преобразования PCM-поток (PCM - Pulse Code Modulation), может
быть как параллельным, когда все биты каждого отсчета передаются
одновременно по нескольким линиям с частотой дискретизации, так и
последовательным, когда биты передаются друг за другом с более высокой
частотой по одной линии.
Структура записываемой информации. Обычно каждый 16-разрядный
отрезок называется словом, которое обычно раскладывают на два символа,
каждый из которых содержит 8 разрядов (бит).
Формирование кадра записи. Для того чтобы в проигрывателе CD можно было
распознавать цифровые данные закодированного сигнала, необходимо эти данные
организовать в определенные образы. Во всех CD образ имеет блочную кадровую
структуру.
Кадр − информационный блок, включающий по шесть выборок звукового
сигнала каждого канала. кадр состоит из 12 слов (по 6 слов на канал). выборки
звукового сигнала осуществляются с частотой 44,1 кГц. В результате первого
мультиплексирования - уже 88,2 кГц, в результате частота кадров, состоящих из 12
слов каждый, составляет 88,2/12=7,35 кГц.

37. Биты (символы
паритета)
Левый
ФНЧ
УВХ
АЦП
Входной
аудиосигнал
Правый
ФНЧ
УВХ
АЦП
Первый
мультиплексор
CIRCкоде
р
41,1 кГц
Кодер сигналов
контроля и
дисплей
Синхрогенера
тор
Сигнал таймера
Биты (символы
данных)
Модулятор
канала
Генератор
таймера
Лазер записи
Рис. Процесс записи аудиоинформации на CD
Выходные
последовательные
данные на лазер
Мастер-копия
компакт диска

38. CIRC-кодер. Схема CIRC-кодера выполняет две функции. Одна
функция схемы − разложить каждое 16-разрядное слово на два 8-разрядных
символа. В течение процесса разложения эти символы подвергаются чередованию
(interleaving) в определенном порядке. В результате чередования непрерывный
музыкальный сигнал оказывается «разбросанным» по разным местам
информационной дорожки CD. Такое «разбрасывание» сигнала по площади CD
делается для повышения помехоустойчивости и достоверности воспроизведения.
Если информационные символы в каком-то месте CD будут повреждены или
«прочитаны» звукоснимателем ошибочно, это не приведет к дефекту, заметному
для слушателя, поскольку ошибочные символы, находящиеся на информационной
дорожке, относятся к различным (по времени) местам записанной музыкальной
программы.
Другая функция схемы CIRC-кодера − обеспечить метод, которым
проигрыватель CD может проверять ошибки в потоке данных. Ошибки в потоке
данных могут возникать как из-за некачественных компакт-дисков, так и из-за
сбоев в процессе считывания информации в устройствах и схемах проигрывателя.
Из-за этих сбоев считывания возникают прерывания полезного сигнала, так
называемые «выпадения». В аналоговой технике такой эффект выпадения
приводит лишь к кратковременному пропуску сигнала и не оказывает влияния на
дальнейшую работу. В случае ИКМ, однако, «выпадения» при воспроизведении
прослушиваются в виде раздражающих пульсирующих шорохов, которые
называют ошибками кодирования.

39. Канальное кодирование. При записи луч лазера фокусируется на поверхности
в пятно определенных размеров. Получаемый при этом пит имеет также
определенный размер, зависящий от характеристик записывающего лазера. В
принципе минимальный по размеру пит будет отображать только одну единицу
информации (один бит). Однако существуют способы, при которых такой
минимальный пит будет отображать не один бит, а больше. Такие способы
преобразования называются канальным кодированием.
Рис. Фрагмент таблицы EFM-кода

40. Декодирование информации, записанной на CD. Основным узлом
декодера является фотодетектор, который преобразует оптический сигнал,
считанный с CD, и преобразует его в три основных функциональных
электрических сигнала: - информационного; - автофокусировки; - отслеживания
(трекинга), обеспечивающего точное сопровождение лазерного луча по дорожке
записи диска.
Схема
питания
лазера
Лазерная
оптическая
система
Фотодиодная матрица
ERCO
Схема
интерполяции и
блокировки
Система
автофокусироваки и
радиального трекинга
Тактовая
схема
Предусилитель ВЧ
сигнала (EFM)
Синхро
генератор
EFM-демодулятор
Цифровой фильтр и
демультиплексор
ЦАП
ЦАП
Усилител
ь
Усилител
ь
Левый аудиоканал
Правый
аудиоканал
Mute
Декодер
сигналовконтроля и
дисплея
Панель
управления
Панель
дисплея
Системный
контроллер
Усилитель серводвигателя вращения диска

41. Контрольные вопросы
Что называют импульсно-кодовой модуляцией?
•
Структура
модуляцией.
•
записываемой
информации
при
импульсно-кодовой
Что такое «Кадр записи» при импульсно-кодовой модуляции?
•
Какое преимущество использования EFM-модуляции?
•
Зачем нужен CIRC-кодер?
•
Какой метод используется в CD проигрывателях для распознавания
ошибок.
•
Что такое канальное кодирование?
•
Декодирование информации записанной на CD.
•

42. Лекция 7
Демодуляция EFM сигналов
≈ 600мВ
3Т 5Т 7Т 9Т 11Т
4Т 6Т 8Т 10Т
Сигнал EFM на выходе ВЧ-предусилителя

43. Нормализованный EFM-сигнал поступает на дальнейшее декодирование.
Декодер в проигрывателе CD представляет собой сочетание различных схемных
устройств, выполняющих целый ряд функций:
− восстановление тактового сигнала данных;
− восстановление синхронизирующего образа из потока данных для
синхронизации всей системы;
− демодуляция EFM-сигнала;
− разделение цифровых сигналов на аудиоинформацию и информацию
субкода;
− восстановление первоначальной последовательности (деперемежение);
− коррекция ошибок;
− интерполяция цифровых сигналов;
− демультиплексирование цифровых сигналов;
− восстановление цифрового аудиосигнала в первоначальный аналоговый
аудиосигнал.

44. Исходная
форма
•
•
•
•
•
•
•
•
•
1 2 3 4 5 6 7 8 9 10
•
•
•
•
•
•
•
•
•
•
1 2 3 4 5 6 7 8 9 10
Выборка
данных на CD
1 2 3 4 5 6 7 8 9 10
Данные после
прочтения
1 2 3 4 5 6 7 8 9 10
Выпадение
1 2 3 4 5 6 7 8 9 10
1 2 3 4 5 6 7 8 9 10
Данные после
деперемежения
1 2 3 4 5 6 7 8 9 10
а)
1 2 3 4 5 6 7 8 9 10
б)
Рис. Принцип перемежения и деперемежения: а − без чередования, б − с чередованием
•

45. Можно использовать три метода устранения воздействия выпадения сигнала
на воспроизведение.
Первый метод − метод блокировки − основан на том, что дефектное слово
блокируется и заменяется просто нулевым значением.
При втором методе ошибочное слово обнаруживается при выполнении
предварительной записи-захвата, и ложное слово заменяется предыдущим, так
что при этом не возникает практически никакого слышимого отличия при
воспроизведении.
И, наконец, лучшую компенсацию выпадения можно осуществить с помощью
линейной интерполяции. В этом случае при распознавании ошибочного слова
оно заменяется словом, имеющим значение, усредненное между предыдущим и
последующим значениями; компенсация ошибки оказывается настолько точной,
что отличить на слух воспроизведенный аудиосигнал от первоначального не
представляется возможным.
Восстановленный в правильной последовательности и скорректированный
поток цифровых аудиоданных подается на цифровой фильтр и схему
демультиплексирования. Цифровая фильтрация обеспечивает более высокое
качество воспроизведения, чем в обычных проигрывателях.
Цифровые фильтры формируют из цифровых звуковых сигналов с частотой
выборки 44,1 кГц цифровые сигналы с частотой выборки, кратной основной
частоте.

46. Контрольные вопросы
Демодуляция EFM сигналов.
•
Какие этапы проходит сигнал после EFM-демодулятора?
•
CIRC-декодер.
•
Что такое перемежение выборок?
•
Что такое деперемежение выборок?
•
Какой принцип узкополосной фазовой синхронизации?
•
Роль ОЗУ в проигрывателях CD.
•
Какие методы компенсации выпадения сигнала используются в
проигрывателях CD?
•

47. Лекция 8
Форматы сжатия аудиосигналов
Формат сжатия звука MP3. MP3 (более точно, англ. MPEG-1/2/2.5 Layer 3
(но не MPEG-3) — третий формат кодирования звуковой дорожки MPEG) —
лицензируемый формат файла для хранения аудио-информации.
Описание формата. В этом формате звуки кодируются частотным
образом (без дискретных партий); есть поддержка стерео, причём в двух
форматах (подробности — ниже). MP3 является форматом сжатия с потерями,
то есть часть звуковой информации, которую (согласно психоакустической
модели) ухо человека воспринять не может или воспринимается не всеми
людьми, из записи удаляется безвозвратно. Степень сжатия можно варьировать,
в том числе в пределах одного файла. Интервал возможных значений битрейта
составляет 8 — 320 кбит/c. Для сравнения, поток данных с обычного компактдиска формата Audio-CD равен 1411,2 кбит/c при частоте дискретизации 44100
Гц.

48. MP3 и «качество Audio-CD». было распространено мнение, что запись с
битрейтом
128
кбит/c
подходит
для
музыкальных
произведений,
предназначенных для прослушивания большинством людей, обеспечивая
качество звучания Audio-CD. В действительности всё намного сложнее. Во-первых,
качество полученного MP3 зависит не только от битрейта, но и от кодирующей
программы (кодека). Во-вторых, помимо превалирующего режима CBR (Constant
Bitrate — постоянный битрейт) (в котором, проще говоря, каждая секунда аудио
кодируется одинаковым числом бит) существуют режимы ABR (Average Bitrate —
усредненный битрейт) и VBR (Variable Bitrate — переменный битрейт). В-третьих,
граница 128 кбит/c является условной.
Режимы кодирования и опции. Существует три версии MP3 формата для
различных нужд: MPEG-1, MPEG-2 и MPEG-2.5. Отличаются они возможными
диапазонами битрейта и частоты дискретизации:
32—320 кбит/c при частотах дискретизации 32000 Гц, 44100 Гц и 48000 Гц
для MPEG-1 Layer 3;
•
16—160 кбит/c при частотах дискретизации 16000 Гц, 22050 Гц и 24000 Гц
для MPEG-2 Layer 3;
•
8—160 кбит/c при частотах дискретизации 8000 Гц и 11025 Гц для MPEG-2.5
Layer 3.
•

49. Режимы управления кодированием звуковых каналов. Так как
формат MP3 поддерживает двухканальное кодирование (стерео), существует 4
режима:
•Стерео — двухканальное кодирование, при котором каналы исходного
стереосигнала кодируются независимо друг от друга, но распределение бит между
каналами в общем битрейте может варьироваться в зависимости от сложности
сигнала в каждом канале.
•Моно — одноканальное кодирование. Единственным плюсом данного
режима может являться только выходное качество по сравнению с режимом
Стерео при одинаковом битрейте, так как на один канал приходится вдвое
большее количество бит, чем в режиме Стерео.
•Двухканальный
— два независимых канала, например звуковое
сопровождение на разных языках. Битрейт делится на два канала. Например, если
заданный битрейт 192 кбит/c, то для каждого канала он будет равен только 96
кбит/c.
•Объединённое стерео (Joint Stereo) — оптимальный способ двухканального
кодирования. Например, в одном из режимов Объединённое стерео левый и
правый каналы преобразуются в их сумму (L+R) и разность (L-R). Для
большинства звуковых файлов насыщеность канала с разностью (L-R) получается
намного меньше канала с суммой (L+R). Поэтому Объединённое стерео позволяет
либо сэкономить на битрейте канала (L-R) или улучшить качество на том же
битрейте, поскольку на канал суммы (L+R) отводится большая часть битрейта. Но
современные кодеки используют различные схемы в разных фреймах (включая
чистое стерео) в зависимости от исходного сигнала.

50. CBR. CBR расшифровывается как Constant Bit Rate, то есть Постоянный
битрейт, который задается пользователем и не изменяется при кодировании
произведения. Таким образом каждой секунде произведения соответствует
одинаковое количество закодированных бит данных (даже при кодировании
тишины). CBR может быть полезен для потоков мультимедиа данных по
ограниченному каналу; в таком случае кодирование использует все возможности
канала данных. Для хранения данный режим кодирования не является
оптимальным, так как он не может выделить достаточно места для сложных
отрезков исходного произведения, при этом бесполезно тратя место на простых
отрезках. Повышенные битрейты (выше 256 кбит/c) могут решить данную
проблему, выделив больше места для данных, но – увеличивая размер файла.
VBR. VBR расшифровывается как Variable Bit Rate, то есть Варьирующийся
Битрейт или Переменный Битрейт, который динамически изменяется
программой-кодером при кодировании, в зависимости от насыщенности
кодируемого аудиоматериала и установленного пользователем качества
кодирования (например, тишина закодируется с минимальным битрейтом).
Аудиоматериал разной насыщенности может быть закодирован с определенным
качеством, которое обычно выше, чем при установке среднего значения в методе
CBR. Минусом данного метода кодирования является сложность предсказания
размера выходного файла. Но этот недостаток VBR-кодирования незначителен в
сравнение с его достоинствами. Также минусом является то, что VBR считает
«незначительной» звуковой информацией более тихие фрагменты, таким образом
получается, что если слушать очень громко, то эти фрагменты будут
некачественными, в то время как CBR делает с одинаковым битрейтом и тихие, и
громкие фрагменты.

51. ABR. ABR расшифровывается как Average Bit Rate, то есть Усредненый
Битрейт, который является гибридом VBR и CBR: битрейт в кбит/c задается
пользователем, а программа варьирует его, постоянно подгоняя под заданный
битрейт. Таким образом, кодер будет с осторожностью использовать максимально
и минимально возможные значения битрейта, так как рискует не вписаться в
заданный пользователем битрейт. Это явный минус данного метода, так как
сказывается на качестве выходного файла, которое будет немного лучше CBR, но
намного хуже VBR. С другой стороны, этот метод позволяет наиболее гибко
задавать битрейт (
Теги. Метки в границах mp3-файла (в начале иили в конце). Существуют
различные версии тегов.
Недостатки формата. MP3 является лидером по распространённости, но
при этом не является лучшим по техническим параметрам. Существуют форматы,
позволяющие добиться большего качества при одинаковом размере файла, такие
как Vorbis, AAC.
Юридические ограничения. Для свободного использования формата
существуют патентные ограничения. Компания Alcatel-Lucent обладает правами на
MP3 и получает отчисления от тех, кто использует этот формат — производителей
плееров и мобильных телефонов. Из-за этого лицензионная чистота формата под
вопросом. В частности, Alcatel-Lucent предъявила претензии компании Microsoft
за то, что в Windows была встроена поддержка MP3. Однако срок действия
патентов на технологию заканчивается в 2010 году, после чего любая компания
сможет использовать её свободно.

52. Формат сжатия звука OGG Vorbis. Vorbis — свободный формат сжатия
звука с потерями, официально появившийся летом 2002 года. Психоакустическая
модель, используемая в Vorbis, по принципам действия близка к MPEG Audio Layer
III и подобным, однако математическая обработка и практическая реализация
этой модели существенно отличаются, что позволило авторам объявить свой
формат совершенно независимым от всех предшественников.
Кодирование.. По всевозможным оценкам является вторым по популярности
форматом компрессии звука с потерями. Широко используется в компьютерных
играх и в файлообменных сетях для передачи музыкальных произведений.По
заявлению
разработчиков,
Vorbis
применяет
более
качественную
психоакустическую модель, чем его конкуренты, дающую лучшую чёткость
воспроизведения при равной плотности потока. В результате сжатый
музыкальный файл окажется в два раза меньше (или в два раза лучше), чем у MP3.
Он поддерживает до 255 отдельных каналов с частотой дискретизации до 192 кГц
и разрядностью до 32 бит (чего не позволяет ни один другой формат сжатия с
потерями), поэтому Vorbis великолепно подходит для кодирования 6-канального
звука DVD-Audio.
К тому же, формат Vorbis — «sample accurate». Это гарантирует, что звуковые
данные перед кодированием и после декодирования не будут иметь смещений,
дополнительных или потерянных сэмплов. Это легко оценить, когда вы кодируете
non-stop музыку (когда один трек постепенно переходит в другой) — в итоге
сохранится целостность звука.

53. Метаданные. Формат изначально разрабатывался с возможностью
потокового вещания. Это даёт формату достаточно полезный побочный эффект —
в одном файле можно хранить несколько композиций с собственными тегами. При
загрузке такого файла в плеер должны отобразиться все композиции, будто их
загрузили из нескольких различных файлов.
Битрейт. Ogg Vorbis по умолчанию использует переменный битрейт, при
этом значения последнего не ограничены какими-то жёсткими значениями, и он
может варьироваться даже на 1 kbps. При этом стоит заметить, что форматом
жёстко не ограничен максимальный битрейт, и при максимальных настройках
кодирования он может варьировать от 400 kbps до 700 kbps. Такой же гибкостью
обладает частота дискретизации — пользователям предоставляется любой выбор в
пределах от 2 кГц до 192 кГц.
Преимущества формата Vorbis
•Отсутствие патентных ограничений.
•До 255 каналов.
•Частота дискретизации до 192 кГц.
•Разрядность до 32 бит.
•«Sample
accurate» — звуковые данные не будут иметь
дополнительных или потерянных сэмплов относительно друг друга.
•«Streamable» — поддержка поточного воспроизведения.
•Эффективные алгоритмы переменного битрейта.
•Гибкий Joint stereo.
•Мощная и гибкая психоакустическая модель.
•Теги хранятся в Юникоде, а не национальной кодировке.
смещений,

54. Контрольные вопросы
Формат сжатия звука MP3.
•
Назовите недостатки формата MP3.
•
Какие диапазоны битрейта и частоты дискретизации предусмотрены в
формате MP3?
•
Какие режимы управления кодированием звуковых каналов существуют в
MP3?
•
Что такое CBR и VBR?
•
Формат сжатия звука OGG Vorbis.
•
Какие требования накладываются на битрейт в формате OGG Vorbis?
•
Назовите основные преимущества формата Vorbis.
•

55. Лекция 9
Формат сжатия звука Windows Media Audio. Windows Media Audio —
лицензируемый формат файла, разработанный компанией Microsoft для хранения
и трансляции аудио-информации.
Форматы сжатия звука FLAC. FLAC (англ. Free Lossless Audio Codec —
свободный аудио-кодек без потерь) — популярный свободный кодек для сжатия
аудио. В отличие от кодеков с потерями Ogg Vorbis, MP3, FLAC не удаляет
никакой информации из аудиопотока и подходит как для прослушивания
музыки на высококачественной звуковоспроизводящей аппаратуре, так и для
архивирования аудиоколлекции. На сегодня формат FLAC поддерживается
многими аудиоприложениями.
Аудиопоток. Основными частями потока являются:
•Строка из четырёх байтов «fLaC»
•Блок метаданных STREAMINFO
•Другие необязательные блоки метаданных
•Аудио фреймы
Первые четыре байта идентифицируют поток FLAC. Следующие за ними
метаданные содержат информацию о потоке, затем идут сжатые аудиоданные.

56. Метаданные. FLAC определяет несколько типов блоков метаданных (все они
перечислены на странице формата). Блоки метаданных могут быть любого
размера, новые блоки могут быть легко добавлены. Декодер имеет возможность
пропускать неизвеcтные ему блоки метаданных. Обязателен только блок
STREAMINFO. Другие блоки предназначены для резервирования места, хранения
таблиц точек поиска, тегов, список разметки аудиодисков, а также данных для
конкретных приложений.
Аудиоданные. За метаданными следуют сжатые аудиоданные. Метаданные и
аудиоданные не чередуются. Как и большинство кодеков, FLAC делит входной
поток на блоки и кодирует их независимо друг от друга.
Разбиение на блоки. Размер блока — очень важный параметр для
кодирования. Если он очень мал, то в потоке будет слишком много заголовков
фреймов, что уменьшит уровень сжатия. Если размер большой, то кодер не сможет
подобрать эффективную модель сжатия.
Межканальная декорреляция. Если на вход поступают стерео аудиоданные,
они могут пройти через стадию межканальной декорреляции. Правый и левый
канал преобразуются к среднему и разностному по формулам: средний = (левый +
правый)/2, разностный = левый — правый. В отличие от joint stereo этот процесс
не приводит к потерям. Для данных с аудио компакт-дисков это обычно приводит
к значительному увеличению уровня сжатия.

57. Моделирование. На следующем этапе кодер пытается аппроксимировать
сигнал такой функцией, чтобы полученный после её вычитания из оригинала
результат (называемый разностью, остатком, ошибкой) можно было закодировать
минимальным количеством битов. Параметры функций тоже должны
записываться, поэтому они не должны занимать много места. FLAC использует два
метода формирования аппроксимаций:
•подгонка простого полинома к сигналу
•общее кодирование с линейными предикторами (LPC).
Остаточное кодирование. Когда модель подобрана, кодер вычитает
приближение из оригинала, чтобы получить остаточный (ошибочный) сигнал,
который затем кодируется без потерь. Для этого используется то обстоятельство,
что разностный сигнал обычно имеет распределение Лапласа и есть набор
специальных кодов Хаффмана, называемый кодами Райса, позволяющий
эффективно и быстро кодировать эти сигналы без использования словаря.
Составление фреймов. Аудиофрейму предшествует заголовок, который
начинается с кода синхронизации и содержит минимум информации,
необходимой декодеру для воспроизведения потока. Сюда также записывается
номер блока или сэмпла и восьмибитная контрольная сумма самого заголовка.
Код синхронизации, CRC заголовка фрейма и номер блока/сэмпла позволяют
осуществлять пересинхронизацию и поиск даже в отсутствие точек поиска. В
конце фрейма записывается его шестнадцатибитная контрольная сумма. Если
базовый декодер обнаружит ошибку, будет сгенерирован блок тишины.

58. Формат сжатия звука AAC. AAC (англ. Advanced Audio Coding) —
собственнический (патентованный) формат аудиофайла с меньшей потерей
качества при кодировании, чем MP3 при одинаковых размерах. Формат также
позволяет сжимать без потери качества исходника (профиль ALAC AAC).
Основные этапы работы AAC.
1. Удаляются невоспринимаемые составляющие сигнала.
2. Удаляется избыточность в кодированном аудио сигнале.
3. Затем сигнал обрабатывается по методу MDCT согласно его сложности.
4. Добавляются коды коррекции внутренних ошибок.
5. Сигнал сохраняется или передаётся.
Аудио стандарт MPEG-4 не требует единственного или малого набора
высокоэффективных схем компрессии, а скорее сложный набор для выполнения
широкого круга операций от кодирования низкокачественной речи до
высококачественного аудио и синтезирования музыки.
Семейство алгоритмов аудио кодирования MPEG-4 охватывает диапазон от
кодирования низкокачественной речи (до 2 кбит/с) до высококачественного аудио
(от 64 кбит/с на канал и выше).
•AAC имеет частоту сэмплов от 8 Гц до 96 кГц и количество каналов от 1 до 48.
•В
отличие от гибридного набора фильтров MP3, AAC использует
Модифицированное Дискретное Косинусное Преобразование (MDCT) вместе с
увеличенным размером «окна» в 2048 пунктов. AAC более подходит для
кодирования аудио с потоком сложных импульсов и прямоугольных сигналов, чем
MP3.
•

59. AAC может динамически переключаться между длинами блоков MDCT от
2048 пунктов до 256.
•Если происходит единственная или кратковременная смена, используется
малое «окно» в 256 пунктов для лучшего разрешения.
•По умолчанию используется большое 2048-пунктовое «окно» для улучшения
эффективности кодирования.
•Превосходства AAC над MP3
•Частоты дискретизации от 8 Гц до 96 кГц (MP3: 8 Гц — 48 кГц)
•До 48 звуковых каналов
•Большая эффективность кодирования при постоянном битрейте
•Большая эффективность кодирования при переменном битрейте
Более гибкий режим Joint stereo Всё это означает, что слушатель получает
улучшенное и более стабильное качество звука, чем при MP3 с таким же или
меньшим битрейтом.

60. Профили.
Low Complexity (MPEG-2/MPEG-4 AAC-LC)
•
Main Profile
•
High Efficiency AAC (MPEG-4 HE-AAC)
•
Scalable Sample Rate (SSR)
•
Long Term Prediction (LTP) — более сложный и ресурсоёмкий (сл-но
•
качественней) чем все остальные
Advanced Lossless Audio Coding (ALAC AAC) - сильная степень сжатия, без
•
математических потерь
Расширения файлов.
.m4a — незащищённый файл AAC
•
.m4b — файл AAC, поддерживающий закладки. Используется для аудиокниг и
•
подкастов.
.m4p — защищённый файл AAC. Используется для защиты файла от
•
копирования при легальной загрузке собственнической музыки в онлайнмагазинах, подобных iTunes Store.
•

61. Контрольные вопросы
Формат сжатия звука Windows Media Audio.
•
Что такое DRM?
•
Форматы сжатия звука FLAC.
•
Назовите основные части аудиопотока в формате FLAC.
•
Что такое межканальная декорреляция?
•
Структура фрейма в формате FLAC.
•
Формат сжатия звука AAC.
•
Какие профили существуют у формата AAC?
•

62. Лекция 10
Сравнение аналоговой и цифровой обработки сигналов
Сигналы могут быть обработаны с использованием аналоговых методов
(аналоговой обработки сигналов, или ASP), цифровых методов (цифровой
обработки сигналов, или DSP) или комбинации аналоговых и цифровых методов
(комбинированной обработки сигналов, или MSP). В некоторых случаях выбор
методов ясен, в других случаях нет ясности в выборе и принятие окончательного
решения основывается на определенных соображениях.
Что касается DSP, то главное отличие его от традиционного компьютерного
анализа данных заключается в высокой скорости и эффективности выполнения
сложных функций цифровой обработки, таких как фильтрация, анализ с
использованием быстрого преобразования Фурье (БПФ) и сжатие данных в
реальном масштабе времени.
Термин "комбинированная обработка сигналов" подразумевает, что системой
выполняется и аналоговая, и цифровая обработка. Такая система может быть
реализована в виде печатной платы, гибридной интегральной схемы (ИС) или
отдельного кристалла с интегрированными элементами. АЦП и ЦАП
рассматриваются как устройства комбинированной обработки сигналов, так как в
каждом из них реализованы и аналоговые, и цифровые функции.

66. Контрольные вопросы
Сравните аналоговую и цифровую обработку сигнала
•
Какие цифровые способы обработки сигнала вы знаете.
•
Нарисуйте структурную схему цифрового фильтра.
•
Чем отличаются АЧХ аналогового и цифрового фильтров
•
Назовите главное отличие DSP от традиционного компьютерного анализа
данных
•
Что подразумевает термин "комбинированная обработка сигналов"
•
Что такое «Цепь нормализации сигнала»?
•
Какое быстродействие требует фильтр со 129 коэффициентами.
•

67. Лекция 11
Для сжатия радиочастотного спектра телесигнала необходимо его оцифровать,
но просто оцифрованный телесигнал требует скорости передачи информации
15...20 Мбит/с. Резервом для снижения скорости передачи является устранение
избыточности. Действительно, избыточность в последовательности кадров в
течении некоторого времени – велика (особенно это проявляется на мало
динамичных сценах. Таким образом, логично создать такую систему передачи
видеосигнала, в которой статиче-ская часть изображения передается редко, а
динамическая — чаще. Это называется устранение избыточности во времени
(временная из-быточность). Далее замечаем, что фон в большинстве кадров
остается практически неизменным, спрашивается, зачем точка за точкой
передавать его. Это называется устранение пространственной избыточности.
Общие принципы передачи телеизображений
Y = 0.299R + 0.587G + 0.114B,
U = R - Y,
При приеме в цветном телевизоре
восстановления (декодирования):
V = B - Y,
осуществляется
R = Y + U, B = Y + V, G = Y - 0.509U - 0.194V
обратный
процесс

68. В настоящее время в эксплуатации находятся три совместимых системы
цветного телевидения - NTSC, PAL, SECAM. Основные различия между ними
заключаются в конкретных методах кодирования телевизионного сигнала см.
Таблице
Тип системы
Вертикальная частота развертки, Гц
NTSC
60
PAL
50
SECAM
50
Горизонтальная частота развертки, кГц
15.374
15.625
15.625
Число строк в кадре
525
625
625
Число видимых (активных) строк в кадре
480
576
576
Амплитудная
Амплитудная
Частотная
Тип модуляции цветовой
поднесущей
Полоса видеосигнала, МГц
4.2
Частота цветовой поднесущей,
МГц
3.60
Разнос несущих видео/звук, МГц
4.5
5.5 для B/G, 6 для I,
6.5 для D/K
6
7 для B/G, 8 для I/D/K
Полная ширина сигнала, МГц
5 для B/G, 5.5 для I,
6 для D/K
4.43
4.41 по U,
4.25 по V

69. Кратко остановимся на особенностях этих систем, рассматривая их в
хронологическом порядке.
NTSC (National Television System Color). Первая система цветного
телевидения, нашедшая практическое применение. Разработана в США в 1953 г.
принята для вещания. Именно при ее создании были выработаны основные
принципы передачи цвета в телевидении. В NTSC каждая телевизионная строка
содержит составляющую яркости Y и два сигнала цветности E I = 0.737U - 0.268V,
EQ=0.478U+0.413V. Здесь переход от осей цветового кодирования U, V к осям I, Q
обусловлен необходимостью сужения ширины полос цветовых поднесущих всего
до ± 0.5 Мгц (в NTSC используется самая узкая полоса видеосигнала). Поскольку
глаз человека мелкие детали зеленого и пурпурного цветов (ось Q) воспринимает
как неокрашеные (ось I - перпендикулярная к Q), то для сигналов EQ и EI это
удается без дополнительных потерь в разрешении. Цветоразностные сигналы
передаются путем амплитудной модуляции поднесущих на одной и той же частоте,
но с фазовым сдвигом на 90њ . Последнее обстоятельство является
принципиально важным для разделения сигналов при приеме. Однако, из-за
неизбежных нелинейных искажений в канале передачи поднесущие оказываются
промодулированными сигналом яркости как по амплитуде, так и по фазе. В
результате в зависимости от яркости участков изображений изменяются их
цветовой тон. Например, человеческие лица на изображении окрашиваются в
красноватый цвет в тенях и в зеленоватый - на освещенных участках. Это и
является основным недостатком системы NTSC.C целью его устранения немецкой
фирмой Telefunken в 1963 г. была разработана система

70. PAL
(Phase
Alternation
Line).
Здесь
использована
аналогичная
амплитудная модуляция цветоразностных сигналов EU=0.877U и EV=0.493V с
фазовым сдвигом на 90њ , но через строку дополнительно производится
изменение знака амплитуды составляющей EU. В результате при восстановлении
в
декодере
цветовые
составляющие
надежно
разделяются
сложением/вычитанием сигналов цветности последовательных телевизионных
строк, и паразитная яркостная модуляция приводит лишь к некоторому
изменению
цветовой
насыщенности.
Усреднение
сигналов
двух
строк
обеспечивает также повышение отношения сигнал/шум, но приводит к
снижению вертикальной четкости в два раза. Впрочем частично последнее
компенсируется увеличением числа телевизионных строк разложения. Система
PAL принята в большинстве стран Западной Европы, Африки и Азии, включая
Китай, Австралию и Новую Зеландию.

71. SECAM
(SEquentiel
Couleur
A
Memoire).
Первоначально
была
предложена во Франции еще в 1954 г., но регулярное вещание после длительных
доработок было начато только в 1967 одновременно во Франции и СССР. В
настоящее время она принята также в Восточной Европе, Монако, Люксембурге,
Иране, Ираке и некоторых других странах. Основная особенность системы поочередная, через строку, передача цветоразностных сигналов (D R= +1.9U, DB=1.5V) с дальнейшим восстановлением в декодере путем повторения строк. При
этом в отличие от PAL и NTSC используется частотная модуляция поднесущих. В
результате цветовой тон и насыщенность не зависят от освещенности, но на
резких переходах яркости возникают цветовые окантовки. Обычно после ярких
участков изображения окантовка имеет синий цвет, а после темных - желтый.
Кроме того, как и в системе PAL, цветовая четкость по вертикали снижена вдвое.

72. формирование полного телевизионного сигнала к видео необходимо
добавить звук, а полученный так называемый низкочастотный телевизионный
сигнал передать через эфир путем модуляции гармоники одного из доступных
радиоканалов (48,5...66 МГц - первый частотный диапазон, 76...100 МГц - второй
частотный диапазон, 174...230 МГц - третий частотный диапазон, 470...790 МГц четвертый частотный диапазон). И здесь даже в рамках одной системы
существуют различия, связанные с конкретной шириной спектра видеосигнала и
его разносом со звуковой частью, полярностью амплитудной модуляции
радиоканала изображения и типом модуляции радиоканала звука. В таблице
представлены основные параметры телевизионных стандартов стран мира.
Стандарт
A
B
C
D
E
F
G
H
I
K
L
M
N
Число
строк
405
625
625
625
819
819
625
625
625
625
625
525
625
Ширина
канала,
МГц
5
7
7
8
14
7
8
8
8
8
8
6
6
Полоса
в/сигнала,
МГц
3
5
5
6
10
5
5
5
5.5
6
6
4.2
4.2
Разнос
видео/
звук,
МГц
3.5
5.5
5.5
6.5
11.15
5.5
5.5
5.5
6
6.5
6.5
4.5
4.5
Полярность
модуляции
видео
+
+
+
+
+
-
Тип
модуляции
несущей звука
AM
ЧМ
AM
ЧМ
AM
AM
ЧМ
ЧМ
ЧМ
ЧМ
AM
ЧМ
ЧМ

73. Контрольные вопросы
Какие можно выделить два общих класса цифрового телевидения?
•
Назовите основные принципы передачи телеизображений.
•
Почему для передачи телеизображений используют цветоразностные
сигналы?
•
Что такое чересстрочная развертка?
•
Система NTSC.
•
Система PAL.
•
Система SECAM.
•
Какие существуют стандарты телевизионного вещания?
•

74. Лекция 12
Цифровое представление сигнала
К системам кодирования в цифровой видеотехнике предъявляются весьма
многочисленные и часто противоречивые требования. Поэтому на практике
кодирование всегда выполняется в несколько приемов. Сейчас принято выделять
следующие основные виды: кодирования источника информации с целью
преобразования сигнала в цифровую форму и его экономное представление путем
сжатия или, как часто говорят, компрессии; кодирования с целью обнаружения и
исправления ошибок; канального кодирования с целью согласования параметров
цифрового
сигнала
со
свойствами
канала
связи
и
обеспечения
самосинхронизации.
Преобразование аналогового телевизионного сигнала в цифровой.
Цифровой телевизионный сигнал получается из аналогового телевизионного
сигнала путем преобразования его в цифровую форму. Это преобразование
включает следующие три операции:
•Дискретизацию во времени, т. е. замену непрерывного аналогового сигнала
последовательностью его значений в дис-кретные моменты времени - отсчетов
или выборок.
•Квантование по уровню, заключающееся в округлении значения каждого
отсчета до ближайшего уровня квантования.
•Кодирование
(оцифровку), в результате которого значение отсчета
представляется в виде числа, соответствующего номеру полученного уровня
квантования.

75. Схема включения АЦП (а) и его входные и выходные сигналы (б)

76. Дискретизация видеосигнала
Перейдем к анализу параметров аналого-цифрового преоб-разования.
Первым из них является частота дискретизации fд. В соответствии с теоремой
Котельникова должно выполняться условие fд> 2fв, где fв - верхняя граничная
частота спектра преобра-зуемого в цифровую форму сигнала. Отсюда следует, в
частности, что частота дискретизации телевизионного сигнала, используемо-го в
нашей стране (fв = 6 МГц), должна быть не менее 12 МГц.
Дискретизация сигнала при выполнении (а-в) и при нарушении (г-е) условий
теоремы Котельникова

77. Спектр дискретизированного сигнала при
выполнении (а)
и при нарушении (б) условий теоремы

78. Варианты расположений отсчетов при дискретизации изображения

79. Дискретизация изображения.
Исходное изображение (а),
дискретизированное изображение (б) и
результат интерполяции (в)

80. 1
b ( x, y ) = 2
4π
∞ ∞
∫ ∫ S( f , f
x
y
)e
2π j ( xf x + yf y )
−∞ −∞
Пример двумерной функции координат
df x df y

81. Примерный вид пространственного спектра для реальных изображений

82. Пространственные спектры дискретизированных изображений в
случаях
выполнения (а) и нарушения (б) условий аналога теоремы Котельникова для
двумерных сигналов

83. Искажения при дискретизации изображения

84. Контрольные вопросы
Что такое интерполяция?
•
В чем проявляются искажения одномерного сигнала, создаваемые
дискретизацией, в случае нарушений условий теоремы Котельникова?
•
Что такое двумерное преобразование Фурье?
•
Что такое пространственная частота? В каких единицах она измеряется (в
случае непрерывных изображений)?
•
Как преобразуется пространственный спектр непрерывного изображения
при дискретизации в случаях выполнения и нарушения условий двумерного
аналога теоремы Котельникова?
•
Почему ошибка квантования является случайной? Каков характер
распределения этой случайной величины?
•
Какие виды искажений возникают в изображении при дискретизации?
•
От каких параметров зависит полоса частот видеосигнала?
•

85. Лекция 12
важнейший параметр аналого-цифрового
Следующий
преобразования число уровней квантования Nкв, определяемое числом двоичных разрядов
АЦП п в соответствии с соотношением
Nкв = 2n
Выбор значения Nкв осуществляется так, чтобы влияние квантования на
изображение не было заметно для получателя информации.
Сигнал до квантования (а),
сигнал после квантования (б),
ошибка квантования (в)

86. Исходное распределение яркости в
изображении (а) и распределение
яркости после квантования (б)

87. Это обусловлено в первую очередь свойствами зрительного аппарата человека.
Как известно, пороговое превышение яркости ΔBпор объекта над фоном, при
котором объект различается наблюдателем, подчиняется в первом приближении
закону Вебера-Фехнера
ΔBпор/B0 = k
где k = 0,015...0,020; В0 - яркость фона. Таким образом, с ростом яркости фона
растет и порог ΔBпор.
Передаточная характеристика гамма-корректора описывает-ся соотношением
Uвых/Uвыхм = (Uвх/Uвхм)γ
где Uвх и Uвых - напряжения сигналов на входе и на выходе гамма-корректора,
соответственно; Uвхм и Uвыхм - максимальные значения диапазонов напряжений
сигналов на входе и на выходе гамма-корректора, соответственно; γ = 0,42...0,48 показатель гамма-коррекции.
График передаточной характеристики гамма-корректора для случая γ=0,45
приведен на рис.

88. Передаточная функция гамма-корректора.

89. Аналого-цифровое преобразование. Квантование.

90. изображение, квантованное на 4
уровня, и соответствующий такому
числу уровней шум квантования, в
котором
нетрудно
разглядеть
сюжет исходного изображения
Изображение, показанное на рис.
получено с использованием 128 уровней

91. Цифровые телевизионные сигналы согласно
Рекомендации ITU-R ВТ 601
Этот стандарт применяется и в современных полностью цифровых
телевизионных системах при цифровом представлении телевизионных сигналов
обычной четкости. В данном стандарте предусмотрено раздельное цифровое
кодирование яркостного и двух цветоразностных сигналов.
Дискретизация. Установлено одно значение частоты дискретизации сигнала
яркости, равное 13,5 МГц, для обоих стандартов развертки - 25 Гц, 625 строк и 30
Гц, 525 строк. Каждый цветоразностный сигнал дискретизируется с вдвое
меньшей частотой 6,75 МГц. В соответствии с принятыми обозначениями, данный
стандарт цифрового кодирования телевизионных сигналов обозначается 4:2:2.
Полное число отсчетов яркости в строке равно 864, а число отсчетов каждого
цветоразностного сигнала - 432. За время активного участка строки формируется
720 отсчетов сигнала яркости и 360 отсчетов каждого цветоразностного сигнала.
Эти количества отсчетов являются промежуточными между значениями, необходимыми для получения квадратных пикселов в указанных стан-дартах развертки.
Таким образом, при разработке Рекомендации 601 был достигнут компромисс.
Число активных строк в кадре для стандарта 625 строк равно 576. Полное число
передаваемых в каж-дом кадре элементов изображения равно 414720.

92. Формат 4:2:0 каждый цветоразностный сигнал имеет частоту дискретизации в 2
раза ниже частоты дискретизации яркостного сигнала и передается в каждой
второй строке. Расположение от-счетов яркостного и цветоразностных сигналов в
плоскости изо-бражения
При формате 4:1:1 оба цветоразностных сигнала передаются в каждой строке,
но их частоты дискретизации в четыре раза меньше частоты дискретизации
сигнала яркости, т. е. равны 3,375 МГц. Число элементов каждого
цветоразностного сигнала в кадре в этом случае такое же, как для формата 4:2:0.
формат 4:4:4 оба цветоразностных сигнала передаются в каждой строке и
дискретизируются с той же часто-той, что и яркостный сигнал.
Квантование. В Рекомендации 601 для всех сигналов предусмотрено
число разрядов квантования n=8, что дает число уровней квантования Nкв =
256. При этом уровню черного сигнала яркости соответству-ет 16-й уровень
квантования, а номинальному уровню белого -235-й уровень квантования. 16
уровней квантования снизу и 20 уровней квантования сверху образуют резервные
зоны на случай выхода значений аналогового сигнала яркости за пределы номинального диапазона. Особые назначения имеют 0-й и 255-й уровни квантования. С
помощью соответствующих им кодов передаются сигналы синхронизации.

93. Аналого-цифровое преобразование сигнала яркости описывается
′
соотношением
Y = 219 EY + 16
′
EY - аналоговый сигнал яркости, изменяющийся в диапазоне от 0 до 1 В (штрих,
как это принято в технической литературе по телевидению, означает, что
сигнал прошел гамма-коррекцию), Y - цифровой сигнал яркости,
изменяющийся в диапазоне от 16 до 235.
Соответствие между
уровнями
аналоговых
телевизионных
сигналов и уровнями
квантования
по
Рекомендации ITU-R
ВТ 601

94. компрессированные цветоразностные сигналы, формируемые в соответствии с
соотношениями
′
ECR = 0, 713 ×ER −Y
,
,
′
ECB = 0,564 ×EB −Y
причем значения сигналов ECR и ЕCB изменяются в диапазоне от -0,5 В до 0,5 В.
Аналого-цифровые преобразования цветоразностных сигналов, в результате
которых получаются цифровые цветоразностные сигналы CR и СB, выполняются в
соответствии со следующими соотношениями
′
′
′
CR = 224 ECR + 128 = 159, 712 ER −Y + 128 ≈ 160 ER −Y + 128
′
′
′
CB = 224 ECB + 128 = 126,336 EB −Y + 128 ≈ 126 EB −Y + 128
Так как цветоразностные сигналы являются двуполярными и максимальные
отклонения от нулевого значения в положительную и отрицательную сторону
примерно одинаковы, 128-й уровень квантования должен соответствовать
нулевому значению этих сигналов. На пред. Рис. показано соответствие между
уровнями аналоговых телевизионных сигналов и уровнями квантования для
обычного тестового изображения в виде восьми цветных полос.

95. Формирователи цифровых телевизионных сигналов
Варианты структурной схемы формирователя цифрового телевизионного сигнала.

96. Стандарт на параллельный видеостык предусматривает передачу цифрового
телевизионного сигнала в виде параллельного цифрового кода
Передача значений отсчетов яркостного Y и цветоразностных CR и СB сигналов
происходит по одним и тем же линиям в следующем порядке: Y, CR, Y, СB, Y, ... .
Частота тактовых импульсов при этом равна fт = 13,5 + 6,75 + 6,75 = 27 МГц.
Сигналы синхронизации телевизионной развертки, представляемые, как
указывалось ранее, кодами 00000000 и 11111111, передаются в общем потоке
данных 36.
Произведение частоты дискретизации fд и числа разрядов квантования n
называется скоростью передачи двоичных символов цифрового сигнала - Q
(бит/с). Для цифровой студийной аппара-туры, удовлетворяющей требованиям
рассматриваемых Рекомен-даций, получаются следующие значения этого
параметра:
для яркостного сигнала: QY = 13,5·8 = 108 Мбит/с;
для цветоразностного сигнала: QC =6,75·8 = 54 Мбит/с.
Суммарная скорость передачи двоичных символов преобра-зованного в
цифровую форму полного цветного телевизионного сигнала (ПЦТС) для
параллельного видеостыка определяется сле-дующим равенством
QS = QY + 2 QC = 216 Мбит/с.

97. Передача цифрового телевизионного сигнала
осуществляется в последовательной форме.
на
большие
расстояния
Выделение тактовых импульсов из передаваемого последовательного цифрового
сигнала

98. Последовательный видеостык

99. Контрольные вопросы
Какие два варианта структурной схемы формирователя цифрового
телевизионного сигнала предусмотрены Рекомендацией ITU-R ВТ 601?
•
Зачем перед квантованием выполняют гамма-коррекцию телевизионных
сигналов?
•
Что означают записи "4:2:2" и "4:2:0", характеризующая формат
дискретизации телевизионных сигналов?
•
Как производится квантование яркостного и цветоразностных сигналов в
соответствии с Рекомендацией 601?
•
Что такое параллельный видеостык?
•
Вычислите скорость передачи двоичных символов для цифровых
телевизионных сигналов при различных форматах дискретизации.
•
Что такое последовательный видеостык?
•
Каким образом происходит выделение тактовых импульсов из
передаваемого последовательного цифрового сигнала?
•

100. Лекция 14. Методы и способы обработки
цифровых видеосигналов
Дискретное преобразование Фурье и дискретное ко-синусное
преобразование
t2
функции x(t) и y(t) называются ортогональными на отрезке (t1, t2), если их скалярное
произведение равно нулю
∫ x(t ) y(t )dt = 0
t1
Дискретные сигналы х(n) и у(n), имеющие по N
отсчетов, называются ор-тогональными, если
выполняется условие
N−
1
∑x(n) y (n) = 0
n =0
Одним из наиболее известных примеров
применения
орто-гонального
преобразования
является разложение периодического сигнала x(t) в
ряд Фурье
1
x(t ) =
где
ω0 =
2π
T
2
∞
a0 + ∑ (ak cos kω0t +bk sin kω0t )
; Т – период повторения сигнала х(t).
k =1

101. Действительные коэффициенты ряда Фурье ak, bk определяются
соотношениями
T /2
2
a0 =
∫ u (t )dt
T −T / 2
T /2
2
ak =
∫/ 2 x(t ) sin kω0tdt
T −T
T /2
ak =
2
,
x(t ) cos kω0tdt
,
T −T∫/ 2
,
В комплексной форме разложение в ряд
Фурье имеет вид:
T /2
где
1
Ck = ∫ x(t )e − jkω 0t dt
T −T / 2
x(t ) =
∞
Ck e jkω0t
∑
k =−∞
- комплексные амплитуды гармоник; j - мнимая
,
единица.
дискретное преобразование
Фурье (ДПФ), имеет вид
где коэффициенты ДПФ Х(k)
определяются соотношением
x ( n) =
X( k ) =
N −1
1
∑ X( k ) e
N k =0
N −1
 2π
j
 N
1
∑ x ( n) e
N n =0

÷nk

, n = 0,1...N − 1
 2π 
− j
÷nk
 N 
, k = 0,1...N − 1

102. Дискретные гармонические
функции

103. Дискретный сигнал (а) и модуль его ДПФ (б)

104. 2 N −1
 2n + 1 
x( nС=k
)
( ) cos 
k
π ÷,
∑
N k =0
 2N

Дискретно-косинусное
преобразования
(ДКП), описывается соотношением
где коэффициенты ДКП определяются по формулам
1 N −1
2 N −1
 2n + 1 
C (k ) =
x( n) cos 
kπ ÷,
C (0) =
∑
∑= 0 x(n),
N n =0
 2N

2N n
k=1…N-1
Двумерный дискретный сигнал, например, отдельный кадр цифрового
телевизионного сиг-нала, представляется матрицей значений х(m,n), где m = 0...
М-1 - номер отсчета в строке, n = 0.., N-1 - номер строки в кадре.
Прямое двумерное ДПФ имеет вид
X( k , l ) =
1
MN
M −1 N −1
∑ ∑ x(m, n)e
 2π
− j
M

 2π 
m
n
÷k × − j 
÷l ×
N 


e
,
k=1…M-1, l=1…N-1,
m=0 n =0
где
X(k,l)
комплексные
коэффициенты
ДПФ,
отображающие
пространственно-частотный спектр изображения.
Обратное двумерное ДПФ представляет разложение изобра-жения по
базисным функциям
x ( m, n ) =
1
MN
M −1 N −1
∑ ∑ X ( k , l )e
k =0 l =0
 2π
j
M

m
÷k ×

e
 2π
j
 N

n
÷l ×

,

105. Коэффициенты двумерного прямого ДКП определяются по
формулам
C (k , l ) =
C (0, l ) =
2
MN
1
MN
 2m + 1 
 2n + 1 
x(m, n) cos 
π k ÷cos 
π l ÷,
∑0 ∑
 2M

 2N

m= n =0
M −1 N −1
 2n + 1  C ( k , 0) =
x (m, n) cos 
π l ÷,
∑0 ∑
 2N

m= n=0
M −1 N −1
1
C (0, 0) =
2 MN
1
MN
 2m + 1 
x(m, n) cos 
π k ÷,
∑0 ∑
 2M

m = n =0
M −1 N −1
M −1 N −1
∑ ∑ x ( m, n )
m =0 n =0
Обратное двумерное ДКП имеет вид:
x(m, n) =
1
MN
.
 2m + 1 
 2n + 1 
∑ ∑ C (k , l ) cos  2M π k ÷cos  2 N π l  ,

÷


k =0 l =0
M −1 N −1
вид полутоновых картинок базисные функции двумерного ДКП для М = 8, N =
8. Светлые участки соответствуют положительным значениям, а темные –
отрицательным.
Показаны примеры:
a) k = 1, l = 0; б) k = 0, l = 1; в) k =1, l = 1;
г) k = 0, l = 2; д) k = l, l = 2; e) k = 2, l = 2;
ж) k = 4, l = 2; з) k = 7, l = 1; и) k = 7, l = 7.

106. Некоторые базисные функции двумерного ДКП
блока 8x8 элементов изображения

107. Оценим количество операций, необходимых для вычисления ДПФ в
соответствии с (7.7). Для этого преобразуем (7.7), выделим в нем операции над
действительными и мнимыми частями чисел
.
X( k ) =
1 N −1
kn
, kn
 x(n) Re( WN ) + jx( n) Im( WN ) 
∑

N n =0 
где
kn
WN = e
 2π 
j
÷nk
 N 
k=0,1,…N-1,
для
вычисления
одного
значения
Х(k)
необходимо
выполнить
приблизительно 2N умножений и (2N-2) - сложений действительных чисел. Для
вычисления всех N значений Х(k) надо выполнить 2N2 умножений и N(2N-2)
сложений действительных чисел. Кроме того, требуется ЗУ для хранения значений
х(n), Х(k), WNkn.
На каждом шаге необходимо N комплексных сложений и N комплексных
умножений. Число же шагов равно log2N. Таким об-разом, число операций,
которые необходимо выполнить для вы-числения прямого или обратного ДПФ,
оказывается пропорцио-нальным N log2N.
Двумерное БПФ может быть разложено на последователь-ность одномерных.
Число требуемых операций оказывается про-порциональным NM log2NM. Для
приведенного выше примера телевизионного кадра, состоящего из 720x576
пикселов, это зна-чение оказывается равным примерно 8·106, что в 105 раз меньше,
чем число операций, требуемое для непосредственного вычисле-ния ДПФ.
ДКП лежит в основе наиболее широко используемых в настоящее время
методов кодирования JPEG, MPEG-1, MPEG-2, MPEG-4.

108. Цифровая фильтрация
Цифровая фильтрация - один из важнейших методов обработки одномерных и
многомерных цифровых сигналов.
Структурная схема цифрового фильтра

109. АЧХ нерекурсивного ФНЧ
(а), рекурсивного ФНЧ (б) и
рекурсивного
режекторного фильтра (в)

110. Действие двумерного
следующей формулой
нерекурсивного
фильтра
может
быть
описано
M −1 N −1
y (i, j ) = ∑ ∑ a( m, n) x[i + m − ( M − 1) / 2, j + n − ( N − 1) / 2],
m =0 n =0
где i - номер строки; j - номер элемента в строке.
Простейшие двумерные фильтры имеют матрицу 3x3. Ниже приведено
несколько примеров фильтров такого типа.
 0,1 0,1 0,1  1 −2 1   1 −2 1 
aб 0,1 0, 2 0,1÷ в )  −2 5 −2 ÷ )  −2 4 −2 ÷
)
÷ 
÷ 
÷
 0,1 0,1 0,1÷  1 −2 1 ÷  1 −2 1 ÷

 
 


111. Пространственночастотные
характеристики ФНЧ
(а) и ФВЧ (б)

112. Контрольные вопросы
Какие сигналы называются ортогональными?
•
Что такое ДПФ и ДКП?
•
Почему ДПФ содержит конечное число частотных составляющих?
•
Почему ДКП во многих случаях удобнее применять, чем ДПФ?
•
Чем различаются матрицы двумерного фильтра верхних частот и двумерного
фильтра Лапласа
•
Как воздействуют указанные фильтры на изображение?
•
Что такое КИХ и БИХ-фильтры?
•
•
Объясните принцип работы медианного фильтра

113. Лекция 15
Обработка и передача сигналов с разложением на частотные
поддиапазоны или на поддиапазоны по разрешающей
способности. Вэйвлет-преобразование
Структурная схема системы передачи сигнала с разложением на
поддиапазоны.
частотные

114. Структурная схема системы передачи с использованием квадратурных
зеркальных фильтров (а) и положения получающихся
частотных поддиапазонов (б)

115. Простым примером вэйвлет–преобразования является раз-ложение сигнала
по базису Хаара (Нааr). Базисная функция преоб-разования Хаара, показанная на
рис. ,а, называется scale-function или scaling-function. Ортогональный базис Хаара
получа-ется путем сдвига базисной функции с шагом равным единице во все
возможные положения по оси абсцисс.
Рис. . Базисная функция преобразования Хаара (а) и вэйвлет Хаара (б)

116. Вэйвлет–преобразование
изображения
осуществляется
путем
последовательного выполнения вэйвлет–преобразований по двум координатам
(рис.7.10). Исходное изображение представляет собой матрицу А, имеющую
размер NхN и содержащую N2 элементов. В блоках WTx и WTy выполняются
вэйвлет–преобразования
одномерных
цифровых
сигналов,
например,
преобразования Xаара. В блоках IWTx и IWTy выполняются соответствующие
обратные преобразования.
Рис. . Структурная схема выполнения прямого и обратного вэйвлет–преобразований
изображения

117. Оценка и компенсация движения
рассчитывается сумма S(Δп,Δт) абсолютных значений разностей элементов
блока первого кадра и смещенной области второго кадра
S (∆n, ∆m) =
∑
x′(m + ∆m, n + ∆n) − x (m, n)
m , n∈B
где х(т,п) - элемент первого кадра; х΄(т,п) - элемент второго кадpa; т, п дискретные координаты по вертикали и по горизонтали, отсчитываемые,
например, от левого верхнего угла блока первого кадра. Суммирование
производится по всем элементам блока.
Из всех проверенных векторов (Δп, Δт) выбирается тот, ко-торый обеспечивает
наименьшее значение суммы
Смещение
движения
блока
на
вектор

118. Дифференциальная импульсно-кодовая модуляция.
Кодирование с предсказанием
Структурная схема системы передачи с ДИКМ

119. Постепенная коррекция ошибки квантователя иллюстриру-ется табл. 7.1. Из
приведенных данных видно, что ошибка, воз-никшая из-за перегрузки
квантователя в такте 6, компенсируется за два такта, а ошибка, возникшая в такте
9 - за один такт.
n
1
2
3
4
5
6
7
8
9
10
x(n) 0
5
12
27
24
54
61
53
74
80
S'(n) -
5
7
15
-3
15
15
-1
15
12
y(n) 0
5
12
27
24
39
54
53
68
80
Развитием метода ДИКМ является адаптивная импульсно-кодовая модуляция
АДИКМ (Adaptive Differential Pulse Code Modulation - ADPCM). В соответствии с
этим методом параметры квантователя Q и предсказателей Р
АДИКМ применяется в некоторых цифровых системах пе-редачи речевой
информации, например, в мобильных телефонах и позволяет уменьшить скорость
передачи двоичных символов в несколько раз.

120. Векторное квантование. Фрактальное кодирование
Обычное квантование, со-стоящее в округлении до ближайшего уровня
квантования, назы-вают скалярным, так как отдельные отсчеты сигнала
квантуются независимо друг от друга.
Более общей операцией является векторное квантование, при котором
одновременно квантуется (кодируется) группа из N отсчетов цифрового сигнала,
называемая N-мерным вектором. В случае одномерного сигнала векторами могут
быть группы по N последовательных отсчетов.
Структурная схема системы передачи информации с использованием векторного
квантования

121. Близким по сущности к векторному квантованию является фрактальное
кодирование изображений, при котором в качестве элементов кодовой книги
используются блоки, вырезанные из самого исходного изображения.
Как известно, фракталами называются рисунки, обладаю-щие свойством
самоподобия. При этом часть рисунка подобна всему рисунку в целом, но в
меньшем масштабе. В этой части есть подобная ей часть еще меньших размеров и
т.д. Пример фрактала показан на рис
Векторное квантование и фрактальное кодирование могут использоваться для
кодирования звуковых сигналов и изображе-ний, обеспечивая значительное
сжатие информации. Однако большой объем вычислений, выполняемых при
кодировании, пока что препятствует практическому применению этих методов в
сис-темах цифрового телевидения.

122. Контрольные вопросы
•Почему при разложении сигнала на частотные поддиапазоны количество
отсчетов в каждом поддиапазоне может быть уменьшено?
Каковы свойства квадратурных зеркальных фильтров?
•
Что
происходит
преобразования?
•
с
изображением
при
выполнении
вэйвлет-
За счет чего может быть достигнуто сжатие изображения с помощью
вэйвлет-преобразования?
•
В чем состоит оценка движения методом соответствия блоков?
•
Что такое линейное предсказание?
•
Почему использование ДИКМ позволяет уменьшить скорость переда-чи
двоичных символов в канале связи?
•
Какими средствами может быть обеспечена помехоустойчивость пе-редачи
информации с использованием ДИКМ?
•
Как выполняются кодирование и декодирование в системах передачи с
векторным квантованием?
•

123. Лекция 16. Цифровое представление компонентного видеосигнала.
Кодирование компонентного видеосигнала (4:2:2).

124. Кодирование компонентного видеосигнала (4:2:2). Структура дискретизации.
Полная скорость передачи цифрового компонентного видеосигнала
составляет 10 х 13,5 + 10 х 6,75 + 10 х 6,75 = 270 Мбит/с.

125. Кодирование компонентного видеосигнала (4:4:4).
Кодирование компонентного видеосигнала (4:4:4:4).

126. Кодирование компонентного видеосигнала (4:1:1).

127. Кодирование компонентного видеосигнала (4:2:0).

128. Кодирование компонентного видеосигнала (3:1:1).

129. Кодирование компонентного видеосигнала CIF
(Common Interchange Format).

130. Кодирование композитного видеосигнала (4fsc)

131. Для сохранения непрерывного цифрового потока отсчетов, следующих с
постоянной частотой 4fsc, в системе PAL длительность цифровой строки принята
не равной длительности аналоговой строки. Все строки поля (за исключением
двух) содержат по 1135 отсчетов, а две - по 1137.Длина кодового слова - 10 бит (в
первоначальном варианте - 8). Необходимость цифрового кодирования фронта и
среза синхроимпульсов композитного аналогового сигнала приводит к тому, что
для диапазона от номинальной величины черного до номинального белого
выделяется примерно на 30% меньше уровней квантования, чем для сигнала в
компонентной форме. Скорость передачи данных для цифрового сигнала в
системе NTSC составляет 143 Мбит/с, а в системе PAL - 177 Мбит/с.

132. Контрольные вопросы
Какова причина выбора значений частот дискретизации компонентного
сигнала 13,5 и 6,75 МГц?
•
Назовите структуру дискретизации форматов 4:2:2, 4:4:4.
•
Назовите структуру дискретизации форматов 4:4:4:4, 4:1:1.
•
Назовите структуру дискретизации форматов 4:2:0, 3:1:1.
•
Что такое формат CIF?
•
Каким образом дискретизируется композитный видеосигнал систем
NTSC?
•
Каким образом дискретизируется композитный видеосигнал систем
PAL?
•
Каким образом дискретизируется композитный видеосигнал систем
SECAM?
•

133. Лекция 17. Сжатие неподвижных изображений по стандарту
JPEG
разбиение изображения на блоки 8x8 пикселов;
•выполнение быстрого ДКП (БДКП) в каждом блоке;
•квантование полученных коэффициентов ДКП с использо-ванием таблицы
коэффициентов квантования (таблица Q);
•энтропийное кодирование квантованных коэффициентов ДКП каждого блока
изображения.
•

134. Последовательность операций при декодировании, поясняемая структурной
схемой на рис. включает:
декодирование энтропийного кода (декодер Хаффмена);
-деквантование коэффициентов ДКП для каждого блока 8x8 пикселов;
-обратное БДКП для каждого блока;
- объединение блоков в декодированное изображение.

135. Разбиение изображения на блоки
Полутоновое монохромное (черно-белое) изображение раз-бивается на блоки
8x8 пикселов. Эти блоки далее кодируются один за другим. Порядок кодирования
блоков слева направо, один гори-зонтальный ряд блоков за другим.
Цветное изображение может быть представлено в формате RGB, когда для
каждого пиксела задаются значения трех основных цветов. В этом случае каждый
блок 8x8 пикселов представляется тремя блоками 8x8 чисел. Кодирование данных
каждого из трех цветов выполняется также, как для полутонового монохромного
изображения.
Предпочтительнее представление цветного изображения в формате YCBCR, где
для каждого пиксела задаются значения ярко-сти и цветоразностных сигналов. В
этом случае возможно умень-шение число блоков для информации о цвете.
Например, если уменьшить число отсчетов цветоразностных сигналов по
вертикали и по горизонтали в два раза, что соответствует формату 4:2:0, то на
каждые четыре блока элементов сигнала яркости Y будет прихо-диться один блок
элементов сигнала СВ и один блок элементов сиг-нала CR. По сравнению с
форматом RGB полное число кодируемых блоков уменьшится в два раза, но
заметного ухудшения качества изображения при этом не произойдет, так как
зрительный аппарат человека не воспринимает искажения цвета мелких деталей
изо-бражения.

136. Возможны два варианта последовательности кодирования блоков цветного
изображения. Согласно первому варианту, назы­ваемому последовательным
(sequential), сначала кодируются все блоки элементов сигнала Y, затем ­ все блоки
элементов сигнала СВ, затем ­ все блоки сигнала CR. Второй вариант
предусматривает перемежение (interleaved) блоков разных составляющих.
Например, в случае формата дискретизации 4:2:0, сначала кодируются четыре
блока Y, образующие матрицу 2x2, затем соответствующий им один блок СВ, затем
­ один блок CR, затем следующие четыре блока Y и т. д.
При объединении блоков в декодированное изображение количество
элементов СВ и CR восстанавливается с помощью интерполяции.
Дискретное косинусное преобразование
Исходные данные для ДКП имеют вид блоков или матриц 8x8 элементов
сигналов Y, СВ или CR, выражаемых 8­разрядны целыми положительными
двоичными числами. Перед выполнением ДКП значение каждого элемента блока
сдвигается путем вычитания числа 128, в результате чего элементы блоков
выражаются целыми числами со знаком.
После этого в кодере JPEG выполняется ДКП в соответствии с формулами
(7.12) при N = М = 8. Обратное ДКП в декодере JPEG выполняется в соответствии с
формулой (7.13). После него выполняется обратный сдвиг уровня каждого
элемента путем прибавления числа 128. Как правило, при вычислениях
используются алгоритмы быстрого ДКП.

137. В результате выполнении ДКП квадратной матрицы из 8х8 чисел получается
квадратная матрица из 8x8 коэффициентов ДКП которые могут быть как
положительными, так и отрицательными целыми числами из диапазона –
2047...2047.
Единственным источником необратимых потерь информации могут быть
ошибки округления при вычислениях, однако эти ошибки могут быть сделаны
достаточно малыми за счет выбора разрядности вычислительных средств.
Тем не менее, именно ДКП создает основу для последующего значительного
уменьшения объема передаваемой информации. Рассмотрим, как это получается.
В первую очередь необходимо отметить, что каждый коэффициент ДКП
содержит информацию не об одном каком­то элементе из матрицы элементов
изображения, а о всех 64 элементах. Пусть {х(т,п)}, т,п = 0...7 ­ квадратная
матрица элементов изображения
представляющая собой
один из его
блоков" [С(k,l)], k,l = 0 ...7 ­ квадратная матрица коэффициентов двумерного ДКП.
Коэффициент С(0,0), как следует из (7.12), пропорционален постоянной
составляющей, т. е. среднему значению величин х(т,п) блока изображения.
Коэффициент
С(0,1)
показывает
вели­чину
пространственно­частотной
составляющей, имеющей нуле­вую пространственную частоту по горизонтальной
координате и пространственную частоту, равную 1/N, по вертикальной коор­
динате и т. д.

138. При выполнении обратного ДКП в соответствии с (7.13), изображение
формируется в виде суперпозиции составляющих, каждая из которых имеет
определенную пространственную часто­ту. Как известно, наибольший вклад при
формировании большинства реальных изображений вносят низкочастотные
составляющие, определяющие формы и яркости основных объектов и фона. Высо­
кочастотные составляющие создают резкие границы и контуры, а также мелкую
структуру (текстуру) изображения.
Возможность уменьшения скорости передачи двоичных сим­волов при помощи
ДКП (как и при помощи ДПФ) основана на ука­занных свойствах
пространственно­частотного спектра реальных изображений и на ограниченной
способности человеческого зрения воспринимать изменения и искажения мелкой
структуры изобра­жения. Количество передаваемой информации уменьшается
путем более грубого квантования части или всех передаваемых коэффи­циентов
С(k,l), в результате которого уменьшается число двоичных разрядов,
используемых для представления этих коэффициентов, а многие из
коэффициентов становятся равными 0.
Таким образом, использование ДКП в сочетании с последующим
квантованием коэффициентов ДКП обеспечивает уменьшение количества
передаваемой информации и, следовательно требуемой ширины полосы частот
канала связи.

139. Квантование коэффициентов ДКП. Квантование коэффициентов ДКП С(k,l)
выполняется в соответствии с формулой
 C (k , l ) 
Сq (k , l ) = Round 
÷
f × (k , l ) 
Q

где С(k,l) - коэффициенты квантования, задаваемые в виде таблицы из 8x8 целых
чисел (таблица Q на рис. выше); f ­ параметр, определяющий степень сжатия
изображения, Round() ­ операция округления до ближайшего целого значения;
Cq(k,l) – полученные в результате данной операции квантованные коэффициенты
ДКП, которые могут быть как положительными, так и отрицательными.
Важно отметить, что для квантования сигнала яркости и цве­торазностных
сигналов используются разные таблицы.

140. Примеры таблиц квантования для сигнала яркости и для цветоразностных
сигналов приведены в табл. 1 и в табл. 2, соответственно.
16
11
10
16
24
40
51
61
12
12
14
19
26
58
60
55
14
13
16
24
40
57
69
56
14
17
22
29
51
87
80
62
18
22
37
56
68
109
103
77
24
35
55
64
81
104
113
92
49
64
78
87
103
121
120
101
72
92
95
98
112
100
103
99
17
18
24
47
99
99
99
99
18
21
26
66
99
99
99
99
24
26
56
99
99
99
99
99
47
66
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99
99

141. Энтропийное кодирование
Как видно из табл. 3, первым следует коэффициент Сq(0,1), соответствующий
самой низкочастотной составляющей по гори­зонтали, затем ­ Сq(1,0), а затем
все более и более высокочастотные составляющие. Последовательность
завершается специальным символом ЕОВ (end of block ­ конец блока).
k/l
0
1
2
3
4
5
6
7
0
0
1
5
6
14
15
27
28
1
2
4
7
13
16
26
29
42
2
3
8
12
17
25
30
41
43
3
9
11
18
24
31
40
44
53
4
10
19
23
32
39
45
52
54
5
20
22
33
38
46
51
55
60
6
21
34
37
47
50
56
59
61
7
35
36
48
49
57
58
62
63
Чаще всего применяется кодирование по методу Хаффмена, который
заключается в построении такого кода с переменной длиной кодового слова, что
чаще встречающимся (т. е. более вероятным) символам ставятся в соответствие
более короткие кодовые слова, а реже встречающимся (менее вероятным)
символам ­ более длинные кодовые слова. Это дает дополнительный выигрыш в
сжатии информации.

142. Формат файла JPEG
Реализация и различные варианты JPEG. Метод JPEG реализуется, как
правило, программными сред­ствами на компьютерах. Основные области его
применения: архи­вирование изображений на магнитных и оптических дисках,
пере­дача неподвижных изображений по каналам связи, запись отснятых кадров в
электронных фотокамерах и др.
По мере увеличения степени сжатия методом JPEG возрастает заметность
блочной структуры, увеличиваются искажения яркости и цветно­сти. Некоторые
программы при декодировании и воспроизведении сжатых по стандарту JPEG
изображений выполняют дополнитель­ную фильтрацию (сглаживание) на
границах блоков, чтобы умень­шить заметность блочной структуры.
JPEG может использоваться и для сжатия движущихся изо­бражений. При
этом каждый кадр кодируется независимо от других кадров. Такой метод,
называемый Motion JPEG, может быть полезен для видеозаписи и в студийной
аппаратуре, но он не дает дос­таточной степени сжатия видеоинформации для
телевизионного вещания.

143. Контрольные вопросы
Объясните структурную схему кодирования по стандарту JPEG.
•
Объясните структурную схему декодирования по стандарту JPEG.
•
В какой последовательности кодируются по стандарту JPEG блоки цветного
изображения?
•
Почему квантование коэффициентов ДКП
искажения, чем квантование самого изображения?
•
создает
менее
заметные
Что такое энтропийное кодирование?
•
Каким образом в стандарте JPEG осуществляется управление степенью
сжатия?
•
В чем состоит сущность кодирования с переменной длиной кодовых слов?
•
Реализация и различные варианты JPEG
•

144. Лекция 18. Форматы сжатия видеосигналов
Формат
записи
Тип записи
Вид
сигнала
Ширина
ленты,мм
VHS
аналоговая
12.65
S-VHS
Hi8
Betacam
Betacam SP
Betacam SX
аналоговая
аналоговая
аналоговая
аналоговая
цифровая
Digital
Betacam
DV
цифровая
DVCam
цифровая
DVCPro
цифровая
DVCPro50
цифровая
композит
ный
Y/C
Y/C
YUV
YUV
YUV
4:2:2
YUV
4:2:2
YUV
4:2:0
YUV
4:2:0
YUV
4:1:1
YUV
4:2:2
цифровая
Скорость Отношение Коэффици
ленты,
сигнал/шум,
ент
мм/сек
дБ
компресси
и
23.39
43
-
12.65
8
12.65
12.65
12.65
23.39
20.5
101.5
101.5
59.575
45
44
49
51
51
10:1
12.65
96.7
55
2:1
6.35
18.831
54
5:1
6.35
28.2
54
5:1
6.35
33.813
54
5:1
6.35
67.626
62
3.3:1

145. Формат
CIF
2CIF
4CIF
9CIF
16CIF
Стандартные форматы видеоэкранов
Размер по
Размер по вертикали,
Требуемая скорость
горизонтали,
пикселов
передачи
пикселов
без сжатия, Мбит/с
352
288
24,3
704
288
48,7
704
576
97,3
1056
864
219
1408
1152
389,3
Формат CIF является производным для форматов больших и меньших размеров,
наиболее распространенные из них сведены в табл. В этой таблице для рас­чета
скорости передачи принято количество градаций яркости изоб­ражения ­ 256, т.е.
8 битов на один пиксел.

146. Стандарты кодирования и сжатия
Огромные скорости видеопотоков, фигурирующие в табл. 10.2, неприемлемы
для практики, поэтому Международным телекоммуникационным союзом (ITU,
International Telecommunication Union) были разработаны различные стандарты
по компрессии аудиовизуальных сигналов.
Первый из них - Н.261 ­ был создан еще до разработки и внедрения
Интернета,
для
ISDN­сетей.
В
нем
используется
прогнозирование
видеоизображения с целью устранения временной избыточности. Поясним суть
его работы на примере простейшего формата CIF. По горизонтали этот формат
разбивается пополам, а по вертикали на 12 частей. В итоге по­лучается 12 блоков
размером 176x48 пикселов. Эти блоки называют GOB (Groups of Blocks), что значит
группы простых блоков. Каждый GOB в свою очередь делится на 11 частей по
горизонтали и 3 части по вертикали и в итоге получается 33 простейших блока,
называемых MB (Macro Block). MB имеет размер 16x16 пикселов. Далее MB
делится на четыре элементарных блока, имеющих размер 8x8 пик­селов. Такой
элементарный блок кодируется сигналами яркости ­ Y, красного цветоразностного
­ Cr и синего цветоразностного – Св.

147. Основой стандарта Н.261 является обнаружение и кодирование
пространственной и временной неоднородностей блоков и макробло­ков
видеосигнала. Пространственные ­ области внутри кадра, кото­рые отличаются по
уровню яркости и цвету от окружающего фона. Временные ­ изменения или
перемещения объектов серии кадров.
Второй, модернизированный метод сжатия и кодирования, опре­делен
стандартом Н.263 (его еще часто называют кодек Н.263). В нем достигнуто
увеличение качества и степени сжатия видеоизображе­ний. Кодек Н.263
применим для любых форматов видеоизображений, которые классифицированы
следующим образом:
QCIF (176x144);
CIF (352x288);
4CIF (704x576);
16CIF (1408x1152).
В этом кодеке увеличена точность прогноза и компенсации дви­жения
компонентов изображения, что позволяет в два раза снизить объем передаваемых
данных при том же качестве изображения по сравнению с обработкой по методу
Н.261.

148. Другая серия стандартов под названием MPEG (Moving Picture Expert Group)
создавалась группой экспертов ISO (International Orga­nization of Standardization).
Первый из них ­ MPEG­1 ­ был выпу­щен в 1992 г., он учитывал все передовые
наработки стандарта Н.261, а также тот прогресс, который к этому времени был
достигнут в области создания цифровых СБИС и дешевой БИС памяти. Кодек
MPEG­1 был предназначен для сжатия видеофильмов до скорости 1,5 Мбит/с и
записи их на оптические диски. При этом ставились следующие условия:
•объем
стандартного видеофильма не должен превышать 600 Мбайт
(максимальный файл);
•качество видеоизоб­ражения должно быть не хуже качества, обеспечиваемого
видеокас­сетой VHS.
Для обеспечения такого компромисса между скоростью потока данных и
максимальным файлом было принято, что на каж­дый стандартный опорный кадр
типа I (Intra Picture) ­ начальный кадр, приходится четырнадцать прогнозируемых
кадров. Из числа прогнозируемых кадров четыре являются кадрами типа Р
(Predictive Picture) ­ предсказуемый по одному направлению кадр, и десять кадров
типа В (Bi­directional Predictive Pictures) ­ предсказуемый по двум направлениям
кадр.
Удачная реализация кодека MPEG­1 позволило применять его как прообраз,
для более совершенных кодеков, как для компрессии видеоизображений (MPEG­2
и MPEG­4), так и для компрессии аудиофайлов (MPEG Layer I, MPEG Layer 2,
MPEG Layer 3). Рас­смотрим некоторые из них далее более подробно.

149. MPEG-2.
В стандарте MPEG­2 сигналы изображения и звукового сопро­вождения
преобразуются в индивидуальные потоки данных. Видео и звуковые потоки имеют
форматы, удобные для их ввода в компью­теры и записи на различные носители
информации (оптические диски, флеш­карты и т.д.). Программное обеспечение
для обработки этих потоков преимущественно написано на языке С (Си). Большая
часть таких программ открыта, и разрешено их свободное использование.
Разработаны дешевые комплекты микросхем (чипсеты) для кодирования и
декодирования MPEG­2 сигналов.
Рассмотрим особенности потока видеоданных. Он состоит из множества
элементов, которые объединяются по определенным пра­вилам. Различают
следующие виды элементов и их комбинаций:
видеопоследовательность;
изображения I, P и В типов со срезами;
мак­роблок;
блок.

150. Видеопоследовательность ­ серия последовательных кадров, причем
допускается как чересстрочная, так и прогрессивная развертка. Как и в MPEG­1,
здесь используется поточное сжатие, анализи­руется динамика изменения
изображения и устраняется временная и пространственная избыточность.
Система кадров заимствована из кодека MPEG­1: опорные кад-ры I, их еще
называют исходными или основными; предсказанные кадры Р, несущие
информацию об изменениях по сравнению с преды­дущим кадром;
двунаправленные кадры В, в которых предсказание об изменении картинки
формируется на основе анализа предыдуще­го и последующего кадров.
Кадр типа I содержит всю информацию о картинке. Любая но­вая сцена
должна начинаться I­кадром, следовательно, в нем может быть устранена только
пространственная избыточность. Объем I ­ кадра в сотни раз превышает объемы Р
­ кадра или В ­ кадра, поэтому I ­ кадры составляют большую часть объема
видеофайлов. Для то­го чтобы был возможен случайный доступ к телепрограмме,
I ­ кадры должны регулярно появляться в видеопотоке даже при передаче ква­
зистатических изображений. Кадры группируются в наборы, напри­мер в
следующую группу из двенадцати изображений:
I, В, В, Р, В, В, Р, В, В, Р, В, В
и т.д.

151. a)
б)
Рис. Структуры макроблоков сигнала Y при кодировании:
a ­ кадровом; б ­ полевом

152. Для универсализации кодека MPEG­2 в нем выделено несколь­ко профилей,
характеризующих разнообразные варианты компрессии видеопотоков. Внутри
каждого профиля выделены несколько уров­ней, определяющих параметры
сжимаемого видеоизображения. Уста­новлено четыре уровня, определяющие
разрешающую способность кадра:
LL (Low Level) ­ низкий с разрешением 352x288;
ML (Main Level) ­ основной с разрешением 720x576;
HL­1440 (High Level) ­ высокий с разрешением 1440х 1152;
HL­1920 ­ высокий с разрешени­ем 1920x1152,
а также пять базовых профилей кодирования сигна­лов яркости и цветности:
SP (Simple Profile) ­ простой;
МР (Main Profile) ­ основной;
SNR (Signal to Noise Ratio) ­ масштабируемый по отношению сигнал/шум;
Spatial (Spatial Profile) ­ с масштаби­руемым пространственным разрешением;
HP (High Profile) ­ высо­кий;
422 ­ студийный.
Масштабируемый профиль поддерживает все типы изображений. На базовом
уровне кодера используется обычное кодирование на ос­нове предсказания с
компенсацией движения.

153. Основной профиль на основном уровне (Main Profile at Main Level) является
очень важной комбинацией в силу того, что она ис­пользуется в большинстве
стран Европы для вещательного телеви­дения и обозначается как стандарт
MP@ML, в котором применяет­ся кодирование чересстрочных изображений с
разрешением 720x576, 25 кадров/с (системы PAL и SECAM) и разрешением
720x480, 30 кадров/с (система NTSC).
Наиболее важные характеристики профилей и уровней приведе­ны в табл.
Степень
сжатия
H.261 /
MPEG­1
Соотношение сигнал/шум (PSNR), дБ
H.263 /
MPEG­4
MPEG­4ABC
MPEG­2
VC­9
Менее 10
Более 40
Более 50
Более 55
Более 57
Более 57
10 : 1
20 : 1
50 : 1
100 : 1
Более 100
37...39
36.. .38
33...37
33...35
Менее 30
41...48
37...45
33...45
32...40
Менее 30
46...50
39...48
36...47
35...45
Менее 35
48...52
41...50
38...49
36...46
Менее 36
47...51
40...49
37...48
36...46
Менее 36

154. Рис. Иллюстрация преобразования исходных блоков в блоки доступа в
процессе компрессии

155. Рис. Структурная схема варианта кодера MPEG­2

156. Формирование пакетного элементарного пакета
Представление заголовка PES­пакета

157. Принцип формирования элементарного программного потока

158. Принцип формирования транспортного потока

159. Структура транспортного пакета

160. В спецификации стандарта MPEG­2 определен ряд таблиц с программ­ной
информацией:
привязки программы PAT (Program Association Table);
сетевой информации NIT (Network Information Table);
групп программ ВАТ (Bouquet Association Table);
описания сервисной ин­формации SDT (Service Descriptor Table);
событий EIT (Event Infor­mation Table);
запущенных программ RST (Running Status Table);
смещения времени ТОТ (Time Offset Table);
структуры программ PMT (Program Map Table).
Наиболее важными являются таблицы PAT и PMT. Таблица PAT содержит
названия всех программ в данном потоке и пакетные иден­тификаторы (PID­
коды) для РМТ этих программ (таблиц структуры программ). Если ресивером
принимается неизвестный транспортный поток, то он вначале дожидается
пакетов, содержащих таблицу PAT. затем, в свою очередь, таблица PAT сообщает
ресиверу коды PID структуры программ РМТ в этом потоке.
Кодек MPEG­2 позволяет сжимать видеопотоки примерно в 640 раз по сравнению
с исходными некомпрессированными. Стандартная телепрограмма в итоге требует
скорости потока данных 3,5. ..6 Мбит/с (далее будем усреднено считать 4 Мбит/с).
Большинство операто­ров IPTV используют в своих сетях именно стандарт MPEG­
2.

161. Контрольные вопросы
Дайте краткую характеристику стандартам цифрового преобразования
телевизионных сигналов.
•
Сформулируйте основные положения стандарта кодирования MPEG­2
•
Расскажите об особенностях компрессии видеоданных.
•
Назовите типы кодируемых кадров в стандарте MPEG­2 и дайте им краткую
характеристику.
•
Какую структуру имеет PES­пакет?
•
Поясните механизм компенсации движения в стандарте кодирования MPEG­
•
2.
объясните принципы использования ДКП в стандарте кодирования MPEG­2.
•
Как формируется транспортный поток данных в устройствах кодирования
MPEG­2?
•

162. Лекция 19. (продолжение)
MPEG-4.
Были введены следующие новые методы, понятия и термины: графическая сетка
(Mesh) — конструкция, состоящая из связанных элементарных графических
элементов, которая используется для со­здания модели (силуэт или объемная
поверхность)
визуального
объ­екта;
метод
объектно­ориентированного
кодирования (Content Based Coding), суть которого состоит в гибком сочетании
кодирования то­чек, областей и типовых объектов; многослойная сцена (Scene) —
ви­деоизображение как бы разделяется на слои (передний план, средний план,
дальний план); планы визуальных объектов VOP (Video Object Plan) со своей
системой графических координат, в пределах которых размещается и
перемещается (с прогнозированием перемещения) ви­зуальный объект VO (Video
Object); спрайт (Sprite) — неподвижная фоновая область панорамного
изображения, например климатическая карта, перед которой выступает
комментатор прогноза погоды.

164. В кодеке MPEG­4 реализованы следующие опции:
эффективное сжатие мультимедийных объектов;
эффективное кодирование тек-стур для их отображения на двумерные и
трехмерные графические сетки;
эффективное
сжатие
объектов,
представленных
двумерными
графическими сетками;
эффективное
кодирование
геометрических
потоков,
отображающих
движение графических сеток;
произвольный доступ к графическим объектам любого типа;
расширены
возможно-сти
интерактивного
взаимодействия
с
мультимедийными объектами;
объектно-ориентированное кодирование, временное и пространствен-ное
масштабирование мультимедийных объектов;
компенсация воздействия ошибок на процесс передачи мультимедийного
потока.

165. Рис.. Структурная схема варианта кодера MPEG­4

166. Визуальные объекты, определенные в спецификации MPEG­4, можно
разделить на две основные категории:
естественные визуальные объ­екты NVO (Natural Video Objects);
гибридные визуальные объекты SNVO (Synthetic/Natural Video Objects).
Образы первого из отмеченных типов создаются путем оцифров­ки
визуальных изображений реальных объектов ­ фотографий, ви­деофильмов.
Гибридные визуальные объекты имеют искусственную природу, однако могут
иметь в своем составе элементы изображений естественных объектов. В табл.
18.4 представлены краткие характери­стики основных профилей, которые
используются для кодирования видеоизображений в спецификации MPEG­4.
Применение алгорит­мов сжатия с увеличенной точностью прогноза MPEG­4
позволяет передавать мультимедийные потоки с разрешением и качеством си­
стем ТВЧ по каналам с пропускной способностью от 64 Кбит/с до 10 Мбит/с.
Поддержка в кодеке MPEG­4 режимов VLBV и High Bit Rate обеспечивает его
обратную совместимость с кодеками предыдущих спецификаций MPEG.
Расширенный набор функций управления, так же как и модернизированные
методы кодирования, оформлен в MPEG­4 в виде алгоритмических дополнений и
функциональных расширений ядра предшествующих спецификаций, что
обеспечивает возможность дальнейшего наращивания его функций и
возможностей.
Кодек MPEG­4 позволяет превращать стандартный телесигнал в цифровой
видеопоток, имеющий скорость 1,5...2,5 Мбит/с (далее усредненно будем считать 2
Мбит/с). Казалось бы, надо быстро и по­всеместно внедрять этот стандарт..

167. Natural
Версия
MPEG­4
>1
Natural
>1
Natural
>1
Natural
>1
Natural
>1
Synthetic/
Natural
>1
Scalable Texture Visual Profile
(расширяемая текстура)
Bask Animated 2­D Texture Visual Profile
(двумерная текстура)
Synthetic/
Natural
>1
Synthetic/
Natural
>1
Hybrid Visual Profile
(гибридный визуальный)
Advanced Real­Time Simple Profile (ARTS)
(реального времени)
Synthetic/
Natural
>1
Natural
>2
Название профиля
Тип видеообъекта
Simple Visual Profile (простой)
Simple Scalable Visual Profile
(масштабируемый)
Core
(базовый)
Main Visual Profile
(главный)
N­Bit Visual Profile
(узкополосный)
Simple Facial Animation Visual Profile
(лицевая анимация)
Core Scalable
(базовый масштабируемый)
Advanced Coding Efficiency (ACE)
(расширенный)
Advanced Scalable Texture Profile
(расширенный текстурный)
Advanced Core Profile
(расширенный базовый)
Natural
Profile
>2
Natural
>2
Synthetic/
Natural
>2
Synthetic/
Natural
>2
Область применения
Мобильные абоненты
Системы с программной
реализацией кодеков и
поддержкой QoS
Мультисервисные
приложения IP
Развлекательные програм­
мы, DVD­приложения
Системы оперативного
наблюдения
Аудио/видеопрезентации
Видеоигры
Мультимедийные
приложения
Мультимедийные
приложения
Телеконференции,
видеофоны
Интернет ­ приложения,
мобильные абоненты,
эфирная трансляция
Мобильные абоненты
WWW­камеры
Видеоигры

168. MPEG-4ABC. Стандарт MPEG­4ABC известен также как Part 10, Н.264. Это
достаточно передовой продукт. Аббревиатура ABC значит Advanced Video Coding,
т.е. усовершенствованный кодек.
Стандарт Н.264 является результатом коллективных усилий ко­манды,
известной как JVT (Joint Video Team form of experts from ITU and ISO ­
объединенная команда видеоэкспертов, сформированная Международной
организацией по стандартам ISO.
Стандарт Н.264 идентичен стандарту ISO MPEG­4, part 10. Ра­бота над
проектом стандарта Н.264 была завершена в мае 2003 г., а в июле 2003 г. стандарт
был формально утвержден.
Особенности MPEG­4ABC:
более сложный алгоритм предостав-ляет более высокую эффективность
сжатия и более высокое каче-ство;
требует в 2 раза меньшей скорости потока по сравнению с MPEG-2 при
равном качестве картинки;
поддерживает эффективные инструменты дополнительной энтропии,
такие, как САВАС (ContextAdaptive Binary and Arithmetic Coding);
размер блока компенсации движения - от 4x4 до 16x16;
множественность опорных кадров;
ве-щательный уровень - главный профайл (Main Profile);
включен как формат сжатия для дисков Blu-ray и HD DVD.

169. Стандарт MPEG-7.
MPEG­7, сущность которого направлена на создание средств описания
содержания видео и аудиофайлов (т.е. на решение совсем другой задачи, чем
предыдущие стандарты MPEG). Эти средства должны быть стандартизированы
для различных типов аудиовизуальной информации, включая любые
неподвижные и движущиеся изображения, речь, музыку, графику, 3­мерные
модели и синтезированные звуки, независимо от формата представления.
Между MPEG­7 и MPEG­4 имеется связь, так как описание содержания
аудиовизуальной информации будет основано на понятиях аудиовизуальных
объектов и состоящих из них сцен. В MPEG­4 имеется возможность задавать
описание для каждого объекта, а MPEG­7 дает правила построения таких
описаний.
Основные характеристики MPEG-7:
1. Дескриптор (Description описатель) - описание объекта.
2. Схема описания (Description Scheme) - структура, содержащая
описание отдельных объектов и взаимосвязей между ними.
3. Язык определения описаний (Description Definition Language - DDL) — язык,
с помощью которого составляются схемы описаний.
Данный стандарт содержит DDL, набор дескрипторов объектов и набор схем
описаний. С помошью DDL составляются новые описания сцен, используя как
дескрипторы, определенные в стандарте, так и вновь создаваемые по заданным
правилам.

170. Содержание одной и той же аудиовизуальной информации может быть
описано на разных уровнях детальности, начиная с низкого уровня (цвет, форма,
текстура, положение визуальных объектов, высота тона, громкость темп,
положение звуковых объектов н т.п.) и заканчивая высоким уровнем, на котором
описание может быть задано в виде обычного текста на естественном языке
(семантическое описание), например, «сцена, в которой присутствует трое
девушек в черных платьях, с темными волосами: двое из них поют, а одна играет
на гитаре...».
Кроме того, описание должно включать сведения об авторах информации,
дату ее создания, условие доступа, формат записи или кодирования и т.п.
Поиск аудиовизуальной информации осуществляется путем составления
запроса, содержащего набор ключевых дескрипторов, так же как сейчас
осуществляется поиск текстов по ключевым словам.
Примеры возможных вариантов такого поиска:
­ задав несколько нот, получить список музыкальных произведений,
которые содержат такую последовательность:
- нарисовав несколько линии на экране, получить список рисунков,
содержащий данный фрагмент:
- задав форму и текстуру объекта, получить список содержащих его
изображений, а добавив сведения о движении, получить список подходящих
видеопрограмм;
- задав образец голоса певицы, получить список аудио- и видеофайлов,
содержащих его записи.

171. Формат сжатия Windows Media. Первая версия VC­1, теперь он известен
также как VC­9. Этот формат сжатия видео создан корпорацией Microsoft на базе
видеоко­дека пакета Windows Media 9 Series. В настоящее время организаци­ей
SMPTE (общество инженеров кино и телевидения) заканчивает­ся стандартизация
VC­1.
Особенности Windows Media VC­1:
менее сложный алгоритм, чем у MPEG­4, требует меньше циклов
обработки и более просто реализу­ется;
требует в два раза меньшей скорости потока, чем MPEG­2, при равном
качестве картинки;
используется кодирование VLC (Variable Length Coding);
размер блока компенсации движения ­ 16x16;
ис­пользуется схема опорного кадра, подобная MPEG­2;
вещательный уровень ­ передовой профайл (Advance Profile);
включен как формат сжатия для дисков Blu­Ray и HD DVD.

172. Стандарт компрессии Windows Media 9 Series (WM9). В последнее
время на многих направлениях деятельности вещательной и мультимедийной
отраслей наблюдается постепенный переход с широко распространенного
стандарта компрессии MPEG­2 на стандарты «суперкомпрессии» ­ MPEG­4 Part 10
и Windows Media 9 Series. Необходимо отметить, что большую активность
проявляет компания Microsoft, продвигая свой стандарт Windows Media 9 Series
практически во все сферы деятельности вещательных компаний, кино­ и
видеостудий, в постпроизводство и сетевые технологии передачи данных.
Тенденция перехода на новый стандарт сжатия данных хорошо прослеживается
на международных специализированных выставках, начиная с 2002 г. Например,
на выставке IBC2002 Microsoft впервые продемонстрировала новый алгоритм для
ТВЧ, обеспечивающий уплотнение цифрового потока ТВЧ до 5 Мбит/с.
Основные характеристики платформы WM 9. Известно, что алгоритмы
сжатия Windows Media компании Microsoft обеспечивают передачу потокового
видео по сети Интернет. Являясь передовой платформой для передачи цифрового
мультимедийного содержимого, фирма в последние годы стала интенсивно
использоваться как потребителями, так и провайдерами контента, провайдерами
вещательного оборудования, разработчиками программного обеспечения и
различными вещательными организациями. Windows Media 9 Series поднимает
процесс сжатия на новый уровень, так как обладает способностью значительно
улучшать качество наземной передачи сигналов цифрового ТВ обычной и высокой
четкости.

173. Платформа WM9 включает в себя следующие продукты:
­ инструмент воспроизведения Windows Media Player 9 Series;
­ Windows Media 9 Series ­ мощный алгоритм сервера Windows Server 2003
для потоковой доставки контента;
­ Windows Media Encoder 9 Series ­ кодер для постпроизводства контента;
алгортимы сжатия Windows Media Audio 9 Series и Windows Media Video 9 Series ­
для получения высококачественного изображения и звука;
­Windows Media Digital Rights Management ­ для зашиты контента; Windows
Media Software Development Kit ­ для разработки ПО по созданию цифровой
мультимедийной продукции и услуг.
Стандарт WM9, в сравнении со стандартом MPEG­4, обеспечивает повышение
степени сжатия на 20% ­ для звука и на 15­50% ­ для видео. Это означает, что файл
WM9 занимает половину объема файла сравнимого качества при MPEG­4 ­ сжатии
и треть объема файла MPEG­2.
HD видео, круговой звук. Windows Media Video 9 Pro обеспечивает хранение и
распределение полнометражного художественного фильма разрешением 720р или
1080р с круговым звуком 5,1 на одном стандартном диске DVD. Такое разрешение
может поддерживаться компьютером с ПО декодирования при разрешении 1080р.
что примерно в б раз выше разрешения существующих DVD.

174. Кодер Windows Media Encoder 9 Series поддерживает несколько
дополнительных контрольных функций:
­ управление видеокамерой и другими устройствами для более
эффективного кодирования;
­ поддержка обычных видео ­ и аудиофайлов;
­ более быстрое переключение на источник живой передачи;
­ получение точных данных о временном коде каждого кадра;
­поддержка
ускоренной скорости передачи данных (MBR) и нужного
разрешения изображения.
Практическая реализация стандарта WM 9. В настоящее время началось
широкое внедрение данного стандарта, включая:
­ запись на диски DVD­ROM;
­ спутниковое ТВЧ­вешанне;
­ передача видеосодержимого WM9 с помощью цифровых радио­ и ТВ­сетей;
­ ТВ­вешание по Интернету.

175. MPEG Layer.
Фирма Philips для выпускаемых ею компакт ­ кассет DCC (Digital Compact
Cassette) предложила формат цифровой высококачествен­ной стереофонической
аудиозаписи на ленту, позволивший свести скорость потока аудиоданных до 384
Кбит/с за счет удаления 75 % первоначального объема данных. Такая технология
сокращения по­тока данных была названа PASC (Precision Adaptive Sub­band Cod­
ing), т.е. прецизионное адаптивное кодирование в субдиапазонах. Си­стема PASC
была принята в качестве исходной базы аудиокомпрессии в рамках
видео/аудиокодирования MPEG Layer 1 (Уровень 1). Метод аудиокодирования
MPEG Layer 1 состоит в том, что сначала полоса аудиосигнала с помощью
цифровых полосовых фильтров разбивает­ся на 32 субполосы. После разделения
сигнала каждый из отсчетов представляется через мантиссу и показатель степени.
Далее отсчеты группируются в блоки по 12, в каждом из которых выбирается
максимальное значение сигнала. Из этих 32­х максимальных значений
составляется так называемый маскирующий профиль, относящийся к данному
моменту. На основе этого профиля определяется, с какой точностью можно
представить мантиссу в каждой субполосе, чтобы шум квантования оставался
неслышимым.

176. MPEG Layer 2 (Уровень 2). Он наиболее предпочтителен для цифрового
вещательного телевидения в Европе и включает в себя некоторые
усовершенствованные методы алгоритма Уровня 1. Первоначально он был принят
в качестве передающего кодирующего стандарта для европейской системы
наземного радиовещания DAB, в рамках которой стал называться MUSICAM. Если
говорить об уровнях звуковых стандартов MPEG, то следует отметить, что все они
поддерживают кодирование цифровых потоков любой величины из возможного
набора на всех трех частотах выборки — 32; 44,1; 48 кГц.
Качество кодирования по Уровню 2 повышается благодаря укрупнению
группы данных. Кодер Уровня 2 формирует для каждого аудиоканала кадры
размером 3x12x32 = 1152 отсчета. Если на Уровне 1 кодирование осуществляется на
базе группы из 12 отсчетов в каждой субполосе, то на Уровне 2 ­ на базе
совокупности трех групп из 12 отсчетов в субполосе. Каждая группа может иметь
свою точность квантования (масштабный фактор). Но этот вариант реализуется
только тогда, когда это действительно необходимо, чтобы гарантировать
отсутствие слышимых искажений. Если требуемые точности оказываются
близкими, то можно установить единое значение сразу для двух или трех групп.
Эта же ситуация возможна, когда ожидаемые искажения будут неслышимы из­за
временного маскирования шума.
Для передачи аудиофайлов через Интернет был разработан алгоритм
кодирования MPEG Layer 3 (Уровень 3). Этот алгоритм чаще называют
сокращенно МР­3. Он потребовал более тщательного подхода, поскольку
возможность сильного сжатия аудиоданных важна с точки зрения загрузки
файлов. В цифровом вещательном телевидении Уровень 3 не используется.

177. Сравнение методов компрессии видеосигналов
В качестве критерия для оценки качества преобразования и восстановления
видеоизображений принято использовать максимальное значение соотношения
сигнала и шума PSNR (Peak Signal­to­Noise Ratio). Как и в случае с оцифрованным
речевым сигналом, появление шума вызвано квантованием и кодированием,
которые вносят искажения в исходный видеосигнал. Поэтому для вычисления
PSNR используется частное от деления максимальной амплитуды оцифрованного
видеосигнала на значение среднеквадратического отклонения исходного и
оцифрованного видеосигналов, выраженное в децибелах (дБ). Значения PSNR в
диапазоне 30...35 дБ обычно соответствуют изображению удовлетворительного
качества, а 35...40 дБ — хорошего качества. Кодирование видеоизображения со
значением PSNR свыше 45 дБ не вносит в него изменений, заметных
человеческому глазу

178. Контрольные вопросы
Сформулируйте основные положения стандарта кодирования MPEG­4.
•
Перечислите области применения стандарта MPEG­4.
•
Сформулируйте основные положения стандартов кодирования MPEG­4АВС.
•
Что такое гибридные визуальные объекты?
•
Что такое естественные визуальные объ­екты?
•
Сформулируйте основные положения стандарта MPEG­7.
•
Сформулируйте основные положения стандарта WMVideo 9.
•
Какие критерии применяются для оценки качества преобразования?
•

179. 6 декабря 2010года
УМК «ЦИФРОВАЯ ОБРАБОТКА
АУДИО И ВИДЕОСИГНАЛОВ».
Конспект лекций
Спасибо за внимание!
Морозов Олег Геннадьевич (зав. каф. ТМС)
8-843-238-5273
kafedra_tms@mail.ru