SlideShare a Scribd company logo
1 of 54
Download to read offline
Обзор методов
обнаружения ошибок в
        видео

        Кира Рагулина
          Video Group
   CS MSU Graphics & Media Lab


                                 1
Only for
 Maxus 



             Содержание
           Введение
                      Постановка задачи
                      Область применения
                      Проблемы
                      Классификация алгоритмов
           Алгоритм, основанный на DCT-коэффициентах
           Алгоритм, использующий обучение
           Алгоритм для JPEG
           Алгоритм модификации H.263
           Алгоритм для SISO

                                                        2/85
CS MSU Graphics & Media Lab (Video Group)
Only for
 Maxus 



             Постановка задачи
     Для заданного визуального качества на
     стороне получателя найти наилучший
     способ (с меньшей пропускной
     способностью, меньшей задержкой, более
     эффективный) передать видео сигнал,
     используя защиту от ошибок, исправление
     ошибок и/или маскирование ошибок.


                                            3/85
CS MSU Graphics & Media Lab (Video Group)
Only for
 Maxus 



             Пример
     Распространение ошибки




                                            4/85
CS MSU Graphics & Media Lab (Video Group)
Only for
 Maxus 



             Область применения
    Потеря данных при передаче через
     проводные каналы
    Потеря данных при передаче через
     спутниковые каналы




                                            5/85
CS MSU Graphics & Media Lab (Video Group)
Only for
 Maxus 



             Общие проблемы
    Потеря заголовков и синхронизации
    Сложность определение точного места
     ошибки
    Распространение ошибки
    Передача в реальном времени и высоком
     качестве
    Противоречивость требований

                                             6/85
CS MSU Graphics & Media Lab (Video Group)
Only for
    Maxus 
                 Классификация алгоритмов
                 обнаружения ошибок
      Алгоритмы, использующие преимущества специального метода кодирования
       или структуры сигнала (синтаксические методы)
              Неуниверсальные
              Требуют большей пропускной способности для передачи
              Находят далеко не все ошибки
              Неточно определяют место ошибки, либо обладают большой вычислительной
               сложностью
              Плохо работают при частых ошибках (высокий BER)
      Алгоритмы, использующие дополнительную информацию (водяные знаки)
              Неуниверсальные
              Трудно подобрать хороший водяной знак
              Требуют большей пропускной способности для передачи
      Алгоритмы, использующие повторную передачу
              Не пригодны для приложений реального времени
              Создают задержки передачи
      Алгоритмы, использующие избыточность видео сигнала
              Универсальны
              Используют пространственную, временную, частотную избыточность

                                                                                   7/85
CS MSU Graphics & Media Lab (Video Group)
Only for
 Maxus 



             Содержание
           Введение
                      Постановка задачи
                      Область применения
                      Проблемы
                      Классификация алгоритмов
           Алгоритм, основанный на DCT-коэффициентах
           Алгоритм, использующий обучение
           Алгоритм для JPEG
           Алгоритм модификации H.263
           Алгоритм для SISO

                                                        8/85
CS MSU Graphics & Media Lab (Video Group)
Only for
    Maxus       Алгоритм, основанный
                 на DCT-коэффициентах
      Обнаружение
         VCL уровень
               Декодирует слова. Если встречается недопустимое или
               зарезервированное слово или слово с синтаксической ошибкой,
               то оно и слайс, в который оно входит, помечается как ошибочный
               и включается следующий уровень. Если встречается старт-код,
               то также включается следующий уровень.
              Уровень синхронизации
               Ищет байт, соответствующий старт-коду.
          Уровень данных
      Восстановление
              Копирование из предыдущего кадра
                                          DCT Coefficient-Based Error Detection Technique for
                                          Compressed Video Stream., K. Bhattacharyya, H. S.     9/85
CS MSU Graphics & Media Lab (Video Group) Jamadagni,IEEE,2000.
Only for
 Maxus        Алгоритм, основанный
               на DCT-коэффициентах
           Уровень данных
            Проверяет индивидуальные блоки на аномалии.
            Считает изменение средней энергии у 4 соседних в
            кадре блоков, если она больше порога T1, то
            проверяется наличие границ в блоке. Если в блоке нет
            границ, то он помечается как содержащий ошибку.
            Если есть границы, то считается их главное
            направление. Далее сравнивается изменение энергии
            блока по направлению этой границы. Если оно больше
            порога T2, блок помечается как содежащий ошибку.
           T1 = 150, T2 = 50
                                          DCT Coefficient-Based Error Detection Technique for
                                          Compressed Video Stream., K. Bhattacharyya, H. S.   10/85
CS MSU Graphics & Media Lab (Video Group) Jamadagni,IEEE,2000.
Only for
 Maxus         Алгоритм, основанный
                на DCT-коэффициентах
           Уровень данных
             Изменение средней энергии – изменение DC

              DCT-коэффициентов яркости блоков.
             Определение границы в блоке – сравнение

              блока с 8 ее соседними блоками:



               Определение направления границы:

                                          DCT Coefficient-Based Error Detection Technique for
                                          Compressed Video Stream., K. Bhattacharyya, H. S.   11/85
CS MSU Graphics & Media Lab (Video Group) Jamadagni,IEEE,2000.
Only for
 Maxus 



               Характеристики
      Очень быстрый алгоритм
      Очень простой алгоритм
      Применим для кодеков, использующих DCT
       преобразование




                                          DCT Coefficient-Based Error Detection Technique for
                                          Compressed Video Stream., K. Bhattacharyya, H. S.   12/85
CS MSU Graphics & Media Lab (Video Group) Jamadagni,IEEE,2000.
Only for
 Maxus 



             Содержание
           Введение
                      Постановка задачи
                      Область применения
                      Проблемы
                      Классификация алгоритмов
           Алгоритм, основанный на DCT-коэффициентах
           Алгоритм, использующий обучение
           Алгоритм для JPEG
           Алгоритм модификации H.263
           Алгоритм для SISO

                                                        13/85
CS MSU Graphics & Media Lab (Video Group)
Only for
 Maxus 
               Алгоритм, использующий
               обучение
  Классификация ошибок: использует Mean Option Score




                                          ENHANCING ERROR RESILIENCE IN WIRELESS
                                          TRANSMITTED COMPRESSED VIDEO SEQUENCES
                                          THROUGH A PROBABILISTIC NEURAL NETWORK              14/85
CS MSU Graphics & Media Lab (Video Group) CORE, Reuben A. Farrugia and Carl J. Debono,2007.
Only for
 Maxus 
               Алгоритм, использующий
               обучение
  Схема алгоритма:




                                          ENHANCING ERROR RESILIENCE IN WIRELESS
                                          TRANSMITTED COMPRESSED VIDEO SEQUENCES
                                          THROUGH A PROBABILISTIC NEURAL NETWORK              15/85
CS MSU Graphics & Media Lab (Video Group) CORE, Reuben A. Farrugia and Carl J. Debono,2007.
Only for
 Maxus 
               Алгоритм, использующий
               обучение
      Характеристики:
         Пространственные
           AIDB – средняя разница между границами
            соседних MB
           IAID - средняя разница между границами блоков
            в MB
           IAIDblock - средняя разница между границами
            блоков в MB в расчете на блок
           SED между MB текущего и предыдущего кадра
           ISED – max SED между блоками в MB текущего и
            предыдущего кадров ERROR RESILIENCE IN WIRELESS
                               ENHANCING
                                          TRANSMITTED COMPRESSED VIDEO SEQUENCES
                                          THROUGH A PROBABILISTIC NEURAL NETWORK              16/85
CS MSU Graphics & Media Lab (Video Group) CORE, Reuben A. Farrugia and Carl J. Debono,2007.
Only for
 Maxus 
               Алгоритм, использующий
               обучение
      Характеристики:
         Частотные
                      d1spat , d2spat, d3spat – суммы
                       коэффициентов, расположенных по
                       вертикали, диагонали и горизонтали
                       в соседних блоках MB
                      d1spat, d3spat – разница сумм
                       коэффициентов, расположенных по
                       вертикали и горизонтали в MB из
                       текущего и предыдущего кадров
                                          ENHANCING ERROR RESILIENCE IN WIRELESS
                                          TRANSMITTED COMPRESSED VIDEO SEQUENCES
                                          THROUGH A PROBABILISTIC NEURAL NETWORK              17/85
CS MSU Graphics & Media Lab (Video Group) CORE, Reuben A. Farrugia and Carl J. Debono,2007.
Only for
 Maxus 
               Алгоритм, использующий
               обучение
      Бинарный классификатор:
         Вычисляет веса компонент вектора
         Использует обучение – 500 векторов на класс
         Рассматривалось 3 классификатора:
            Линейный классификатор Фишера
            Нейронная сеть с обратным распространением
             ошибки
            Вероятностная нейронная сеть


                                          ENHANCING ERROR RESILIENCE IN WIRELESS
                                          TRANSMITTED COMPRESSED VIDEO SEQUENCES
                                          THROUGH A PROBABILISTIC NEURAL NETWORK              18/85
CS MSU Graphics & Media Lab (Video Group) CORE, Reuben A. Farrugia and Carl J. Debono,2007.
Only for
 Maxus 
               Алгоритм, использующий
               обучение
      Вероятностная нейронная сеть




                                          ENHANCING ERROR RESILIENCE IN WIRELESS
                                          TRANSMITTED COMPRESSED VIDEO SEQUENCES
                                          THROUGH A PROBABILISTIC NEURAL NETWORK              19/85
CS MSU Graphics & Media Lab (Video Group) CORE, Reuben A. Farrugia and Carl J. Debono,2007.
Only for
 Maxus 



               Результаты
      Кодек H.263++, BER 1.31Е-03




                                          ENHANCING ERROR RESILIENCE IN WIRELESS
                                          TRANSMITTED COMPRESSED VIDEO SEQUENCES
                                          THROUGH A PROBABILISTIC NEURAL NETWORK              20/85
CS MSU Graphics & Media Lab (Video Group) CORE, Reuben A. Farrugia and Carl J. Debono,2007.
Only for
 Maxus 



             Содержание
           Введение
                      Постановка задачи
                      Область применения
                      Проблемы
                      Классификация алгоритмов
           Алгоритм, основанный на DCT-коэффициентах
           Алгоритм, использующий обучение
           Алгоритм для JPEG
           Алгоритм модификации H.263
           Алгоритм для SISO

                                                        21/85
CS MSU Graphics & Media Lab (Video Group)
Only for
 Maxus 
               Алгоритм восстановления
               для JPEG
      Обнаружение ошибок в словах по коду
      Обнаружение ошибок по частотной информации
        Сравниваются АС коэффициенты ранга k соседних
         блоков, хотя бы один должен быть похож
      Обнаружение ошибок по пространственной
       информации
      Маскирование ошибок




                                             Error detection and concealment in JPEG Images,   22/85
CS MSU Graphics & Media Lab (Video Group) M.Abdat, Z.Alkachouh, M.Bellanger,1995.
Only for
 Maxus 



               Алгоритм для JPEG
      Обнаружение ошибок по частотной информации
        Коэффициент ошибочный, если

           или




                                             Error detection and concealment in JPEG Images,   23/85
CS MSU Graphics & Media Lab (Video Group) M.Abdat, Z.Alkachouh, M.Bellanger,1995.
Only for
 Maxus 



               Алгоритм для JPEG
    Обнаружение ошибок по пространственной
     информации
      B1, B2 – 2 блока с общей границей
      m1, m2 – средняя яркость границ блоков B1, B2
      σ1, σ2 – дисперсия яркости границ блоков B1, B2
      Сравнение блоков - адаптивный порог для t:




                                                     t для последнего верно
                                                     декодированного блока
                                             Error detection and concealment in JPEG Images,   24/85
CS MSU Graphics & Media Lab (Video Group) M.Abdat, Z.Alkachouh, M.Bellanger,1995.
Only for
 Maxus 



               Алгоритм для JPEG
      Маскирование ошибок
        DC коэффициент – среднее соседних DC
         коэффициентов
        AC коэффициент ранга k – интерполяция 8 соседей




                                                       Current Block




                                             Error detection and concealment in JPEG Images,   25/85
CS MSU Graphics & Media Lab (Video Group) M.Abdat, Z.Alkachouh, M.Bellanger,1995.
Only for
 Maxus 



               Результаты
      PSNR 3-4dB




                                             Error detection and concealment in JPEG Images,   26/85
CS MSU Graphics & Media Lab (Video Group) M.Abdat, Z.Alkachouh, M.Bellanger,1995.
Only for
 Maxus 



             Содержание
           Введение
                      Постановка задачи
                      Область применения
                      Проблемы
                      Классификация алгоритмов
           Алгоритм, основанный на DCT-коэффициентах
           Алгоритм, использующий обучение
           Алгоритм для JPEG
           Алгоритм модификации H.263
           Алгоритм для SISO

                                                        27/85
CS MSU Graphics & Media Lab (Video Group)
Only for
 Maxus 
               Алгоритм модификации
               H.263
      Предназначен для слайс-структурированного режима
       потока
      Проблема: при потере 1 или более MB в середине
       слайса становится невозможно декодировать остаток
       слайса.
      Алгоритм решает эту проблему путем незначительной
       модификации потока
      Модификация затрагивает уровень MB и слайсов



                                              Error Detection and Correction in H.263 coded video   28/85
CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
Only for
 Maxus 
               Алгоритм модификации
               H.263
      Схема алгоритма:




                                              Error Detection and Correction in H.263 coded video   29/85
CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
Only for
 Maxus 
               Алгоритм модификации
               H.263
      Модификация потока:
        уровень слайсов:
           SSTUF – изменяется
           LQUANT (последняя информация квантайзера)
            добавляется
           LMVV (значение последнего MV) добавляется
        уровень MB:
           прогноз MVD (разница MV) добавляется



                                              Error Detection and Correction in H.263 coded video   30/85
CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
Only for
 Maxus 
               Алгоритм модификации
               H.263
      Типы MB при ошибке передачи:
         не декодируемые MB
          определяются при декодировании слайса
         верно декодируемые MB
          определяются после декодирования слайса
         кодируемые, но с ошибками MB
          определяются после декодирования слайса




                                              Error Detection and Correction in H.263 coded video   31/85
CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
Only for
 Maxus 
              Алгоритм модификации
              H.263
     При декодировании слайса MB помечается как
      недекодируемый и заполняется серым, если
           неверный VLC код обнаружен
           информация квантайзера вне допустимого диапазона
           неверный INTRA DC коэффициент обнаружен
           потеря TCOEF c уровнем 0 обнаружена
           коэффициенты достигли переполнения
           MV ссылаются вне кадра
     При декодировании слайса MB помечается как
      кодируемый, но содержащий ошибку, если
         число битов, использованных при декодировании слайса, больше
          числа битов в слайсе
         информация квантайзера в последнем MB отличается от LQUANT
CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, LMVV
          MV последнего декодированного MB and Correction in H.263S. Lehmann 32/85
                                                           отличается от coded video
                                          Error Detection
     
Only for
 Maxus 
               Алгоритм модификации
               H.263
     Для выявление поврежденных MB используются следующие меры
      похожести:
           MB характеристики
               граница MB
               среднее значение MB
           характеристики внутренних блоков MB
               внутренняя граница
               границы отдельных DCT блоков MB
               среднее значение DCT блоков MB
     Каждая из характеристик вычисляется и сравнивается с абсолютным
      и/или относительным порогом
     Если она больше абсолютного порога, то MB помечается как
      содержащий ошибку
     Если она больше относительного порога, то MB помечается как
      кандидат на ошибку и проверяются остальные характеристики
                                              Error Detection and Correction in H.263 coded video   33/85
CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
Only for
 Maxus 
                Алгоритм модификации
                H.263
     Исправление
        Допустим декодер знает позицию первого блока с ошибкой (если
         он есть в слайсе). Тогда применяется алгоритм:
               Декодируется предшествующая часть слайса
               Указатель устанавливается на 2 бит первого блока с ошибкой
               Остаток слайда, начиная с указателя, проверяется на возможность
                декодирования
               Если он недекодируем, то к указателю прибавляется 1 бит
               Процесс продолжается, пока остаток не станет верно декодируемым
           Если число верно декодируемым MB меньше количества MB в
            слайсе, то они выравниваются справа, пропавшие MB
            заполняются серым
           Процесс запускается для каждого отмеченного слайса с ошибкой
           Кадр декодируется с помощью такой процедуры, пока новые
            испорченные MB не будут Error Detection and Correction in H.263 coded video
                                     обнаруживаться
                                                                                              34/85
CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
Only for
 Maxus 
               Алгоритм модификации
               H.263
     Схема метода исправления:




                                              Error Detection and Correction in H.263 coded video   35/85
CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
Only for
 Maxus 
               Алгоритм модификации
               H.263
     Маскирование
     После исправления в слайсе остается хотя бы 1 серый MB с ошибкой
     Он заполняется любым стандартным методом маскирования:
        Пространственным
            для INTRA кадров
            медиана 8 соседних блоков
        Временным
            для INTER кадров
            простое ME временное маскирование
            MV MB с ошибкой приравнивается медиане MV соседних 8 MB
            если соответствующие MV недоступны, вместо них берется 0
            Соответствующий MV MB предыдущего кадра копируется в
             текущий кадр
                                              Error Detection and Correction in H.263 coded video   36/85
CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
Only for
 Maxus 



               Результаты
     „Salesman‟ , QCIF, 176x144, 4:2:0, 10 frame/sec, IPPPP…
     64kbps, H.263
     Канал BSC в 100 состояниях
     PSNR по кадру складывает 3 компоненты – среднее по состояниям
      канала
     PSNR по видео складывает 3 компоненты – среднее PSNR по всем
      кадрам и всем состояния канала




                                          Error Detection and Correction in H.263 coded video
                                          over wireless network,E.Khan, H.Gunji, S. Lehmann     37/85
CS MSU Graphics & Media Lab (Video Group) and M.Ghanbari,2001.
Only for
 Maxus 



               Результаты




                                              Error Detection and Correction in H.263 coded video   38/85
CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
Only for
 Maxus 



               Результаты




                                              Error Detection and Correction in H.263 coded video   39/85
CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
Only for
 Maxus 



             Содержание
           Введение
                      Постановка задачи
                      Область применения
                      Проблемы
                      Классификация алгоритмов
           Алгоритм, основанный на DCT-коэффициентах
           Алгоритм, использующий обучение
           Алгоритм для JPEG
           Алгоритм модификации H.263
           Алгоритм для SISO

                                                        40/85
CS MSU Graphics & Media Lab (Video Group)
Only for
 Maxus 



               Алгоритм для SISO
     Применяется для H.263
     Процедура обнаружения ошибок:
        Сначала осуществляется обнаружение ошибок с помощью канала
         – MB, содержащие биты с маленькой вероятностью
         правдоподобия (по порогу), и все, следующие за ними в слайсе,
         отмечаются как подозрительные
        Блоки, содержащие синтаксические ошибки, и все, следующие за
         ними в слайсе, отмечаются как содержащие ошибку. Декодер
         останавливается
        Проверяется похожесть границ подозрительных MB. Если
         суммарная разница превосходит цветовые пороги, то блок и все,
         следующие за ними в слайсе, отмечается как содержащий
         ошибку

                                          A Novel Bitstream Level Joint Channel Error
                                          Concealment Scheme for Realtime Video over        41/85
CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
Only for
 Maxus 



               Алгоритм для SISO
     Мера похожести границ




     Вычисляется в DCT
      области
     Порог для каждого
      слайса надежно
      передается и
      обновляется при смене сцен или других сильных изменениях
                                          A Novel Bitstream Level Joint Channel Error
                                          Concealment Scheme for Realtime Video over        42/85
CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
Only for
 Maxus 



               Алгоритм для SISO
     Исправление и маскирование: схема




                                          A Novel Bitstream Level Joint Channel Error
                                          Concealment Scheme for Realtime Video over        43/85
CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
Only for
 Maxus 



               Алгоритм для SISO
     Итеративно работающий блок исправления/маскирования




                                          A Novel Bitstream Level Joint Channel Error
                                          Concealment Scheme for Realtime Video over        44/85
CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
Only for
 Maxus 



               Алгоритм для SISO
     Предсказатель битовых ошибок выдает N наиболее вероятных
      битовых ошибок среди подозрительных битов
     Битовый переключатель переворачивает биты из переданных ему
      согласно нескольким шаблонам и выдает результат декодеру
     Декодер декодирует измененную область (обычно небольшую)
     Сопоставитель границ отбрасывает варианты перевернутых битов по
      порогу, вычисляя разницу между границами MB, оставляя образец с
      min разницей
     Если время вышло, а маскирование не завершилось, то вызывается
      традиционное маскирование (простое и быстрое)




                                          A Novel Bitstream Level Joint Channel Error
                                          Concealment Scheme for Realtime Video over        45/85
CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
Only for
 Maxus 



               Алгоритм для SISO
     Среди подозрительных битов может быть одиночная или пакетная
      ошибка
     Поэтому предсказатель битовых ошибок выбирает N наименее
      правдоподобных битов из тех, у которых вероятнсть правдоподобия
      меньше порога
     Тогда область поиска равна 2N. Для сокращения пространства поиска
      используется 3 метода:
        Разделение слайса на 3 области
        Применение профилей поиска
        Сам алгоритм поиска




                                          A Novel Bitstream Level Joint Channel Error
                                          Concealment Scheme for Realtime Video over        46/85
CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
Only for
    Maxus 



                Алгоритм для SISO
      Разделение слайса на 3 области
      Применение профилей поиска
       Использует пакетный характер
       потерь, придавая значения
       отдельным областям и
       пренебрегая другими
      Сам алгоритм поиска
       Алгоритм отсечения граничных
       веток графа, использует тот факт,
       что если какой-то шаблон не
       декодер остановился в середине,
       то все коды с таким префиксом
       содержат ошибку, это шаблон
       ошибки                        A Novel Bitstream Level Joint Channel Error
                                             Concealment Scheme for Realtime Video over     47/85
CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
Only for
    Maxus 



               Алгоритм для SISO
      Разделение слайса на 3 области
         Р3 – точка останова декодера
         Пусть N1, N2, N3 – количества предполагаемых ошибок в областях
         N = N1 + N2 + N3 отражает надежность канала
      Применение профилей поиска
         Опрелеляет количество ошибок пропорционально длинам
          подобластей
         Выделяет первую и вторую области
         Выделяет вторую и третью области
         Выделяет первую и третью области
          (иногда встречается)
         Выделяет вторую область

                                          A Novel Bitstream Level Joint Channel Error
                                          Concealment Scheme for Realtime Video over        48/85
CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
Only for
    Maxus 



               Алгоритм для SISO
      Сам алгоритм поиска
         Шаблон ошибки:




                                            A Novel Bitstream Level Joint Channel Error
                                            Concealment Scheme for Realtime Video over      49/85
CS MSU Graphics & Media Lab (Video Group)
                                            Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
Only for
 Maxus 



             Алгоритм для SSO




                                            A Novel Bitstream Level Joint Channel Error
                                            Concealment Scheme for Realtime Video over      50/85
CS MSU Graphics & Media Lab (Video Group)
                                            Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
Only for
 Maxus 



               Результаты (Foreman)




                                          A Novel Bitstream Level Joint Channel Error
                                          Concealment Scheme for Realtime Video over        51/85
CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
Only for
 Maxus 



             Результаты


                                            ECCP – усреднение 4
                                            соседей
                                            MVEC – маскирование с
                                            использование MV




                                            A Novel Bitstream Level Joint
                                            Channel Error Concealment
                                            Scheme for Realtime Video over
                                                                          52/85
                                            Wireless Networks, X.Ding, K.Roy,
CS MSU Graphics & Media Lab (Video Group)   INFOCOM,2004.
Only for
 Maxus 



             Вопросы




                                            53/85
CS MSU Graphics & Media Lab (Video Group)
Only for
 Maxus 



               Литература
 1.    “A Novel Bitstream Level Joint Channel Error Concealment Scheme for
       Realtime Video over Wireless Networks”, X.Ding, K.Roy, INFOCOM,2004.
 2.    “Error Detection and Correction in H.263 coded video over wireless network”,
       E.Khan, H.Gunji, S. Lehmann and M.Ghanbari, Audio and Video Networking
       Laboratory Department of Electronic Systems Engineering, University of
       Essexm, UK, 2001.
 3.    “Error detection and concealment in JPEG Images”, M.Abdat, Z.Alkachouh,
       M.Bellanger,1995.
 4.    “DCT Coefficient-Based Error Detection Technique for Compressed Video
       Stream”, K. Bhattacharyya, H. S. Jamadagni, IEEE, 2000.
 5.    “Enhancing error resilience in wireless transmitted compressed video
       sequences through a probabilistic neural network core”, Reuben A. Farrugia
       and Carl J. Debono, Department of Communications and Computer
       Engineering, University of Malta, 2007.

                                          A Novel Bitstream Level Joint Channel Error
                                          Concealment Scheme for Realtime Video over        54/85
CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.

More Related Content

Similar to Обзор методов обнаружения ошибок в видео

Обзор стандарта H.265/HEVC
Обзор стандарта H.265/HEVCОбзор стандарта H.265/HEVC
Обзор стандарта H.265/HEVCMSU GML VideoGroup
 
Новые тенденции в области автостереоскопических дисплеев, съемки и отображени...
Новые тенденции в области автостереоскопических дисплеев, съемки и отображени...Новые тенденции в области автостереоскопических дисплеев, съемки и отображени...
Новые тенденции в области автостереоскопических дисплеев, съемки и отображени...MSU GML VideoGroup
 
Применение современных графических процессоров в области компьютерного зрения
Применение современных графических процессоров в области компьютерного зренияПрименение современных графических процессоров в области компьютерного зрения
Применение современных графических процессоров в области компьютерного зренияMSU GML VideoGroup
 
Обзор подходов к измерению качества 3D видео
Обзор подходов к измерению качества 3D видеоОбзор подходов к измерению качества 3D видео
Обзор подходов к измерению качества 3D видеоMSU GML VideoGroup
 
Анализ параметров кодеков
Анализ параметров кодековАнализ параметров кодеков
Анализ параметров кодековMSU GML VideoGroup
 
Цветонезависимое сопоставление стерео
Цветонезависимое сопоставление стереоЦветонезависимое сопоставление стерео
Цветонезависимое сопоставление стереоMSU GML VideoGroup
 
Некоторые методы сегментации видео
Некоторые методы сегментации видеоНекоторые методы сегментации видео
Некоторые методы сегментации видеоMSU GML VideoGroup
 
Обзор методов оценки True-motion
Обзор методов оценки True-motionОбзор методов оценки True-motion
Обзор методов оценки True-motionMSU GML VideoGroup
 
Обзор открытых библиотек в области обработки изображений и компьютерного зрения
Обзор открытых библиотек в области обработки изображений и компьютерного зренияОбзор открытых библиотек в области обработки изображений и компьютерного зрения
Обзор открытых библиотек в области обработки изображений и компьютерного зренияMSU GML VideoGroup
 
Быстрое начало работы с VTune. Обзор новинок DSP.Super-Resolution для ToF-камер
Быстрое начало работы с VTune. Обзор новинок DSP.Super-Resolution для ToF-камерБыстрое начало работы с VTune. Обзор новинок DSP.Super-Resolution для ToF-камер
Быстрое начало работы с VTune. Обзор новинок DSP.Super-Resolution для ToF-камерMSU GML VideoGroup
 
Генерация текстур
Генерация текстурГенерация текстур
Генерация текстурMSU GML VideoGroup
 
Обзор докладов конференции IC3D 2012
Обзор докладов конференции IC3D 2012Обзор докладов конференции IC3D 2012
Обзор докладов конференции IC3D 2012MSU GML VideoGroup
 
Защита центров обработки данных. Механизмы безопасности для классической фабр...
Защита центров обработки данных. Механизмы безопасности для классической фабр...Защита центров обработки данных. Механизмы безопасности для классической фабр...
Защита центров обработки данных. Механизмы безопасности для классической фабр...Cisco Russia
 
Восстановление старых фильмов
Восстановление старых фильмовВосстановление старых фильмов
Восстановление старых фильмовMSU GML VideoGroup
 
Некоторые методы матирования видео
Некоторые методы матирования видеоНекоторые методы матирования видео
Некоторые методы матирования видеоMSU GML VideoGroup
 
Обзор методов сопоставления шаблона и изображения
Обзор методов сопоставления шаблона и изображенияОбзор методов сопоставления шаблона и изображения
Обзор методов сопоставления шаблона и изображенияMSU GML VideoGroup
 
Обзор методов инпэинтинга по одному изображению
Обзор методов инпэинтинга по одному изображениюОбзор методов инпэинтинга по одному изображению
Обзор методов инпэинтинга по одному изображениюMSU GML VideoGroup
 
Hpc summer school parallel extensions for visualization
Hpc summer school   parallel extensions for visualizationHpc summer school   parallel extensions for visualization
Hpc summer school parallel extensions for visualizationMichael Karpov
 
Некоторые алгоритмы многомерной обработки изображений
Некоторые алгоритмы многомерной обработки изображенийНекоторые алгоритмы многомерной обработки изображений
Некоторые алгоритмы многомерной обработки изображенийMSU GML VideoGroup
 
Декодирование видео на GPU
Декодирование видео на GPUДекодирование видео на GPU
Декодирование видео на GPUMSU GML VideoGroup
 

Similar to Обзор методов обнаружения ошибок в видео (20)

Обзор стандарта H.265/HEVC
Обзор стандарта H.265/HEVCОбзор стандарта H.265/HEVC
Обзор стандарта H.265/HEVC
 
Новые тенденции в области автостереоскопических дисплеев, съемки и отображени...
Новые тенденции в области автостереоскопических дисплеев, съемки и отображени...Новые тенденции в области автостереоскопических дисплеев, съемки и отображени...
Новые тенденции в области автостереоскопических дисплеев, съемки и отображени...
 
Применение современных графических процессоров в области компьютерного зрения
Применение современных графических процессоров в области компьютерного зренияПрименение современных графических процессоров в области компьютерного зрения
Применение современных графических процессоров в области компьютерного зрения
 
Обзор подходов к измерению качества 3D видео
Обзор подходов к измерению качества 3D видеоОбзор подходов к измерению качества 3D видео
Обзор подходов к измерению качества 3D видео
 
Анализ параметров кодеков
Анализ параметров кодековАнализ параметров кодеков
Анализ параметров кодеков
 
Цветонезависимое сопоставление стерео
Цветонезависимое сопоставление стереоЦветонезависимое сопоставление стерео
Цветонезависимое сопоставление стерео
 
Некоторые методы сегментации видео
Некоторые методы сегментации видеоНекоторые методы сегментации видео
Некоторые методы сегментации видео
 
Обзор методов оценки True-motion
Обзор методов оценки True-motionОбзор методов оценки True-motion
Обзор методов оценки True-motion
 
Обзор открытых библиотек в области обработки изображений и компьютерного зрения
Обзор открытых библиотек в области обработки изображений и компьютерного зренияОбзор открытых библиотек в области обработки изображений и компьютерного зрения
Обзор открытых библиотек в области обработки изображений и компьютерного зрения
 
Быстрое начало работы с VTune. Обзор новинок DSP.Super-Resolution для ToF-камер
Быстрое начало работы с VTune. Обзор новинок DSP.Super-Resolution для ToF-камерБыстрое начало работы с VTune. Обзор новинок DSP.Super-Resolution для ToF-камер
Быстрое начало работы с VTune. Обзор новинок DSP.Super-Resolution для ToF-камер
 
Генерация текстур
Генерация текстурГенерация текстур
Генерация текстур
 
Обзор докладов конференции IC3D 2012
Обзор докладов конференции IC3D 2012Обзор докладов конференции IC3D 2012
Обзор докладов конференции IC3D 2012
 
Защита центров обработки данных. Механизмы безопасности для классической фабр...
Защита центров обработки данных. Механизмы безопасности для классической фабр...Защита центров обработки данных. Механизмы безопасности для классической фабр...
Защита центров обработки данных. Механизмы безопасности для классической фабр...
 
Восстановление старых фильмов
Восстановление старых фильмовВосстановление старых фильмов
Восстановление старых фильмов
 
Некоторые методы матирования видео
Некоторые методы матирования видеоНекоторые методы матирования видео
Некоторые методы матирования видео
 
Обзор методов сопоставления шаблона и изображения
Обзор методов сопоставления шаблона и изображенияОбзор методов сопоставления шаблона и изображения
Обзор методов сопоставления шаблона и изображения
 
Обзор методов инпэинтинга по одному изображению
Обзор методов инпэинтинга по одному изображениюОбзор методов инпэинтинга по одному изображению
Обзор методов инпэинтинга по одному изображению
 
Hpc summer school parallel extensions for visualization
Hpc summer school   parallel extensions for visualizationHpc summer school   parallel extensions for visualization
Hpc summer school parallel extensions for visualization
 
Некоторые алгоритмы многомерной обработки изображений
Некоторые алгоритмы многомерной обработки изображенийНекоторые алгоритмы многомерной обработки изображений
Некоторые алгоритмы многомерной обработки изображений
 
Декодирование видео на GPU
Декодирование видео на GPUДекодирование видео на GPU
Декодирование видео на GPU
 

More from MSU GML VideoGroup

Обзор алгоритмов генерации ракурсов для многоракурсных видео
Обзор алгоритмов генерации ракурсов для многоракурсных видеоОбзор алгоритмов генерации ракурсов для многоракурсных видео
Обзор алгоритмов генерации ракурсов для многоракурсных видеоMSU GML VideoGroup
 
Обзор методов сравнения фильмов
Обзор методов сравнения фильмовОбзор методов сравнения фильмов
Обзор методов сравнения фильмовMSU GML VideoGroup
 
Методы цветокоррекции стереовидео
Методы цветокоррекции стереовидеоМетоды цветокоррекции стереовидео
Методы цветокоррекции стереовидеоMSU GML VideoGroup
 
Некоторые методы сопоставления стерео
Некоторые методы сопоставления стереоНекоторые методы сопоставления стерео
Некоторые методы сопоставления стереоMSU GML VideoGroup
 
Некоторые методы обнаружения артефактов 3D-видео
Некоторые методы обнаружения артефактов 3D-видеоНекоторые методы обнаружения артефактов 3D-видео
Некоторые методы обнаружения артефактов 3D-видеоMSU GML VideoGroup
 
Способы построения и оценки карт салиентности
Способы построения и оценки карт салиентностиСпособы построения и оценки карт салиентности
Способы построения и оценки карт салиентностиMSU GML VideoGroup
 
Некоторые методы проектирования и оптимизации кода
Некоторые методы проектирования и оптимизации кодаНекоторые методы проектирования и оптимизации кода
Некоторые методы проектирования и оптимизации кодаMSU GML VideoGroup
 
Способы построения saliency map
Способы построения saliency mapСпособы построения saliency map
Способы построения saliency mapMSU GML VideoGroup
 
Research & Development методы, проблемы и ошибки
Research & Development методы, проблемы и ошибкиResearch & Development методы, проблемы и ошибки
Research & Development методы, проблемы и ошибкиMSU GML VideoGroup
 
Обзор алгоритмов трекинга объектов
Обзор алгоритмов трекинга объектовОбзор алгоритмов трекинга объектов
Обзор алгоритмов трекинга объектовMSU GML VideoGroup
 
Некоторые методы генерации многоракурсных изображений на основе карты глубины
Некоторые методы генерации многоракурсных изображений на основе карты глубиныНекоторые методы генерации многоракурсных изображений на основе карты глубины
Некоторые методы генерации многоракурсных изображений на основе карты глубиныMSU GML VideoGroup
 
Использование областей перекрытия в задаче сегментации видео
Использование областей перекрытия в задаче сегментации видеоИспользование областей перекрытия в задаче сегментации видео
Использование областей перекрытия в задаче сегментации видеоMSU GML VideoGroup
 
Алгоритмы для задачи матирования
Алгоритмы для задачи матированияАлгоритмы для задачи матирования
Алгоритмы для задачи матированияMSU GML VideoGroup
 
Исправление различий резкости в 3D видео
Исправление различий резкости в 3D видеоИсправление различий резкости в 3D видео
Исправление различий резкости в 3D видеоMSU GML VideoGroup
 
Методы повышения визуального качества восстановленного фона (часть 2)
Методы повышения визуального качества восстановленного фона (часть 2)Методы повышения визуального качества восстановленного фона (часть 2)
Методы повышения визуального качества восстановленного фона (часть 2)MSU GML VideoGroup
 
Некоторые методы сопоставления и трекинга границ во времени
Некоторые методы сопоставления и трекинга границ во времениНекоторые методы сопоставления и трекинга границ во времени
Некоторые методы сопоставления и трекинга границ во времениMSU GML VideoGroup
 
Метрики оценки качества конвертированного стерео
Метрики оценки качества конвертированного стереоМетрики оценки качества конвертированного стерео
Метрики оценки качества конвертированного стереоMSU GML VideoGroup
 
Некоторые методы восстановления фона
Некоторые методы восстановления фонаНекоторые методы восстановления фона
Некоторые методы восстановления фонаMSU GML VideoGroup
 
Методы повышения визуального качества восстановленного фона
Методы повышения визуального качества восстановленного фонаМетоды повышения визуального качества восстановленного фона
Методы повышения визуального качества восстановленного фонаMSU GML VideoGroup
 
Обзор методов сегментации видео
Обзор методов сегментации видеоОбзор методов сегментации видео
Обзор методов сегментации видеоMSU GML VideoGroup
 

More from MSU GML VideoGroup (20)

Обзор алгоритмов генерации ракурсов для многоракурсных видео
Обзор алгоритмов генерации ракурсов для многоракурсных видеоОбзор алгоритмов генерации ракурсов для многоракурсных видео
Обзор алгоритмов генерации ракурсов для многоракурсных видео
 
Обзор методов сравнения фильмов
Обзор методов сравнения фильмовОбзор методов сравнения фильмов
Обзор методов сравнения фильмов
 
Методы цветокоррекции стереовидео
Методы цветокоррекции стереовидеоМетоды цветокоррекции стереовидео
Методы цветокоррекции стереовидео
 
Некоторые методы сопоставления стерео
Некоторые методы сопоставления стереоНекоторые методы сопоставления стерео
Некоторые методы сопоставления стерео
 
Некоторые методы обнаружения артефактов 3D-видео
Некоторые методы обнаружения артефактов 3D-видеоНекоторые методы обнаружения артефактов 3D-видео
Некоторые методы обнаружения артефактов 3D-видео
 
Способы построения и оценки карт салиентности
Способы построения и оценки карт салиентностиСпособы построения и оценки карт салиентности
Способы построения и оценки карт салиентности
 
Некоторые методы проектирования и оптимизации кода
Некоторые методы проектирования и оптимизации кодаНекоторые методы проектирования и оптимизации кода
Некоторые методы проектирования и оптимизации кода
 
Способы построения saliency map
Способы построения saliency mapСпособы построения saliency map
Способы построения saliency map
 
Research & Development методы, проблемы и ошибки
Research & Development методы, проблемы и ошибкиResearch & Development методы, проблемы и ошибки
Research & Development методы, проблемы и ошибки
 
Обзор алгоритмов трекинга объектов
Обзор алгоритмов трекинга объектовОбзор алгоритмов трекинга объектов
Обзор алгоритмов трекинга объектов
 
Некоторые методы генерации многоракурсных изображений на основе карты глубины
Некоторые методы генерации многоракурсных изображений на основе карты глубиныНекоторые методы генерации многоракурсных изображений на основе карты глубины
Некоторые методы генерации многоракурсных изображений на основе карты глубины
 
Использование областей перекрытия в задаче сегментации видео
Использование областей перекрытия в задаче сегментации видеоИспользование областей перекрытия в задаче сегментации видео
Использование областей перекрытия в задаче сегментации видео
 
Алгоритмы для задачи матирования
Алгоритмы для задачи матированияАлгоритмы для задачи матирования
Алгоритмы для задачи матирования
 
Исправление различий резкости в 3D видео
Исправление различий резкости в 3D видеоИсправление различий резкости в 3D видео
Исправление различий резкости в 3D видео
 
Методы повышения визуального качества восстановленного фона (часть 2)
Методы повышения визуального качества восстановленного фона (часть 2)Методы повышения визуального качества восстановленного фона (часть 2)
Методы повышения визуального качества восстановленного фона (часть 2)
 
Некоторые методы сопоставления и трекинга границ во времени
Некоторые методы сопоставления и трекинга границ во времениНекоторые методы сопоставления и трекинга границ во времени
Некоторые методы сопоставления и трекинга границ во времени
 
Метрики оценки качества конвертированного стерео
Метрики оценки качества конвертированного стереоМетрики оценки качества конвертированного стерео
Метрики оценки качества конвертированного стерео
 
Некоторые методы восстановления фона
Некоторые методы восстановления фонаНекоторые методы восстановления фона
Некоторые методы восстановления фона
 
Методы повышения визуального качества восстановленного фона
Методы повышения визуального качества восстановленного фонаМетоды повышения визуального качества восстановленного фона
Методы повышения визуального качества восстановленного фона
 
Обзор методов сегментации видео
Обзор методов сегментации видеоОбзор методов сегментации видео
Обзор методов сегментации видео
 

Обзор методов обнаружения ошибок в видео

  • 1. Обзор методов обнаружения ошибок в видео Кира Рагулина Video Group CS MSU Graphics & Media Lab 1
  • 2. Only for Maxus  Содержание  Введение  Постановка задачи  Область применения  Проблемы  Классификация алгоритмов  Алгоритм, основанный на DCT-коэффициентах  Алгоритм, использующий обучение  Алгоритм для JPEG  Алгоритм модификации H.263  Алгоритм для SISO 2/85 CS MSU Graphics & Media Lab (Video Group)
  • 3. Only for Maxus  Постановка задачи Для заданного визуального качества на стороне получателя найти наилучший способ (с меньшей пропускной способностью, меньшей задержкой, более эффективный) передать видео сигнал, используя защиту от ошибок, исправление ошибок и/или маскирование ошибок. 3/85 CS MSU Graphics & Media Lab (Video Group)
  • 4. Only for Maxus  Пример Распространение ошибки 4/85 CS MSU Graphics & Media Lab (Video Group)
  • 5. Only for Maxus  Область применения  Потеря данных при передаче через проводные каналы  Потеря данных при передаче через спутниковые каналы 5/85 CS MSU Graphics & Media Lab (Video Group)
  • 6. Only for Maxus  Общие проблемы  Потеря заголовков и синхронизации  Сложность определение точного места ошибки  Распространение ошибки  Передача в реальном времени и высоком качестве  Противоречивость требований 6/85 CS MSU Graphics & Media Lab (Video Group)
  • 7. Only for Maxus  Классификация алгоритмов обнаружения ошибок  Алгоритмы, использующие преимущества специального метода кодирования или структуры сигнала (синтаксические методы)  Неуниверсальные  Требуют большей пропускной способности для передачи  Находят далеко не все ошибки  Неточно определяют место ошибки, либо обладают большой вычислительной сложностью  Плохо работают при частых ошибках (высокий BER)  Алгоритмы, использующие дополнительную информацию (водяные знаки)  Неуниверсальные  Трудно подобрать хороший водяной знак  Требуют большей пропускной способности для передачи  Алгоритмы, использующие повторную передачу  Не пригодны для приложений реального времени  Создают задержки передачи  Алгоритмы, использующие избыточность видео сигнала  Универсальны  Используют пространственную, временную, частотную избыточность 7/85 CS MSU Graphics & Media Lab (Video Group)
  • 8. Only for Maxus  Содержание  Введение  Постановка задачи  Область применения  Проблемы  Классификация алгоритмов  Алгоритм, основанный на DCT-коэффициентах  Алгоритм, использующий обучение  Алгоритм для JPEG  Алгоритм модификации H.263  Алгоритм для SISO 8/85 CS MSU Graphics & Media Lab (Video Group)
  • 9. Only for Maxus  Алгоритм, основанный на DCT-коэффициентах  Обнаружение  VCL уровень Декодирует слова. Если встречается недопустимое или зарезервированное слово или слово с синтаксической ошибкой, то оно и слайс, в который оно входит, помечается как ошибочный и включается следующий уровень. Если встречается старт-код, то также включается следующий уровень.  Уровень синхронизации Ищет байт, соответствующий старт-коду.  Уровень данных  Восстановление  Копирование из предыдущего кадра DCT Coefficient-Based Error Detection Technique for Compressed Video Stream., K. Bhattacharyya, H. S. 9/85 CS MSU Graphics & Media Lab (Video Group) Jamadagni,IEEE,2000.
  • 10. Only for Maxus  Алгоритм, основанный на DCT-коэффициентах  Уровень данных Проверяет индивидуальные блоки на аномалии. Считает изменение средней энергии у 4 соседних в кадре блоков, если она больше порога T1, то проверяется наличие границ в блоке. Если в блоке нет границ, то он помечается как содержащий ошибку. Если есть границы, то считается их главное направление. Далее сравнивается изменение энергии блока по направлению этой границы. Если оно больше порога T2, блок помечается как содежащий ошибку.  T1 = 150, T2 = 50 DCT Coefficient-Based Error Detection Technique for Compressed Video Stream., K. Bhattacharyya, H. S. 10/85 CS MSU Graphics & Media Lab (Video Group) Jamadagni,IEEE,2000.
  • 11. Only for Maxus  Алгоритм, основанный на DCT-коэффициентах  Уровень данных  Изменение средней энергии – изменение DC DCT-коэффициентов яркости блоков.  Определение границы в блоке – сравнение блока с 8 ее соседними блоками:  Определение направления границы: DCT Coefficient-Based Error Detection Technique for Compressed Video Stream., K. Bhattacharyya, H. S. 11/85 CS MSU Graphics & Media Lab (Video Group) Jamadagni,IEEE,2000.
  • 12. Only for Maxus  Характеристики  Очень быстрый алгоритм  Очень простой алгоритм  Применим для кодеков, использующих DCT преобразование DCT Coefficient-Based Error Detection Technique for Compressed Video Stream., K. Bhattacharyya, H. S. 12/85 CS MSU Graphics & Media Lab (Video Group) Jamadagni,IEEE,2000.
  • 13. Only for Maxus  Содержание  Введение  Постановка задачи  Область применения  Проблемы  Классификация алгоритмов  Алгоритм, основанный на DCT-коэффициентах  Алгоритм, использующий обучение  Алгоритм для JPEG  Алгоритм модификации H.263  Алгоритм для SISO 13/85 CS MSU Graphics & Media Lab (Video Group)
  • 14. Only for Maxus  Алгоритм, использующий обучение Классификация ошибок: использует Mean Option Score ENHANCING ERROR RESILIENCE IN WIRELESS TRANSMITTED COMPRESSED VIDEO SEQUENCES THROUGH A PROBABILISTIC NEURAL NETWORK 14/85 CS MSU Graphics & Media Lab (Video Group) CORE, Reuben A. Farrugia and Carl J. Debono,2007.
  • 15. Only for Maxus  Алгоритм, использующий обучение Схема алгоритма: ENHANCING ERROR RESILIENCE IN WIRELESS TRANSMITTED COMPRESSED VIDEO SEQUENCES THROUGH A PROBABILISTIC NEURAL NETWORK 15/85 CS MSU Graphics & Media Lab (Video Group) CORE, Reuben A. Farrugia and Carl J. Debono,2007.
  • 16. Only for Maxus  Алгоритм, использующий обучение  Характеристики:  Пространственные  AIDB – средняя разница между границами соседних MB  IAID - средняя разница между границами блоков в MB  IAIDblock - средняя разница между границами блоков в MB в расчете на блок  SED между MB текущего и предыдущего кадра  ISED – max SED между блоками в MB текущего и предыдущего кадров ERROR RESILIENCE IN WIRELESS ENHANCING TRANSMITTED COMPRESSED VIDEO SEQUENCES THROUGH A PROBABILISTIC NEURAL NETWORK 16/85 CS MSU Graphics & Media Lab (Video Group) CORE, Reuben A. Farrugia and Carl J. Debono,2007.
  • 17. Only for Maxus  Алгоритм, использующий обучение  Характеристики:  Частотные  d1spat , d2spat, d3spat – суммы коэффициентов, расположенных по вертикали, диагонали и горизонтали в соседних блоках MB  d1spat, d3spat – разница сумм коэффициентов, расположенных по вертикали и горизонтали в MB из текущего и предыдущего кадров ENHANCING ERROR RESILIENCE IN WIRELESS TRANSMITTED COMPRESSED VIDEO SEQUENCES THROUGH A PROBABILISTIC NEURAL NETWORK 17/85 CS MSU Graphics & Media Lab (Video Group) CORE, Reuben A. Farrugia and Carl J. Debono,2007.
  • 18. Only for Maxus  Алгоритм, использующий обучение  Бинарный классификатор:  Вычисляет веса компонент вектора  Использует обучение – 500 векторов на класс  Рассматривалось 3 классификатора:  Линейный классификатор Фишера  Нейронная сеть с обратным распространением ошибки  Вероятностная нейронная сеть ENHANCING ERROR RESILIENCE IN WIRELESS TRANSMITTED COMPRESSED VIDEO SEQUENCES THROUGH A PROBABILISTIC NEURAL NETWORK 18/85 CS MSU Graphics & Media Lab (Video Group) CORE, Reuben A. Farrugia and Carl J. Debono,2007.
  • 19. Only for Maxus  Алгоритм, использующий обучение  Вероятностная нейронная сеть ENHANCING ERROR RESILIENCE IN WIRELESS TRANSMITTED COMPRESSED VIDEO SEQUENCES THROUGH A PROBABILISTIC NEURAL NETWORK 19/85 CS MSU Graphics & Media Lab (Video Group) CORE, Reuben A. Farrugia and Carl J. Debono,2007.
  • 20. Only for Maxus  Результаты  Кодек H.263++, BER 1.31Е-03 ENHANCING ERROR RESILIENCE IN WIRELESS TRANSMITTED COMPRESSED VIDEO SEQUENCES THROUGH A PROBABILISTIC NEURAL NETWORK 20/85 CS MSU Graphics & Media Lab (Video Group) CORE, Reuben A. Farrugia and Carl J. Debono,2007.
  • 21. Only for Maxus  Содержание  Введение  Постановка задачи  Область применения  Проблемы  Классификация алгоритмов  Алгоритм, основанный на DCT-коэффициентах  Алгоритм, использующий обучение  Алгоритм для JPEG  Алгоритм модификации H.263  Алгоритм для SISO 21/85 CS MSU Graphics & Media Lab (Video Group)
  • 22. Only for Maxus  Алгоритм восстановления для JPEG  Обнаружение ошибок в словах по коду  Обнаружение ошибок по частотной информации  Сравниваются АС коэффициенты ранга k соседних блоков, хотя бы один должен быть похож  Обнаружение ошибок по пространственной информации  Маскирование ошибок Error detection and concealment in JPEG Images, 22/85 CS MSU Graphics & Media Lab (Video Group) M.Abdat, Z.Alkachouh, M.Bellanger,1995.
  • 23. Only for Maxus  Алгоритм для JPEG  Обнаружение ошибок по частотной информации  Коэффициент ошибочный, если  или Error detection and concealment in JPEG Images, 23/85 CS MSU Graphics & Media Lab (Video Group) M.Abdat, Z.Alkachouh, M.Bellanger,1995.
  • 24. Only for Maxus  Алгоритм для JPEG  Обнаружение ошибок по пространственной информации  B1, B2 – 2 блока с общей границей  m1, m2 – средняя яркость границ блоков B1, B2  σ1, σ2 – дисперсия яркости границ блоков B1, B2  Сравнение блоков - адаптивный порог для t: t для последнего верно декодированного блока Error detection and concealment in JPEG Images, 24/85 CS MSU Graphics & Media Lab (Video Group) M.Abdat, Z.Alkachouh, M.Bellanger,1995.
  • 25. Only for Maxus  Алгоритм для JPEG  Маскирование ошибок  DC коэффициент – среднее соседних DC коэффициентов  AC коэффициент ранга k – интерполяция 8 соседей Current Block Error detection and concealment in JPEG Images, 25/85 CS MSU Graphics & Media Lab (Video Group) M.Abdat, Z.Alkachouh, M.Bellanger,1995.
  • 26. Only for Maxus  Результаты  PSNR 3-4dB Error detection and concealment in JPEG Images, 26/85 CS MSU Graphics & Media Lab (Video Group) M.Abdat, Z.Alkachouh, M.Bellanger,1995.
  • 27. Only for Maxus  Содержание  Введение  Постановка задачи  Область применения  Проблемы  Классификация алгоритмов  Алгоритм, основанный на DCT-коэффициентах  Алгоритм, использующий обучение  Алгоритм для JPEG  Алгоритм модификации H.263  Алгоритм для SISO 27/85 CS MSU Graphics & Media Lab (Video Group)
  • 28. Only for Maxus  Алгоритм модификации H.263  Предназначен для слайс-структурированного режима потока  Проблема: при потере 1 или более MB в середине слайса становится невозможно декодировать остаток слайса.  Алгоритм решает эту проблему путем незначительной модификации потока  Модификация затрагивает уровень MB и слайсов Error Detection and Correction in H.263 coded video 28/85 CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
  • 29. Only for Maxus  Алгоритм модификации H.263  Схема алгоритма: Error Detection and Correction in H.263 coded video 29/85 CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
  • 30. Only for Maxus  Алгоритм модификации H.263  Модификация потока:  уровень слайсов:  SSTUF – изменяется  LQUANT (последняя информация квантайзера) добавляется  LMVV (значение последнего MV) добавляется  уровень MB:  прогноз MVD (разница MV) добавляется Error Detection and Correction in H.263 coded video 30/85 CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
  • 31. Only for Maxus  Алгоритм модификации H.263  Типы MB при ошибке передачи:  не декодируемые MB определяются при декодировании слайса  верно декодируемые MB определяются после декодирования слайса  кодируемые, но с ошибками MB определяются после декодирования слайса Error Detection and Correction in H.263 coded video 31/85 CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
  • 32. Only for Maxus  Алгоритм модификации H.263  При декодировании слайса MB помечается как недекодируемый и заполняется серым, если  неверный VLC код обнаружен  информация квантайзера вне допустимого диапазона  неверный INTRA DC коэффициент обнаружен  потеря TCOEF c уровнем 0 обнаружена  коэффициенты достигли переполнения  MV ссылаются вне кадра  При декодировании слайса MB помечается как кодируемый, но содержащий ошибку, если  число битов, использованных при декодировании слайса, больше числа битов в слайсе  информация квантайзера в последнем MB отличается от LQUANT CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, LMVV MV последнего декодированного MB and Correction in H.263S. Lehmann 32/85 отличается от coded video Error Detection 
  • 33. Only for Maxus  Алгоритм модификации H.263  Для выявление поврежденных MB используются следующие меры похожести:  MB характеристики  граница MB  среднее значение MB  характеристики внутренних блоков MB  внутренняя граница  границы отдельных DCT блоков MB  среднее значение DCT блоков MB  Каждая из характеристик вычисляется и сравнивается с абсолютным и/или относительным порогом  Если она больше абсолютного порога, то MB помечается как содержащий ошибку  Если она больше относительного порога, то MB помечается как кандидат на ошибку и проверяются остальные характеристики Error Detection and Correction in H.263 coded video 33/85 CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
  • 34. Only for Maxus  Алгоритм модификации H.263  Исправление  Допустим декодер знает позицию первого блока с ошибкой (если он есть в слайсе). Тогда применяется алгоритм:  Декодируется предшествующая часть слайса  Указатель устанавливается на 2 бит первого блока с ошибкой  Остаток слайда, начиная с указателя, проверяется на возможность декодирования  Если он недекодируем, то к указателю прибавляется 1 бит  Процесс продолжается, пока остаток не станет верно декодируемым  Если число верно декодируемым MB меньше количества MB в слайсе, то они выравниваются справа, пропавшие MB заполняются серым  Процесс запускается для каждого отмеченного слайса с ошибкой  Кадр декодируется с помощью такой процедуры, пока новые испорченные MB не будут Error Detection and Correction in H.263 coded video обнаруживаться 34/85 CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
  • 35. Only for Maxus  Алгоритм модификации H.263  Схема метода исправления: Error Detection and Correction in H.263 coded video 35/85 CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
  • 36. Only for Maxus  Алгоритм модификации H.263  Маскирование  После исправления в слайсе остается хотя бы 1 серый MB с ошибкой  Он заполняется любым стандартным методом маскирования:  Пространственным  для INTRA кадров  медиана 8 соседних блоков  Временным  для INTER кадров  простое ME временное маскирование  MV MB с ошибкой приравнивается медиане MV соседних 8 MB  если соответствующие MV недоступны, вместо них берется 0  Соответствующий MV MB предыдущего кадра копируется в текущий кадр Error Detection and Correction in H.263 coded video 36/85 CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
  • 37. Only for Maxus  Результаты  „Salesman‟ , QCIF, 176x144, 4:2:0, 10 frame/sec, IPPPP…  64kbps, H.263  Канал BSC в 100 состояниях  PSNR по кадру складывает 3 компоненты – среднее по состояниям канала  PSNR по видео складывает 3 компоненты – среднее PSNR по всем кадрам и всем состояния канала Error Detection and Correction in H.263 coded video over wireless network,E.Khan, H.Gunji, S. Lehmann 37/85 CS MSU Graphics & Media Lab (Video Group) and M.Ghanbari,2001.
  • 38. Only for Maxus  Результаты Error Detection and Correction in H.263 coded video 38/85 CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
  • 39. Only for Maxus  Результаты Error Detection and Correction in H.263 coded video 39/85 CS MSU Graphics & Media Lab (Video Group) over wireless network,E.Khan, H.Gunji, S. Lehmann
  • 40. Only for Maxus  Содержание  Введение  Постановка задачи  Область применения  Проблемы  Классификация алгоритмов  Алгоритм, основанный на DCT-коэффициентах  Алгоритм, использующий обучение  Алгоритм для JPEG  Алгоритм модификации H.263  Алгоритм для SISO 40/85 CS MSU Graphics & Media Lab (Video Group)
  • 41. Only for Maxus  Алгоритм для SISO  Применяется для H.263  Процедура обнаружения ошибок:  Сначала осуществляется обнаружение ошибок с помощью канала – MB, содержащие биты с маленькой вероятностью правдоподобия (по порогу), и все, следующие за ними в слайсе, отмечаются как подозрительные  Блоки, содержащие синтаксические ошибки, и все, следующие за ними в слайсе, отмечаются как содержащие ошибку. Декодер останавливается  Проверяется похожесть границ подозрительных MB. Если суммарная разница превосходит цветовые пороги, то блок и все, следующие за ними в слайсе, отмечается как содержащий ошибку A Novel Bitstream Level Joint Channel Error Concealment Scheme for Realtime Video over 41/85 CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
  • 42. Only for Maxus  Алгоритм для SISO  Мера похожести границ  Вычисляется в DCT области  Порог для каждого слайса надежно передается и обновляется при смене сцен или других сильных изменениях A Novel Bitstream Level Joint Channel Error Concealment Scheme for Realtime Video over 42/85 CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
  • 43. Only for Maxus  Алгоритм для SISO  Исправление и маскирование: схема A Novel Bitstream Level Joint Channel Error Concealment Scheme for Realtime Video over 43/85 CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
  • 44. Only for Maxus  Алгоритм для SISO  Итеративно работающий блок исправления/маскирования A Novel Bitstream Level Joint Channel Error Concealment Scheme for Realtime Video over 44/85 CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
  • 45. Only for Maxus  Алгоритм для SISO  Предсказатель битовых ошибок выдает N наиболее вероятных битовых ошибок среди подозрительных битов  Битовый переключатель переворачивает биты из переданных ему согласно нескольким шаблонам и выдает результат декодеру  Декодер декодирует измененную область (обычно небольшую)  Сопоставитель границ отбрасывает варианты перевернутых битов по порогу, вычисляя разницу между границами MB, оставляя образец с min разницей  Если время вышло, а маскирование не завершилось, то вызывается традиционное маскирование (простое и быстрое) A Novel Bitstream Level Joint Channel Error Concealment Scheme for Realtime Video over 45/85 CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
  • 46. Only for Maxus  Алгоритм для SISO  Среди подозрительных битов может быть одиночная или пакетная ошибка  Поэтому предсказатель битовых ошибок выбирает N наименее правдоподобных битов из тех, у которых вероятнсть правдоподобия меньше порога  Тогда область поиска равна 2N. Для сокращения пространства поиска используется 3 метода:  Разделение слайса на 3 области  Применение профилей поиска  Сам алгоритм поиска A Novel Bitstream Level Joint Channel Error Concealment Scheme for Realtime Video over 46/85 CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
  • 47. Only for Maxus  Алгоритм для SISO  Разделение слайса на 3 области  Применение профилей поиска Использует пакетный характер потерь, придавая значения отдельным областям и пренебрегая другими  Сам алгоритм поиска Алгоритм отсечения граничных веток графа, использует тот факт, что если какой-то шаблон не декодер остановился в середине, то все коды с таким префиксом содержат ошибку, это шаблон ошибки A Novel Bitstream Level Joint Channel Error Concealment Scheme for Realtime Video over 47/85 CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
  • 48. Only for Maxus  Алгоритм для SISO  Разделение слайса на 3 области  Р3 – точка останова декодера  Пусть N1, N2, N3 – количества предполагаемых ошибок в областях  N = N1 + N2 + N3 отражает надежность канала  Применение профилей поиска  Опрелеляет количество ошибок пропорционально длинам подобластей  Выделяет первую и вторую области  Выделяет вторую и третью области  Выделяет первую и третью области (иногда встречается)  Выделяет вторую область A Novel Bitstream Level Joint Channel Error Concealment Scheme for Realtime Video over 48/85 CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
  • 49. Only for Maxus  Алгоритм для SISO  Сам алгоритм поиска  Шаблон ошибки: A Novel Bitstream Level Joint Channel Error Concealment Scheme for Realtime Video over 49/85 CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
  • 50. Only for Maxus  Алгоритм для SSO A Novel Bitstream Level Joint Channel Error Concealment Scheme for Realtime Video over 50/85 CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
  • 51. Only for Maxus  Результаты (Foreman) A Novel Bitstream Level Joint Channel Error Concealment Scheme for Realtime Video over 51/85 CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.
  • 52. Only for Maxus  Результаты ECCP – усреднение 4 соседей MVEC – маскирование с использование MV A Novel Bitstream Level Joint Channel Error Concealment Scheme for Realtime Video over 52/85 Wireless Networks, X.Ding, K.Roy, CS MSU Graphics & Media Lab (Video Group) INFOCOM,2004.
  • 53. Only for Maxus  Вопросы 53/85 CS MSU Graphics & Media Lab (Video Group)
  • 54. Only for Maxus  Литература 1. “A Novel Bitstream Level Joint Channel Error Concealment Scheme for Realtime Video over Wireless Networks”, X.Ding, K.Roy, INFOCOM,2004. 2. “Error Detection and Correction in H.263 coded video over wireless network”, E.Khan, H.Gunji, S. Lehmann and M.Ghanbari, Audio and Video Networking Laboratory Department of Electronic Systems Engineering, University of Essexm, UK, 2001. 3. “Error detection and concealment in JPEG Images”, M.Abdat, Z.Alkachouh, M.Bellanger,1995. 4. “DCT Coefficient-Based Error Detection Technique for Compressed Video Stream”, K. Bhattacharyya, H. S. Jamadagni, IEEE, 2000. 5. “Enhancing error resilience in wireless transmitted compressed video sequences through a probabilistic neural network core”, Reuben A. Farrugia and Carl J. Debono, Department of Communications and Computer Engineering, University of Malta, 2007. A Novel Bitstream Level Joint Channel Error Concealment Scheme for Realtime Video over 54/85 CS MSU Graphics & Media Lab (Video Group) Wireless Networks, X.Ding, K.Roy, INFOCOM,2004.