Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Only for
Maxus 




               Деинтерлейсинг

                             Петров Александр
                        ...
Only for
Maxus 


            Содержание
    Введение
          Понятие интерлейсинга
          Понятие деинтерлейсинг...
Only for
Maxus 


           Введение
 Интерлейсинг (Interlacing) - метод отображения,
   передачи или хранения видео, пр...
Only for
Maxus 


           Введение
              Поле #5     Кадр #3




              Поле #6




CS MSU Graphics & M...
Only for
Maxus 


           Введение
 Деинтерлейсинг (Deinterlacing)— процесс создания
   кадров из полукадров чересстро...
Only for
Maxus 


           Введение




CS MSU Graphics & Media
   Lab (Video Group)      6
Введение
Only for
Maxus 



           Постановка задачи
    Задача – интерполировать недостающие пиксели и, в
       то ...
Введение
Only for
Maxus 



           Визуальные дефекты

      Мерцание границ (edge flicking)
      Сползание строк ...
Введение
Only for
Maxus 



           Пример




CS MSU Graphics & Media
   Lab (Video Group)      9
Введение
Only for
Maxus 



           Пример




CS MSU Graphics & Media
   Lab (Video Group)      10
Введение
Only for
Maxus 



           Пример
                   до     после




CS MSU Graphics & Media
   Lab (Video G...
Only for
Maxus 


           Содержание
    Введение
    Классификация методов
    Простые методы
    Сложные методы
...
Only for
Maxus 



            Классификация методов
                                      Методы



                    ...
Only for
Maxus 


            Содержание
    Введение
    Классификация методов
    Простые методы
          Простран...
Простые методы
Only for
Maxus 



           Spatial

      Line Repetition (LR)

                                     ...
Простые методы
Only for
Maxus 



           Spatial

      Line Averaging (LA, ―Bob‖)
                               p...
Only for
Maxus 


            Содержание
    Введение
    Классификация методов
    Простые методы
          Простран...
Простые методы
Only for
Maxus 



           Temporal
      Field Insertion (FI, FR, ―Weave‖)

                         ...
Простые методы
Only for
Maxus 



           Temporal
      Inter-field Line Averaging
                                 ...
Only for
Maxus 


                Содержание
    Введение
    Классификация методов
    Простые методы
          Прос...
Простые методы
Only for
Maxus 



           Spatial-temporal
      Vertical-Temporal Median Filter




                ...
Простые методы
Only for
Maxus 



            Spatial-temporal
           Vertical-Temporal Linear

                    ...
Only for
Maxus 


            Содержание
    Введение
    Классификация методов
    Простые методы
          Простран...
Простые методы
Only for
Maxus 



             Адаптирующиеся к границам
          Edge-based Line Averaging (ELA, ELI, ...
Простые методы
Only for
Maxus 



             Адаптирующиеся к границам
    Улучшения:
          Можно рассматривать 12...
Простые методы
Only for
Maxus 



           Сравнение




CS MSU Graphics & Media
   Lab (Video Group)        26
Only for
Maxus 
           Простые методы
           Сравнение (Неподвижные регионы)

           Field Insertion     Line...
Only for
Maxus 
           Простые методы
           Сравнение (регионы с движением)

           Field Insertion     Line...
Only for
Maxus 


            Содержание
    Введение
    Классификация методов
    Простые методы
    Сложные методы...
Сложные методы
Only for
Maxus 



           Motion Adaptive

                                  Region




              ...
Only for
Maxus 


            Содержание
    Введение
    Классификация методов
    Простые методы
    Сложные методы...
Motion Adaptive
Only for
Maxus 



           Motion Detector

    Сравниваем поля одной четности
    Строим маску движ...
Motion Adaptive
Only for
Maxus 



           Motion Detector
   Сравниваем поля одной четности




CS MSU Graphics & Med...
Motion Detector
Only for
Maxus 



           4-field motion detection




                             Yu-Lin Chang, Shy...
Motion Detector
Only for
Maxus 



           Moving-Stationary Detector




CS MSU Graphics & Media   Li G.-L., Chen M.-...
Only for
Maxus 


            Содержание
    Введение
    Классификация методов
    Простые методы
    Сложные методы...
Motion Adaptive
Only for
Maxus 



           HMDEPR




CS MSU Graphics & Media      Gwo Giun Lee, Ming-JiunWang, Hsin-T...
Motion Adaptive
Only for
Maxus 



           HMDEPR
   Hybrid Motion Detector (HMD):




CS MSU Graphics & Media      Gw...
Motion Adaptive
Only for
Maxus 



           HMDEPR
 Результат детектора движения - карта движения (motion map).




   ...
HMDEPR
Only for
Maxus 



            Тестирование




             Предложенный алгоритм.                               ...
Motion Adaptive
Only for
Maxus 



               HMDEPR
   Edge Pattern Recognition (EPR):
                             ...
Motion Adaptive
Only for
Maxus 



             HMDEPR

          В случае 3H1L, 3L1H наиболее вероятно, что центральный...
Motion Adaptive
Only for
Maxus 



             HMDEPR

          2H2L – угол:




          2H2L – линия:




CS MSU G...
Motion Adaptive
Only for
Maxus 



               HMDEPR
      Пиксели b и с, также как и X, недостающие.
       Как же ...
HMDEPR
Only for
Maxus 



           Тестирование




CS MSU Graphics & Media      Gwo Giun Lee, Ming-JiunWang, Hsin-Te L...
HMDEPR
Only for
Maxus 



           Тестирование (текстуры)




                                            PSNR in dB
C...
HMDEPR
Only for
Maxus 



           Тестирование




CS MSU Graphics & Media      Gwo Giun Lee, Ming-JiunWang, Hsin-Te L...
HMDEPR
Only for
Maxus 



           Тестирование




CS MSU Graphics & Media      Gwo Giun Lee, Ming-JiunWang, Hsin-Te L...
HMDEPR
Only for
Maxus 



            Выводы
    Достоинства
          Хорошо интерполирует границы
          Неплохо ...
Only for
Maxus 


            Содержание
    Введение
    Классификация методов
    Простые методы
    Сложные методы...
Сложные методы
Only for
Maxus 



           MC-based Deinterlacing




CS MSU Graphics & Media
   Lab (Video Group)     ...
Сложные методы
Only for
Maxus 



           MC-based Deinterlacing




CS MSU Graphics & Media
   Lab (Video Group)     ...
Сложные методы
Only for
Maxus 



           MC-based Deinterlacing

       Поиск похожих блоков




                    ...
Сложные методы
Only for
Maxus 



           MC-based Deinterlacing

       Подгоним найденный блок Bn под сетку




    ...
Only for
Maxus 
           MC-based Deinterlacing
           Пример работы

                 Field Insertion   MC-based

...
Only for
Maxus 


            Содержание
    Введение
    Классификация методов
    Простые методы
    Сложные методы...
Only for
Maxus 


            MSU Filter
    MSU MA
          Temporal Interpolation
          Spatial Interpolation
 ...
Only for
Maxus 


           MSU MA




CS MSU Graphics & Media
   Lab (Video Group)      58
Only for
Maxus 


              MSU MA
     Пиксель интерполируется двумя способами
            Пространственная интерп...
MSU MA
Only for
Maxus 



              Temporal Interpolation
        В качестве временного приближения используется Fi...
MSU MA
Only for
Maxus 



             Spatial Interpolation
    Интерполяция
          Vertical Bilinear – позволяет
 ...
MSU MA
Only for
Maxus 



              Spatial Interpolation

        X ,               четность поля и строки совпадаю...
MSU MA
Only for
Maxus 



                Spatial Interpolation

     Весовая функция, влияющая на SpatCoef
     Вес бо...
Only for
Maxus 


           MSU Filter
    MSU MA
    MSU MC
    Тестирование




CS MSU Graphics & Media
   Lab (Vid...
Only for
Maxus 


           MSU MC




CS MSU Graphics & Media
   Lab (Video Group)      65
Only for
Maxus 


               MSU MC
       Пиксель интерполируется тремя способами
            Пространственная инт...
Only for
Maxus 


            MSU MC
     Мера ошибки ME (ME Error Measure)
         Влияет на вес MC кадра.

         ...
Only for
Maxus 


                MSU MC
     Весовая функция горизонтальных границ (Horizontal Edge Detection weighting...
Only for
Maxus 


           MSU Filter
    MSU MA
    MSU MC
    Тестирование




CS MSU Graphics & Media
   Lab (Vid...
MSU Filter
Only for
Maxus 



           Тестирование




                          Original frame
CS MSU Graphics & Medi...
MSU Filter
Only for
Maxus 



           Тестирование




CS MSU Graphics & Media
   Lab (Video Group)      71
MSU Filter
Only for
Maxus 



           Тестирование




     Smart Deinterlace    MSU Deinterlacer (motion   De Haan De...
MSU Filter
Only for
Maxus 



           Тестирование




           MSU Deinterlacer (motion   MSU Deinterlacer (motion
...
MSU Filter
Only for
Maxus 



           Тестирование
                                                       PSNR Measuri...
Only for
Maxus 


           Содержание
    Введение
    Классификация методов
    Простые методы
    Сложные методы
...
Only for
Maxus 


            Дальнейшие планы
    Опробовать изложенные методы
    Совместить следующие подходы
     ...
Only for
Maxus 


           Содержание
    Введение
    Классификация методов
    Простые методы
    Сложные методы
...
Only for
     Maxus 



                 Список материалов
1.        A De-interlacing Algorithm Based on True Motion Vect...
Only for
Maxus 



           Вопросы




                          ?
CS MSU Graphics & Media
   Lab (Video Group)       ...
Only for
Maxus 


            Содержание
    Введение
    Классификация методов
    Простые методы
    Сложные методы...
Сложные методы
Only for
Maxus 



            Вероятностный подход
 Максимальная апостериорная гипотеза (MAP):
       –  ...
Сложные методы
Only for
Maxus 



           Вероятностный подход
             - «похожесть»   и               на области...
Сложные методы
Only for
Maxus 



           Вероятностный подход
            - априорная оценка

    Модель Гиббса:


  ...
Сложные методы
Only for
Maxus 



           Вероятностный подход



   Таким образом, задача сводится к минимизации
   ф...
Сложные методы
Only for
Maxus 



           Вероятностный подход
      Соответствующее уравнение Эйлера-Лагранжа:




  ...
Сложные методы
Only for
Maxus 



           Вероятностный подход
 Стандартное видео (без шума)




                     ...
Вероятностный подход
Only for
Maxus 



              тестирование
 Стандартное видео (с шумом)

  (a)      original vide...
Вероятностный подход
Only for
Maxus 



           тестирование
 Стандартное видео (с шумом)




                        ...
Вероятностный подход
Only for
Maxus 



                тестирование
 Реальное видео

  (a)      original video
  (b)    ...
Motion Adaptive
Only for
Maxus 



           Motion Detector




                             - различие во времени

   ...
Upcoming SlideShare
Loading in …5
×

Методы деинтерлейсинга

2,427 views

Published on

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Методы деинтерлейсинга

  1. 1. Only for Maxus  Деинтерлейсинг Петров Александр Video Group CS MSU Graphics & Media Lab CS MSU Graphics & Media Lab (Video Group) 1
  2. 2. Only for Maxus  Содержание  Введение  Понятие интерлейсинга  Понятие деинтерлейсинга  Постановка задачи  Визуальные дефекты  Примеры  Классификация методов  Простые методы  Сложные методы  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 2
  3. 3. Only for Maxus  Введение Интерлейсинг (Interlacing) - метод отображения, передачи или хранения видео, при котором:  Захват видео по строчкам в разные моменты времени: сначала четные, потом нечетные (или наоборот).  Поле (field) – набор строчек одинаковой четности, соответствующих одному моменту времени.  Видео-поток с удвоенной частотой.  При построении кадра, четные и нечетные поля смешиваются. Образуется один кадр (frame). CS MSU Graphics & Media Lab (Video Group) 3
  4. 4. Only for Maxus  Введение Поле #5 Кадр #3 Поле #6 CS MSU Graphics & Media Lab (Video Group) 4
  5. 5. Only for Maxus  Введение Деинтерлейсинг (Deinterlacing)— процесс создания кадров из полукадров чересстрочного формата для дальнейшего вывода на экран с прогрессивной развѐрткой. Применяется:  В компьютерных системах обработки видео.  В LCD и плазменных дисплеях. CS MSU Graphics & Media Lab (Video Group) 5
  6. 6. Only for Maxus  Введение CS MSU Graphics & Media Lab (Video Group) 6
  7. 7. Введение Only for Maxus  Постановка задачи Задача – интерполировать недостающие пиксели и, в то же время обеспечить хорошее качество изображения - номер поля - положение пикселя - исходный пиксель - интерполированный пиксель - результат CS MSU Graphics & Media Lab (Video Group) 7
  8. 8. Введение Only for Maxus  Визуальные дефекты  Мерцание границ (edge flicking)  Сползание строк (line crawling)  Размытость (blur)  Зубчатость (jaggedness) CS MSU Graphics & Media Lab (Video Group) 8
  9. 9. Введение Only for Maxus  Пример CS MSU Graphics & Media Lab (Video Group) 9
  10. 10. Введение Only for Maxus  Пример CS MSU Graphics & Media Lab (Video Group) 10
  11. 11. Введение Only for Maxus  Пример до после CS MSU Graphics & Media Lab (Video Group) 11
  12. 12. Only for Maxus  Содержание  Введение  Классификация методов  Простые методы  Сложные методы  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 12
  13. 13. Only for Maxus  Классификация методов Методы Не использующие MC Использующие MC Линейные Нелинейные Адаптирующиеся к движению Пространственные (Motion Adaptive) (Spatial) Адаптирующиеся к границам Временные (Edge-based) (Temporal) VT-медианные Пространственно-временные (Spatio-temporal) Смешанные CS MSU Graphics & Media Lab (Video Group) 13
  14. 14. Only for Maxus  Содержание  Введение  Классификация методов  Простые методы  Пространственные (Spatial)  Временные (Temporal)  Пространственно-временные (Spatio-temporal)  Адаптирующиеся к границам (Edge-based)  Сложные методы  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 14
  15. 15. Простые методы Only for Maxus  Spatial  Line Repetition (LR)  p( x, y, k ), ( y  k )%2  0, p0 ( x, y, k )    p( x, y  1, k ), иначе CS MSU Graphics & Media Lab (Video Group) 15
  16. 16. Простые методы Only for Maxus  Spatial  Line Averaging (LA, ―Bob‖)  p( x, y, k ), ( y  k )%2  0,  p0 ( x, y, k )   1  2  p( x, y  1, k )  p( x, y  1, k ), иначе,  CS MSU Graphics & Media Lab (Video Group) 16
  17. 17. Only for Maxus  Содержание  Введение  Классификация методов  Простые методы  Пространственные (Spatial)  Временные (Temporal)  Пространственно-временные (Spatio-temporal)  Адаптирующиеся к границам (Edge-based)  Сложные методы  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 17
  18. 18. Простые методы Only for Maxus  Temporal  Field Insertion (FI, FR, ―Weave‖)  p( x, y, k ), ( y  k )%2  0, p0 ( x, y, k )    p( x, y, k  1), иначе, CS MSU Graphics & Media Lab (Video Group) 18
  19. 19. Простые методы Only for Maxus  Temporal  Inter-field Line Averaging  p( x, y, k ), ( y  k )%2  0,  p0 ( x, y, k )   1  2  p( x, y, k  1)  p( x, y, k  1), иначе,  CS MSU Graphics & Media Lab (Video Group) 19
  20. 20. Only for Maxus  Содержание  Введение  Классификация методов  Простые методы  Пространственные (Spatial)  Временные (Temporal)  Пространственно-временные (Spatio-temporal)  VTMF  VT linear  Адаптирующиеся к границам (Edge-based)  Сложные методы  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 20
  21. 21. Простые методы Only for Maxus  Spatial-temporal  Vertical-Temporal Median Filter p0 ( X )  median( A, B, C )` CS MSU Graphics & Media Lab (Video Group) 21
  22. 22. Простые методы Only for Maxus  Spatial-temporal  Vertical-Temporal Linear  p( x, y, k ), ( y  k )%2  0, p 0 ( x, y , k )   k p( x, y  dy, k  dk ) * h(dy, dk ), иначе  1,8,8,1, (dy  3,1,1,3) AND (dk  0)  18 * h(dy, dk )   5,10,5, (dy  2,0,2) AND (dk  1)  0, иначе  CS MSU Graphics & Media Lab (Video Group) 22
  23. 23. Only for Maxus  Содержание  Введение  Классификация методов  Простые методы  Пространственные (Spatial)  Временные (Temporal)  Пространственно-временные (Spatio-temporal)  Адаптирующиеся к границам (Edge-based)  Сложные методы  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 23
  24. 24. Простые методы Only for Maxus  Адаптирующиеся к границам  Edge-based Line Averaging (ELA, ELI, EDI) CS MSU Graphics & Media Lab (Video Group) 24
  25. 25. Простые методы Only for Maxus  Адаптирующиеся к границам Улучшения:  Можно рассматривать 12 направлений  Weighted Edge-based Line Averaging (WELA) f ( x  k , y  1)  f ( x  k , y  1) f n ( x, y )   Wk * ( k  1, 0,1 2 ), W1  W2  W3  1 A recursive approach for de-interlacing using improved ELA and CS MSU Graphics & Media motion compensation based on bi-directional BMA. Seungchan Byun, Lab (Video Group) Jeongmonn Byun, Gyeonghwan Kim. 2004 International Conference 25 on Image Processing, Volume 3, 24-27, pp.1679 – 1682, Oct. 2004.
  26. 26. Простые методы Only for Maxus  Сравнение CS MSU Graphics & Media Lab (Video Group) 26
  27. 27. Only for Maxus  Простые методы Сравнение (Неподвижные регионы) Field Insertion Line Repetition Linear VT Edge-dependent VT median CS MSU Graphics & Media Lab (Video Group) 27
  28. 28. Only for Maxus  Простые методы Сравнение (регионы с движением) Field Insertion Line Repetition Linear VT Edge-dependent VT median CS MSU Graphics & Media Lab (Video Group) 28
  29. 29. Only for Maxus  Содержание  Введение  Классификация методов  Простые методы  Сложные методы  Motion Adaptive  Motion Compensation based  MSU filter  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 29
  30. 30. Сложные методы Only for Maxus  Motion Adaptive Region Motion Detector No Motion Motion Temporal Spatial Method Method CS MSU Graphics & Media Lab (Video Group) 30
  31. 31. Only for Maxus  Содержание  Введение  Классификация методов  Простые методы  Сложные методы  Motion Adaptive  Motion Detector  HMDERP  Motion Compensation based  MSU filter  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 31
  32. 32. Motion Adaptive Only for Maxus  Motion Detector  Сравниваем поля одной четности  Строим маску движения  Морфологическая операция открытия (чтобы убрать шумы в движении) CS MSU Graphics & Media Lab (Video Group) 32
  33. 33. Motion Adaptive Only for Maxus  Motion Detector Сравниваем поля одной четности CS MSU Graphics & Media Lab (Video Group) 33
  34. 34. Motion Detector Only for Maxus  4-field motion detection Yu-Lin Chang, Shyh-Feng Lin, Ching-Yeh Chen, Liang-Gee Chen, CS MSU Graphics & Media “Video De-Interlacing by Adaptive 4-Field Global/Local Motion Lab (Video Group) Compensated Approach” IEEE Transactions on Circuits and Systems 34 for Video Technology, Dec. 2005
  35. 35. Motion Detector Only for Maxus  Moving-Stationary Detector CS MSU Graphics & Media Li G.-L., Chen M.-J., “High Performance De-Interlacing Algorithm for Lab (Video Group) Digital Television Displays” Journal of Display Technology, Volume 2, 35 Issue 1, pp.85 - 90, March 2006
  36. 36. Only for Maxus  Содержание  Введение  Классификация методов  Простые методы  Сложные методы  Motion Adaptive  Motion Detector  HMDERP  Motion Compensation based  MSU filter  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 36
  37. 37. Motion Adaptive Only for Maxus  HMDEPR CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion- Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 37 Recognition. EURASIP Journal on Image and Video Processing, 2008.
  38. 38. Motion Adaptive Only for Maxus  HMDEPR Hybrid Motion Detector (HMD): CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion- Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 38 Recognition. EURASIP Journal on Image and Video Processing, 2008.
  39. 39. Motion Adaptive Only for Maxus  HMDEPR Результат детектора движения - карта движения (motion map). (a) 1st condition (d) output of HMD (b) 2nd condition (e) erosion (c) 3rd condition (f) opening CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion- Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 39 Recognition. EURASIP Journal on Image and Video Processing, 2008.
  40. 40. HMDEPR Only for Maxus  Тестирование Предложенный алгоритм. 3 Field Motion Adaptive (3FMA). Интерполированы (FI) только статичные регионы. Интерполированы только статичные регионы. CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion- Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 40 Recognition. EURASIP Journal on Image and Video Processing, 2008.
  41. 41. Motion Adaptive Only for Maxus  HMDEPR Edge Pattern Recognition (EPR): abcd ave   Рассматривается область 3x3 4  4 типа шаблона  H , p  ave, 3H1L, 3L1H pi   ˆ  L, p  ave   2H2L - угол  2H2L - линия ˆ ˆ ˆ ˆ p1, p2, p3, p4, для a, b, c, d соответств енно  18 различных шаблонов CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion- Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 41 Recognition. EURASIP Journal on Image and Video Processing, 2008.
  42. 42. Motion Adaptive Only for Maxus  HMDEPR  В случае 3H1L, 3L1H наиболее вероятно, что центральный пиксел принадлежит к большинству (H для 3H1L и L для 3L1H) median( pH1 , pH 2 , pH 3 ), 3H1L, p0    median( pL1 , pL2 , pL3 ), 3L1H , CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion- Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 42 Recognition. EURASIP Journal on Image and Video Processing, 2008.
  43. 43. Motion Adaptive Only for Maxus  HMDEPR  2H2L – угол:  2H2L – линия: CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion- Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 43 Recognition. EURASIP Journal on Image and Video Processing, 2008.
  44. 44. Motion Adaptive Only for Maxus  HMDEPR  Пиксели b и с, также как и X, недостающие. Как же их получить?  EPR without MAP (Motion-Adaption Prediction)  EPR with MAP  EPR without MAP  Усреднение по строкам (Line Averaging) pr qs b c 2 2  EPR with MAP  Усреднение по строкам (Line Averaging), если b (c) принадлежат области движения (Motion Area)  Иначе, берем пиксель с предыдущего поля CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion- Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 44 Recognition. EURASIP Journal on Image and Video Processing, 2008.
  45. 45. HMDEPR Only for Maxus  Тестирование CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion- Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 45 Recognition. EURASIP Journal on Image and Video Processing, 2008.
  46. 46. HMDEPR Only for Maxus  Тестирование (текстуры) PSNR in dB CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion- Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 46 Recognition. EURASIP Journal on Image and Video Processing, 2008.
  47. 47. HMDEPR Only for Maxus  Тестирование CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion- Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 47 Recognition. EURASIP Journal on Image and Video Processing, 2008.
  48. 48. HMDEPR Only for Maxus  Тестирование CS MSU Graphics & Media Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. AMotion- Lab (Video Group) Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern 48 Recognition. EURASIP Journal on Image and Video Processing, 2008.
  49. 49. HMDEPR Only for Maxus  Выводы  Достоинства  Хорошо интерполирует границы  Неплохо строит маску движения  Недостатки  Проигрывает на текстурах CS MSU Graphics & Media Lab (Video Group) 49
  50. 50. Only for Maxus  Содержание  Введение  Классификация методов  Простые методы  Сложные методы  Motion Adaptive  Motion Compensation based  MSU filter  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 50
  51. 51. Сложные методы Only for Maxus  MC-based Deinterlacing CS MSU Graphics & Media Lab (Video Group) 51
  52. 52. Сложные методы Only for Maxus  MC-based Deinterlacing CS MSU Graphics & Media Lab (Video Group) 52
  53. 53. Сложные методы Only for Maxus  MC-based Deinterlacing Поиск похожих блоков Taehyeun Ha, Seongjoo Lee, Jaeseok Kim, “Motion compensated CS MSU Graphics & Media frame interpolation by new block-based motion estimation Lab (Video Group) algorithm”, IEEE Transactions on Consumer Electronics, Volume 50, 53 Issue 2, pp.752 - 759, May 2004.
  54. 54. Сложные методы Only for Maxus  MC-based Deinterlacing Подгоним найденный блок Bn под сетку Taehyeun Ha, Seongjoo Lee, Jaeseok Kim, “Motion compensated CS MSU Graphics & Media frame interpolation by new block-based motion estimation Lab (Video Group) algorithm”, IEEE Transactions on Consumer Electronics, Volume 50, 54 Issue 2, pp.752 - 759, May 2004.
  55. 55. Only for Maxus  MC-based Deinterlacing Пример работы Field Insertion MC-based CS MSU Graphics & Media Lab (Video Group) 55
  56. 56. Only for Maxus  Содержание  Введение  Классификация методов  Простые методы  Сложные методы  Motion Adaptive  Motion Compensation based  MSU filter  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 56
  57. 57. Only for Maxus  MSU Filter  MSU MA  Temporal Interpolation  Spatial Interpolation  MSU MC  Тестирование CS MSU Graphics & Media Lab (Video Group) 57
  58. 58. Only for Maxus  MSU MA CS MSU Graphics & Media Lab (Video Group) 58
  59. 59. Only for Maxus  MSU MA  Пиксель интерполируется двумя способами  Пространственная интерполяция (Spatial)  Временная интерполяция (Temporal)  Каждый из двух получившихся пикселей вносит свой вклад в конечный результат с определенным весами, зависящим от характера движения  p( x, y, k ), ( y  k )%2  0, p0 ( x, y, k )    ps ( x, y, k ) * SpatCoef  pt ( x, y, k ) * TempCoef , иначе, ˆ ˆ SpatCoef  пространственный весовой коэффициент TempCoef  временной весовой коэффициент ps ( x, y, k )  интерполир ованный пространственным способом пиксел ˆ pt ( x, y, k )  интерполир ованный временным способом пиксел ˆ CS MSU Graphics & Media Lab (Video Group) 59
  60. 60. MSU MA Only for Maxus  Temporal Interpolation  В качестве временного приближения используется Field Insertion или Field Averaging  Весовая функция для временного приближения (―Static‖ weighting function) задается так: 5 D St  *  f ( E ) * h( D ) 3E  5 D  150 E - so called SAD (Sum of Absolute Differences). Так называемая сумма абсолютных разностей, рассчитанная для полей n+1, n, n-1, n-2. D - дисперсия текущего поля. Считается по восьми соседним пикселям.  St влияет на TempCoef CS MSU Graphics & Media Lab (Video Group) 60
  61. 61. MSU MA Only for Maxus  Spatial Interpolation  Интерполяция  Vertical Bilinear – позволяет избежать эффект Гиббса (рингинг)  Diagonal – позволяет избежать ступенчатые границы  Low-angle Edge – интерполирует границы с маленькими углами наклона  Пиксели, получившиеся разными способами берем с определенным весом CS MSU Graphics & Media Lab (Video Group) 61
  62. 62. MSU MA Only for Maxus  Spatial Interpolation X , четность поля и строки совпадают , X  Wdiag * X diag  Wlow * X low  Wbilinear * X bilinear , иначе , X diag - пиксел, интерполир ованный Diagonal Interpolation X low - пиксел, интерполир ованный Low - angle Edge Interpolation X bilinear - пиксел, интерполир ованный Bilinear Interpolation Wdiag - вес, соответсвующий X diag Wlow - вес, соответсвующий X low Wbilinear - вес, соответсвующий X bilinear CS MSU Graphics & Media Lab (Video Group) 62
  63. 63. MSU MA Only for Maxus  Spatial Interpolation  Весовая функция, влияющая на SpatCoef  Вес больше, когда присутствует «зубчатость» E i-1 Ei E i+1 C  Xi m1  ( Ai  i ) C i-1 Ci C i+1 2 A  Bi A i-1 Ai A i+1 m2  ( X i  i ) Prev ious 2 Current X i-1 Xi X i+1 Field Field X  Di m3  ( Bi  i ) B i-1 Bi B i+1 2 Dif ( X i ) | m1  m2  m3 | D i-1 Di D i+1 Interlacin g _ measure( X i )  Dif ( X i 1 )  2 Dif ( X i )  Dif ( X i 1 ) F i-1 Fi F i+1 CS MSU Graphics & Media Lab (Video Group) 63
  64. 64. Only for Maxus  MSU Filter  MSU MA  MSU MC  Тестирование CS MSU Graphics & Media Lab (Video Group) 64
  65. 65. Only for Maxus  MSU MC CS MSU Graphics & Media Lab (Video Group) 65
  66. 66. Only for Maxus  MSU MC  Пиксель интерполируется тремя способами  Пространственная интерполяция (Spatial)  Временная интерполяция (Temporal)  MC-интерполяция  Веса SpatCoef и TempCoef определяются похожим (как в MSU MA) образом  p( x, y, k ), ( y  k )%2  0, p0 ( x, y, k )    p s ( x, y, k ) * SpatCoef  pt ( x, y, k ) * TempCoef  p mc ( x, y, k ) * MCCoef , иначе, ˆ ˆ ˆ SpatCoef  пространственный весовой коэффициент TempCoef  временной весовой коэффициент MCCoef  весовой коэффициент MC ps ( x, y, k )  интерполир ованный пространственным способом пиксел ˆ pt ( x, y, k )  интерполир ованный временным способом пиксел ˆ pt ( x, y, k )  интерполир ованный MC - способом пиксел ˆ CS MSU Graphics & Media Lab (Video Group) 66
  67. 67. Only for Maxus  MSU MC  Мера ошибки ME (ME Error Measure) Влияет на вес MC кадра. Определяет отсутствие движения и слабое движение. Может обнаружить только объекты с большой дисперсией. Зависит от:  различия блоков (SAD) текущего и предыдущего полей – B.  различия 6 соседей (SAD) предыдущего и текущего полей – L.  дисперсии - D. Чем больше дисперсия, тем меньше вероятность движения. 1 D B W  2 * probabilit y _ of _ motion L  1 B  L  1 CS MSU Graphics & Media Lab (Video Group) 67
  68. 68. Only for Maxus  MSU MC  Весовая функция горизонтальных границ (Horizontal Edge Detection weighting function) Влияет на вес MC-кадра Нужна для более точно интерполяции границ, близких к горизонтальным. Пиксель принадлежит горизонтальной границе, если выполнено два условия:  Градиент по вертикали больше определенного порога (для области этого пикселя).  Значение пикселя лежит между значениями соседей. Gradient ( X i )  ( Ai 1  2 Ai  Ai 1 )  ( Bi 1  2 Bi  Bi 1 ) Match ( X i )  min max Ai , Bi  X , X  min Ai , Bi   2Match ( X i )  W ( X i )  Gradient ( X i ) * 1   max A , B  min A , B  1    i i i i  A i-1 Ai A i+1 Current Motion X i-1 Xi X i+1 Compensated Field Field CS MSU Graphics & Media B i-1 Bi B i+1 Lab (Video Group) 68
  69. 69. Only for Maxus  MSU Filter  MSU MA  MSU MC  Тестирование CS MSU Graphics & Media Lab (Video Group) 69
  70. 70. MSU Filter Only for Maxus  Тестирование Original frame CS MSU Graphics & Media Lab (Video Group) 70
  71. 71. MSU Filter Only for Maxus  Тестирование CS MSU Graphics & Media Lab (Video Group) 71
  72. 72. MSU Filter Only for Maxus  Тестирование Smart Deinterlace MSU Deinterlacer (motion De Haan Deinterlacer adaptive) CS MSU Graphics & Media Lab (Video Group) 72
  73. 73. MSU Filter Only for Maxus  Тестирование MSU Deinterlacer (motion MSU Deinterlacer (motion adaptive) compensation) CS MSU Graphics & Media Lab (Video Group) 73
  74. 74. MSU Filter Only for Maxus  Тестирование PSNR Measuring (average) 50 PSN R value 40 30 20 1 2 3 4 5 6 Sequence Number VirtualDub Internal Smart Deinterlace AlparySoft Deinterlace De Haan deinterlacer MSU MA MSU MC CS MSU Graphics & Media Lab (Video Group) 74
  75. 75. Only for Maxus  Содержание  Введение  Классификация методов  Простые методы  Сложные методы  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 75
  76. 76. Only for Maxus  Дальнейшие планы  Опробовать изложенные методы  Совместить следующие подходы  Motion Adaptive  Spatial  Temporal  Edge-based  Motion Compensation based  Возможно, вероятностный подход  Анализ области и весовые функции CS MSU Graphics & Media Lab (Video Group) 76
  77. 77. Only for Maxus  Содержание  Введение  Классификация методов  Простые методы  Сложные методы  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 77
  78. 78. Only for Maxus  Список материалов 1. A De-interlacing Algorithm Based on True Motion Vectors. Yi-Shan Shiu, Institute of Computer & Communication, 2006 . 2. Video De-Interlacing by Adaptive 4-Field Global/Local Motion Compensated Approach. Yu-Lin Chang, Shyh-Feng Lin, Ching-Yeh Chen, Liang-Gee Chen, IEEE Transactions on Circuits and Systems for Video Technology, Volume 15, Issue 12, pp.1569 - 1582, Dec. 2005. 3. High Performance De-Interlacing Algorithm for Digital Television Displays. Li G.-L., Chen M.-J. Journal of Display Technology, Volume 2, Issue 1, pp.85 - 90, March 2006. 4. Motion compensated frame interpolation by new block-based motion estimation algorithm. Taehyeun Ha, Seongjoo Lee, Jaeseok Kim. IEEE Transactions on Consumer Electronics, Volume 50, Issue 2, pp.752 - 759, May 2004. 5. Advanced de-interlacing techniques. E.B. Bellers and G. de Haan. 6. Direction-Oriented Interpolation and Its Application to De-interlacing. Hoon Yoo and Jechang Jeong. IEEE Transactions on Consumer Electronics, Volume 48, Issue 4, pp.954 – 962, Nov. 2002. 7. A recursive approach for de-interlacing using improved ELA and motion compensation based on bi- directional BMA. Seungchan Byun, Jeongmonn Byun, Gyeonghwan Kim. 2004 International Conference on Image Processing, Volume 3, 24-27, pp.1679 – 1682, Oct. 2004. 8. A Motion-Adaptive Deinterlacer via Hybrid Motion Detection and Edge-Pattern Recognition. Gwo Giun Lee, Ming-JiunWang, Hsin-Te Li, He-Yuan Lin. EURASIP Journal on Image and Video Processing, 2008. 9. Презентации Видеогруппы. Сергей Путилин, Денис Кубасов. 2003, 2004. 10. Отчет по MSU Deinterlacer. CS MSU Graphics & Media Lab (Video Group) 78
  79. 79. Only for Maxus  Вопросы ? CS MSU Graphics & Media Lab (Video Group) 79
  80. 80. Only for Maxus  Содержание  Введение  Классификация методов  Простые методы  Сложные методы  Motion Adaptive  Motion Compensation based  MSU filter  Вероятностный подход  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 80
  81. 81. Сложные методы Only for Maxus  Вероятностный подход Максимальная апостериорная гипотеза (MAP): – текущее поле (четные или нечетные строки) – кадр на выходе, соответствующий – область, соответствующая – область, соответствующая – const Оценка максимального правдоподобия: YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De- CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal Lab (Video Group) smoothness constraint. Science in China Series F: Information 81 Science. 2007.
  82. 82. Сложные методы Only for Maxus  Вероятностный подход - «похожесть» и на области . По сути, плотность распределения шума. - позиция каждого пикселя кадра Существующие пиксели ( ) желательно оставить без изменений YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De- CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal Lab (Video Group) smoothness constraint. Science in China Series F: Information 82 Science. 2007.
  83. 83. Сложные методы Only for Maxus  Вероятностный подход - априорная оценка Модель Гиббса: - функция энергии - обратная абсолютная температура - пространственно-временной градиент YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De- CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal Lab (Video Group) smoothness constraint. Science in China Series F: Information 83 Science. 2007.
  84. 84. Сложные методы Only for Maxus  Вероятностный подход Таким образом, задача сводится к минимизации функционала энергии: YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De- CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal Lab (Video Group) smoothness constraint. Science in China Series F: Information 84 Science. 2007.
  85. 85. Сложные методы Only for Maxus  Вероятностный подход Соответствующее уравнение Эйлера-Лагранжа: - нормаль вектора границы области YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De- CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal Lab (Video Group) smoothness constraint. Science in China Series F: Information 85 Science. 2007.
  86. 86. Сложные методы Only for Maxus  Вероятностный подход Стандартное видео (без шума) YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De- CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal Lab (Video Group) smoothness constraint. Science in China Series F: Information 86 Science. 2007.
  87. 87. Вероятностный подход Only for Maxus  тестирование Стандартное видео (с шумом) (a) original video (b) video with noise (zero-mean, SNR=20 dB) (c) LR (PSNR=22.10 dB) (d) LA (PSNR=24.80 dB) (e) FI (PSNR=21.78 dB) (f) VT (PSNR = 22.68) (g) MCmed (PSNR=24.11 dB) (h) McVT (PSNR=25.96 dB) (i) Proposed (PSNR=27.81dB) YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De- CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal Lab (Video Group) smoothness constraint. Science in China Series F: Information 87 Science. 2007.
  88. 88. Вероятностный подход Only for Maxus  тестирование Стандартное видео (с шумом) YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De- CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal Lab (Video Group) smoothness constraint. Science in China Series F: Information 88 Science. 2007.
  89. 89. Вероятностный подход Only for Maxus  тестирование Реальное видео (a) original video (b) LR (c) LA (d) Proposed YIN XueMin, YUAN JianHua, LU XiaoPeng, ZOU MouYan. De- CS MSU Graphics & Media interlacing technique based on total variation with spatial-temporal Lab (Video Group) smoothness constraint. Science in China Series F: Information 89 Science. 2007.
  90. 90. Motion Adaptive Only for Maxus  Motion Detector - различие во времени - различие в пространстве CS MSU Graphics & Media Lab (Video Group) 90

×