Обзор методов восстановления старого видео

Восстановление сжатого
видео

Моисейцев Алексей
Video Group
CS MSU Graphics & Media Lab

Only for
Maxus 

Содержание
 Введение
 Простые модели
 Adaptive Fuzzy Post-Filtering
 DCT Re-application

 Классификация
 Support Vector Regression
 Modified Mean-Removed Classified Vector Quantization

 Регуляризация
 Заключение
2
CS MSU Graphics & Media Lab (Video Group)

Only for
Maxus 

Введение

3

Only for
Maxus 

Введение

4

Only for
Maxus 



6

Only for
Maxus 

Adaptive Fuzzy Post-Filtering

 j x j  (x c , x j )
N
~
xc  1

 j  (x c , x j )
N
1

/ 2 2
 (a , b )  e (a b )
2

 2  сила фильтра,
зависит от типа блока
~
x c  новое значение пикселя

Adaptive Fuzzy Post-Filtering for Highly Compressed Video. Hao-Song Kong,
Yao Nie, Anthony Vetro, Huifang Sun, Kenneth E. Barner. ICIP 2004.
7

Only for
Maxus 


8

Only for
Maxus 


PSNR 30.61 dB PSNR 30.93 dB

9

Only for
Maxus 


 Преимущества
 Быстрая работа
 Простота в реализации

 Недостатки
 Просто маскировка артефактов
 Замыливание изображения

10

Only for
Maxus 



11

Only for
Maxus 

DCT Re-application

1. Сдвинуть изображение по вертикали и
горизонтали на (i,j)

2. Сжать изображение

3. Вернуть изображение обратно,
т.е. сдвинуть на (-i,-j)

4. Повторить для всех сдвигов из [-3, 4] x [-3, 4]

5. Усреднить результат
Enhancement of JPEG-Compressed Images by Re-application of JPEG. Aria
Nosratinia. Department of Electrical Engineering, University of Texas at Dallas,
Richardson. 2002.
12

Only for
Maxus 

DCT Re-application

13
CS MSU Graphics & Media Lab (Video Group) Richardson. 2002.

Only for
Maxus 

DCT Re-application

14

Only for
Maxus 

DCT Re-application

y   i , j D ( i ,  j )

QD i , j 
x 
i, j

x - сжатое изображени е
y - восстановл енное изображени е
D - оператор сдвига
Q - оператор кодирования и декодирования

 i, j
15

Only for
Maxus 

DCT Re-application
Пример работы

Richardson. 2002.
16

Only for
Maxus 

DCT Re-application

Richardson. 2002.
17

Only for
Maxus 

DCT Re-application

Richardson. 2002.
18

Only for
Maxus 

DCT Re-application

 Заметное уменьшение артефактов
 Прост в реализации

 Желательно знать параметры сжатия
 Ориентирован на изображения
 Невысокая скорость работы
(~58 умножений на пиксель)

19

Only for
Maxus 



20

Only for
Maxus 

Support Vector Regression
 Support Vector Machine

Compression Artifact Reduction Using Support Vector Regression. 21
CS MSU Graphics & Media Lab (Video Group) Sanjeev Kumar, Truong Nguyen, Mainak Biswas. ICIP 2006

Only for
Maxus 

y  f (x) - моделируемая функция

xi , yi  - тренировочные данные

y   (w), x  b - вид модели

Минимизация
w, w  C  i  i* 
l
1
2
i 1
при условии
 yi  w,  ( xi )  b    i   допустимое отклонение для всех элементов

 w,  ( xi )  b  yi     i* i , i*  отклонение для каждого элемента
 ,  *  0
 i i

Only for
Maxus 



Only for
Maxus 


 Визуальное улучшение на некоторых
типах изображений

 Зависимость от обучающей выборки
 Сложно прогнозируемое поведение

26

Only for
Maxus 



27

Only for
Maxus 
MMRCVQ (Modified Mean-Removed
Classified Vector Quantization)

Artifact reduction of compressed color images using modified mean-removed classified vector
quantization. Jim Zone-Chang Lai, Yi-Ching Liaw, and Winston Lo. Journal of the Chinese Institute
of Engineers, Vol. 27, No. 5, pp. 747-751 (2004)
28

Only for
Maxus  MMRCVQ
Построение кодирующих
последовательностей

 Выбор блоков 4x4
T '  x'i : i  1,, N   сжатые данные
T  xi : i  1,, N   исходные данные

 Нормировка
z ' i  x' i  x ' i , zi  xi  xi

 Кластеризация
Алгоритм Linde-Buzo-Gray

29

Only for
Maxus 

MMRCVQ
Linde-Buzo-Gray

Выбор
начального
разбиения

Удвоение числа Оценка
K-means
кластеров дисперсии

30

Only for
Maxus 

MMRCVQ
Linde-Buzo-Gray

31

Only for
Maxus 

MMRCVQ
Linde-Buzo-Gray

32

Only for
Maxus 

MMRCVQ

 Выбор кодирующих последовательностей

C '  y'i : i  1,..., M 

 Разбиение несжатых данных
Rk  xi | d ( x'i , yk )  d ( x'i , yl ): i  l k  1...M , i  1...N

 Выбор декодирующих последовательностей

x
x j Ri
j

yi 
Ri
33

Only for
Maxus 

MMRCVQ
Восстановление
-

Классификация
Граница
блока

Определение
Однородный Текстура направления
границы

Отсечение
Поиск плохих Замена блока
результатов

+
34

Only for
Maxus 

MMRCVQ
Результаты

35

Only for
Maxus 

MMRCVQ
Результаты

36

Only for
Maxus 

MMRCVQ

 Хорошее качество
 Приемлемая скорость восстановления

 Только устранение блочности

37

Only for
Maxus 



38

Only for
Maxus 

Regularized Iterative Restoration
 f1   g1   n1 
f  g  n  f  исходный кадр
 2  2  2
        g  наблюдаемы й кадр
f   , g   , n 
 fk   gk   nk  n  шум
        D  оператор ллинейно деградации
     
 fN 
  gN 
  nN 
 

g  Df  n

J( f )  f  g  E ( f )
2

Compressed Video Enhancement using Regularized Iterative Restoration
Algorithms. Passant Vatsalya Karunaratne. Evanston, Illinois. 1999
39

Only for
Maxus 

Пространственная регуляризация

f (i, j )  f (i  1, j ) if i  8l for l  1,2,..., width/8 - 1
QHB f (i, j )  

 0 otherwise

 f (i, j )  f (i  1, j ) if i  8l for l  1,2,..., width/8 - 1
Q HB
f (i, j )  
 0 otherwise

QB  QHB f  QVB f
2 2

2 2
QB  QHB f  QVB f


Es ( f )  QHB f l
2
 QVB f l
2
   Q HB
fl
2
 QVB f l
2

40

Only for
Maxus 

Временная регуляризация

   f (i, j )  f i  m 
width height
2
MFD ( f k , f l )  l k
(i , j )
, j  n(i, j ) (i , j )

i 1 j 1

m (i , j )

, n(i, j ) (i , j ) - вектор движения пикселя (i, j )

Et ( f l )   MFD ( f k , f l )
k l

MC 2
Et ( f l )  f l  f l

41

Only for
Maxus 

Решение

 Цель
J ( f )  f  g  s Es ( f )  t Et ( f )
2

 Решение
 
f i k 1  f i k   g  I  S1 QB QB  S2 QB QB  t  f i  f i MC  f i k
T T
 

42

Only for
Maxus 

Многокадровое восстановление

~

f  f1T , f 2T ,..., f LT T

~  L 2 ~ ~
J ( f )    f l  g l   s Es ( f )  t Et ( f )
 l 1 

~ L

l 1

Es ( f )   1 QHB f l
2
 QVB f l
2
   Q
2 HB
fl
2
 QVB f l
2

L
~
Et ( f )   f l  f l MC
2

l 1

43

Only for
Maxus 

Многокадровое восстановление

~ ~ ~2 ~2 ~2 ~ ~ MC 2
J ( f )  f  g  S1 QB f  S2 QB f  t f  f

  ~ ~ MC 
 f f
~ k 1 ~ k
f
~ 
 ~k
 f    g  I  S1 QB QB  S 2 QB QB f  t

T T

~


 f ~ ~k 
 
 f  f 

44

Only for
Maxus 

Примеры работы

# of
case

1 spatial only

2 16x16 ME

3 4x4 ME

4 dense 4x4 ME
bidirectional 4x4
5 ME
dense bidirectional
6 4x4 ME

Compressed Video Enhancement using Regularized Iterative Restoration 45
CS MSU Graphics & Media Lab (Video Group) Algorithms. Passant Vatsalya Karunaratne. Evanston, Illinois. 1999

Only for
Maxus 


dense 4x4 ME

46

Only for
Maxus 


dense bidirectional 4x4 ME

47

Only for
Maxus 

Оптимизация
2
J ( f )  f  g  s QB f  t f  f MC
2
- цель минимизации


J ( f )  f  g  s  QBi , j f  t f  f MC
2

i, j

 идея: добавить вспомогательную переменную, не изменяющую минимум J

 t   inf bt 2  b 
b

 ' t 
bt   - дополнительная переменная
2t

J * ( f , b)  f  g  s  bi , j QBi , j f
2
    b 
2
t f  f MC
i, j

- новая цель минимизации

A Coding Artifacts Removal Algorithm Based On Spatial And Temporal
Regularization. Susu Yao, Genan Feng, Xiao Lin, Keng Pang Lim and
Weisi Lin. 2003. 48

Only for
Maxus 


Алгоритм:
Initializa tion : f 0  g
repeat {

b n 1  min J * f n , b n  with f n fixed :

b n 1   QB f n f n 

f n 1  min J * f n , b n 1  with b fixed
} Until convergence

Минимизация может быть выполнена методом градиентного спуска
Weisi Lin. 2003. 49

Only for
Maxus 


i, j
 2

i, j
 j  2
 
j
i, j

J * ( f n , b n1 )   f i ,nj  f i ,nj1  s  bin, 1 QB i , j f n1  bin, 1  t  f i ,nj1  f i ,MC
j 2

s bin, 1
n 1
fi, j 
1
1  t
xi , j 
n j

1  t 1  2sbin, 1  t 
 fi,nj  fi,nj 1 
j

t 1  s bin, 1  t  s t bin, 1
 f i ,mc 
j j
f i ,mc 1
1  t 1  2sbin, 1  t  j 1  t 1  2sbin, 1  t  j 
j j

Weisi Lin. 2003. 50

Only for
Maxus 


Regularization. Susu Yao, Genan Feng, Xiao Lin, Keng Pang Lim and 51
CS MSU Graphics & Media Lab (Video Group) Weisi Lin. 2003.

Only for
Maxus 


Regularization. Susu Yao, Genan Feng, Xiao Lin, Keng Pang Lim and Weisi 52
CS MSU Graphics & Media Lab (Video Group) Lin. 2003.

Only for
Maxus 


Weisi Lin. 2003. 53

Only for
Maxus 


 Высокое качество восстановления

 Очень медленная работа
 Сложен в реализации

54

Only for
Maxus 

Заключение

 Рассмотрены методы

55

Only for
Maxus 

Литература
• A Coding Artifacts Removal Algorithm Based On Spatial And Temporal
Regularization. Susu Yao, Genan Feng, Xiao Lin, Keng Pang Lim and Weisi Lin.
2003.
 Artifact reduction of compressed color images using modified mean-removed
classified vector quantization. Jim Zone-Chang Lai, Yi-Ching Liaw, and Winston
Lo. Journal of the Chinese Institute of Engineers, Vol. 27, No. 5, pp. 747-751
(2004)
 Compressed Video Enhancement using Regularized Iterative Restoration
 Compression Artifact Reduction Using Support Vector Regression. Sanjeev
Kumar, Truong Nguyen, Mainak Biswas. ICIP 2006
 Adaptive Fuzzy Post-Filtering for Highly Compressed Video. Hao-Song Kong, Yao
Nie, Anthony Vetro, Huifang Sun, Kenneth E. Barner. ICIP 2004.
 Enhancement of JPEG-Compressed Images by Re-application of JPEG. Aria
Richardson. 2002.
 A Tutorial on Support Vector Regression. Alex J. Smola† and Bernhard
Sch¨olkop. 2003
 Application Of The Motion Vector Constraint To The Regularized Enhancement Of
Compressed Video. C. Andrew Segall And Aggelos K. Katsaggelos. 2001
56

Only for
Maxus 

Вопросы

?
57

Обзор методов восстановления старого видео

Recommended

Recommended

More Related Content

What's hot

What's hot (14)

Viewers also liked

Viewers also liked (6)

Similar to Обзор методов восстановления старого видео

Similar to Обзор методов восстановления старого видео (10)

More from MSU GML VideoGroup

More from MSU GML VideoGroup (20)

Recently uploaded

Recently uploaded (20)

Обзор методов восстановления старого видео