2. Only for
Maxus
Содержание
Введение
Источники и виды шумов
Цели шумоподавления
Алгоритмы
Общие сведения
STVF
3D K-SVD
MHMCF
BM3D-SAPCA
Заключение
2
CS MSU Graphics & Media Lab (Video Group)
3. Only for
Maxus
Источники и виды шумов
Старение носителей информации (например,
отслоение эмульсии)
Артефакты кодирования
Ringing
3
CS MSU Graphics & Media Lab (Video Group)
4. Only for
Maxus
Источники и виды шумов
Зернистость аналаговых носителей
Проблемы при передаче данных по каналам
Плохие сенсоры и условия съемки (белый Гауссов шум)
Echo added Grain
4
CS MSU Graphics & Media Lab (Video Group)
5. Only for
Maxus
Цели шумоподавления
Хорошее шумоподавление повышает степень сжатия:
«YUVSoft Video Denoiser Comparison», 2007
5
CS MSU Graphics & Media Lab (Video Group)
6. Only for
Maxus
Цели шумоподавления
Увеличивается и субъективное качество изображения:
«YUVSoft Video Denoiser Comparison», 2007
6
CS MSU Graphics & Media Lab (Video Group)
7. Only for
Maxus
Содержание
Введение
Источники и виды шумов
Цели шумоподавления
Алгоритмы
Общие сведения
STVF
3D K-SVD
MHMCF
BM3D-SAPCA
Заключение
7
CS MSU Graphics & Media Lab (Video Group)
8. Only for
Maxus
Классификация алгоритмов
Три вида алгоритмов:
Временные — усреднение текущего кадра с
предыдущими или последующими
Пространственные — усреднение текущей области
(пикселя) кадра с его окружением
Пространственно-временные — наиболее
эффективные, сочетают оба подхода
8
CS MSU Graphics & Media Lab (Video Group)
9. Only for
Maxus
Последние достижения
Последние достижения основаны на:
Gaussian Scale Mixtures
Bilaterial filtering
NLM
Learned Dictionaries
K-SVD
K-LLD
Частотная фильтрация
Markov Random Field
«BM3D Image Denoising with Shape-Adaptive Principal Component Analysis» (2009)
9
CS MSU Graphics & Media Lab (Video Group)
10. Only for
Maxus
Содержание
Введение
Источники и виды шумов
Цели шумоподавления
Алгоритмы
Общие сведения
STVF
3D K-SVD
Multihypotheses temporal-only algorithm
BM3D-SAPCA
Заключение
10
CS MSU Graphics & Media Lab (Video Group)
11. Only for
Maxus
STVF: определение шума
Алгоритм подавляет как белый, так и импульсный шум:
Пиксель поврежден импульсным шумом, если он
достаточно (больше, чем на T1) отличается от каждого из
пяти своих соседей.
«A novel content-adaptive video denoising filter» (ICASSP 2005)
11
CS MSU Graphics & Media Lab (Video Group)
12. Only for
Maxus
STVF: фильтрация
Подавление импульсного шума:
x i−1, j x i1, j x i , j−1 x i , j1
y ij =
4
Подавление белого шума:
∑ f ∣x− x ij∣∗x
y ij = x ∈S , where S ={x i−1, j , xi1, j , xi , j−1 , x i , j1 , pij }
∑ f ∣x− xij∣
x∈S
⌊T 1 / 8⌋−⌊i /8⌋
f i=2
«A novel content-adaptive video denoising filter» (ICASSP 2005)
12
CS MSU Graphics & Media Lab (Video Group)
13. Only for
Maxus
STVF: регуляризация
{
Нововведением стала регуляризация изображений:
y ij , ∣ yij − xij ∣≤T 2∨ x ij marked as impulsive
z ij = x ij −T 2, y ij x ij −T 2
x ij T 2, y ij x ij T 2
«A novel content-adaptive video denoising filter» (ICASSP 2005)
13
CS MSU Graphics & Media Lab (Video Group)
14. Only for
Maxus
STVF: результаты (1)
Average PSNR (dB) of denoised sequences for noise with variance 16
PSNR, dB
43
41
39
37
Lowpass
35
Median
Weiner
33
Proposed
31
29
27
25
Akiyo Coastguard Foreman Mother Silent Stefan
«A novel content-adaptive video denoising filter» (ICASSP 2005)
14
CS MSU Graphics & Media Lab (Video Group)
15. Only for
Maxus
STVF: результаты (2)
Source Noisy
«A novel content-adaptive video denoising filter» (ICASSP 2005)
15
CS MSU Graphics & Media Lab (Video Group)
16. Only for
Maxus
STVF: результаты (3)
Source Proposed
«A novel content-adaptive video denoising filter» (ICASSP 2005)
16
CS MSU Graphics & Media Lab (Video Group)
17. Only for
Maxus
STVF: результаты (4)
Noisy Proposed
«A novel content-adaptive video denoising filter» (ICASSP 2005)
17
CS MSU Graphics & Media Lab (Video Group)
18. Only for
Maxus
STVF: выводы
Достоинства:
Скорость (линейная сложность, один проход)
Независимость вычислений
Недостатки:
Неочевидность значений T1 и T2
Подавление только пиксельных шумов
«A novel content-adaptive video denoising filter» (ICASSP 2005)
18
CS MSU Graphics & Media Lab (Video Group)
19. Only for
Maxus
Содержание
Введение
Источники и виды шумов
Цели шумоподавления
Алгоритмы
Общие сведения
STVF
3D K-SVD
Multihypotheses temporal-only algorithm
BM3D-SAPCA
Заключение
19
CS MSU Graphics & Media Lab (Video Group)
20. Only for
Maxus
K-SVD: идея метода
Назовем патчем некоторый блок изображения.
Представим каждый патч кадра как линейную
комбинацию известных патчей (атомов) из словаря.
В словаре — порядка 300 атомов 6х6 пикселей каждый.
«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
20
CS MSU Graphics & Media Lab (Video Group)
21. Only for
Maxus
K-SVD: словарь
Качество работы алгоритма напрямую зависит от
словаря.
Необходимо обучать словарь.
Обучение словаря Фильтрация
«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
21
CS MSU Graphics & Media Lab (Video Group)
22. Only for
Maxus
K-SVD: обучение словаря
Смоделируем изображение: Y = X V , V ~ N 0, 2
Введем некоторую функцию штрафа:
2 2
f error { ij }ij , X =∣Y − X∣ 2
∣ ∣ ∑ ∣ D ij−Rij X∣ 2
∣ ∣ ∑ ij∣ ij∣0
∣
i , j ∈ i , j ∈
Смысл функции штрафа: результат слабо отличается от
исходного изображения, каждый патч изображения
(извлекается оператором R) представляется вектором
коэффициентов, при этом эти коэффициенты малы.
«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
22
CS MSU Graphics & Media Lab (Video Group)
23. Only for
Maxus
K-SVD: фильтрация
Поиск представления
Изменение словаря
Получение итогового изображения
«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
23
CS MSU Graphics & Media Lab (Video Group)
24. Only for
Maxus
K-SVD: поиск представления
Предположим, что X фиксирован.
2
ij =arg min ∣ D −Rij X ∣ 2∣∣0
∣ ∣ ∣
Для минимизации будем использовать OMP-алгоритм
Пусть d — словарь, r — раскладываемый вектор
Найдем атом с наибольшей корреляцией: k =arg max∣d k r∣
T
k
Вычтем полученную величину из r
Повторим операцию достаточное число раз
«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
24
CS MSU Graphics & Media Lab (Video Group)
25. Only for
Maxus
K-SVD: изменение словаря
Добавим в словарь то представление каждого патча,
которое мы получили на предыдущем этапе.
D= D∪ D ij для всех i , j
«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
25
CS MSU Graphics & Media Lab (Video Group)
26. Only for
Maxus
K-SVD: получение
результата
Для получения итогового результата после нескольких
итераций минимизируем следующий функционал, исходя
из предположения, что разложения для каждого патча
фиксированы.
=arg min ∣ X −Y ∣ 2∑ ∣ D ij −Rij X ∣ 2
X ∣ ∣2 ∣ ∣2
X i, j
«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
26
CS MSU Graphics & Media Lab (Video Group)
27. Only for
Maxus
3D K-SVD: расширение для видео
Изменение функции штрафа:
t t t t
2
f
t± t
video { ijk }ijk , X t , Dt =∣ X t ,Y ∣
∣ t 2∣ ∑ ∑ ijk ∣ ijk∣0
∣ ∣ ∑ ∑ ∣∣Dt ijk − Rijk X∣∣2
2
i , j∈ k =t − t i , j ∈ k =t− t
Словарь для текущего кадра будет похож на словарь
для предыдущего
Использование трехмерных атомов (6х6х5 пикселей)
«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
27
CS MSU Graphics & Media Lab (Video Group)
28. Only for
Maxus
3D K-SVD: результаты (1)
PSNR, dB Comparison of the denoising results
38
37
36
35
34
33
32 K-SVD
31
SW3D
30
NonLocal Means
29
Proposed
28
27
26
25
24
23
5 10 15 20 25 30 35 40 50
Noise Sigma
«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
28
CS MSU Graphics & Media Lab (Video Group)
29. Only for
Maxus
3D K-SVD: результаты (2)
Source Noisy Filtered
«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
29
CS MSU Graphics & Media Lab (Video Group)
30. Only for
Maxus
3D K-SVD: результаты (3)
Source Noisy Filtered
«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
30
CS MSU Graphics & Media Lab (Video Group)
31. Only for
Maxus
3D K-SVD: результаты (4)
Source Noisy Filtered
«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
31
CS MSU Graphics & Media Lab (Video Group)
32. Only for
Maxus
3D K-SVD: результаты (5)
Source Noisy Filtered
«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
32
CS MSU Graphics & Media Lab (Video Group)
33. Only for
Maxus
3D K-SVD: выводы
Достоинства:
Успешное подавление сильных шумов
Высокое субъективное качество изображения
Баланс скорость/качество (число итераций)
Недостатки:
Низкая скорость работы
Наличие словаря не допускает аппаратной
реализации
«Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
33
CS MSU Graphics & Media Lab (Video Group)
34. Only for
Maxus
Содержание
Введение
Источники и виды шумов
Цели шумоподавления
Алгоритмы
Общие сведения
STVF
3D K-SVD
MHMCF
BM3D-SAPCA
Заключение
34
CS MSU Graphics & Media Lab (Video Group)
35. Only for
Maxus
MHMCF: введение
Будем использовать только временную избыточность.
Для каждой точки найдем несколько соответствующих
ей точек на предыдущих кадрах (назовем их гипотезами
компенсации).
Усредним значения гипотез между собой.
«A multihypothesis motion-compensated temporal filter for video denoising» (ICIP 2006)
35
CS MSU Graphics & Media Lab (Video Group)
36. Only for
Maxus
MHMCF: модель сигнала
Будем использовать следующую модель сигнала:
S0 — текущий пиксель изображения
Zj — ошибка, возникшая из-за смещения объектов и
неверной компенсации движения
Cj — гипотезы компенсации для S0
Nj — шум, который мы хотим подавить
Cm' = Cm + Nm
S0' = S0 + N0
«A multihypothesis motion-compensated temporal filter for video denoising» (ICIP 2006)
36
CS MSU Graphics & Media Lab (Video Group)
37. Only for
Maxus
MHMCF: фильтрация (1)
Оценим текущий кадр :
Y = H s0 Z N , where Y =[s0 ' , c 1 ' ,... c n ' ]T , H =[1, 1...1]T
s0 = B Y d , where d=E Z n
Постараемся минимизировать разницу между s0 и s0 ,
основываясь на методе наименьших квадратов.
Оценим вектор B ,
B
= H T Cov Z N −1 H −1 H T Cov Z N −1
И значение d :
d =− Z
B
«A multihypothesis motion-compensated temporal filter for video denoising» (ICIP 2006)
37
CS MSU Graphics & Media Lab (Video Group)
38. Only for
Maxus
MHMCF: фильтрация (2)
=[b0, b1, ... bN ]
B
−2
0
b0 = N −2 −2
k =1 p k 0
−2
p
b= N
k =1 −2k −2
p 0
where 2 is the variance of z n
p
2 = 2
p z
2
«A multihypothesis motion-compensated temporal filter for video denoising» (ICIP 2006)
38
CS MSU Graphics & Media Lab (Video Group)
39. Only for
Maxus
MHMCF: оценка параметров
Необходимо оценить значения 0, p , z :
2
0 — среднее значение 10 минимальных дисперсий
блоков 16х16
z , p : возьмем кадр из шумов компенсации
движения. Найдем блок, который соответствует z .
Посчитаем среднее блока (z ) и дисперсию d = 2 0
p
2
Подставив значения, получим кадр, очищенный от шума.
«A multihypothesis motion-compensated temporal filter for video denoising» (ICIP 2006)
39
CS MSU Graphics & Media Lab (Video Group)
40. Only for
Maxus
MHMCF: результаты (1)
Average PSNR (db) for Akiyo sequence
PSNR (dB)
43
41
39
Unfiltered
37
Joint Kalman-Weiner
35
One Hypothesis
33 Two Hypotheses
31 Three Hypotheses
29
27
25
4 7 10 13
Noise sigma
«A multihypothesis motion-compensated temporal filter for video denoising» (ICIP 2006)
40
CS MSU Graphics & Media Lab (Video Group)
41. Only for
Maxus
MHMCF: результаты (2)
Original Noisy
41
CS MSU Graphics & Media Lab (Video Group)
42. Only for
Maxus
MHMCF: результаты (3)
One Hypothesis Two Hypotheses
42
CS MSU Graphics & Media Lab (Video Group)
43. Only for
Maxus
MHMCF: выводы
Достоинства:
Высокая скорость
Балансирование между скоростью и качеством
Недостатки:
Требование хорошей компенсации движения
Необходимость точной оценки параметров
«A multihypothesis motion-compensated temporal filter for video denoising» (ICIP 2006)
43
CS MSU Graphics & Media Lab (Video Group)
44. Only for
Maxus
Содержание
Введение
Источники и виды шумов
Цели шумоподавления
Алгоритмы
Общие сведения
STVF
3D K-SVD
MHMCF
BM3D-SAPCA
Заключение
44
CS MSU Graphics & Media Lab (Video Group)
45. Only for
Maxus
BM3D: схема алгоритма (1)
«BM3D Image Denoising with Shape-Adaptive Principal Component Analysis» (2009)
45
CS MSU Graphics & Media Lab (Video Group)
46. Only for
Maxus
BM3D: схема алгоритма (2)
Возьмем пиксель, выделим
его окружение (всего Nel пикселей)
Найдем блоки, схожие со ссылочным (всего Nbr)
Сформируем трехмерный массив
«BM3D Image Denoising with Shape-Adaptive Principal Component Analysis» (2009)
46
CS MSU Graphics & Media Lab (Video Group)
47. Only for
Maxus
BM3D: схема алгоритма (3)
Применим 1D-преобразование (декомпозицию Хаара)
перпендикулярно плоскости блоков
Выполним сложение слоев (фильтр Виннера)
Выполним обратное преобразование
Запишем полученное изображение в результат
«BM3D Image Denoising with Shape-Adaptive Principal Component Analysis» (2009)
47
CS MSU Graphics & Media Lab (Video Group)
48. Only for
Maxus
SAPCA: расширение BM3D
После поиска блоков:
N br
≤ : выполним обычную фильтрацию
N el
N br
: выполним Space-Adaptive фильтрацию
N el
«BM3D Image Denoising with Shape-Adaptive Principal Component Analysis» (2009)
48
CS MSU Graphics & Media Lab (Video Group)
49. Only for
Maxus
SAPCA: схема алгоритма
На входе — Nbr наборов пикселей
Представим каждый набор как столбец (vi) из Nel
пикселей
T
C=[v 1, v 2, ... v N ][v 1, v 2, ... v N ] − матрица вторых моментов
br br
T
U CU =S=diag s1, s2, ... , s N , где U −ортонормированная матрица
el
si — отсортированные собственные значения матрицы
Для декомпозиции возьмем первые Ntrim столбцов U
2
N trim=∣{si∣si }
∣
«BM3D Image Denoising with Shape-Adaptive Principal Component Analysis» (2009)
49
CS MSU Graphics & Media Lab (Video Group)
50. Only for
Maxus
BM3D-SAPCA: результаты (1)
PSNR (dB) Test Results for Lena (512x512) image
38
33
28
Lena (Unfiltered)
23
Lena (Filtered)
18
13
8
5 10 15 20 25 30 35 50 75 100
Noise Sigma
«BM3D Image Denoising with Shape-Adaptive Principal Component Analysis» (2009)
50
CS MSU Graphics & Media Lab (Video Group)
51. Only for
Maxus
BM3D-SAPCA: результаты (2)
Source
51
CS MSU Graphics & Media Lab (Video Group)
52. Only for
Maxus
BM3D-SAPCA: результаты (3)
Noisy (σ = 100)
52
CS MSU Graphics & Media Lab (Video Group)
53. Only for
Maxus
BM3D-SAPCA: результаты (4)
Filtered
53
CS MSU Graphics & Media Lab (Video Group)
54. Only for
Maxus
BM3D-SAPCA: результаты (5)
Source
54
CS MSU Graphics & Media Lab (Video Group)
55. Only for
Maxus
BM3D-SAPCA: результаты (6)
Noisy (σ = 50)
55
CS MSU Graphics & Media Lab (Video Group)
56. Only for
Maxus
BM3D-SAPCA: результаты (7)
Filtered
56
CS MSU Graphics & Media Lab (Video Group)
57. Only for
Maxus
BM3D-SAPCA: выводы
Достоинства:
Высокий показатель PSNR на всевозможных
уровнях шума
Возможность итерирования для повышения
качества
Недостатки:
Скорость (Pentium 2GHz, Matlab, 4 минуты на
изображение 256х256)
Артефакты при сильных шумах
«BM3D Image Denoising with Shape-Adaptive Principal Component Analysis» (2009)
57
CS MSU Graphics & Media Lab (Video Group)
58. Only for
Maxus
Содержание
Введение
Источники и виды шумов
Цели шумоподавления
Алгоритмы
Общие сведения
STVF
3D K-SVD
MHMCF
BM3D-SAPCA
Заключение
58
CS MSU Graphics & Media Lab (Video Group)
59. Only for
Maxus
Выводы
Существует много различных подходов к поставленной
задаче
Большинство методов допускают баланс между
качеством и скоростью
Самым результативным (объективно) является
последний метод
Самым результативным (субъективно) является метод
со словарем
59
CS MSU Graphics & Media Lab (Video Group)
60. Only for
Maxus
Список литературы
1. Liwei Guo, Oscar C. Au, Mengyao Ma, Zhiqin Liang, Carman K.M. Yuk
«A multihypothesis motion-compensated temporal filter for video
denoising» (ICIP 2006)
2. «YUVsoft Video Denoiser Comparison» (2007)
3. Kostadin Dabov, Alessandro Foi, Vladimir Katkovnik, and Karen Egiazarian
«BM3D Image Denoising with Shape-Adaptive Principal Component
Analysis» (2009)
4. Matan Protter, Michael Elad «Sparse and Redundant Representations and
Motion-Estimation-Free Algorithm for Video Denoising» (SPIE 2007)
5. Tai-Wai Chan, Oscar C. Au, Tak-Song Chong, Wing-San Chau «A novel
content-adaptive video denoising filter» (ICASSP 2005)
60
CS MSU Graphics & Media Lab (Video Group)
61. Only for
Maxus
Вопросы
?
CS MSU Graphics & Media Lab (Video Group)
61