Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Оценка уровня шума для видео

1,458 views

Published on

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Оценка уровня шума для видео

  1. 1. Оценка уровня шума для видео Борис Кумок Video Group CS MSU Graphics & Media Lab 09.09.2010 1
  2. 2. Содержание доклада Введение Метод гистограмм Метод BBC Temporal SO Метод градиентов MSU Graphics & Media Lab (Video Group) 2
  3. 3. Введение Определение уровня шума требуется для:  Подавление шума  Сжатие видео  Сегментация  Определение границ Для большинства приложений критична точность оценки, а для видео важна еще и скорость. MSU Graphics & Media Lab (Video Group) 3
  4. 4. Постановка задачи По входному изображению определить уровень шума. Полагая, что шум является белым с нормальным распределением (AWGN), сведем задачу к определению σ.  x2 p ( x)   1 2 e 2 2 Additive noise model g ( x, y)  f ( x, y)  n( x, y) MSU Graphics & Media Lab (Video Group) http://en.wikipedia.org/wiki/Normal_distribution 4
  5. 5. Способы решения Методы можно разделить на следующие классы: Intra-frame  Filter-based  Block-based  Wavelet-based  Histogram-based Inter-frame MSU Graphics & Media Lab (Video Group) 5
  6. 6. Содержание доклада  Введение  Метод гистограмм  Метод BBC  Temporal SO  Метод градиентов MSU Graphics & Media Lab (Video Group) 6
  7. 7. Метод гистограмм Предполагается, что видео снято со статической камеры Схема алгоритма: 1. вычисление разности кадров 2. приближение гистограммы разности кадров гаусианом 3. дисперсия шума предполагается равной дисперсии найденного гаусиана Spatiotonal adaptivity in Super-Resolution of Undersampled Image MSU Graphics & Media Lab (Video Group) Sequences,” Ph.D. Thesis, Delft University of Technology, 2006. 7
  8. 8. Метод гистограмм 1. Вычисление разности кадров Наиболее простой метод оценки дисперсии шума: где I1, I2 – два кадра 1 1 2  noise  2 var I1  I 2   2  N  I1  I 2   2 1 N – кол-во пикселей  N  в кадре Движущиеся объекты искажают такую оценку Spatiotonal adaptivity in Super-Resolution of Undersampled Image MSU Graphics & Media Lab (Video Group) Sequences,” Ph.D. Thesis, Delft University of Technology, 2006. 8
  9. 9. Метод гистограмм 2. Приближение гистограммы гаусианом Производится поиск гаусиана, приближающего гистограмму разности   x  m 2  g x   A exp   2 2     2       2 noise 2 2 Приближение производится методом Nelder-Mead, который позволяет минимизировать MAE (mean absolute error). Spatiotonal adaptivity in Super-Resolution of Undersampled Image MSU Graphics & Media Lab (Video Group) Sequences,” Ph.D. Thesis, Delft University of Technology, 2006. 9
  10. 10. Метод гистограмм Свойства алгоритма Достоинства: • Может быть использован для шумов с не нормальным распределением. Недостатки: • Не работает для «сложных» видов глобального движения. Особенности алгоритма: • Возможно адаптировать алгоритм для обработки видео с нестатическим фоном (используя компенсацию движения) Spatiotonal adaptivity in Super-Resolution of Undersampled Image MSU Graphics & Media Lab (Video Group) Sequences,” Ph.D. Thesis, Delft University of Technology, 2006. 10
  11. 11. Содержание доклада  Введение  Метод гистограмм  Метод BBC  Temporal SO  Метод градиентов MSU Graphics & Media Lab (Video Group) 11
  12. 12. Метод BBC Идея Идея алгоритма: 1. Вычисление разности кадров (по модулю) 2. Размытие 3. Вычисление минимума каждой строки 4. Результирующая оценка производится на основе среднего значения минимумов строк 5. Минимизация по времени Использование минимумов позволяет отделить шум от движения. При этом полагается, что в каждой строке есть неподвижная область. MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
  13. 13. Метод BBC 1. Вычисление разности кадров Вычисляется разность между текущим и обработанным предыдущим кадром. Разность берется по модулю. При отсутствии движения разность содержит только шум и имеет «полугаусово» распределение:   2    0.8 Распределение шума после  2  1  2   2  0.36 2 вычитания σ – дисперсия шума, кадров σ’ – получившаяся дисперсия μ – получившееся матожидание MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
  14. 14. Метод BBC 2. Размытие Размытие производится простым прямоугольным усреднением без весов. Предлагаемый размер фильтра – 15 x 5. После размытия распределение становится близким к нормальному. Матожидание сохраняется, а дисперсия уменьшается пропорционально размеру фильтра.   2  Распределение шума после  2   2 n  1  2   2 n применения n – размер фильтра фильтра σ – дисперсия шума σ’’ – дисперсия после размытия MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
  15. 15. Метод BBC 3. Вычисление минимума строк Для каждой строки находится ее минимальное значение. Это позволяет отделить шум от движения. Полагается, что в каждой строке есть область без движения. Т.к. из-за размытия пикселы не независимы, для вычисления минимума они берутся с шагом равным размеру фильтра. MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
  16. 16. Метод BBC Взятие минимума сдвигает матожидание влево и уменьшает дисперсию. Точные значения изменений зависят от количества минимизируемых величин (ширины строк). m 1 pm x   mpx   px dx   x    m – количество величин p(x) – распределение после размытия pm(x) – распределение минимума Распределение минимума m нормально распределенных случайных величин MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
  17. 17. Метод BBC 4. Вычисление среднего Матожидание минимума строк E вычисляется как среднее минимумов. Используя связь распределений можно найти сигму шума.    2   2  1  2   2 n E    k m  E – среднее минимумов строк km – константа, зависящая от ширины строки MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
  18. 18. Метод BBC 5. Минимизация по времени Для повышения точности оценку шума дополнительно минимизируют, т.е. новая оценка равна минимуму старой и текущего кадра. min  t ,    t 1    , если сменилась сцена Если произошла смена сцены, то минимум не используется. За обнаружение таких смен отвечает специальный детектор. MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
  19. 19. Метод BBC Обнаружение смены сцен Для каждой разности кадров считается сумма по всем пикселям. При смене сцен значение этой суммы резко возрастет. Такой детектор плохо работает на сложных переходах между сценами (затемнение, проявление) или когда сцены содержат много движения. Поэтому предлагается каждые 5 секунд автоматически генерировать сигнал смены сцен, если детектор не срабатывал 10 секунд. MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
  20. 20. Метод BBC 6. Защита от движения Т.к. для работы алгоритма необходимо наличие неподвижных областей, то кадры с большим количеством движения предлагается пропускать. Полагается, что движение когда-нибудь кончается. Детектор движения Для разности кадров вычисляются суммы пикселей в строках. Детектор срабатывает, если разность максимальной и минимальной сумм больше некоторого порога. MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
  21. 21. Метод BBC Свойства алгоритма Достоинства: • Метод разработан с учетом эффективной реализации в железе. Недостатки: • Слишком сильные предположения. Особенности алгоритма: • Существует усложнение для уровней яркости. MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
  22. 22. Содержание доклада  Введение  Метод гистограмм  Метод BBC  Temporal SO  Метод градиентов MSU Graphics & Media Lab (Video Group) 22
  23. 23. Temporal SO Идея 1. Образуем из набора кадров 3D стопку 2. Разобьем ее на блоки 3. Выберем наиболее «гладкие» блоки 1. Гладкие пространственно (S) 2. Гладкие временно (T) 3. Смешано гладкие (ST, VT, HT) 4. Вычислим дисперсию выбранных блоков 5. Получим результирующую оценку шума M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio- MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006 23
  24. 24. Temporal SO Оценка гладкости Гладкость блоков определяется с помощью детектора границ.  k   I k i  i Мера гладкости – сумма сверток по всем пикселам блока. M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio- MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006 24
  25. 25. Temporal SO Вычисление дисперсии Блоки могут быть гладкими во времени (low-motion), но совсем не гладкими пространственно (текстура). Поэтому меры гладкости не смешиваются, для каждого типа детектора есть своя. Дисперсия различных блоков тоже считается по-разному. 1. для S и T 1. считается дисперсия в слоях (S или T) 2. дисперсия блока полагается среднему дисперсий его слоев 2. для ST, VT и HT 1. дисперсия считается по целому блоку M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio- MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006 25
  26. 26. Temporal SO Алгоритм 1. Для каждого направления:  Выбрать N наиболее гладких по этому направлению блоков.  Для каждого выбранного блока  Если блок гладок в S (T), то дисперсия в нем равна среднему дисперсий по слоям S (T).  Если блок гладок в ST, VT или ZT, то дисперсия считается по всему блоку обычным образом.  Дисперсия направления равна среднему (или медиане) дисперсий блоков. 2. Сигма шума равна среднему (медиане) дисперсий по направлениям. M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio- MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006 26
  27. 27. Temporal SO Алгоритм Для каждого направления Найти N наиболее гладких блоков S T ST VT ZT Набор N блоков гладких по направлению. Дисперсия в слоях Дисперсия по всему Усреднение блоку Дисперсия блоков Медиана блоков одного направления Дисперсия σS σT σST σVT σZT для направления Медиана σ M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio- MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006 27
  28. 28. Temporal SO Свойства алгоритма Достоинства: • Сравнительно быстрый алгоритм. Недостатки: • Требует много дополнительной памяти. Особенности алгоритма: • Является развитием аналогичного пространственного метода. Качество работы зависит от детектора границ. MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
  29. 29. Temporal SO Сравнение Средняя ошибка для последовательностей Prlcar, Tennis, Train, Football, Car и Flowergarden и уровней шума 20, 30, 40 dB. M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio- MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006 29
  30. 30. Содержание доклада  Введение  Метод гистограмм  Метод BBC  Temporal SO  Метод градиентов MSU Graphics & Media Lab (Video Group) 30
  31. 31. Метод градиентов Алгоритм 1. Вычисление градиентов (вейвлет преобразование) 1. Пространственных 2. Временных 2. Получение гистограмм длин градиентов 3. Выбор «лучшей» гистограммы 1. Вычисление параметров σ для пространственной и временной моделей 2. Оценка Колмогорова-Смирнова 4. Получение оценки дисперсии шума Noise estimation for video processing based on spatial-temporal MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006. 31
  32. 32. Метод градиентов Вычисление градиентов Пространственные градиенты вычисляются с помощью 2D вейвлет преобразования. HL и LH области будут содержать компоненты градиентов. Исходное изображение Преобразование Хаара Noise estimation for video processing based on spatial-temporal MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006. 32
  33. 33. Метод градиентов Вычисление градиентов Временные градиенты вычисляются как одномерная свертка последовательных кадров Входные данные вейвлет преобразования Noise estimation for video processing based on spatial-temporal MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006. 33
  34. 34. Метод градиентов Вычисление гистограмм длин 1. Длины градиентов вычисляются по формулам: длины временных градиентов: длины пр-х градиентов: GT r , t   HT r , t   HT r  q, t  GS r , t   HLr , t   LH r , t  2 2 2 2 q – произвольно выбранный вектор r – вектор координат точки 2. Используя приведенные формулы, вычисляются гистограммы длин: hGT , hGS  гистограммы длин градиентов 3. Полученные гистограммы затем размываются Noise estimation for video processing based on spatial-temporal MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006. 34
  35. 35. Метод градиентов Модель распределения Полагая, что шум имеет нормальное распределение, строятся модели распределения длин градиентов: GT , GS ~ Rayleigh    X , Y ~ N 0,  2   Z  X  Y ~ Rayleigh  2 2 x exp   Распределение Райелиха:  x2 px,    , F x,    1  exp   2 2  x2  2 2 2 Для каждой модели выберем параметр σ с помощью метода максимального правдоподобия:  ( x )  arg max L ( x ,  ) Функция Lx,     pxi ,    правдоподобия: xi MSU Graphics & Media Lab (Video Group) http://en.wikipedia.org/wiki/Rayleigh_distribution. 35
  36. 36. Метод градиентов Модель распределения Распределение Райелиха: p  x,    x exp    x2 2 2 2   arg max p , x  x   arg max hG k x MSU Graphics & Media Lab (Video Group) http://en.wikipedia.org/wiki/Rayleigh_distribution. 36
  37. 37. Метод градиентов Выбор «лучшей» гистограммы Точность каждой из построенных моделей оценивается с помощью теста Колмогорова-Смирнова. Для каждой модели вычисляется значение δ по формуле:   max Fn x   F x,   x 1 если Gi  x Fn x   i 1  1 n n F x,    1  exp    x2 2 2 0 Количество градиентов с длиной Модельная функция меньшей x распределения длин градиентов Noise estimation for video processing based on spatial-temporal MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006. 37
  38. 38. Метод градиентов Получение оценки Выбор «лучшей» гистограммы (S или Т) производится согласно соотношению:  k  arg max hG Наиболее «частая» S , если  S  S   T  T k длина градиентов k  T , иначе Оценка точности из теста k Колмогорова-Смирнова Итоговая оценка дисперсии шума вычисляется по    k  C k k C=1.25 формуле: Noise estimation for video processing based on spatial-temporal MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006. 38
  39. 39. Метод градиентов Получение оценки Для увеличения стабильности оценку дополнительно сглаживают:  f t    t    f t  1 2 Noise estimation for video processing based on spatial-temporal MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006. 39
  40. 40. Метод градиентов Свойства алгоритма Достоинства: • сравнительно высокая точность оценки Особенности алгоритма: • предполагается использование совместно с методами работающими в вейвлет пространстве Noise estimation for video processing based on spatial-temporal MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006. 40
  41. 41. Метод градиентов Сравнение Средняя ошибка по 8 последовательностям для различных уровней шума. Средняя ошибка по всем уровням шума для различных последовательностей. Noise estimation for video processing based on spatial-temporal MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006. 41
  42. 42. Метод градиентов Сравнение Средняя ошибка по 8 последовательностям для различных уровней шума. 4 3,5 Temporal gradient 3 Spatial gradient 2,5 MAD 2 Moment matching 1,5 CDF 1 BBC 0,5 Structure oriented 0 0 5 10 15 20 25 30 Средняя ошибка по всем уровням шума для различных последовательностей. 4,5 4 3,5 Temporal gradient 3 2,5 Spatial gradient 2 MAD 1,5 1 Moment matching 0,5 0 CDF BBC ile e al s . s ta an ar at Bu ni tb a ob G Structure oriented n m g en o Te ar r M Fo s we R le C Sa o Fl Noise estimation for video processing based on spatial-temporal MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006. 42
  43. 43. Метод градиентов Сравнение Время работы с 50 кадрами размера 352 x 288 Noise estimation for video processing based on spatial-temporal MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006. 43
  44. 44. Список литературы 1. J. O. Drewery, R. Storey, and N. E. Tanton, "Video Noise Reduction" BBC Research Dept. Rep. BBC RD 1984/7, 1984 2. T. Kwaaitaal-Spassova G. deHaan and O.A. Ojo, “Automatic 2-d and 3-d noise filtering for high quality television receivers,” International Workshop on Signal Processing and HDTV, vol. VI, pp. 221–230, 1996. 3. V. Zlokolica, A. Pizurica, W. Philips, "Noise estimation for video processing based on spatial- temporal gradient histograms" , IEEE Signal Processing Letters, vol. 13, no. 6, pp. 337-340, June 2006. 4. T.Q. Pham, “Spatiotonal adaptivity in Super-Resolution of Undersampled Image Sequences,” Ph.D. Thesis, Quantitative Imaging Group, Delft University of Technology, 2006. 5. M. Ghazal, A. Amer, and A. Ghrayeb, "Structure-Oriented Spatio-Temporal Video Noise Estimation", in Proc. IEEE Int. Conference on Acoustics, Speech, and Signal Processing (ICASSP), Toulouse, France, May 2006, pp. 845-848. MSU Graphics & Media Lab (Video Group) 44
  45. 45. Вопросы ? MSU Graphics & Media Lab (Video Group) 45

×