Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Оценка уровня
                 шума
                     Борис Кумок
                      Video Group
               CS M...
Содержание доклада
          Введение
          Wavelet
                MAD
                MBE
                Train...
Введение

      Определение уровня шума требуется для:
              Подавление шума
              Сжатие видео
        ...
Постановка задачи
    По входному изображению определить уровень шума.
    Полагая, что шум является белым с нормальным
  ...
Содержание доклада
          Введение
          Wavelet
              MAD
              MBE
              Trained mom...
MAD
                                               MAD  median(| xi  median( xi ) |)

                                  ...
MAD

    Т.к. необходимо вычислять медиану, метод
    работает медленно. Кроме того, он требует
    дополнительную память....
Содержание доклада
          Введение
          Wavelet
                MAD
                MBE
                   Ид...
MBE
     Идея метода

    Построим модель зашумленного изображения.
    Используем ее для оценки уровня шума.

    Постро...
MBE
     Построение модели

    Гистограмма вейвлет коэффициентов
    чистого изображения похожа на
    лапласиан.        ...
MBE
     Построение модели

     Построим модель зашумленного изображения.
          Модель распределения вейвлет
     коэ...
MBE
     Метод максимального правдоподобия

   Оптимальное решение можно получить методом
   максимального правдоподобия.
...
MBE
     Метод моментов

     pimage noise(x)
                                     
                                  E...
Содержание доклада
          Введение
          Wavelet
                MAD
                MBE
                Train...
Обученные моменты

   Развитием предыдущего метода может быть
   учет иных статистик кроме 2 и 4 моментов.

              ...
Обучение алгоритма
     Метод наименьших квадратов

                                         Для нахождения хороших
      ...
Обучение алгоритма
     Метод наименьших квадратов
                  m
                                         Найдем коэ...
Содержание доклада
          Введение
          Wavelet
                MAD
                MBE
                Train...
CDF
     Введение

  cdf ( x) - количество пикселей с                        Будем использовать
             дисперсией ме...
CDF
     Алгоритм
  Вычислим cdf(x0) и по таблице найдем соответствующее
  значение σ.

                                  ...
CDF
     Обучение

   Не все точки графика дают надежную оценку.
   Найдем наилучшую.
                         cdf(x) изоб...
CDF
     Обучение
 На обучающем наборе изображений с известной
 σ шума выберем точку x0, наиболее надежную
 для классифика...
Сравнение




   Методы основанные на обучении дают более
   хороший результат.



                                       ...
Содержание доклада
          Введение
          Wavelet
          Block-based
              Classic
              Str...
Блочный метод

   Разобьем изображение на блоки (7х7) и
   выберем из них N штук с наименьшей
   дисперсией. Положим σ рав...
Блочный метод

  Метод является одним из самых
  быстрых и требует мало
  дополнительной памяти.

  Для оценки уровня шума...
Содержание доклада
          Введение
          Wavelet
          Block-based
              Classic
              Str...
Структурный

  Дисперсия – не лучший способ определить
  гладкость блока.
  Воспользуемся детектором границ.
             ...
Структурный

          Bh – h-ый гладкий блок

                 1                       Усредним дисперсию N
      2    ...
Структурный

    При вычислении ξB можно                                                           8
                     ...
Содержание доклада
          Введение
          Wavelet
          Block-based
              Classic
              Str...
Структурный метод
     Расширение
 Применим структурный
 метод к видео.

 Будем хранить
 несколько кадров. Из
 них образуе...
Структурный метод
     Расширение

     Блоки могут быть                                            2V  2V  2V
        ...
Структурный метод
        Расширение. Алгоритм.

   1.    Для каждого направления:
            Выбрать N наиболее гладких...
Структурный метод
     Расширение. Алгоритм.
                                         Для каждого направления
            ...
Структурный метод
     Расширение. Сравнение.

    Метод требует много дополнительной памяти,
    но его точность значител...
Содержание доклада
          Введение
          Wavelet
                MAD
                MBE
                Train...
Список литературы
   1.    S.I. Olsen. Noise variance estimation in images. In In 8th Scandinavian Conference on
         ...
Вопросы




                                         ?
MSU Graphics & Media Lab (Video Group)       40
Upcoming SlideShare
Loading in …5
×

Оценка уровня шума

1,749 views

Published on

  • Be the first to comment

  • Be the first to like this

Оценка уровня шума

  1. 1. Оценка уровня шума Борис Кумок Video Group CS MSU Graphics & Media Lab 09.09.2010 1
  2. 2. Содержание доклада  Введение  Wavelet  MAD  MBE  Trained moments  CDF  Block-based  Classic  Structure-oriented  Temporal SO  Сcылки MSU Graphics & Media Lab (Video Group) 2
  3. 3. Введение Определение уровня шума требуется для:  Подавление шума  Сжатие видео  Сегментация  Определение границ Для большинства приложений критична точность оценки, а для видео еще важна скорость. MSU Graphics & Media Lab (Video Group) 3
  4. 4. Постановка задачи По входному изображению определить уровень шума. Полагая, что шум является белым с нормальным распределением (AWGN), сведем задачу к определению σ.  x2 p ( x)   1 2 e 2 2 MSU Graphics & Media Lab (Video Group) http://en.wikipedia.org/wiki/Normal_distribution 4
  5. 5. Содержание доклада  Введение  Wavelet  MAD  MBE  Trained moments  CDF  Сравнение  Block-based  Ссылки MSU Graphics & Media Lab (Video Group) 5
  6. 6. MAD MAD  median(| xi  median( xi ) |) Для всех блоков изображения Изображение посчитаем MAD и положим σ пропорциональной их медиане.   1.483 * median(MAD( )) i MAD блоки MSU Graphics & Media Lab (Video Group) D.L.Donoho, De-noising by soft-thresholding, IEEE Trans, 1995 6
  7. 7. MAD Т.к. необходимо вычислять медиану, метод работает медленно. Кроме того, он требует дополнительную память. Один из самых часто применяемых методов. Существует несколько модификаций для работы в разных пространствах. MSU Graphics & Media Lab (Video Group) D.L.Donoho, De-noising by soft-thresholding, IEEE Trans, 1995 7
  8. 8. Содержание доклада  Введение  Wavelet  MAD  MBE  Идея  Построение модели  Метод максимального правдоподобия  Метод соответствия моментов  Trained moments  CDF  Сравнение  Block-based  Ссылки MSU Graphics & Media Lab (Video Group) 8
  9. 9. MBE Идея метода Построим модель зашумленного изображения. Используем ее для оценки уровня шума. Построениемодели Оценка шума  Метод максимального правдоподобия  Метод моментов Training methods for image noise level estimation on wavelet MSU Graphics & Media Lab (Video Group) components. EURASIP Journal on Applied Signal Processing, 2004 9
  10. 10. MBE Построение модели Гистограмма вейвлет коэффициентов чистого изображения похожа на лапласиан. Предполагаемое распределение 2 /  u )| x| pimage( x)   1 2 e ( u Training methods for image noise level estimation on wavelet MSU Graphics & Media Lab (Video Group) components. EURASIP Journal on Applied Signal Processing, 2004 10
  11. 11. MBE Построение модели Построим модель зашумленного изображения. Модель распределения вейвлет коэффициентов чистого изображения Плотность шума  ( 2 /  u )| x|  x 2 /( 2 v ) 2 pimage( x)   1 2 e pnoise( x)   1 2 e u v  p1  2 ( y )    p (u)  p ( y  u)du 1 2 Модель распределения коэффициентов зашумленного изображения e      v  u 2 pimage noise( x)  e  erfc  v  x  e  2 u x 2 u x  erfc  v  x u u v 2  2 v  2 v Training methods for image noise level estimation on wavelet MSU Graphics & Media Lab (Video Group) components. EURASIP Journal on Applied Signal Processing, 2004 11
  12. 12. MBE Метод максимального правдоподобия Оптимальное решение можно получить методом максимального правдоподобия. Функция правдоподобия L( x,  )   pimagenoise ( xi , )  ( x )  arg max L ( x ,  )  Аналитического решения данная задача не имеет. Численное решение – очень медленно. Training methods for image noise level estimation on wavelet MSU Graphics & Media Lab (Video Group) components. EURASIP Journal on Applied Signal Processing, 2004 12
  13. 13. MBE Метод моментов pimage noise(x)   E x 2  m2   u2   v2   E x 4  m4  6 u2  3 v2  6 u2 v2 Решим систему и заменим теоретические моменты на Не оптимальный, но более выборочные. быстрый метод моментов  позволяет получить mk  1 N  x(i) k результат за один проход.    1 m4   v  m2 1   2 1  2 3 m2    Training methods for image noise level estimation on wavelet MSU Graphics & Media Lab (Video Group) components. EURASIP Journal on Applied Signal Processing, 2004 13
  14. 14. Содержание доклада  Введение  Wavelet  MAD  MBE  Trained moments  Описание  Обучение  CDF  Сравнение  Block-based  Ссылки MSU Graphics & Media Lab (Video Group) 14
  15. 15. Обученные моменты Развитием предыдущего метода может быть учет иных статистик кроме 2 и 4 моментов.  M 1  m1    1 M 1   2 M 2   4 M 4  M 2  m2   m1   mk  1 N  x(i) k M 4  m4 m2 m1 Выбор подходящих коэффициентов αk осуществим путем обучения алгоритма. Training methods for image noise level estimation on wavelet MSU Graphics & Media Lab (Video Group) components. EURASIP Journal on Applied Signal Processing, 2004 15
  16. 16. Обучение алгоритма Метод наименьших квадратов Для нахождения хороших коэффициентов алгоритм  x    k M k x  необходимо предварительно обучить. Возьмем набор n изображений xi с известным уровнем шума yi и применим метод наименьших квадратов. Training methods for image noise level estimation on wavelet MSU Graphics & Media Lab (Video Group) components. EURASIP Journal on Applied Signal Processing, 2004 16
  17. 17. Обучение алгоритма Метод наименьших квадратов m Найдем коэффициенты αk, при F ( x)    k k ( x) k 0 которых суммарная квадратичная погрешность J n минимальна. J    yi  F xi  2 i 0 m  lk  k  bl , l  0,1, , m, Получим СЛАУ с m k 0 n неизвестными,  lk   l  xi  k  xi , которую можно i 0 решить, например, n методом Гаусса. bl   l  xi  yi i 0 Вводные лекции по численным методам. А.П.Костомаров, MSU Graphics & Media Lab (Video Group) А.П.Фаворский. 17
  18. 18. Содержание доклада  Введение  Wavelet  MAD  MBE  Trained moments  CDF  Введение  Алгоритм  Обучение  Сравнение  Block-based  Ссылки MSU Graphics & Media Lab (Video Group) 18
  19. 19. CDF Введение cdf ( x) - количество пикселей с Будем использовать дисперсией меньшей x cdf(x) для определения уровня шума. Изображение Локальная дисперсия cdf(x) Training methods for image noise level estimation on wavelet MSU Graphics & Media Lab (Video Group) components. EURASIP Journal on Applied Signal Processing, 2004 19
  20. 20. CDF Алгоритм Вычислим cdf(x0) и по таблице найдем соответствующее значение σ. cdf(x0) σ σ m1 1 m2 2 … … Среднее значение cdf(x) среди изображений с σ = l. Создание таблицы и выбор точки x0 N ml x   cdf l k x  1 происходят на этапе обучения N  k 1 алгоритма. Training methods for image noise level estimation on wavelet MSU Graphics & Media Lab (Video Group) components. EURASIP Journal on Applied Signal Processing, 2004 20
  21. 21. CDF Обучение Не все точки графика дают надежную оценку. Найдем наилучшую. cdf(x) изображений с σ = 0 cdf(x) изображений с σ = 25 Training methods for image noise level estimation on wavelet MSU Graphics & Media Lab (Video Group) components. EURASIP Journal on Applied Signal Processing, 2004 21
  22. 22. CDF Обучение На обучающем наборе изображений с известной σ шума выберем точку x0, наиболее надежную для классификации. Степень различимости cdf(x) между уровнями l1 и l2. Среднее значение cdf(x) среди изображений с σ = l. ml1 x   ml2 x  N ml x   cdf l k x  1 f l1 ,l2 x    l x    l x  N  k 1 1 2 Дисперсия cdf(x) среди изображений с σ = l.  cdf x   m x  N  x   1 x0  arg max  f i , j ( x) 2 k 2 l l l x i, j N k 1 Training methods for image noise level estimation on wavelet MSU Graphics & Media Lab (Video Group) components. EURASIP Journal on Applied Signal Processing, 2004 22
  23. 23. Сравнение Методы основанные на обучении дают более хороший результат. Training methods for image noise level estimation on wavelet MSU Graphics & Media Lab (Video Group) components. EURASIP Journal on Applied Signal Processing, 2004 23
  24. 24. Содержание доклада  Введение  Wavelet  Block-based  Classic  Structure-oriented  Temporal SO  Ссылки MSU Graphics & Media Lab (Video Group) 24
  25. 25. Блочный метод Разобьем изображение на блоки (7х7) и выберем из них N штук с наименьшей дисперсией. Положим σ равной их усреднению. N 1 k    min  Bk  B  дисперсия k - ого блока 2 2 2 k N k 1 N – фиксированная часть общего числа блоков. S.I. Olsen. Noise variance estimation in images. In In 8 th Scandinavian MSU Graphics & Media Lab (Video Group) Conference on Image Analysis, Norway, 1993. 25
  26. 26. Блочный метод Метод является одним из самых быстрых и требует мало дополнительной памяти. Для оценки уровня шума используются «гладкие» области. Если таких областей нет, точность резко падает. Дисперсия S.I. Olsen. Noise variance estimation in images. In In 8 th Scandinavian MSU Graphics & Media Lab (Video Group) Conference on Image Analysis, Norway, 1993. 26
  27. 27. Содержание доклада  Введение  Wavelet  Block-based  Classic  Structure-oriented  Temporal SO  Ссылки MSU Graphics & Media Lab (Video Group) 27
  28. 28. Структурный Дисперсия – не лучший способ определить гладкость блока. Воспользуемся детектором границ. Свертка {-1 -1 … (w-1) … -1 -1} I1 I2 I3 I4 I k i    I i  1  2I i   I i  1 Мера гладкости блока. 8 I5 I6 I7 I8 Сумма сверток по всем направлениям для  B   I k i  каждого пикселя блока. i k 1 Fast and reliable structure-oriented video noise estimation A. Amer and MSU Graphics & Media Lab (Video Group) E. Dubois. IEEE Trans vol.15, pp. 113–118, January 2005 29
  29. 29. Структурный Bh – h-ый гладкий блок 1 Усредним дисперсию N 2  h1 B N 2 N h наиболее гладких блоков. Дополнительно наложим ограничение на слагаемые.  B  B  T  B  median B : h  1,2,3 2 2 h R 2 R 2 h T  const Fast and reliable structure-oriented video noise estimation A. Amer and MSU Graphics & Media Lab (Video Group) E. Dubois. IEEE Trans vol.15, pp. 113–118, January 2005 30
  30. 30. Структурный При вычислении ξB можно 8  B   I k i  учитывать не все пиксели, а i k 1 только каждый s-ый. Метод работает в 4 раза быстрее, чем блочный и дает лучший результат. Fast and reliable structure-oriented video noise estimation A. Amer and MSU Graphics & Media Lab (Video Group) E. Dubois. IEEE Trans vol.15, pp. 113–118, January 2005 31
  31. 31. Содержание доклада  Введение  Wavelet  Block-based  Classic  Structure-oriented  Temporal SO  Ссылки MSU Graphics & Media Lab (Video Group) 32
  32. 32. Структурный метод Расширение Применим структурный метод к видео. Будем хранить несколько кадров. Из них образуем 3D блок, который разобьем на набор кубов. Детектор границ теперь работает еще и как детектор движения. M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio- MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006 33
  33. 33. Структурный метод Расширение Блоки могут быть  2V  2V  2V  ST   2  2 i 2 j n гладкими во времени (low- motion), но совсем не  2V T  n 2 гладкими пространственно (текстура). Поэтому меры  2V  2V S  2  2 гладкости не i j смешиваются, для  2V  2V  VT   2 каждого из направлений j 2 n есть своя.  ZT   2V  2V  2 i 2 n M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio- MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006 34
  34. 34. Структурный метод Расширение. Алгоритм. 1. Для каждого направления:  Выбрать N наиболее гладких по этому направлению блоков.  Для каждого выбранного блока  Если блок гладок в S (T), то дисперсия в нем равна среднему дисперсий по слоям S (T).  Если блок гладок в ST, VT или ZT, то дисперсия считается по всему блоку обычным образом.  Дисперсия направления равна среднему (или медиане) дисперсий блоков. 2. Сигма шума равна среднему (медиане) дисперсий по направлениям. M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio- MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006 35
  35. 35. Структурный метод Расширение. Алгоритм. Для каждого направления Найти N наиболее гладких блоков S T ST VT ZT Набор N блоков гладких по направлению. Дисперсия в слоях Дисперсия по всему Усреднение блоку Дисперсия блоков Медиана блоков одного направления Дисперсия σS σT σST σVT σZT для направления Медиана σ M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio- MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006 36
  36. 36. Структурный метод Расширение. Сравнение. Метод требует много дополнительной памяти, но его точность значительно выше, чем в других методах. M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio- MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006 37
  37. 37. Содержание доклада  Введение  Wavelet  MAD  MBE  Trained moments  CDF  Block-based  Classic  Structure-oriented  Temporal SO  Ссылки MSU Graphics & Media Lab (Video Group) 38
  38. 38. Список литературы 1. S.I. Olsen. Noise variance estimation in images. In In 8th Scandinavian Conference on Image Analysis, Norway, 1993. 2. D.L.Donoho, “De-noising by soft-thresholding,” IEEE Transactions on Information Theory, vol. 41, no. 3, pp. 613–627, 1995 3. De Stefano, A., White, P.R. and Collis, W.B. (2004) Training methods for image noise level estimation on wavelet components. EURASIP Journal on Applied Signal Processing, 2004, (16), 2400-2407. 4. D.-H. Shin, R.-H. Park, S. Yang, J.-H. Jung, "Block-based noise estimation using adaptive Gaussian filtering", IEEE Trans. Consumer Electronics, vol. 51, no. 1, pp. 218–226, Feb. 2005 5. A. Amer and E. Dubois, “Fast and reliable structure-oriented video noise estimation,” IEEE Transactions on Circuits and Systems for Video Technology, vol.15, pp. 113–118, January 2005. 6. M. Ghazal, A. Amer, and A. Ghrayeb, "Structure-Oriented Spatio-Temporal Video Noise Estimation", in Proc. IEEE Int. Conference on Acoustics, Speech, and Signal Processing (ICASSP), Toulouse, France, May 2006, pp. 845-848. MSU Graphics & Media Lab (Video Group) 39
  39. 39. Вопросы ? MSU Graphics & Media Lab (Video Group) 40

×