Поиск и удаление дефектов в старом видео

  • 1,031 views
Uploaded on

 

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
1,031
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
9
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Only for Maxus  Поиск и удаление дефектов архивного видео Матюнин Сергей Video Group CS MSU Graphics & Media Lab CS MSU Graphics & Media Lab (Video Group) 1
  • 2. Only for Maxus  Содержание  Введение  Примеры дефектов  Методы обработки  Методы поиска дефектов  Методы удаления дефектов  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 2
  • 3. Введение Only for Maxus  Примеры дефектов CS MSU Graphics & Media Lab (Video Group) Restoration of Archived Film and Video. P. M. B. van Roosmalen. Ph.D. 3 dissertation, Tech. Univ. Delft, Delft, The Netherlands, 1999.
  • 4. Введение Only for Maxus  Примеры дефектов CS MSU Graphics & Media Lab (Video Group) Restoration of Archived Film and Video. P. M. B. van Roosmalen. Ph.D. 4 dissertation, Tech. Univ. Delft, Delft, The Netherlands, 1999.
  • 5. Введение Only for Maxus  Примеры дефектов CS MSU Graphics & Media Lab (Video Group) Restoration of Archived Film and Video. P. M. B. van Roosmalen. Ph.D. 5 dissertation, Tech. Univ. Delft, Delft, The Netherlands, 1999.
  • 6. Введение Only for Maxus  Примеры дефектов CS MSU Graphics & Media On missing data treatment for degraded video and film archives: a Lab (Video Group) survey and a new Bayesian approach. Kokaram, A.C. IEEE 6 Transactions on Image Processing. 2004.
  • 7. Введение Only for Maxus  Примеры дефектов CS MSU Graphics & Media Lab (Video Group) 7
  • 8. Введение Only for Maxus  Примеры дефектов CS MSU Graphics & Media Lab (Video Group) 8
  • 9. Введение Only for Maxus  Методы обработки  Ручной  Очень качественный  Медленный  Дорогой  Автоматический  Быстрый  Дешевый  Возможны ошибки  Полуавтоматический  Средняя скорость  Средняя цена  Хорошее качество CS MSU Graphics & Media Lab (Video Group) 9
  • 10. Введение Only for Maxus  Автоматическая обработка Предобработка Детектор Вход (ME, MC) дефектов Восстановление Постобработка Выход повреждений (уточнение) CS MSU Graphics & Media Lab (Video Group) 10
  • 11. Введение Only for Maxus  Методы тестирования  Классический – создание искусственных дефектов  Недостаточно реалистичный  Прост в реализации  Инфракрасная съемка  Необходимо дополнительное оборудование  Порог бинаризации инфракрасного снимка нужно подбирать вручную  Черные дефекты на черном фоне не видны CS MSU Graphics & Media Lab (Video Group) 11
  • 12. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Пространственные  Временные  Метод объединения результатов детекторов  Методы удаления ложных срабатываний  Методы удаления дефектов  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 12
  • 13. Поиск дефектов Only for Maxus  Пространственный метод Основан на специфических свойствах дефектов: Маленькая площадь (до 2% изображения) Четкие границы Используются операции математической морфологии CS MSU Graphics & Media Joyeux L., Boukir S., Besserer B., Buisson O. Reconstruction of Lab (Video Group) degraded image sequences. Application to film restoration. Image 13 and Vision Computing, UK: Elsevier, 2001.
  • 14. Поиск дефектов Only for Maxus  Пространственный метод Исходное изображение, закрытие, разность. CS MSU Graphics & Media Joyeux L., Boukir S., Besserer B., Buisson O. Reconstruction of Lab (Video Group) degraded image sequences. Application to film restoration. Image 14 and Vision Computing, UK: Elsevier, 2001.
  • 15. Поиск дефектов Only for Maxus  Пространственный метод CS MSU Graphics & Media Joyeux L., Boukir S., Besserer B., Buisson O. Reconstruction of Lab (Video Group) degraded image sequences. Application to film restoration. Image 15 and Vision Computing, UK: Elsevier, 2001.
  • 16. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Временные  SDI  ROD  SROD  Улучшенный алгоритм  MSU Old Film Restore  Методы удаления дефектов  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 16
  • 17. Поиск дефектов Only for Maxus  SDI-детектор Spike Detection Index Eb  I n ( x)  I n 1 ( x) E f  I n ( x)  I n 1 ( x) 1, если Eb  T и E f  T bSDIa(x)   0, иначе 1, если Eb  T и E f  T и sign( E f )  sign( Eb ) bSDIp(x)   0, иначе CS MSU Graphics & Media On missing data treatment for degraded video and film archives: a Lab (Video Group) survey and a new Bayesian approach. Kokaram, A.C. IEEE 17 Transactions on Image Processing. 2004.
  • 18. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Временные  SDI  ROD  SROD  Улучшенный алгоритм  MSU Old Film Restore  Методы удаления дефектов  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 18
  • 19. Поиск дефектов Only for Maxus  ROD-детектор Ranked Ordered Difference pn,i(z)  упорядоченные по величине pn(z) pn,3(z)  pn,4(z) m(z)  2  pn , i ( z )  In( z ), In( z )  m( z ) dn , i ( z )   i  1,2,3.  In( z )  pn , 7  i ( z ), In( z )  m( z ) Blotch and Scratch Detection in Image Sequences based on Rank CS MSU Graphics & Media Ordered Differences M. J. Nadenau and S. K. Mitra 5th International Lab (Video Group) Workshop on Time-Varying Image Processing and Moving Object 19 Recognition, September 5-6, 1996
  • 20. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Временные  SDI  ROD  SROD  Улучшенный алгоритм  MSU Old Film Restore  Методы удаления дефектов  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 20
  • 21. Поиск дефектов Only for Maxus  SROD-детектор Simplified Ranked Ordered Difference 1, если d n ( z )  T1 maskn ( z )   0, иначе CS MSU Graphics & Media Restoration and Storage of Film and Video Archive Material. P.M.B. Lab (Video Group) van Roosmalen and J. Biemond and R.L. Lagendijk Restoration and 21 Storage of Film and Video Archive Material. 1999.
  • 22. Поиск дефектов Only for Maxus  Сравнение CS MSU Graphics & Media Lab (Video Group) Restoration of Archived Film and Video. P. M. B. van Roosmalen. Ph.D. 22 dissertation, Tech. Univ. Delft, Delft, The Netherlands, 1999.
  • 23. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Временные  SDI  ROD  SROD  Улучшенный алгоритм  MSU Old Film Restore  Методы удаления дефектов  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 23
  • 24. Поиск дефектов Only for Maxus  Улучшенный алгоритм CS MSU Graphics & Media An improved motion-compensated restoration method for damaged Lab (Video Group) color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu 24 Bekir; Signal processing. Image communication. 2004
  • 25. Поиск дефектов Only for Maxus  Улучшенный алгоритм Для обнаружения дефектов используется ROD детекторы CS MSU Graphics & Media An improved motion-compensated restoration method for damaged Lab (Video Group) color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu 25 Bekir; Signal processing. Image communication. 2004
  • 26. Поиск дефектов Only for Maxus  Улучшенный алгоритм Нашли MV по ME по пяти Детектор Старт направлениям Да кадрам дефектов №1-4? Нет Нашли MV по Меньше чем T% направлениям 5- Нет пикселей блока 7? дефектны? Получили MV[n] = близкие Да среднему Да векторы? вектору Оцениваем MV для n-го кадра Детектор Да Нет по MV №5-7 дефектов Нет Не удалось Меньше чем T% Удаление предсказать Нет пикселей блока Да дефектов MVF дефектны? CS MSU Graphics & Media An improved motion-compensated restoration method for damaged Lab (Video Group) color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu 26 Bekir; Signal processing. Image communication. 2004
  • 27. Only for Maxus  Улучшенный алгоритм Тестирование Использовалось K=4 уровня в Параметры ME схеме multiresolution. Фильтр: гауссовский. На нулевом уровне на остальных: и т.д. Размер изображения: CIF. CS MSU Graphics & Media An improved motion-compensated restoration method for damaged Lab (Video Group) color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu 27 Bekir; Signal processing. Image communication. 2004
  • 28. Only for Maxus  Улучшенный алгоритм Тестирование CS MSU Graphics & Media An improved motion-compensated restoration method for damaged Lab (Video Group) color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu 28 Bekir; Signal processing. Image communication. 2004
  • 29. Only for Maxus  Улучшенный алгоритм Тестирование CS MSU Graphics & Media An improved motion-compensated restoration method for damaged Lab (Video Group) color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu 29 Bekir; Signal processing. Image communication. 2004
  • 30. Only for Maxus  Улучшенный алгоритм Тестирование CS MSU Graphics & Media An improved motion-compensated restoration method for damaged Lab (Video Group) color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu 30 Bekir; Signal processing. Image communication. 2004
  • 31. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Временные  SDI  ROD  SROD  Улучшенный алгоритм  MSU Old Film Restore  Методы удаления дефектов  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 31
  • 32. Only for Maxus  Поиск дефектов MSU Old Film Restore Считаем локальную ошибку компенсации: 2 2 LSADt  k , i, j     framet, i  p, j  q   mc_framet  k , i  p, j  q  p  2q  2 1, LSAD(t  1, i, j )  T Две вспомогательные маски: mask t  1, i, j     0, иначе Применяем операции сужения и расширения: 1, mask(t , i  p, j  q)  1 | p, q   1; 1  3  mask t, i, j     0, иначе 1, mask(t , i  p, j  q)  1 | p, q   1; 1  0  mask t , i, j     0, иначе Окончательная маска: maski, j   maskt  1, i, j  И maskt  1, i, j  CS MSU Graphics & Media Lab (Video Group) Методы подавления шума и царапин в старых видеозаписях. 32 Титаренко А. В. 2007
  • 33. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Пространственные  Временные  Метод объединения результатов детекторов  Методы удаления ложных срабатываний  Методы удаления дефектов  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 33
  • 34. Поиск дефектов Only for Maxus  Объединение детекторов Используем детекторы: SROD и пространственный. CS MSU Graphics & Media Fusion of complementary detectors for improving blotch detection in Lab (Video Group) digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier 34 Science Inc. 2007.
  • 35. Поиск дефектов Only for Maxus  Объединение детекторов Старт Вероятность того, что оба Оба детектора Пиксель детектора показывают Да Да обнаружили дефект дефектный неоднозначный результат < T Нет Нет Результат Оба детектора не Пиксель не не Нет Да обнаружили дефекта дефектный определен CS MSU Graphics & Media Fusion of complementary detectors for improving blotch detection in Lab (Video Group) digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier 35 Science Inc. 2007.
  • 36. Only for Maxus  Объединение детекторов Тесты CS MSU Graphics & Media Fusion of complementary detectors for improving blotch detection in Lab (Video Group) digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier 36 Science Inc. 2007.
  • 37. Only for Maxus  Объединение детекторов Тесты CS MSU Graphics & Media Fusion of complementary detectors for improving blotch detection in Lab (Video Group) digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier 37 Science Inc. 2007.
  • 38. Only for Maxus  Объединение детекторов Тесты CS MSU Graphics & Media Fusion of complementary detectors for improving blotch detection in Lab (Video Group) digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier 38 Science Inc. 2007.
  • 39. Only for Maxus  Объединение детекторов Тесты T=0.1 CS MSU Graphics & Media Fusion of complementary detectors for improving blotch detection in Lab (Video Group) digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier 39 Science Inc. 2007.
  • 40. Поиск дефектов Only for Maxus  Тесты T=0.6 CS MSU Graphics & Media Fusion of complementary detectors for improving blotch detection in Lab (Video Group) digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier 40 Science Inc. 2007.
  • 41. Only for Maxus  Объединение детекторов Тесты CS MSU Graphics & Media Fusion of complementary detectors for improving blotch detection in Lab (Video Group) digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier 41 Science Inc. 2007.
  • 42. Only for Maxus  Объединение детекторов Тесты CS MSU Graphics & Media Fusion of complementary detectors for improving blotch detection in Lab (Video Group) digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier 42 Science Inc. 2007.
  • 43. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Пространственные  Временные  Метод объединения результатов детекторов  Методы удаления ложных срабатываний  Методы удаления дефектов  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 43
  • 44. Only for Maxus  Удаление ложных срабатываний A contrario FA removal CS MSU Graphics & Media A contrario False Alarms Removal for Improving Blotch Detection in Lab (Video Group) Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems, 44 Signals and Image Processing, 2007.
  • 45. Only for Maxus  Удаление ложных срабатываний A contrario FA removal  Дефекты распределены независимо.  Если распределение не равномерное – ложное срабатывание. CS MSU Graphics & Media A contrario False Alarms Removal for Improving Blotch Detection in Lab (Video Group) Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems, 45 Signals and Image Processing, 2007.
  • 46. Only for Maxus  Удаление ложных срабатываний A contrario FA removal Рассматриваем области, соседние с проверяемой. ki - количество дефектов в области n - пикселей в области N - всего областей Распределение дефектов считаем биномиальным с вероятностью p. p оцениваем как  ki /( N * n). Оцениваем для каждой области, с какой вероятностью по крайней мере ki пикселей в области дефектны n B( p, n, ki )   C p j (1  p) n 1 ki j j k CS MSU Graphics & Media A contrario False Alarms Removal for Improving Blotch Detection in Lab (Video Group) Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems, 46 Signals and Image Processing, 2007.
  • 47. Only for Maxus  Удаление ложных срабатываний A contrario FA removal Вероятность того, чтобы хотя бы в одной области по крайней мере ki пикселей в области дефектны NFA  NB( p, n, ki ) Если , то считаем что было ложное срабатывание. CS MSU Graphics & Media A contrario False Alarms Removal for Improving Blotch Detection in Lab (Video Group) Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems, 47 Signals and Image Processing, 2007.
  • 48. Only for Maxus  Удаление ложных срабатываний A contrario FA removal  Два прохода:  Временной  Пространственный (проверяем только области, отмеченные на первом проходе)  Оценка для хвоста биномиального распределения p 1 p B( p, n, k )  exp( n( pl log  (1  pl ) log )), pl 1  pl k где pl  n CS MSU Graphics & Media A contrario False Alarms Removal for Improving Blotch Detection in Lab (Video Group) Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems, 48 Signals and Image Processing, 2007.
  • 49. Only for Maxus  A contrario FA removal Тесты CS MSU Graphics & Media A contrario False Alarms Removal for Improving Blotch Detection in Lab (Video Group) Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems, 49 Signals and Image Processing, 2007.
  • 50. Only for Maxus  A contrario FA removal Тесты CS MSU Graphics & Media A contrario False Alarms Removal for Improving Blotch Detection in Lab (Video Group) Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems, 50 Signals and Image Processing, 2007.
  • 51. Only for Maxus  A contrario FA removal Тесты После удаления FA(слева) и ИК изображение дефектов CS MSU Graphics & Media A contrario False Alarms Removal for Improving Blotch Detection in Lab (Video Group) Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems, 51 Signals and Image Processing, 2007.
  • 52. Only for Maxus  A contrario FA removal Тесты ME До После Скорость* True FA True FA M2D 50% 4.5% 39% 0.43% 1 s/frame PhC 37.81 0.29% 32% 0.19% 2.3 s/frame % M2D – multiresolution global motion estimator PhC – phase correlation dense motion estimator *P4, CPU 3GHz. Наиболее затратная часть алгоритма – Motion Estimation. Обнаружение дефектов и пост-обработка занимает 300 ms/frame CS MSU Graphics & Media A contrario False Alarms Removal for Improving Blotch Detection in Lab (Video Group) Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems, 52 Signals and Image Processing, 2007.
  • 53. Only for Maxus  Удаление ложных срабатываний Байесовский подход CS MSU Graphics & Media Pathological Motion Detection for Robust Missing Data Treatment in Lab (Video Group) Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE 53 International Conference on Image Processing, 2006.
  • 54. Only for Maxus  Удаление ложных срабатываний Байесовский подход Необходимо создать маску для изображения вида 0, нет дефектов и сложного движения  mask(x)  1, дефект 2, сложное движение  CS MSU Graphics & Media Pathological Motion Detection for Robust Missing Data Treatment in Lab (Video Group) Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE 54 International Conference on Image Processing, 2006.
  • 55. Only for Maxus  Удаление ложных срабатываний Байесовский подход t k - индикатор временной неоднородности 1,  k  Tk tk   0,  k  Tk state(x)  [t n -2 (x), t n -1 (x), t n 1 (x), t n 2 (x)] CS MSU Graphics & Media Pathological Motion Detection for Robust Missing Data Treatment in Lab (Video Group) Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE 55 International Conference on Image Processing, 2006.
  • 56. Only for Maxus  Удаление ложных срабатываний Байесовский подход Только состояние 6 указывает на дефект в текущем кадре. Состояния 3 и 12 могут свидетельствовать о присутствии дефекта с соседних кадрах. CS MSU Graphics & Media Pathological Motion Detection for Robust Missing Data Treatment in Lab (Video Group) Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE 56 International Conference on Image Processing, 2006.
  • 57. Only for Maxus  Удаление ложных срабатываний Байесовский подход Сложное движение и дефекты зачастую нарушают гладкость поля векторов движения. Можно использовать отклонение векторов как индикатор подозрительных областей. Таким образом строим маску 1, x  подозрительной области b div (x)   0, иначе CS MSU Graphics & Media Pathological Motion Detection for Robust Missing Data Treatment in Lab (Video Group) Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE 57 International Conference on Image Processing, 2006.
  • 58. Only for Maxus  Удаление ложных срабатываний Байесовский подход Необходимо оценить state(x) и mask(x). Воспользуемся формулой для апостериорной вероятности: p(mask,state|Δn ,bdiv ,L)~p(Δn|mask,state)p(mask|L) p(mask|bdiv ), где Δn ( x)  [ Δn  2 ( x), Δn 1 ( x), Δn 1 ( x), Δn  2 ( x)], L  множество значений mask(y) для всех соседних с х пикселей у 3  n [ k ]2 ( (1 state[ k ])  state[ k ]) 2 e 2 p(Δn|mask,state)~e k 0 , где  e  дисперсия Δn в недефектны х областях 2 CS MSU Graphics & Media Pathological Motion Detection for Robust Missing Data Treatment in Lab (Video Group) Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE 58 International Conference on Image Processing, 2006.
  • 59. Only for Maxus  Удаление ложных срабатываний Байесовский подход Регионы со сложным движением расположены рядом l   y mask ( x )  mask ( y ) p(mask|L)~e yN ( x ) , где  l  коэффициен т пространственной гладкости, 1 y ~ , x-y N ( x)  множество соседей x CS MSU Graphics & Media Pathological Motion Detection for Robust Missing Data Treatment in Lab (Video Group) Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE 59 International Conference on Image Processing, 2006.
  • 60. Only for Maxus  Удаление ложных срабатываний Байесовский подход  e  bbdiv mask  2 p(mask|bdiv )~   (1b ) , e b div mask  2 где  b  коэффициен т пространственной гладкости Для получения окончательного решения вычисляем вероятности для каждого mask(x) методом максимизации апостериорной оценки (MAP). CS MSU Graphics & Media Pathological Motion Detection for Robust Missing Data Treatment in Lab (Video Group) Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE 60 International Conference on Image Processing, 2006.
  • 61. Only for Maxus  Удаление ложных срабатываний Байесовский подход CS MSU Graphics & Media Pathological Motion Detection for Robust Missing Data Treatment in Lab (Video Group) Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE 61 International Conference on Image Processing, 2006.
  • 62. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Методы удаления дефектов  Внутрикадровая интерполяция  Интерполяция рациональными функциями  Многошаговая медианная фильтрация  Смешивание  Байесовский подход  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 62
  • 63. Only for Maxus  Удаление дефектов Внутрикадровая интерполяция Кубическая интерполяция 3 3 I КИ ( x, y )   a k ,l x k y l k 0 l 0 Оценка коэффициентов методом наименьших квадратов по недефектным пикселям. Восстанавливает только низкие частоты. Удаляет только небольшие дефекты. Не требует ME. CS MSU Graphics & Media Motion compensated film restoration. Buisson O., Boukir S., Besserer Lab (Video Group) B. Machine Vision and Applications N 13. IEEE Computer Society, 63 2003.
  • 64. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Методы удаления дефектов  Внутрикадровая интерполяция  Интерполяция рациональными функциями  Многошаговая медианная фильтрация  Смешивание  Байесовский подход  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 64
  • 65. Only for Удаление дефектов Maxus  Интерполяция рациональными функциями a3 a2 a1 X b1 b2 b3 Работает в пространственной области. 1  k (a1  b3 ) 2   2  k (a1  b3 ) 2  (b1  a 3 ) 2  X    a1  (1   )  b1 k – коэффициент нелинейности CS MSU Graphics & Media Lab (Video Group) Old Movie Restoration Using Rational Spatial Interpolators. Khriji L., 65 Gabbouj M., Ramponi G., Ferrandiere E.D. IEEE. 1999.
  • 66. Only for Удаление дефектов Maxus  Интерполяция рациональными функциями Для дефектной области длиной 5 пикселей 1. Вычислить X 0  R(a 4, a1, b1, b4) 2a  X 0 2b  X 0 2. Временно вычислить X 2  1 и X2  1 3 3 3. Вычислить X 1  R( X 0 , X  2 , X 2 , b2) 4. Вычислить X 1  R(a 2, X  2 , X 0 , X 2 ) 5. Повторно вычислить X  2  R(a3, a1, X 1, X 1 ) и X 2  R( X 1, X 1, b1, b3) CS MSU Graphics & Media Lab (Video Group) Old Movie Restoration Using Rational Spatial Interpolators. Khriji L., 66 Gabbouj M., Ramponi G., Ferrandiere E.D. IEEE. 1999.
  • 67. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Методы удаления дефектов  Внутрикадровая интерполяция  Интерполяция рациональными функциями  Многошаговая медианная фильтрация  Смешивание  Байесовский подход  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 67
  • 68. Only for Удаление дефектов Maxus  Многошаговая медианная фильтрация median  arg min f f i W f j W i  fj где W – множество пикселей, среди которых ищется медиана, а f i – значения яркостей этих пикселей. ml  median (Wl ), l  1,...,5 x( r )  median (m1 , m2 , m3 , m4 , m5 ) CS MSU Graphics & Media Lab (Video Group) 68
  • 69. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Методы удаления дефектов  Внутрикадровая интерполяция  Интерполяция рациональными функциями  Многошаговая медианная фильтрация  Смешивание  Байесовский подход  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 69
  • 70. Only for Удаление дефектов Maxus  Смешивание I' r    W r I r  , r  W r  r где r - рассматрив аемый пискель, r  - соседние с r пиксели, W - весовые коэффициен ты I r   яркость пикселя r , I' r  - новое значение пикселя r. CS MSU Graphics & Media Lab (Video Group) 70
  • 71. Only for Удаление дефектов Maxus  Смешивание Пиксели из пространственно-временной области вокруг текущего пикселя  Среднее. x1 ,..., xN W=1.  Усеченное среднее. Сортируем пиксели: x1  x 2  ...  x N  N  * N    N  2 *  * N  1 y  x  ,  i  * N 1 i  Улучшенный алгоритм. Сортируем пиксели: x  x1  x  x 2  ...  x  x N  N 1 y   a x  , i 1 i i N ai  1 i  1..M , ai  0 i  M ,    ai  M i 1 CS MSU Graphics & Media A NEW NON-LINEAR FILTER FOR VIDEO PROCESSING. V. Zlokolica, Lab (Video Group) W. Philips, D. Van De Ville, 3rd IEEE Benelux Signal Processing 71 Symposium (SPS-2002). 2002.
  • 72. Only for Удаление дефектов Maxus  Смешивание Вес может зависеть от  значения маски дефекта  пространственной и временной удаленности пикселей от текущего  качества ME CS MSU Graphics & Media Lab (Video Group) 72
  • 73. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Методы удаления дефектов  Внутрикадровая интерполяция  Интерполяция рациональными функциями  Многошаговая медианная фильтрация  Смешивание  Байесовский подход  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 73
  • 74. Only for Maxus  Удаление дефектов Байесовский подход Модель поврежденной последовательности: - пиксель исходного кадра - изображение дефекта - маска дефекта - шум CS MSU Graphics & Media Practical MCMC for Missing Data Treatment in Degraded Video. Anil Lab (Video Group) Kokaram European Conference on Computer Vision workshop on 74 Statistical methods in video processing. 2002.
  • 75. Only for Maxus  Удаление дефектов Байесовский подход Модель последовательности: - MV - ошибка оценки CS MSU Graphics & Media Practical MCMC for Missing Data Treatment in Degraded Video. Anil Lab (Video Group) Kokaram European Conference on Computer Vision workshop on 75 Statistical methods in video processing. 2002.
  • 76. Only for Maxus  Удаление дефектов Байесовский подход и - маски несоответствия. равна 1, если данных кадра n нет на кадре n-1. - маска дефектов. - вектор объединяющий , , , , - значения в точках, отличных от x. Нужно оценить CS MSU Graphics & Media Practical MCMC for Missing Data Treatment in Degraded Video. Anil Lab (Video Group) Kokaram European Conference on Computer Vision workshop on 76 Statistical methods in video processing. 2002.
  • 77. Only for Maxus  Удаление дефектов Байесовский подход и - распределение и в окрестности x - вероятность ошибки CS MSU Graphics & Media Practical MCMC for Missing Data Treatment in Degraded Video. Anil Lab (Video Group) Kokaram European Conference on Computer Vision workshop on 77 Statistical methods in video processing. 2002.
  • 78. Only for Maxus  Удаление дефектов Байесовский подход CS MSU Graphics & Media Practical MCMC for Missing Data Treatment in Degraded Video. Anil Lab (Video Group) Kokaram European Conference on Computer Vision workshop on 78 Statistical methods in video processing. 2002.
  • 79. Only for Maxus  Удаление дефектов Байесовский подход ME – по блокам - множество соседних блоков - обратно пропорциональна расстоянию между блоками CS MSU Graphics & Media Practical MCMC for Missing Data Treatment in Degraded Video. Anil Lab (Video Group) Kokaram European Conference on Computer Vision workshop on 79 Statistical methods in video processing. 2002.
  • 80. Only for Maxus  Удаление дефектов Байесовский подход - векторы смещения между x и пикселями из окрестности x равно 1, если между и есть резкий переход. CS MSU Graphics & Media Practical MCMC for Missing Data Treatment in Degraded Video. Anil Lab (Video Group) Kokaram European Conference on Computer Vision workshop on 80 Statistical methods in video processing. 2002.
  • 81. Only for Maxus  Удаление дефектов Байесовский подход Нужно найти, где достигается максимум Можно использовать сэмплер Гиббса. CS MSU Graphics & Media Practical MCMC for Missing Data Treatment in Degraded Video. Anil Lab (Video Group) Kokaram European Conference on Computer Vision workshop on 81 Statistical methods in video processing. 2002.
  • 82. Only for Maxus  Удаление дефектов Сэмплер Гиббса Известно p(a|b,...,z), p(b|a,c , ...,z), p(z|a,...,y) Инициализи руем a0 ,..., z 0 N раз выполняем { ai ~ p(a|bi 1,...,zi 1 ) bi ~ p(b|ai , ci 1,...,zi 1 ) zi ~ p(z|ai , bi ,...,yi ) } CS MSU Graphics & Media Practical MCMC for Missing Data Treatment in Degraded Video. Anil Lab (Video Group) Kokaram European Conference on Computer Vision workshop on 82 Statistical methods in video processing. 2002.
  • 83. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Методы удаления дефектов  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 83
  • 84. Only for Maxus  Дальнейшие планы  Опробовать рассмотренные методы  Доработать фильтр для обработки Betacam видео  Поиск и удаление цветовых пятен  Адаптивность  Модификация для восстановления архивного видео CS MSU Graphics & Media Lab (Video Group) 84
  • 85. Only for Maxus  Содержание  Введение  Методы поиска дефектов  Методы удаления дефектов  Дальнейшие планы  Список материалов CS MSU Graphics & Media Lab (Video Group) 85
  • 86. Only for Maxus  Список материалов (1/2) 1. A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems, Signals and Image Processing, 2007 . 2. Advances in the detection and reconstruction of blotches in archived film and video. Kokaram, A.C. IEE Seminar on Digital Restoration of Film and Video Archives 3. An improved motion-compensated restoration method for damaged color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu Bekir; Signal processing. Image communication. 2004 4. Automated treatment of film tear in degraded archived media. D. Corrigan, A. Kokaram, IEEE, 2004. 5. Blotch Detection for Digital Archives Restoration based on the Fusion of Spatial and Temporal Detectors. Tilie, S. Laborelli, L. Bloch, I. 9th International Conference on Information Fusion, 2006. 6. Complex event classification in degraded image sequences. Rares, A.; Reinders, M.J.T.; Biemond, J. Image Processing, 2001. 7. Fast and efficient MRF-based blotch detection algorithm for degraded film sequences. Sang-Churl Nam; Abe, M.; Kawamata, M. Intelligent Signal Processing and Communication Systems, 2007. ISPACS 2007. 8. A NEW NON-LINEAR FILTER FOR VIDEO PROCESSING. V. Zlokolica, W. Philips, D. Van De Ville, 3rd IEEE Benelux Signal Processing Symposium (SPS-2002). 2002. 9. Motion compensated film restoration. Buisson O., Boukir S., Besserer B. Machine Vision and Applications N 13. IEEE Computer Society, 2003. CS MSU Graphics & Media Lab (Video Group) 86
  • 87. Only for Maxus  Список материалов (2/2) 10. Fusion of complementary detectors for improving blotch detection in digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007. 11. On missing data treatment for degraded video and film archives: a survey and a new Bayesian approach. Kokaram, A.C. IEEE Transactions on Image Processing. 2004. 12. Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE International Conference on Image Processing, 2006. 13. Practical MCMC for Missing Data Treatment in Degraded Video. Anil Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002. 14. Trainable blotch detection on high resolution archive films minimizing the human interaction. Attila Licsár, Tamás Szirányi and László Czúni. Machine Vision and Applications. 2007. 15. Trainable post-processing method to reduce false alarms in the detection of small blotches of archive films. Licsar, A.; Czuni, L.; Sziranyi, T. IEEE International Conference on Image Processing, 2005. ICIP 2005. 16. Restoration and Storage of Film and Video Archive Material. P.M.B. van Roosmalen and J. Biemond and R.L. Lagendijk Restoration and Storage of Film and Video Archive Material. 1999. 17. Blotch and Scratch Detection in Image Sequences based on Rank Ordered Differences M. J. Nadenau and S. K. Mitra 5th International Workshop on Time-Varying Image Processing and Moving Object Recognition, September 5-6, 1996 18. Restoration of Archived Film and Video. P. M. B. van Roosmalen. Ph.D. dissertation, Tech. Univ. Delft, Delft, The Netherlands, 1999. 19. Joyeux L., Boukir S., Besserer B., Buisson O. Reconstruction of degraded image sequences. Application to film restoration // Image and Vision Computing Volume 19 N 8. London, UK: Elsevier, 2001. P, 503-516. CS MSU Graphics & Media Lab (Video Group) 87
  • 88. Only for Maxus  Вопросы ? CS MSU Graphics & Media Lab (Video Group) 88