Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Некоторые методы восстановления фона

424 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Некоторые методы восстановления фона

  1. 1. Некоторые методы восстановления фона Юрий Бердников CS MSU Graphics & Media Lab Video group
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Coherent video inpainting  Fast image inpainting  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Declipse from 2D+Z 3 Источник: really.ru 2D+Z Declipse
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Подзадачи конвертации 4  Восстановление фона  Идеально: полное удаление переднего плана  Минимально допустимо: удаление переднего плана на краях объектов  Восстановление карты глубины  Идеально: полное соответствие восстановленному фону  Минимально допустимо: отсутствие напряжения глаз при просмотре
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Coherent video inpainting  Fast image inpainting  Заключение 5
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Coherent video inpainting  Основная идея – восстанавливать каждый кадр отдельно, а затем устранять дрожание  Использует OF для оценки движения  Использует сглаживание фильтром Калмана для устранения временной нестабильности 6A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сглаживание Калмана Обозначения 7 Неизвестное истинное состояние системы Результат наблюдения Шум движения Погрешность измерения Модель перехода Модель наблюдения A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сглаживание Калмана Свойства 8  Позволяет работать с неполными и шумными данными  Гарантированно завершается за конечное время  Позволяет оценить внутреннее состояние системы A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сглаживание Калмана Применение в решении поставленной задачи 9 Истинное изображение Шум Погрешности растра и оценки движения Результат OF Фактическое изображение Применение ко всему изображению слишком затратно, поэтому каждая точка обрабатывается отдельно A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Допущение 10  Состояние Состоянием системы является цвет I точки, движущейся по траектории p(t)  Динамика Цвет точки меняется только из-за шума (матрица преобразования – единичная)  Наблюдения Рассматривать только одну точку недостаточно. Используются данные о соседних точках A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Модификация сглаживания для множественных наблюдений 11 Матрица ковариацииИтоговое наблюдение Выражение эквивалентно взвешенной сумме наблюдений с весами, зависящими от доверия наблюдениям A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Марковская цепь 12A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010 Наблюдения Время
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Восстановление изображения 13  Основа – любой из статических методов восстановления  Итоговый цвет пикселя – медиана цветов соответствующих точек всех траекторий, проходящих через его окрестность  Хотя бы одна такая точка гарантированно найдётся A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Определение траекторий точек 14  Метод основан на Convexified Multi-Label Approach (Papadakis, 2010)  Маска объекта расширяется для гарантированного включения областей закрытия и «плохих» векторов  Для заполнения поля движения в неизвестных областях используется Patch-Based метод  Делается 2 прохода: вперед и назад A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обработка изменений яркости и текстуры 15  Классический фильтр Калмана вызывает размытие изображения  Для борьбы со сглаживанием приоритет отдается пикселям, близким по цвету к значениям линейной интерполяции между цветами крайних точек траектории  Для отслеживания резких изменений яркости рассматривается окно размера 5 кадров A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Пример сглаживания 16A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010 Время Яркость Наблюдения Коррекция
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Пример работы (1/2) 17 Маска Алгоритм A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010 Время
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Пример работы (2/2) 18 Mask A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение с конкурентом Space-time video completion, CVPR 2004 19 Оригинал Маска Предложенный метод Конкурент
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Стабильность во времени (1/5) 20 Предложенный алгоритм Конкурент A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Стабильность во времени (2/5) 21 Предложенный алгоритм Конкурент A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Стабильность во времени (3/5) 22 Предложенный алгоритм Конкурент A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Стабильность во времени (4/5) 23 Предложенный алгоритм Конкурент A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Стабильность во времени (5/5) 24 Предложенный алгоритм Конкурент A. Bugeau et al, Coherent Background Video Inpainting through Kalman Smoothing along Trajectories, VMV 2010
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Анализ  Достоинства  (?) Стабилен во времени  Приемлемая вычислительная сложность  Позволяет работать с любым алгоритмом восстановления изображений  Недостатки  Требует данных OF  Использует patch-based метод для восстановления движения в неизвестных областях 25
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Coherent video inpainting  Fast image inpainting  Заключение 26
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Краткое введение  Проблемы алгоритмов восстановления изображений  Неприемлемо медленная (для видео) работа  Быстрый рост вычислительной сложности с ростом размеров изображения  Возможные пути решения  Снижение количества итераций  Снижение сложности одной итерации 27
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Fast image inpainting  Авторы на 8 страницах математически доказывают, почему подход Telea плох  Предлагается переход от Edge Detecting Flow к Coherence Flow (Weickert, 2003) в уравнении анизотропной диффузии: Вектор собственных значений тензора является вектором когерентности 28 Тензор ИзображениеГауссианы Folkmar Bornemann et al, Fast Image Inpainting Based on Coherence Transport, Mathematical Imaging and Vision, 2007
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Пример карт когерентности 29 Source frame Edge Flow Coherence Flow Shock Filtering Edge Flow Coherence Flow
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Доработки метода 2003 года  Вводится понятие силы когерентности (сoherence strength)  Принимаются дополнительные меры для обработки краевых эффектов 30 Константы Собственные значения тензора Folkmar Bornemann et al, Fast Image Inpainting Based on Coherence Transport, Mathematical Imaging and Vision, 2007
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обработка неизвестных зон Простой путь – принять значения изображения равными нулю в неизвестных зонах. Этот метод даёт некорректный результат: Исходный кадр Coherence flow Folkmar Bornemann et al, Fast Image Inpainting Based on Coherence Transport, Mathematical Imaging and Vision, 2007 31 Область заполнения Область заполнения
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Модификация тензора Тензор изменяется так, чтобы радиус гауссиан менялся в зависимости от расстояния до края: Исходный кадр Coherence flow Modified flow Folkmar Bornemann et al, Fast Image Inpainting Based on Coherence Transport, Mathematical Imaging and Vision, 2007 32 Область заполнения Область заполнения Область заполнения
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Особенности реализации  Гауссианы предвычислены, радиус = 4σ  Используется только частичный пересчет тензора по мере заполнения изображения  Для 3 цветов используется общий тензор, вычисляемый по яркости (пространство YIQ)  Реализация на Matlab и С  Бинарник доступен для скачивания Folkmar Bornemann et al, Fast Image Inpainting Based on Coherence Transport, Mathematical Imaging and Vision, 2007 33
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (1/2) Folkmar Bornemann et al, Fast Image Inpainting Based on Coherence Transport, Mathematical Imaging and Vision, 2007 34
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (2/2) Folkmar Bornemann et al, Fast Image Inpainting Based on Coherence Transport, Mathematical Imaging and Vision, 2007 35
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение с конкурентами (1/2) Исходный кадр Telea Предложенный метод Folkmar Bornemann et al, Fast Image Inpainting Based on Coherence Transport, Mathematical Imaging and Vision, 2007 36
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение с конкурентами (2/2) Исходный кадр Manisou Предложенный метод Folkmar Bornemann et al, Fast Image Inpainting Based on Coherence Transport, Mathematical Imaging and Vision, 2007 37
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Анализ  Достоинства  Алгоритм относительно быстрый  Результат визуально хорошо смотрится  Авторы не стесняются давать бинарник  Недостатки  Стабильность во времени неизвестна  Неизвестно качество работы на FullHD 38
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Coherent video inpainting  Fast image inpainting  Заключение 39
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Планы  Реализовать фильтр Калмана для видео  Протестировать его с имеющимися алгоритмами восстановления изображений  Применить его для стабилизации ME до субпиксельного уровня 40
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. Aurélie Bugeau, Pau Gargallo, Olivier D'Hondt, Alexandre Hervieu, Nicolas Papadakis, and Vicent Caselles, “Coherent Background Video Inpainting through Kalman Smoothing along Trajectories”, Vision, Modeling, and Visualization Workshop 2010, 123-130 2. Folkmar Bornemann, Tom März, “Fast Image Inpainting Based on Coherence Transport”, Journal of Mathematical Imaging and Vision archive ,Volume 28 Issue 3, July 2007 41
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищены 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 42

×