Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Методы повышения визуального качества восстановленного фона

479 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Методы повышения визуального качества восстановленного фона

  1. 1. Методы повышения визуального качества восстановленного фона Михаил Ерофеев Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Гибридное восстановление фона  Бесшовный монтаж  Laplacian Pyramid  Optimal seam  Poisson Image Editing  Деформация структуры  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Постановка задачи Для данного видео и маски неизвестных точек восстановить, заполнить эти точки таким образом, чтобы человек не был способен обнаружить следов редактирования 3 Исходное видео Восстановленный фон Результат Максима Колиниченко для трейлера «Хоббит»
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Восстановление фона для стерео 4 Левый построенный ракурс Правый построенный ракурс Исходный кадр
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Гибридное восстановление фона  Бесшовный монтаж  Laplacian Pyramid  Optimal seam  Poisson Image Editing  Деформация структуры  Заключение 5M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Восстановление фона Пространственно-темпоральный метод Краткая схема метода: 1. Оценить движение с помощью ME 2. Интерполировать поле ME для неизвестных областей 3. Провести сегментацию объектфон 4. Заполнить неизвестные области согласно приоритетам 6M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Детали метода Интерполяция векторов ME 7M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Детали метода Сегментация объектфон Используется простой метод сегментации – сравнение модуля векторов ME с порогом Цель сегментации:  Восстанавливать неизвестные области переднего плана перед восстановлением фона  Не допустить использования фрагментов переднего плана для восстановления фона 8M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Детали метода Приоритеты блоков  9M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Детали метода Выбор блоков кандидатов  10 Текущий кадрПредыдущий кадр M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Детали метода Восстановление блока  11M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенный метод Ключевые моменты  Адаптация зарекомендовавшего себя для изображений приоритета восстановления для видео  Поиск блоков кандидатов с помощью комбинации ME и поиска ближайших блоков внутри окна  «Умное» смешение блоков с наименьшим SSD 12M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенный метод Результаты (1) 13 Поврежденный кадр (PSNR=9,01 дБ) M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенный метод Результаты (1) 14 Восстановление на основе только векторов ME (PSNR=28,26 дБ) M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенный метод Результаты (1) 15 Восстановление с помощью предложенного метода (PSNR=32,23 дБ) M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенный метод Результаты (2) 16 Исходная последовательность M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенный метод Результаты (2) 17 Поврежденная последовательность (PSNR=14,22 дБ) M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенный метод Результаты (2) 18 Восстановление на основе только векторов ME (PSNR=31,23 дБ) M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенный метод Результаты (2) 19 Восстановление на основе только поиска внутри окна (PSNR=23,41 дБ) M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенный метод Результаты (2) 20 Восстановление с помощью предложенного метода (PSNR=34,96 дБ) M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенный метод Анализ Достоинства:  Субъективное и объективно более высокое качество по сравнению с восстановлением только на основе ME  Уменьшение заметности шва с помощью поиска кандидатов внутри окна и «умного» смешения Недостатки:  Ненадежная сегментация объектфон  Тенденция к распространению ошибок сегментации по всем кадрам результата 21M. Ebdelli, et al, “Examplar-based video inpainting with motion- compensated neighbor embedding,” ICIP, 2012.
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Гибридное восстановление фона  Бесшовный монтаж  Laplacian Pyramid  Optimal seam  Poisson Image Editing  Деформация структуры  Заключение 22
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Бесшовный монтаж Введение Классические применения:  Склейка панорамы  Фотомонтаж 23 [3], [4]
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Бесшовный монтаж Применимость к восстановлению фона Все известные автору доклада методы восстановления фона разрабатывавшиеся в видео группе сталкивались с проблемой швов. Идея: использовать методы бесшовного монтажа для маскировки шва 24 Примерышвов
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Гибридное восстановление фона  Бесшовный монтаж  Laplacian Pyramid  Optimal seam  Poisson Image Editing  Деформация структуры  Заключение 25E. H. Adelson, et al, “Pyramid methods in image processin,” RCA Engineer
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Laplacian Pyramid Идея метода Простого смешения изображений в области перекрытия не достаточно, чтобы обеспечить плавный переход и избежать двоения границ. Авторы предлагают независимо смешивать различные частотные диапазоны. 26E. H. Adelson, et al, “Pyramid methods in image processin,” RCA Engineer
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Laplacian Pyramid Шаги алгоритма 1. Построить пирамиду от высоких до низких частот для смешиваемых изображений 2. Провести независимое смешивание уровней пирамиды, применяя более плавный переход для низких частот и более резкий для высоких 3. Сложить уровни полученной пирамиды 27 Пример пирамиды разрешений E. H. Adelson, et al, “Pyramid methods in image processin,” RCA Engineer
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Laplacian Pyramid Результат работы 28 «Яблоко» E. H. Adelson, et al, “Pyramid methods in image processin,” RCA Engineer
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Laplacian Pyramid Результат работы 29 «Апельсин» E. H. Adelson, et al, “Pyramid methods in image processin,” RCA Engineer
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Laplacian Pyramid Результат работы 30 «Яблокосин» E. H. Adelson, et al, “Pyramid methods in image processin,” RCA Engineer
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Laplacian Pyramid Авторы метода 31 Авторы метода: Bergen, Anderson, Adelson, Burt E. H. Adelson, et al, “Pyramid methods in image processin,” RCA Engineer
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Гибридное восстановление фона  Бесшовный монтаж  Laplacian Pyramid  Optimal seam  Poisson Image Editing  Деформация структуры  Заключение 32V. Kwatra, et al, “Graphcut textures: Image and video synthesis using graph cuts,” in SIGGRAPH, 2003.
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Graphcut для монтажа Идея метода 33 Применить метод Graphcut для поиска оптимального шва между монтируемыми изображениями. Определить веса ребер как значение SSD перекрывающихся пикселей V. Kwatra, et al, “Graphcut textures: Image and video synthesis using graph cuts,” in SIGGRAPH, 2003.
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Graphcut для монтажа Результаты (1) 34 Исходное изображение Результат монтажа V. Kwatra, et al, “Graphcut textures: Image and video synthesis using graph cuts,” in SIGGRAPH, 2003.
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Graphcut для монтажа Результаты (2) 35 Исходное изображение Результат монтажа Исходные изображения Результат монтажа Выбранный шов V. Kwatra, et al, “Graphcut textures: Image and video synthesis using graph cuts,” in SIGGRAPH, 2003.
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Graphcut для монтажа Применимость к восстановлению фона 36 Есть надежда, что оптимальный шов может отрезать остатки motion blur на фоне Пример остатков motion blur на фоне Motion blur V. Kwatra, et al, “Graphcut textures: Image and video synthesis using graph cuts,” in SIGGRAPH, 2003.
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Гибридное восстановление фона  Бесшовный монтаж  Laplacian Pyramid  Optimal seam  Poisson Image Editing  Деформация структуры  Заключение 37P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM SIGGRAPH, 2003.
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Poisson Image Editing Основная идея  38 с граничным условием P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM SIGGRAPH, 2003.
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Poisson Image Editing Результаты (1) 39 Исходные изображения Копирование Предложенный метод P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM SIGGRAPH, 2003.
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Poisson Image Editing Результаты (2) 40 Копирование Предложенный методИсходные изображения P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM SIGGRAPH, 2003.
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Poisson Image Editing Результаты (3) 41 Исходное изображение Локальное изменение контраста P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM SIGGRAPH, 2003.
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Poisson Image Editing Результаты (3) 42 Исходное изображение Локальное изменение контраста P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM SIGGRAPH, 2003.
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Гибридное восстановление фона  Бесшовный монтаж  Laplacian Pyramid  Optimal seam  Poisson Image Editing  Деформация структуры  Заключение 43J. Jia and C.-K. Tang, “Image stitching using structure deformation,” IEEE Transactions on PAMI, 2008.
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Деформация структуры Основная идея 1. Найти оптимальный шов между монтируемыми изображения 2. Выделить и сопоставить салиентные точки вдоль шва 3. Построить гладкую модель деформации 4. Применить деформацию к полю градиента 5. Построить результат, решив уравнение Пуассона 44 Пример сопоставления салиентных точек J. Jia and C.-K. Tang, “Image stitching using structure deformation,” IEEE Transactions on PAMI, 2008.
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Деформация структуры Поиск оптимального шва 45  J. Jia and C.-K. Tang, “Image stitching using structure deformation,” IEEE Transactions on PAMI, 2008.
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Деформация структуры Поиск салиентных точек 46J. Jia and C.-K. Tang, “Image stitching using structure deformation,” IEEE Transactions on PAMI, 2008.
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Деформация структуры Сопоставление салиентых точек 47J. Jia and C.-K. Tang, “Image stitching using structure deformation,” IEEE Transactions on PAMI, 2008.
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Деформация структуры Построение итоговой деформации  48J. Jia and C.-K. Tang, “Image stitching using structure deformation,” IEEE Transactions on PAMI, 2008.
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Деформация структуры Построение итогового результата  49J. Jia and C.-K. Tang, “Image stitching using structure deformation,” IEEE Transactions on PAMI, 2008.
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Деформация структуры Результаты (1) 50 Конкуренты Предложенный метод. Найденный шов и конечный результат J. Jia and C.-K. Tang, “Image stitching using structure deformation,” IEEE Transactions on PAMI, 2008.
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Деформация структуры Результаты (2) 51 Оптимальный шов Предложенный методПростое смешение J. Jia and C.-K. Tang, “Image stitching using structure deformation,” IEEE Transactions on PAMI, 2008.
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Деформация структуры Результаты (3) 52 Poisson Editing Предложенный метод Простое смешение Оптимальный шов GIST1 Деформация структуры J. Jia and C.-K. Tang, “Image stitching using structure deformation,” IEEE Transactions on PAMI, 2008.
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Деформация структуры Результаты (4) 53 Исходные изображения Предложенный метод J. Jia and C.-K. Tang, “Image stitching using structure deformation,” IEEE Transactions on PAMI, 2008.
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенный метод Анализ Достоинства:  Способен смоделировать произвольную деформацию  Визуальное качество превосходит другие state of art методы Недостаток:  Неверное сопоставление салиентных точек может привести к нестабильности во времени 54J. Jia and C.-K. Tang, “Image stitching using structure deformation,” IEEE Transactions on PAMI, 2008.
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Гибридное восстановление фона  Бесшовный монтаж  Laplacian Pyramid  Optimal seam  Poisson Image Editing  Деформация структуры  Заключение 55
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Направления дальнейшей работы  56
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. M. Ebdelli, C. Guillemot, and O. Le Meur, “Examplar-based video inpainting with motion-compensated neighbor embedding,” in Proc. of the IEEE Intl. Conf. on Image Processing, ICIP, 2012. 2. E. H. Adelson, C. H. Anderson, J. R. Bergen, P. J. Burt, and J. M. Ogden, “Pyramid methods in image processin,” RCA Engineer, 29(6):33–41, 1984. 3. V. Kwatra, A. Schodl, I. Essa, G. Turk, and A. Bobick, “Graphcut textures: Image and video synthesis using graph cuts,” in SIGGRAPH, 2003. 4. P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM SIGGRAPH, 22(3):313–318, 2003. 5. J. Jia and C.-K. Tang, “Image stitching using structure deformation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 30(4):617–631, 2008. 57

×