Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Методы повышения визуального качества восстановленного фона (часть 2)

389 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Методы повышения визуального качества восстановленного фона (часть 2)

  1. 1. Методы повышения визуального качества восстановленного фона (часть 2) Дмитрий Акимов Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Coherent Occlusion Generation  Background Inpainting  Gradient Domain Video Editing  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Постановка задачи  Дано:  Исходное видео  Карта глубины  Требуется:  Определить области открытия, появляющиеся при генерации стерео  Заполнить найденные области таким образом, чтобы человек не был способен обнаружить следов редактирования 3
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Текущие результаты (1) 4Результат Михаила Ерофеева для тестовой последовательности “Lord”
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Текущие результаты (1) 5 Кадр №78
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Текущие результаты (1) 6 Кадр №78
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Текущие результаты (1) 7 Кадр №78
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Текущие результаты (1) 8 Кадр №78
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Текущие результаты (1) 9 Кадр №78
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Текущие результаты (2) 10Результат Михаила Ерофеева для тестовой последовательности “EastZen_3”
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Текущие результаты (2) 11 Кадр №7
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Текущие результаты (2) 12 Кадр №7
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Текущие результаты (2) 13 Кадр №7
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Текущие результаты (2) 14 Кадр №7
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Текущие результаты (2) 15 Кадр №7
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Текущие результаты (3) 16Результат Михаила Ерофеева для тестовой последовательности “CityBus”
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Текущие результаты Проблемы  Неточность результатов Motion Estimation  Некорректная обработка движущихся объектов заднего плана  Нехватка информации для восстановления в выбранном временном окне 17
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Coherent Occlusion Generation  Background Inpainting  Gradient Domain Video Editing  Заключение 18
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Coherent Occlusion Generation 19R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and temporal occlusion generation,” in Proc. of SPIE, 2009  Дано:  Исходное видео  Карта глубины  Требуется восстановить стабильные во времени фон и карту глубины фона в областях открытия для последующей генерации многоракурсного видео
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Краткая схема метода 20R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and temporal occlusion generation,” in Proc. of SPIE, 2009
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Краткая схема метода Motion Assisted Forecasting Background 1. Вычисление векторов движения между текущим кадром и кадрами из временной окрестности 2. Для каждого пикселя неизвестной области: 1) Поиск векторов-кандидатов из пространственной окрестности 2) Вычисление весов пикселей-кандидатов, соответствующих отобранному вектору 3) Взвешенное суммирование пикселей- кандидатов 21R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and temporal occlusion generation,” in Proc. of SPIE, 2009
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Motion Assisted Forecasting Поиск векторов-кандидатов  22R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and temporal occlusion generation,” in Proc. of SPIE, 2009
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Motion Assisted Forecasting Результат заполнения Если для p найдены кандидаты, то результат заполнения r вычисляется по формулам: 23R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and temporal occlusion generation,” in Proc. of SPIE, 2009
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Occlusion Generation Результаты (1) 24R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and temporal occlusion generation,” in Proc. of SPIE, 2009 Исходный кадр Карта глубины
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Occlusion Generation Результаты (1) 25R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and temporal occlusion generation,” in Proc. of SPIE, 2009 Восстановленный фон Карта глубины фона
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Occlusion Generation Результаты (2) 26R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and temporal occlusion generation,” in Proc. of SPIE, 2009 Исходный кадр
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Occlusion Generation Результаты (2) 27R. K. Gunnewiek, R.-P. M. Berretty, et. al., “Coherent spatial and temporal occlusion generation,” in Proc. of SPIE, 2009 Восстановленный фон
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Occlusion Generation Выводы  Достоинства:  Straight forward подход  Стабильность во времени (по заявлениям авторов)  Недостатки:  Результаты только на искусственных последовательностях  Размытие фона (вытекает из усреднения по окрестности найденного кандидата) 28
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Coherent Occlusion Generation  Background Inpainting  Gradient Domain Video Editing  Заключение 29
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Background Inpainting Постановка задачи  Дано:  Исходное видео (статичный фон, камера и объекты двигаются произвольно)  Маска объектов, которые требуется удалить  Маска объектов, которые требуется оставить  На выход:  Отретушированное видео без «ненужных» объектов 30M. Granados, et. al., “Background Inpainting for Videos with Dynamic Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Background Inpainting Краткий обзор 31M. Granados, et. al., “Background Inpainting for Videos with Dynamic Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Background Inpainting Сопоставление кадров 32M. Granados, et. al., “Background Inpainting for Videos with Dynamic Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012 
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Background Inpainting Множество преобразований 33M. Granados, et. al., “Background Inpainting for Videos with Dynamic Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012 
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  RANSAC Краткий экскурс 34  http://en.wikipedia.org/wiki/RANSAC Пример работы алгоритма для поиска прямой на плоскости
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Background Inpainting Финальное преобразование (1) 35M. Granados, et. al., “Background Inpainting for Videos with Dynamic Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012 
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Background Inpainting Финальное преобразование (2) 36M. Granados, et. al., “Background Inpainting for Videos with Dynamic Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012 Веса функционала:
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Background Inpainting Заполнение областей (1) 37M. Granados, et. al., “Background Inpainting for Videos with Dynamic Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Background Inpainting Заполнение областей (2) 38M. Granados, et. al., “Background Inpainting for Videos with Dynamic Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012 Веса функционала:
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Минимум находится из СЛАУ: Background Inpainting Финальная ретушь 39M. Granados, et. al., “Background Inpainting for Videos with Dynamic Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012 С помощью метода Poisson Image Editing подавляются швы заполнения и различия в освещенности Функционал:
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Background Inpainting Результаты 40M. Granados, et. al., “Background Inpainting for Videos with Dynamic Objects and a Free-Moving Camera,” in Proc. of ECCV, 2012
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Background Inpainting Выводы  Достоинства:  Качественные результаты  Стабильность во времени  Применим для нескалиброванной камеры  Недостатки:  Восстанавливает статичный фон  Требуется качественная разметка данных 41
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Coherent Occlusion Generation  Background Inpainting  Gradient Domain Video Editing  Заключение 42
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Domain Editing Poisson Image Editing Задача ретуши изображения: 43G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 Решение ищется в виде вариационной задачи для уравнения Пуассона с граничными условиями Дирихле
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Poisson Image Editing Результат 44 Исходные изображения Заполнение Результат P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM SIGGRAPH, 2003.
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Domain Video Editing Переформулировка задачи для случая видео: 45G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 Иллюстрация пространственно- временного домена
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Минимизируемый функционал: Вариационная задача Производная по направлению 46G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Вариационная задача Deblurring Convective Derivative (DCD) 47G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 DCD
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Вариационная задача DCD – сравнение 48G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Domain Editing Результаты (1) 49G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 Source
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Domain Editing Результаты (1) 50G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 Estimated Optical Flow
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Domain Editing Результаты (1) 51G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 Result
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Domain Editing Результаты (1) 52G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 Source
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Domain Editing Результаты (1) 53G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 Mask
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Domain Editing Результаты (1) 54G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 Result
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Domain Editing Результаты (2) 55G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 Source
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Domain Editing Результаты (2) 56G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 Mask
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Domain Editing Результаты (2) 57G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 Result
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Domain Editing Результаты (3) 58G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 Source
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Domain Editing Результаты (3) 59G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 Mask
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Domain Editing Результаты (3) 60G. Facciolo, et. al., “Temporally Consistent Gradient Domain Video Editing,” in Proc. of EMM CVPR, 2011 Result
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient-Domain Editing Выводы  Достоинства:  Качественные результаты  Стабильность во времени  Применим для нескалиброванной камеры  Недостатки:  Высокая вычислительная сложность  Требуется качественная оценка движения 61
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение  Рассматриваемая задача критична в задачах качественной генерации и коррекции стерео  На данный момент нет решения, качественно и напрямую решающего поставленную задачу  Наиболее интересны подходы:  Кусочно-линейное проецирование кандидатов  Обработка видео в градиентом домене 62
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. R. K. Gunnewiek, R.-P. M. Berretty, B. Barenbrug, and J. P. Magalhães, “Coherent spatial and temporal occlusion generation,” in Proceedings of SPIE, 2009. 2. M. Granados, K. L. Kim, J. Tompkin, J. Kautz, C. Theobalt, “Background Inpainting for Videos with Dynamic Objects and a Free-Moving Camera,” in Proceedings of ECCV, 2012, pp. 682-695. 3. B.D. Lucas, T. Kanade, “An Iterative Image Registration Technique with an Application to Stereo Vision,” in Proceeding of IJCAI, 1981, pp. 674- 679. 4. J, Shi, C. Tomasi, “Good Features to Track,” in Proceedings of IEEE CVPR, 1994, pp. 593-600. 63
  64. 64. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 5. H. Bay, A. Ess, T. Tuytelaars, L.J.V. Gool, “Speeded-Up Robust Features (SURF), in Proceedings of Computer Vision and Image Understanding, 2008, 346-359. 6. G. Facciolo, R. Sadek, A. Bugeau, and V. Caselles, “Temporally consistent gradient domain video editing,” in Proceedings of Energy Minimization Methods in Computer Vision and Pattern Recognition, 2011, pp. 59-73. 7. T. Brox, A. Bruhn, N. Papenberg, J. Weickert, “High Accuracy Optical Flow Estimation Based on a Theory for Warping,” in Proceedings of European Conference on Computer Vision, 2004. 64
  65. 65. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищены 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 65

×