Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Генерация высококачественного стерео с помощью матирования

372 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Генерация высококачественного стерео с помощью матирования

  1. 1. Генерация высококачественного стерео с помощью матирования Михаил Ерофеев Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Poisson Matting  Real-Time Video Matting using Multichannel Poisson Equations  Boundary matting for view synthesis  Предлагаемый метод  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Постановка задачи матирования Декомпозировать исходное изображение I 1. F – передний план 2. B – задний план 3. α – карта прозрачности 3
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Trimap 4 Однозначно передний план Однозначно фон Неопределенная область
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Артефакты в стерео 5 Область перекрытия Область открытия
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Некорректная работа с прозрачностью 6 Резкий край в области перекрытия Размытый край в области открытия
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Matting для задачи генерации стерео 7
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Poisson Matting  Real-Time Video Matting using Multichannel Poisson Equations  Boundary matting for view synthesis  Предлагаемый метод  Заключение 8
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Poisson Matting Описание метода  9Jian Sun, Jiaya Jia, Chi-Keung Tang, and Heung-Yeung Shum. 2004. Poisson matting. In ACM SIGGRAPH 2004
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   10 Poisson Matting Алгоритм Jian Sun, Jiaya Jia, Chi-Keung Tang, and Heung-Yeung Shum. 2004. Poisson matting. In ACM SIGGRAPH 2004
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  11 Poisson Matting Результаты Исходное изображение Карта прозрачности http://alphamatting.com
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Достоинство Дает хороший результат для нетекстурированных областей  Недостатки  Не использует информацию о цвете  Самый плохой метод по данным AlphaMatting.com 12 Poisson Matting Анализ метода Jian Sun, Jiaya Jia, Chi-Keung Tang, and Heung-Yeung Shum. 2004. Poisson matting. In ACM SIGGRAPH 2004
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Poisson Matting  Real-Time Video Matting using Multichannel Poisson Equations  Boundary matting for view synthesis  Предлагаемый метод  Заключение 13
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time video matting Описание метода  Основан на алгоритме “Poisson matting”  В отличии от предшественника использует информацию о цвете  В качестве дополнительной входной информации может использовать:  карту глубины  восстановленный фон 14 Minglun Gong, Liang Wang, Ruigang Yang, and Yee-Hong Yang. 2010. Real-time video matting using multichannel poisson equations. In Proceedings of Graphics Interface 2010 (GI '10)
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time video matting Уравнение (1) 15  Нет дополнительной информации  Известен фон  Известна глубина Minglun Gong, Liang Wang, Ruigang Yang, and Yee-Hong Yang. 2010. Real-time video matting using multichannel poisson equations. In Proceedings of Graphics Interface 2010 (GI '10)
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time video matting Уравнение (2) 16  Нет дополнительной информации  Известен фон  Известна глубина Minglun Gong, Liang Wang, Ruigang Yang, and Yee-Hong Yang. 2010. Real-time video matting using multichannel poisson equations. In Proceedings of Graphics Interface 2010 (GI '10)
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time video matting Уравнение (3) 17  Нет дополнительной информации  Известен фон  Известна глубина Minglun Gong, Liang Wang, Ruigang Yang, and Yee-Hong Yang. 2010. Real-time video matting using multichannel poisson equations. In Proceedings of Graphics Interface 2010 (GI '10)
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  18 Minglun Gong, Liang Wang, Ruigang Yang, and Yee-Hong Yang. 2010. Real-time video matting using multichannel poisson equations. In Proceedings of Graphics Interface 2010 (GI '10)
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time video matting Результаты (1) 19Real-time video matting using multichannel poisson equations. In Proceedings of Graphics Interface 2010 (GI '10) Исходное изображение TrimapКартапрозрачности
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time video matting Результаты (2) 20 Minglun Gong, Liang Wang, Ruigang Yang, and Yee-Hong Yang. 2010. Real-time video matting using multichannel poisson equations. In Proceedings of Graphics Interface 2010 (GI '10) Исходное изображение Trimap Картапрозрачности
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time video matting Результаты (3) 21 Minglun Gong, Liang Wang, Ruigang Yang, and Yee-Hong Yang. 2010. Real-time video matting using multichannel poisson equations. In Proceedings of Graphics Interface 2010 (GI '10) Исходное изображение
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time video matting Результаты (4) 22 Minglun Gong, Liang Wang, Ruigang Yang, and Yee-Hong Yang. 2010. Real-time video matting using multichannel poisson equations. In Proceedings of Graphics Interface 2010 (GI '10) Результат без использования фона
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time video matting Результаты (5) 23 Minglun Gong, Liang Wang, Ruigang Yang, and Yee-Hong Yang. 2010. Real-time video matting using multichannel poisson equations. In Proceedings of Graphics Interface 2010 (GI '10) Результат с использованием фона
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time video matting Объективное сравнение 24 Minglun Gong, Liang Wang, Ruigang Yang, and Yee-Hong Yang. 2010. Real-time video matting using multichannel poisson equations. In Proceedings of Graphics Interface 2010 (GI '10)
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time video matting Анализ  Достоинства  Потенциально устойчив во времени  Восстановленный фон и карта глубины существенно улучшают результат  Недостатки  Средний результат согласно объективной метрике  Невысокое качество при обработке текстурированных областей 25 Minglun Gong, Liang Wang, Ruigang Yang, and Yee-Hong Yang. 2010. Real-time video matting using multichannel poisson equations. In Proceedings of Graphics Interface 2010 (GI '10)
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Poisson Matting  Real-Time Video Matting using Multichannel Poisson Equations  Boundary matting for view synthesis  Предлагаемый метод  Заключение 26
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Boundary matting Описание метода Решается задача вычисления карты прозрачности границ для высококачественной интерполяции новых видов Основные идеи:  итеративное уточнение кривой в пространстве, описывающей границы объектов  сбор образцов точки переднего плана смешанной с разными точками фона 27 Samuel W. Hasinoff, Sing Bing Kang, Richard Szeliski, Boundary matting for view synthesis, Computer Vision and Image Understanding, Volume 103, Issue 1, July 2006
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Boundary matting Поиск проблемных областей 1. Построить множество границ карты глубины 2. Жадным алгоритмом выделить кривые с длиной выше порога 3. Удалить компоненты связности с диаметром меньше порога 28 Исходное изображение Карта глубины Шаг 1 Шаг 3 Samuel W. Hasinoff, Sing Bing Kang, Richard Szeliski, Boundary matting for view synthesis, Computer Vision and Image Understanding, Volume 103, Issue 1, July 2006
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Boundary matting Аппроксимация сплайнами S(t) – параметрическое уравнение кривой θ – множество контрольных точек 29 Samuel W. Hasinoff, Sing Bing Kang, Richard Szeliski, Boundary matting for view synthesis, Computer Vision and Image Understanding, Volume 103, Issue 1, July 2006
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Boundary matting Вычисление карты прозрачности d – расстояние до кривой со знаком (d > 0 для точек переднего плана, d < 0 для точек фона) 30 Samuel W. Hasinoff, Sing Bing Kang, Richard Szeliski, Boundary matting for view synthesis, Computer Vision and Image Understanding, Volume 103, Issue 1, July 2006
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Boundary matting Построение заднего плана Для каждой точки в небольшой окрестности проблемной области: 1. Отобразим ее на другие исходные виды с использованием глубины заднего плана 2. Отбросим ее, если она попала на передний план другого вида 3. Найдем вид, на котором максимальное отличие цвета это точки минимально 4. Поместим точку на карту заднего плана 31 Samuel W. Hasinoff, Sing Bing Kang, Richard Szeliski, Boundary matting for view synthesis, Computer Vision and Image Understanding, Volume 103, Issue 1, July 2006
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Boundary matting Построение переднего плана 1. Вычислим цвет переднего плана для каждого вида 2. Усредним значение со всех видов 32 Samuel W. Hasinoff, Sing Bing Kang, Richard Szeliski, Boundary matting for view synthesis, Computer Vision and Image Understanding, Volume 103, Issue 1, July 2006
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Boundary matting Оптимизация решения (1) Требуется минимизировать следующую функцию 1. Добавить новые точки в сплайн 2. Сместить точки сплайна к областям исходного изображения с большим модулем градиента 3. Удалить точки, сместившиеся слишком сильно от своей начальной позиции 33 Samuel W. Hasinoff, Sing Bing Kang, Richard Szeliski, Boundary matting for view synthesis, Computer Vision and Image Understanding, Volume 103, Issue 1, July 2006
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Boundary matting Оптимизация решения (2) 34 Исходная граница Начальное приближение сплайном Точки сплайна смещены к областям с большим градиентом Сплайн после нескольких итераций Samuel W. Hasinoff, Sing Bing Kang, Richard Szeliski, Boundary matting for view synthesis, Computer Vision and Image Understanding, Volume 103, Issue 1, July 2006
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Boundary matting Результаты (1) 35 Исходные изображения Samuel W. Hasinoff, Sing Bing Kang, Richard Szeliski, Boundary matting for view synthesis, Computer Vision and Image Understanding, Volume 103, Issue 1, July 2006
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Boundary matting Результаты (2) 36 Samuel W. Hasinoff, Sing Bing Kang, Richard Szeliski, Boundary matting for view synthesis, Computer Vision and Image Understanding, Volume 103, Issue 1, July 2006
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Boundary matting Результаты (2) 37 Samuel W. Hasinoff, Sing Bing Kang, Richard Szeliski, Boundary matting for view synthesis, Computer Vision and Image Understanding, Volume 103, Issue 1, July 2006
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Boundary matting Результаты (2) 38 Передний план Некорректный результат Samuel W. Hasinoff, Sing Bing Kang, Richard Szeliski, Boundary matting for view synthesis, Computer Vision and Image Understanding, Volume 103, Issue 1, July 2006
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Boundary matting Анализ метода  Достоинства  Рассматриваемая проблема близка к нашей задаче  Качественный результат для случая оптического размытия и размытия движения  Недостатки  Неприменим к сложным структурам (волосы, шерсть)  Большое количество упрощений в авторской реализации 39 Samuel W. Hasinoff, Sing Bing Kang, Richard Szeliski, Boundary matting for view synthesis, Computer Vision and Image Understanding, Volume 103, Issue 1, July 2006
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Poisson Matting  Real-Time Video Matting using Multichannel Poisson Equations  Boundary matting for view synthesis  Предлагаемый метод  Заключение 40
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предлагаемый метод Описание метода Основные идеи: 1. применение уравнения анизотропной диффузии для экстраполяции переднего и заднего плана 2. вычисление «ожидаемых» цветов переднего и заднего плана из классического уравнения matting 41
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предлагаемый метод Исходные данные 42 Подопытный Карта проблемных областей Карта глубины
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предлагаемый метод Глубина переднего и заднего плана Методом простой математической морфологии вычислим глубину переднего и заднего плана 43 Глубина заднего плана Глубина переднего плана
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предлагаемый метод Уравнение анизотропной диффузии  44Catte, F, et al, Image Selective Smoothing and Edge Detection by Nonlinear Diffusion, SIAM J. Num. (1992)
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предлагаемый метод Ожидаемый цвет  45
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предлагаемый метод Алгоритм 1. Инициализируем передний и задний план исходным изображением 2. Вычислим производные во времени для них из уравнения диффузии 3. Для точек с существенной разницей между цветом переднего и заднего плана вычислим ожидаемый цвет 4. Добавим к начальным цветам значение производной и смещение к ожидаемому цвету 5. Вернемся к шагу 2 46
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предлагаемый метод Результаты (1) 47 Передний план Задний план
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предлагаемый метод Результаты (2) 48
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предлагаемый метод Анализ метода  Достоинства  Работает для исходных данных стереогенератора  Не использует тримап  Недостатки  Низкое качество  Неестественное внедрение уравнения matting в метод 49
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Poisson Matting  Real-Time Video Matting using Multichannel Poisson Equations  Boundary matting for view synthesis  Предлагаемый метод  Заключение 50
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Дальнейшие планы  Внедрение Multichannel Poisson Equation в предложенный метод  Реализация Boundary Matting в терминах генерации стерео  Оптимизация метода Shared Matting для задачи генерации стерео 51
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. Jian Sun, Jiaya Jia, Chi-Keung Tang, and Heung-Yeung Shum. 2004. Poisson matting. In ACM SIGGRAPH 2004 Papers (SIGGRAPH '04), Joe Marks (Ed.). ACM, New York, NY, USA, 315-321. 2. Minglun Gong, Liang Wang, Ruigang Yang, and Yee-Hong Yang. 2010. Real-time video matting using multichannel poisson equations. In Proceedings of Graphics Interface 2010 (GI '10). Canadian Information Processing Society, Toronto, Ont., Canada, Canada, 89-96. 3. Samuel W. Hasinoff, Sing Bing Kang, Richard Szeliski, Boundary matting for view synthesis, Computer Vision and Image Understanding, Volume 103, Issue 1, July 2006, Pages 22-32, ISSN 1077-3142 4. Catte, F., Lions, P.-L., Morel, J.-M., and Coll, T., Image Selective Smoothing and Edge Detection by Nonlinear Diffusion, SIAM J. Num. Anal. 29, 182–193 (1992). 52
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищено 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 53

×