Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Некоторые методы матирования видео

455 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Некоторые методы матирования видео

  1. 1. Некоторые методы матирования видео Юрий Бердников Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Closed Form Image Matting  Temporally Consistent Video Matting  FuzzyMatte  Свой метод  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение 3 Изображения из J. Wang and M. Cohen, “Matting Survey”
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Требования к алгоритму 4  Скорость работы  Отсутствие «провалов» на объектах  Отсутствие «мерцания» на видео  Определение цветов фона и объекта
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Closed-form image matting  Temporally consistent video matting  FuzzyMatte  Свой метод  Заключение 5
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Closed-form image matting  Предположение о локальной гладкости  Минимизация функции 6A. Levin D. Lischinski and Y. Weiss. A Closed Form Solution to Natural Image Matting. IEEE Trans. PAMI, Feb 2008 Цвет фонаЦвет объектаОкно 3х3Прозрачность Весь кадр Окно вокруг пикселя j Регуляризация Текущий цвет
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Основная теорема Пусть тогда где - матрица , у которой элемент 7A. Levin D. Lischinski and Y. Weiss. A Closed Form Solution to Natural Image Matting. IEEE Trans. PAMI, Feb 2008 Символ Кронекера Дисперсия цвета в окне Средний цвет в окне Количество пикселей в изображении
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Работа с цветом 8A. Levin D. Lischinski and Y. Weiss. A Closed Form Solution to Natural Image Matting. IEEE Trans. PAMI, Feb 2008  Переход от линейной модели к 4D  Вид матрицы для цветного изображения Единичная матрица 3x3Матрица ковариации
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Финальный вид алгоритма 9A. Levin D. Lischinski and Y. Weiss. A Closed Form Solution to Natural Image Matting. IEEE Trans. PAMI, Feb 2008  Задача минимизации функции N переменных  Время работы исходного метода – 20с (MATLAB, кадр 300х200)  Оптимизации за счет прореживания и multigrid solver
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (1) 10A. Levin D. Lischinski and Y. Weiss. A Closed Form Solution to Natural Image Matting. IEEE Trans. PAMI, Feb 2008
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (2) 11A. Levin D. Lischinski and Y. Weiss. A Closed Form Solution to Natural Image Matting. IEEE Trans. PAMI, Feb 2008
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Анализ алгоритма  Преимущества  Хорошее качество работы  Недостатки  Низкая скорость  Нет гарантии стабильности во времени 12
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Closed-form image matting  Temporally consistent video matting  FuzzyMatte  Свой метод  Заключение 13
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Схема алгоритма 14Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent video matting based on bilayer segmentation, ICME, 2010 Начальная сегментация Генерация trimap 3D-матирование
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Начальная сегментация 15  Алгоритм – Graph Cut на карте вероятностей  Карта вероятностей строится с помощью WKDE  Пример работы Исходный кадр Карта вероятности Результат Ground Truth Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent video matting based on bilayer segmentation, ICME, 2010
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Построение trimap 16Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent video matting based on bilayer segmentation, ICME, 2010  Грубое построение trimap с помощью морфологии  Уточнение trimap с помощью GMM Фон, вероятный фон, вероятный объект, объект
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Уточнение trimap 17Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent video matting based on bilayer segmentation, ICME, 2010  Построение GMM для фона и объекта  Для каждого пикселя вероятного объекта:  Поиск наиболее вероятного цвета объекта  Поиск наиболее вероятного цвета фона  Определение прозрачности Гауссианы GMM объекта Цвет текущего пикселя
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Определение цвета фона  Определение прозрачности и типа пикселя Цвет фона и прозрачность 18Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent video matting based on bilayer segmentation, ICME, 2010
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Пример работы уточнения 19Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent video matting based on bilayer segmentation, ICME, 2010 Исходное Морфология Уточнение Матирование морфологии Матирование уточнения
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Определение цвета фона  Определение прозрачности и типа пикселя Цвет фона и прозрачность 20Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent video matting based on bilayer segmentation, ICME, 2010
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  3D-матирование  Алгоритм – closed-form matting  Трехмерное окно для каждого пикселя: 21 Векторы движения из optical flow Координаты текущего пикселя Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent video matting based on bilayer segmentation, ICME, 2010
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Методы оценки алгоритма  Оценка качества работы  Оценка стабильности работы 22Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent video matting based on bilayer segmentation, ICME, 2010
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты работы 23Zhen Tang, Zhenjiang Miao, Yanli Wan, Temporally consistent video matting based on bilayer segmentation, ICME, 2010
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Анализ алгоритма  Преимущества  Уменьшение дрожания границ  Работа с trimap – хорошо интегрируется в имеющиеся наработки  Недостатки  Скорость неизвестна. Вероятно, низкая 24
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Closed-form image matting  Temporally consistent video matting  FuzzyMatte  Свой метод  Заключение 25
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  FuzzyMatte 26  Всё изображение – граф  Вес ребра – «похожесть» соседних пикселей Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte: A computationally efficient scheme for interactive matting. CVPR 2008 Пиксели Похожесть пикселей Константа ФонОбъект Сходство цветов пикселей между собой Сходство цветов пикселей с объектом (фоном)
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Взаимная схожесть пикселей 27Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte: A computationally efficient scheme for interactive matting. CVPR 2008 Цвета пикселей Матрица ковариации гауссиана GMM с самой большой дисперсией
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Схожесть пикселей с объектом (фоном) (1) 28Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte: A computationally efficient scheme for interactive matting. CVPR 2008 Средний цвет i-го гауссиана GMM Матрица ковариации i-го гауссиана GMM Сходство пикселя с объектом  Для фона вычисления аналогичны  Билатеральная префильтрация кадра (дисперсии 2 по расстоянию и 5 по цвету)
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Схожесть пикселей с объектом (фоном) (2) 29Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte: A computationally efficient scheme for interactive matting. CVPR 2008
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Нечёткая связность 30Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte: A computationally efficient scheme for interactive matting. CVPR 2008 Путь Элементы путиВес пути «Нечёткая связность»
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Иллюстрация FC 31Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte: A computationally efficient scheme for interactive matting. CVPR 2008
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Свойства FC 32Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte: A computationally efficient scheme for interactive matting. CVPR 2008  Рефлексивность  Транзитивность  Симметричность  Обобщение для множеств
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Прозрачность  Цвета – лучшая пара из GMM объекта и фона Определение цветов и прозрачности из FC 33Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte: A computationally efficient scheme for interactive matting. CVPR 2008
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Вычисление FC 34Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte: A computationally efficient scheme for interactive matting. CVPR 2008  Сведение к поиску кратчайшего пути  Модифицированный алгоритм Дейкстры  В случае trimap и волновой поиск хорошо отработает
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (1) 35Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte: A computationally efficient scheme for interactive matting. CVPR 2008 Исходный кадр и разметка Прозрачность Наложение
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (2) 36Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte: A computationally efficient scheme for interactive matting. CVPR 2008 Исходный кадр и разметка BP matting Spectral matting FuzzyMatte
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (3) 37Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte: A computationally efficient scheme for interactive matting. CVPR 2008 Исходный кадр и разметка BP matting Spectral matting FuzzyMatte
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (4) 38Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte: A computationally efficient scheme for interactive matting. CVPR 2008 Исходный кадр и разметка BP matting Spectral matting FuzzyMatte
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение с конкурентами 39Zheng, Y., Kambhamettu, C., Yu, J., Bauer, T., Steiner, K.: FuzzyMatte: A computationally efficient scheme for interactive matting. CVPR 2008
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Анализ алгоритма  Преимущества  Потенциально высокая скорость  Мало затеканий  Недостатки  Нет примеров работы на trimap 40
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Closed-form image matting  Temporally consistent video matting  FuzzyMatte  Свой метод  Заключение 41
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Свой метод  Основан на билатеральной фильтрации  Цель 1 – восстановление резких границ глубины при размытой карте  Цель 2 – коррекция некорректно проведённых границ по глубине (несоответствие цвету) 42
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Билатеральная фильтрация 43 Штраф градиентных областей Векторы координат пикселей Новая глубина Исходная глубина j-го пикселя Вес j-го пикселя Max разности компонент Константы Векторы цветов пикселей Окно вокруг i-го пикселя
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы 44 Кадр Глубина Результат
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Анализ алгоритма  Преимущества  Скорость  Недостатки  Априорное предположение о доверии гладким областям  Слишком резкая граница  Стабильность во времени не гарантируется 45
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Closed-form image matting  Temporally consistent video matting  FuzzyMatte  Свой метод  Заключение 46
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Список литературы 1. A. Levin, D. Lischinski, and Y. Weiss, "A Closed-Form Solution to Natural Image Matting", presented at IEEE Trans. Pattern Anal. Mach. Intell., 2008, pp.228-242. 2. Z. Tang, Z. Miao, and Y. Wan, "Temporally consistent video matting based on bilayer segmentation", in Proc. ICME, 2010, pp.370-375. 3. Y. Zheng, C. Kambhamettu, J. Yu, T. Bauer, and K. Steiner, "FuzzyMatte: A computationally efficient scheme for interactive matting", in Proc. CVPR, 2008. 47
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищено 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 48

×