Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Обзор методов сегментации видео

436 views

Published on

Published in: Education
  • Be the first to comment

Обзор методов сегментации видео

  1. 1. Обзор методов сегментации видео Денис Сумин Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Сегментация изображений  Сегментация видео  Video Segmentation by Tracking Regions  Hierarchical Graph-Based Video Segmentation 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Сегментация изображения — выделение регионов, соответствующих объектам 3Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Применения Компьютерное зрение:  Распознавание движения  Слежение за объектами  Извлечение информации из изображений Видео:  Создание карт глубины  Удаление объектов 4
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Изображение → видео Нельзя применять методы для сегментации изображений к каждому кадру видео:  Сложно установить связь между сегментами от кадра к кадру  Сегменты будут дрожать  В видео информации гораздо больше, чем в одном кадре — ее надо использовать! 5
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Сегментация изображений  Сегментация видео  Video Segmentation by Tracking Regions  Hierarchical Graph-Based Video Segmentation 6
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Mean Shift Алгоритм ищет локальные максимумы плотности в поле свойств изображения 7 Изображение Поле свойств (цвет в Luv пространстве) Источник: www.cs.unc.edu/~lazebnik
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Mean Shift 8 Источник: Y. Ukrainitz, B. Sarel
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Mean Shift 9 Источник: Y. Ukrainitz, B. Sarel
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Mean Shift 10 Источник: Y. Ukrainitz, B. Sarel
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Mean Shift 11 Источник: Y. Ukrainitz, B. Sarel
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Mean Shift Кластер: точки, сдвиг среднего для которых приводит к одной и той же моде распределения 12 Источник: Y. Ukrainitz, B. Sarel
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Mean Shift Результаты 13 Источник: http://www.caip.rutgers.edu/~comanici
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Mean Shift Итоги  Плюсы:  Не делается предположений о форме кластеров и форме распределения  Число кластеров определяется автоматически  Минусы:  Выбор параметров ядровой функции нетривиален, и от них очень сильно зависит результат сегментации  Вычислительно сложный метод 14
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод графов Изображение — взвешенный неориентированный граф  Вершины графа — пиксели  Ребра — связи между соседними пикселями  Вес ребер пропорционален «похожести» пикселей Критерии «похожести»  Расстояние  Яркость 15  Цвет  Текстура Источник: А. Конушин, «Методы сегментации изображений»
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод графов Разрез графа G=(V,E):  Непересекающиеся подмножества вершин A и B из V  Удаляем все ребра, связывающие A и B  Разрез графа превращает граф в два несвязанных друг с другом подграфа 16 Источник: А. Конушин, «Методы сегментации изображений»
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод графов (1 из 2) Если множества A и B не заданы заранее, разрезать граф можно по-разному:  Минимальный разрез: сумма весов удаленных ребер минимальна 17 Источник: А. Конушин, «Методы сегментации изображений»
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод графов (2 из 2) Если множества A и B не заданы заранее, разрезать граф можно по-разному:  Нормализованный разрез: группы вершин нормируются на «объем», занимаемый ими в графе  Минимальный нормализованный: величина Ncut минимальна 18 Источник: А. Конушин, «Методы сегментации изображений»
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод графов Результат 19
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод графов Итоги  Плюсы:  Хорошие результаты  Гибкость  Минусы:  Требуется много памяти  Вычислительная сложность  В случае нормализованного разреза стремится к равным сегментам 20
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Сегментация изображений  Сегментация видео  Video Segmentation by Tracking Regions  Hierarchical Graph-Based Video Segmentation 21
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сегментация видео Все алгоритмы сначала сегментируют отдельные кадры 22Liu Siying, “Video Segmentation: Temporally-constrained Graph-based Optimization”, 2010
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Spatial grouping approaches 23Liu Siying, “Video Segmentation: Temporally-constrained Graph-based Optimization”, 2010
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Trajectory grouping approaches 24Liu Siying, “Video Segmentation: Temporally-constrained Graph-based Optimization”, 2010
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Grouping in spatial and temporal volume 25Liu Siying, “Video Segmentation: Temporally-constrained Graph-based Optimization”, 2010
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Сегментация изображений  Сегментация видео  Video Segmentation by Tracking Regions  Hierarchical Graph-Based Video Segmentation 26
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Tracking Regions Алгоритм 1. Каждый кадр сегментируется независимо (например, mean shift) 2. Сегменты каждой пары последовательных кадров соотносятся между собой 3. Границы пар сегментов соотносятся с помощью CDTW (cyclic dynamic-time warping) 4. Полученные пары сегментов из всего видео кластеризуются 27William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Tracking Regions Алгоритм 28William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Tracking Regions DTW  Две последовательности точек: bi={bi1, .., biM} и bj={bj1, .., bjN}  f={(biu, bjv) : u=1..M, v=1..N}  c(bi., bj.) — мера различия точек  Имея соответствия (bi1, bj1) и (biM, bjN), DTW находит оптимальное соответствие последовательности точек 29William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Tracking Regions CDTW π* — оптимальная граница πm — граница через точку m 30 Cm — окрестность точки m 1/λ и1/μ — ML-оценки элементов в С William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Tracking Regions Устойчивость CDTW 31 Регион 1 Регион 2 William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Tracking Regions Region tracking  Оцениваем правдоподобность границы на предыдущем шаге s(i, j) = exp(−c(i, j))  Все правдоподобности записываем в граф G  Применяем метод кластеризации relaxation labeling (RL) к графу G  Считаем вероятности правильного сегментирования для всего видео 32William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Tracking Regions Результаты 33 Оригинальное видео Результат William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Tracking Regions Результаты 34William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Tracking Regions Результаты 35William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Tracking Regions Итоги  Плюсы:  Скорость  Минусы:  Среднее качество 36
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Сегментация изображений  Сегментация видео  Video Segmentation by Tracking Regions  Hierarchical Graph-Based Video Segmentation 37
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Hierarchical Graph-Based Алгоритм 1. Обрабатываем каждый пиксель кадра, учитывая его 26 соседей. Получаем мелкие сегменты 2. Добавляем Lab гистограммы 3. Укрупняем сегменты на основе имеющейся информации. Сохраняем всю информацию в дерево 38Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Hierarchical Graph-Based Алгоритм Алгоритм хорошо работает, но требует слишком много памяти  Работаем с сегментами внутри некоторого окна  3 типа краев: граничный, внешний, внутренний  Постепенно увеличиваем окна Получается тот же результат, но алгоритм получается масштабируемым 39Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Hierarchical Graph-Based Clip-based processing  Разбиваем все видео на клипы по 20–30 кадров  В каждый клип добавляем треть кадров из предыдущего клипа  Для пересечения считаем Функция Ri сопоставляет id сегментов пикселям 40Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Hierarchical Graph-Based Результаты 41Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Hierarchical Graph-Based Результаты 42Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Hierarchical Graph-Based Результаты 43Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Hierarchical Graph-Based Результаты 44Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Hierarchical Graph-Based Итоги  Плюсы:  Очень хорошее качество  Минусы:  Для действительно хорошего качества используется Optical Flow => потеря скорости 45
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, in Proc. IEEE Int’l Conf. Computer Vision (ICCV), Kyoto, Japan, 2009 2. Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010 3. Liu Siying, “Video Segmentation Temporally-constrained Graph-based Optimization”, National University of Singapoure, 2010 4. www.cs.unc.edu/~lazebnik 5. А. Конушин, «Методы сегментации изображений» 46
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  47

×