Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Использование областей перекрытия в задаче сегментации видео

447 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Использование областей перекрытия в задаче сегментации видео

  1. 1. Использование областей перекрытия в задаче сегментации видео Александр Новиков Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Классификация движущихся объектов  Трекинг границ  Детектор областей перекрытия GST  Дальнейшие планы 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Области перекрытия 3 C. Beck, T. Ognibeni, H. Neumann, “Object Segmentation from Motion Discontinuities and Temporal Occlusions – A Biologically Inspired Model,” PLoS ONE, 2008
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Упорядочивание по глубине (1) Область закрытия относится к объекту R1 – он расположен дальше от наблюдателя, чем R2 4A. S. Ogale, C. Fermüller, Y. Aloimonos, “Motion Segmentation Using Occlusions,” in IEEE Trans. on PAMI 7(6), 2005
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Упорядочивание по глубине (2) При построенном графе отношений «объект A ближе B», можно произвести упорядочивание методом топологической сортировки 5 32 1 3 Число – номер слоя по удаленности от наблюдателя
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Топологическая сортировка (1) Пока в графе есть вершины:  Удаляются вершины, из которых не выходят ребра вместе со всеми входящими ребрами  Номер итерации, на которой удалена вершина характеризует номер слоя по глубине 6 32 1 3 Число – номер слоя по удаленности от наблюдателя
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Топологическая сортировка (2) 7 Однозначное упорядочивание Неоднозначность – между l1 и l2 нет отношения Упорядочивание невозможно
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Движение в областях закрытия Верные векторы сдвига для областей закрытия не могут быть определены при помощи ME либо Optical Flow 8D. Feldman, D. Weinshall, “Motion Segmentation and Depth Ordering Using an Occlusion Detector,” PAMI(30) No.7, 2008 Неизвестно, к какому из двух объектов относятся 2 пикселя, так как для них нет соответствия на последующем кадре
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Классификация движущихся объектов  Трекинг границ  Детектор областей перекрытия GST  Дальнейшие планы 9
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Идеи метода  Независимо движущиеся объекты разделяются на три класса  Объекты разных классов выделяются различными способами 10A. S. Ogale, C. Fermüller, Y. Aloimonos, “Motion Segmentation Using Occlusions,” in IEEE Trans. on PAMI 7(6), 2005
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Классы объектов Объекты первого класса (1) Движущиеся в направлении, значительно отличающемся от основного (движения камеры) 11A. S. Ogale, C. Fermüller, Y. Aloimonos, “Motion Segmentation Using Occlusions,” in IEEE Trans. on PAMI 7(6), 2005 Стрелки – векторы движения, штриховка – области перекрытия
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выделение объектов первого класса: 1. Постоение 4х-параметрового преобразования между кадрами методом фазовой корреляции 2. По векторам Optical Flow, направление которых отличается не более чем на 45 градусов от предполагаемого преобразованием, строится 3D-преобразование 3. Выделение точек с векторами движения отличающимися от предположенных 3D-преобразованием более, чем на 45 градусов Классы объектов Объекты первого класса (2) 12A. S. Ogale, C. Fermüller, Y. Aloimonos, “Motion Segmentation Using Occlusions,” in IEEE Trans. on PAMI 7(6), 2005
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Классы объектов Объекты второго класса (1) Движущиеся в направлении движения камеры, но противореча структуре сцены 13A. S. Ogale, C. Fermüller, Y. Aloimonos, “Motion Segmentation Using Occlusions,” in IEEE Trans. on PAMI 7(6), 2005 Стрелки – векторы движения, штриховка – области перекрытия
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Классы объектов Объекты второго класса (2) 14A. S. Ogale, C. Fermüller, Y. Aloimonos, “Motion Segmentation Using Occlusions,” in IEEE Trans. on PAMI 7(6), 2005 Поле векторов движения в областях закрытия определяется с использованием дополнительного кадра
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Классы объектов Объекты второго класса (3) 15 Белый цвет – области закрытия, остальные цвета – направления OF A. S. Ogale, C. Fermüller, Y. Aloimonos, “Motion Segmentation Using Occlusions,” in IEEE Trans. on PAMI 7(6), 2005
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Объекты, которые выделить невозможно без знания карты глубины, полученной не по движению Классы объектов Объекты третьего класса 16A. S. Ogale, C. Fermüller, Y. Aloimonos, “Motion Segmentation Using Occlusions,” in IEEE Trans. on PAMI 7(6), 2005 Стрелки – векторы движения, штриховка – области перекрытия
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (1) 17 Три последовательных кадра, карта разницы глобального и локального движения и выделенные объекты A. S. Ogale, C. Fermüller, Y. Aloimonos, “Motion Segmentation Using Occlusions,” in IEEE Trans. on PAMI 7(6), 2005
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (2) 18 Три последовательных кадра, геометрия сцены и выделенные объекты A. S. Ogale, C. Fermüller, Y. Aloimonos, “Motion Segmentation Using Occlusions,” in IEEE Trans. on PAMI 7(6), 2005
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства:  Возможность хорошего заполнения областей закрытия  Рассмотрены все возможные случаи Недостаток:  Высокая вычислительная сложность метода 19A. S. Ogale, C. Fermüller, Y. Aloimonos, “Motion Segmentation Using Occlusions,” in IEEE Trans. on PAMI 7(6), 2005
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Классификация движущихся объектов  Трекинг границ  Детектор областей перекрытия GST  Дальнейшие планы 20
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Идеи метода  На кадрах видео выделяются объекты и границы  Движение границ и движение объектов определяется различными методами  Устанавливается соответствие между границами и объектами 21 P. Sundberg, T. Brox, M. Maire, P. Arbelaez, J. Malik, “Occlusion Boundary Detection and Figure/Ground Assignment from Optical Flow,” in CVPR, 2011
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Нахождение границ (1) Для каждого кадра выполняется нахождение границ 22 Кадр последовательности Ground truth Выделенные границы P. Sundberg, T. Brox, M. Maire, P. Arbelaez, J. Malik, “Occlusion Boundary Detection and Figure/Ground Assignment from Optical Flow,” in CVPR, 2011
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Статические признаки  Признак Motion Gradient и – этот оператор, примененный к временным производным Оператор вычисляет χ2-разницу между гистограммами интенсивностей точек в двух половинках круга радиуса r с центром в точке (x,y), разбитого под углом ϴ Нахождение границ (2) 23 ϴ – используемый признак P. Sundberg, T. Brox, M. Maire, P. Arbelaez, J. Malik, “Occlusion Boundary Detection and Figure/Ground Assignment from Optical Flow,” in CVPR, 2011
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Классификация границ (1) Для каждой границы определяется вероятность того, что она является границей области перекрытия (сила границы) 24 Кадр последовательности Границы областей открытия и закрытия, ярче – сильнееP. Sundberg, T. Brox, M. Maire, P. Arbelaez, J. Malik, “Occlusion Boundary Detection and Figure/Ground Assignment from Optical Flow,” in CVPR, 2011
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Классификация границ (2) Для выделения границ областей перекрытия используется классификатор SVN, обученный по признакам: 1. Модуль разности векторов движения прилежащих областей 2. Сила границы 25 Красным выделена граница Стрелки – векторы движения P. Sundberg, T. Brox, M. Maire, P. Arbelaez, J. Malik, “Occlusion Boundary Detection and Figure/Ground Assignment from Optical Flow,” in CVPR, 2011
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Классификация границ (3) Находится движение самой границы и определяется, к какому из прилежащих регионов она относится 26 Красным выделена граница Стрелки – векторы движения P. Sundberg, T. Brox, M. Maire, P. Arbelaez, J. Malik, “Occlusion Boundary Detection and Figure/Ground Assignment from Optical Flow,” in CVPR, 2011
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты 27 Кадры последовательностей Результаты сегментации P. Sundberg, T. Brox, M. Maire, P. Arbelaez, J. Malik, “Occlusion Boundary Detection and Figure/Ground Assignment from Optical Flow,” in CVPR, 2011
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства:  Заявленная точность выделения объектов – 72%  Работает и в случае отсутствия видимых границ Недостаток:  Тестировался только на HD, вероятно не устойчив к шуму 28 P. Sundberg, T. Brox, M. Maire, P. Arbelaez, J. Malik, “Occlusion Boundary Detection and Figure/Ground Assignment from Optical Flow,” in CVPR, 2011
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Классификация движущихся объектов  Трекинг границ  Детектор областей перекрытия GST  Дальнейшие планы 29
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Structure Tensor (1) Для выделения границ областей закрытия и открытия производится анализ собственных значений Gradient Structure Tensor (GST) 30 ω – окно некоторого радиуса Ix, Iy, It – производные видео по направлениям x, y и t                2 2 2 )(),,( ttytx tyyyx txyxx T IIIII IIIII IIIII IItyxG D. Feldman, D. Weinshall, “Motion Segmentation and Depth Ordering Using an Occlusion Detector,” PAMI(30) No.7, 2008
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gradient Structure Tensor (2) Собственные значения и собственные векторы GST определяют распределение направлений градиентов около точки 31 Стрелки – собственные векторы Полуоси эллипсоида пропорциональны соответствующим собственным значениям и, как следствие, величине градиентов вдоль векторов D. Feldman, D. Weinshall, “Motion Segmentation and Depth Ordering Using an Occlusion Detector,” PAMI(30) No.7, 2008
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Occlusion detector (1) Наименьшее собственное значение GST – индикатор областей открытия и закрытия 32 Кадр последовательности D. Feldman, D. Weinshall, “Motion Segmentation and Depth Ordering Using an Occlusion Detector,” PAMI(30) No.7, 2008 Выделенный контур, темнее – сильнее
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Occlusion detector (1) Наименьшее собственное значение GST – индикатор областей открытия и закрытия 33 Кадр последовательности D. Feldman, D. Weinshall, “Motion Segmentation and Depth Ordering Using an Occlusion Detector,” PAMI(30) No.7, 2008 Выделенный контур, темнее – сильнее
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Occlusion detector (2) Для более точного выделения границ предлагается объединять результаты для разных радиусов окна при вычислении GST 34 Кадр последовательности Значения детектора для разных радиусов Выделенный контур D. Feldman, D. Weinshall, “Motion Segmentation and Depth Ordering Using an Occlusion Detector,” PAMI(30) No.7, 2008
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Depth ordering Утверждается, что градиент детектора областей закрытия направлен в сторону закрывающей области Алгоритмом выделяеются маски объектов α и на основании суммы D определяется порядок объектов 35 Суммирование градиентов по какой-либо границе при различных радиусах детектора s1 – s2 Знак суммы позволяет определить, какая сторона границы принадлежит закрывающему объекту         2 1 )( s ss x s D D. Feldman, D. Weinshall, “Motion Segmentation and Depth Ordering Using an Occlusion Detector,” PAMI(30) No.7, 2008
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (1) 36 Кадры последовательности Результат сегментации и упорядочивания светлее – ближе D. Feldman, D. Weinshall, “Motion Segmentation and Depth Ordering Using an Occlusion Detector,” PAMI(30) No.7, 2008
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (2) 37 Кадры последовательности Результат сегментации и упорядочивания светлее – ближе D. Feldman, D. Weinshall, “Motion Segmentation and Depth Ordering Using an Occlusion Detector,” PAMI(30) No.7, 2008
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (3) 38 Кадры последовательности Результат сегментации и упорядочивания светлее – ближе D. Feldman, D. Weinshall, “Motion Segmentation and Depth Ordering Using an Occlusion Detector,” PAMI(30) No.7, 2008
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства:  Нет необходимости применять OF и ME  Алгоритм не требует наличия текстуры на закрывающем объекте  Хорошо работает и при небольшом различии скоростей движущихся объектов Недостаток:  Сложен для реализации 39D. Feldman, D. Weinshall, “Motion Segmentation and Depth Ordering Using an Occlusion Detector,” PAMI(30) No.7, 2008
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Классификация движущихся объектов  Трекинг границ  Детектор областей перекрытия GST  Дальнейшие планы 40
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Дальнейшие планы  Автоматический подбор параметра mean-shift и силы объединения сегментов  Встраивание текущей сегментации в depth from motion  Использование сегментации по областям перекрытия для анализа стереопар (детектирование перепутанных ракурсов)  Реализация алгоритма сегментации по областям перекрытия 41
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. P. Sundberg, T. Brox, M. Maire, P. Arbelaez and J. Malik, “Occlusion Boundary Detection and Figure/Ground Assignment from Optical Flow,” CVPR, 2011, pp. 2233–2240. 2. D. Feldman, D. Weinshall, “Motion Segmentation and Depth Ordering Using an Occlusion Detector,” IEEE Trans. on PAMI(30) No.7, 2008, pp. 1171–1185. 3. A. S. Ogale, C. Fermüller, Y. Aloimonos, “Motion Segmentation Using Occlusions,” IEEE Trans. on PAMI(27) No.6, 2005, pp. 988–992. 4. C. Beck, T. Ognibeni, H. Neumann, “Object Segmentation from Motion Discontinuities and Temporal Occlusions – A Biologically Inspired Model,” PLoS ONE vol. 3, 2008, pp. 1–14. 42rev. D. Graffox, “IEEE Citation Reference,” 2009 http://www.ieee.org/documents/ieeecitationref.pdf
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищены 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 43

×