Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Сегментация видео
на основе Mean-shift
Сергей Матюнин
Video Group
CS MSU Graphics & Media Lab
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Анизотропный ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
 Почему Mean-shift?
 Распр...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Mean-shift Segmentation
S. P...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Mean-shift Segmentation
S. P...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Mean-shift Segmentation
S. P...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Mean-shift Segmentation
S. P...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Mean-shift Segmentation
S. P...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Mean-shift Segmentation
S. P...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Mean-shift Segmentation
S. P...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Mean-shift
Уменьшение сложности
Можно...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Mean-shift
Выбор функции ядра
 Выбор...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Анизотропный ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Anisotropic Mean-shift
Выбор ядра
Ядр...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Anisotropic Mean-shift
Выбор ядра
15W...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Anisotropic Mean-shift
Выбор ядра
Раз...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Anisotropic Mean-shift
Выбор ядра
 В...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Anisotropic Mean-shift
Уточнение прос...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Anisotropic Mean-shift
Уточнение прос...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Anisotropic Mean-shift
Уточнение прос...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Anisotropic Mean-shift
Уточнение цвет...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Anisotropic Mean-shift
Общая схема (1...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Anisotropic Mean-shift
Общая схема (2...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Anisotropic Mean-shift
Общая схема (3...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Anisotropic Mean-shift
Устойчивость о...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты сегментации
Пример использ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты сегментации
2D симметрична...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты сегментации
3D симметрична...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты сегментации
3D анизотропна...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Временная согласованность
3D симметри...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Временная согласованность
3D анизотро...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Еще результаты
Исходный кадр
33Wang e...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Еще результаты
Симметричная сегментац...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Еще результаты
Анизотропная сегментац...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Anisotropic Mean-shift
Выводы
 Досто...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Анизотропный ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обновление Mean-shift
 Базовый алгор...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обновление Mean-shift
Начальный этап
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обновление Mean-shift
Выбор ядра
 Ep...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обновление Mean-shift
Основной режим
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обновление Mean-shift
Скорость
Реализ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обновление Mean-shift
Результаты (кад...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обновление Mean-shift
Результаты (кад...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обновление Mean-shift
Результаты (кад...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обновление Mean-shift
Результаты (кад...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обновление Mean-shift
Результаты (кад...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обновление Mean-shift
Результаты (кад...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обновление Mean-shift
Результаты (Mis...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обновление Mean-shift
Результаты (Mis...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обновление Mean-shift
Выводы
 Достои...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Анизотропный ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Ускорение Mean-shift
Введение
Обработ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Ускорение Mean-shift
Переход к плотно...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Ускорение Mean-shift
Переход к плотно...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Ускорение Mean-shift
Обработка одного...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Ускорение Mean-shift
Обработка видео
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Ускорение Mean-shift
Распространение ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обработка граничных точек
Простой под...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обработка граничных точек
Быстрый под...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обработка граничных точек
Слияние сег...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Ускорение Mean-shift
Результаты
Paris...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Исходный кадр
Paris, “Edge...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
4D пространство
Paris, “Ed...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
5D пространство
Paris, “Ed...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Исходный кадр
Paris, “Edge...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Сравнение
Paris, “Edge-pre...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
68Paris, “Edge-preserving Smoothing a...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
69Paris, “Edge-preserving Smoothing a...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Ускорение Mean-shift
Скорость и потре...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Ускорение Mean-shift
Выводы
 Достоин...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Анизотропный ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Заключение
Основные идеи:
 Взять за ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Литература
1. S. Paris, ″Edge-preserv...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Лаборатория компьютерной
графики и му...
Upcoming SlideShare
Loading in …5
×

Сегментация видео на основе Mean-shift

453 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Сегментация видео на основе Mean-shift

  1. 1. Сегментация видео на основе Mean-shift Сергей Матюнин Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Анизотропный подход  Обновление Mean-shift  Ускорение Mean-shift  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение  Почему Mean-shift?  Распространенный  Простая идея  Простая реализация  Относительно невысокая вычислительная сложность  Возможность комбинировать с другими методами  Главный недостаток – необходимость подбирать параметры 3
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Mean-shift Segmentation S. Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 4
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Mean-shift Segmentation S. Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 5
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Mean-shift Segmentation S. Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 6
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Mean-shift Segmentation S. Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 7
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Mean-shift Segmentation S. Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 8
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Mean-shift Segmentation S. Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 9
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Mean-shift Segmentation S. Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 10
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Mean-shift Уменьшение сложности Можно хранить в памяти, какие точки соседние Comaniciu, Meer, “Mean Shift: A Robust Approach Toward Feature Space Analysis”, IEEE PAMI, 2002 11
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Mean-shift Выбор функции ядра  Выбор функции ядра (форма, размер) – критичная задача  Ядро задает сходство точек, которые нужно поместить в один сегмент 12
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Анизотропный подход  Обновление Mean-shift  Ускорение Mean-shift  Заключение 13
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Anisotropic Mean-shift Выбор ядра Ядро нужно выбирать несимметричным 14Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Anisotropic Mean-shift Выбор ядра 15Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Anisotropic Mean-shift Выбор ядра Размер цветового ядра зависит от размеров матрицы . определяется локальной структурой видео (скалярная / диагональная / симметричная). 17Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Anisotropic Mean-shift Выбор ядра  Выбор окрестности  Матрица сначала выбирается скалярной, затем постепенно уточняется  Уточнение 18Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Anisotropic Mean-shift Уточнение пространственной матрицы Новая матрица : – скаляр – матрица нормализованных собственных векторов – диагональная матрица собственных значений 19Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Anisotropic Mean-shift Уточнение пространственной матрицы Новая матрица : – общий объем пространственно-временной окрестности – ориентация ядра в пространстве – относительная длина осей эллипса 20Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Anisotropic Mean-shift Уточнение пространственной матрицы  Выделение тонких объектов  Большие сегменты для статичных объектов – компонент наибольшего собственного вектора ( ) = 0.25 Пересчитываем 21Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Anisotropic Mean-shift Уточнение цветовых параметров  Если ядро сильно вытянуто, цвет в нем меняется сильнее  Сохранение устойчивости по цвету 22Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Anisotropic Mean-shift Общая схема (1/3) 1. Инициализация  Перевод данных в пространство feature points (5D/6D)  Задание начальных значений и   23Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Anisotropic Mean-shift Общая схема (2/3) 2. Вычисление анизотропного ядра  Соседние пиксели  Обновление матрицы  Модификация матрицы и с помощью разложения 24Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Anisotropic Mean-shift Общая схема (3/3) 3. Провести несколько итераций вычисления анизотропного ядра 4. Запустить стандартную процедуру Mean-shift 5. Объединить пиксели с одинаковыми конечными точками траектории в сегменты 6. Удалить малые сегменты (опционально) 25Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Anisotropic Mean-shift Устойчивость относительно параметров  Фиксирован начальный размер ядра по цвету  Размер пространственного ядра варьируется 26Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты сегментации Пример использования сегментации 27Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты сегментации 2D симметричная 28Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты сегментации 3D симметричная 29Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты сегментации 3D анизотропная 30Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Временная согласованность 3D симметричная сегментация 31Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Временная согласованность 3D анизотропная сегментация 32Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Еще результаты Исходный кадр 33Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Еще результаты Симметричная сегментация 34Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Еще результаты Анизотропная сегментация 35Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Anisotropic Mean-shift Выводы  Достоинства  Простая реализация  Более устойчив к выбору входных параметров (относительно исходного алгоритма)  Возможно параллельное вычисление  Недостатки  Вычислительная сложность  Нужно выбирать начальные параметры  Нужно сегментировать сразу набор кадров  Не используется оценка движения 36Wang et al., “Image and Video Segmentation by Anisotropic Kernel Mean Shift”, ECCV, 2004
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Анизотропный подход  Обновление Mean-shift  Ускорение Mean-shift  Заключение 37
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обновление Mean-shift  Базовый алгоритм – Mean-shift  Сегментация в пространстве  Идея: разбить пространство на неперекрывающиеся регионы 38Petrovic et al. “Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering”, App. of Digital Image Proc. 2008
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обновление Mean-shift Начальный этап  Сегментация по методу водораздела (watershed) по L компоненте (цветовое пространство Luv)  Начальная сегментация Mean-shift 39Petrovic et al. “Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering”, App. of Digital Image Proc. 2008
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обновление Mean-shift Выбор ядра  Epanechnikov kernel  Gaussian kernel 40Petrovic et al. “Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering”, App. of Digital Image Proc. 2008
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обновление Mean-shift Основной режим  Обновление пространства  Запускаем Mean-shift только для добавленных точек пространства (неточное соответствие) 41Petrovic et al. “Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering”, App. of Digital Image Proc. 2008
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обновление Mean-shift Скорость Реализация: С++ Процессор: AMD Athlon64 X2 Dual Core 4400+ Видео: Tennis 352 × 240  Начальный этап 18.6 fps  Основной этап 18.7 fps 42Petrovic et al. “Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering”, App. of Digital Image Proc. 2008
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обновление Mean-shift Результаты (кадр 18) 43Petrovic et al. “Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering”, App. of Digital Image Proc. 2008
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обновление Mean-shift Результаты (кадр 18) 44Petrovic et al. “Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering”, App. of Digital Image Proc. 2008
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обновление Mean-shift Результаты (кадр 42) 45Petrovic et al. “Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering”, App. of Digital Image Proc. 2008
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обновление Mean-shift Результаты (кадр 42) 46Petrovic et al. “Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering”, App. of Digital Image Proc. 2008
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обновление Mean-shift Результаты (кадр 69) 47Petrovic et al. “Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering”, App. of Digital Image Proc. 2008
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обновление Mean-shift Результаты (кадр 69) 48Petrovic et al. “Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering”, App. of Digital Image Proc. 2008
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обновление Mean-shift Результаты (MissAmerica, кадр 35) 49Petrovic et al. “Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering”, App. of Digital Image Proc. 2008
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обновление Mean-shift Результаты (MissAmerica, кадр 35) 50Petrovic et al. “Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering”, App. of Digital Image Proc. 2008
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обновление Mean-shift Выводы  Достоинства  Простота реализации  Скорость  Недостатки  Непонятен выбор параметров  Невнятные результаты  Нет исходников  Не используется компенсация движения 51Petrovic et al. “Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering”, App. of Digital Image Proc. 2008
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Анизотропный подход  Обновление Mean-shift  Ускорение Mean-shift  Заключение 52
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ускорение Mean-shift Введение Обработка в реальном времени без задержки (нет информации со следующих кадров) Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 53
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ускорение Mean-shift Переход к плотности распределения Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 54
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ускорение Mean-shift Переход к плотности распределения Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 55
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ускорение Mean-shift Обработка одного изображения  Пользуемся тем, что ядро Гаусса сепарабельно  Сортируем точки по плотности распределения (нужно найти максимумы)  Рассматриваем в порядке убывания  Рассматриваем наличие максимумов (меток) в окрестности  нет максимумов – создаем метку  одна – копируем  много – помечаем как граничную точку Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 56
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ускорение Mean-shift Обработка видео  Предыдущий кадр обработан  Рассматриваем пространство (x, y, t, I)  x, y – координаты  t – время (0 или 1)  I – интенсивность 57Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ускорение Mean-shift Распространение метки  Находим локальные максимумы (как для изображений)  Для каждого локального максимума на предыдущем кадре (метка L) Проверяем, есть ли максимум на текущем кадре с большей плотностью. Если есть, то по скорейшему спуску переходим и распространяем метку L  Если на текущем кадре максимум, а на предыдущем – максимум с большей плотностью, то далее не учитываем этот текущий  Далее рассматриваем максимумы в окрестности (как для изображений)  Ускорение – копировать метку для граничных точек из ближайшего сегмента с наибольшей плотностью 58Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обработка граничных точек Простой подход  Запускаем стандартый Mean-shift  Копируем ту метку, к которой быстрее придём Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 59
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обработка граничных точек Быстрый подход  и – максимумы  – седловая точка  Стойкость границы Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 60
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обработка граничных точек Слияние сегментов Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 61
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ускорение Mean-shift Результаты Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 62
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Исходный кадр Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 63
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты 4D пространство Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 64
  64. 64. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты 5D пространство Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 65
  65. 65. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Исходный кадр Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 66
  66. 66. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Сравнение Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 67
  67. 67. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  68Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008
  68. 68. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  69Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008
  69. 69. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ускорение Mean-shift Скорость и потребление памяти Обработка видео 640x360 grayscale Реализация: C++, GCC 4.0.1 Процессор: Intel Xeon 3GHz Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 70 Обработка изображения 8 megapixel Размер ядра: 64 пикселя Процессор: AMD Opteron 2.6GHz, 1MB of cache
  70. 70. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ускорение Mean-shift Выводы  Достоинства  Простота  Скорость  Частично доступны исходники (С++)  Можно улучшить  Недостатки  Нужно подбирать параметры  Не понятны некоторые моменты реализации  Используется только один предыдущий кадр Paris, “Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams”, ECCV, 2008 71
  71. 71. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Анизотропный подход  Обновление Mean-shift  Ускорение Mean-shift  Заключение 72
  72. 72. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Основные идеи:  Взять за основу ускоренный вариант, основанный на поиске максимумов плотности  Подключить ME  Разобраться с параметрами ядра  Попробовать использовать анизотропное ядро  Попробовать подключить пред-сегментацию 73
  73. 73. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. S. Paris, ″Edge-preserving Smoothing and Mean-shift Segmentation of Video Streams″, Processing of the European Conference on Computer Vision (ECCV), 2008. 2. N. Petrovic, LJ. Jovanov, A. Pižurica, W. Philips, ″Efficient Video Segmentation Using Temporally Updated Mean Shift Clustering″, in Proc. SPIE Conf. on Applications of Digital Image Processing XXXI, 2008, Aug 11-14, San Diego, CA, vol. 7073, pp 70731R-1 - 70731R- 10. 3. D. Comaniciu, P. Meer, ″Mean Shift: A Robust Approach Toward Feature Space Analysis″, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 24, Issue 5, May 2002. 4. J. Wang, B. Thiesson, Y. Xu, and M. Cohen, ″Image and Video Segmentation by Anisotropic Kernel Mean Shift″, Computer Vision - ECCV 2004. 74
  74. 74. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищено 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 75

×