Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Обзор алгоритмов трекинга объектов

657 views

Published on

Published in: Education
  • Be the first to comment

Обзор алгоритмов трекинга объектов

  1. 1. Обзор алгоритмов трекинга объектов Дмитрий Акимов Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Predator  Particle Filter  Graph Evolution-Based Tracking  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Постановка задачи трекинга (1) 3C. Yang et. al, “On-Line Kernel-Based Tracking in Joint Feature- Spatial Spaces,” DEMO on IEEE CVPR, 2004 Примеры трекинга объектов
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Постановка задачи трекинга (2)  Дана последовательность кадров { It(x, y) }  Задан объект слежения (может быть несколько)  Требуется:  обнаружить объект на каждом кадре  определить траекторию объекта 4 Антон Конушин, «Слежение за точечными особенностями сцены (Point feature tracking),» Компьютерная графика и мультимедиа, Выпуск №1(5)/2003
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Трекинг Частичная классификация 5 Антон Конушин, «Слежение за точечными особенностями сцены (Point feature tracking),» Компьютерная графика и мультимедиа, Выпуск №1(5)/2003
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Слежение Feature Tracking  6 Антон Конушин, «Слежение за точечными особенностями сцены (Point feature tracking),» Компьютерная графика и мультимедиа, Выпуск №1(5)/2003
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature Tracking Детектор Харриса  Метод основан на поиске областей, похожих на угол  Функция отклика угла для изображения I(x, y):  По предложению Харриса k = 0,4 7 Антон Конушин, «Слежение за точечными особенностями сцены (Point feature tracking),» Компьютерная графика и мультимедиа, Выпуск №1(5)/2003
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature Tracking Метод Lukas-Kanade Сопоставление точки x изображения I в окрестности Ω(x), требуется найти смещение Δx окрестности: 8 Антон Конушин, «Слежение за точечными особенностями сцены (Point feature tracking),» Компьютерная графика и мультимедиа, Выпуск №1(5)/2003
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature Tracking Улучшения LK-метода Улучшения стандартного LK-метода достигаются за счет усложнения функции E:  Tomasi-Kanade – переформулировка задачи в линейных уравнениях (итеративное решение)  Shi-Tomasi-Kanade – учет аффинных преобразований окрестности особой точки  Jin-Favaro-Soatto – учет аффинных преобразований и изменения освещенности 9 Антон Конушин, «Слежение за точечными особенностями сцены (Point feature tracking),» Компьютерная графика и мультимедиа, Выпуск №1(5)/2003
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature Tracking Результаты (1) 10 Available http://www.youtube.com/watch?v=rwIjkECpY0M KLT feature tracker
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature Tracking Результаты (2) 11 Available http://www.youtube.com/watch?v=mwrHlJok2lA SIFT алгоритм (реализация для мобильных устройств)
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Predator  Particle Filter  Graph Evolution-Based Tracking  Заключение 12
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  13
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Первая ассоциация 14 Available http://habrahabr.ru/post/116824/
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Predator Решается задача трекинга одного объекта при следующих условиях:  Работа в реальном времени (on-line, real-time)  Слежение в течение продолжительного времени (long-term)  Отсутствие заранее известной информации об объекте (no prior information; всё, что известно – bounding box объекта на первом кадре) 15Z. Kalal, et. al, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” CVPR, 2010
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Predator Предложенная схема 16Z. Kalal, et. al, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” CVPR, 2010
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Predator Этап детектирования 17Z. Kalal, et. al, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” CVPR, 2010 Концептуальная схема работы этапа детектирования
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Этап детектирования Вычисляемые особенности  Выбираются случайные части окна  Каждая часть кодируется как 2bitBP особенность  Особенности случайно разбиваются на группы  Каждая группа передается на вход классификатору 18Z. Kalal, et. al, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” CVPR, 2010 Вычисление 2bitBP особенности
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Этап детектирования Классификатор  Используется ferned random forest (быстрый, способен к модификации в процессе работы)  Первоначальное обучение происходит на первом кадре  На каждом кадре классификатор модифицируется после получения положительных и отрицательных примеров объекта 19Z. Kalal, et. al, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” CVPR, 2010
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Predator Этап трекинга  Вычисляется движение между исходным положением и каждым новым кандидатом (использован классический LK-метод)  Новым объектом считается ближайший к исходному положению 20Z. Kalal, et. al, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” CVPR, 2010 Распределение векторов движения feature points
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Learning Positive-Negative Constraints На каждом кадре: 1. Находятся кандидаты 2. Определяется траектория 3. Все кандидаты в окрестности траектории считаются положительными примерами 4. Все остальные кандидаты считаются отрицательными 5. На основе P-N constraints модифицируется классификатор 21Z. Kalal, et. al, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” CVPR, 2010 Данные трекера и детектора Модифицированная работа классификатора
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Precision/Recall-aнализ метода: Метод устойчив и минимизирует ошибки (λ2 < 1) P-N Constraints Устойчивость метода 22Z. Kalal, et. al, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” CVPR, 2010 α(k) – false negative β(k) – false positive P+, P– – P-N constraints precision R+, R– – P-N constraints recall Динамика α, β срабатываний в зависимости от собственных значений матрицы M
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Тестовые видеопоследовательности 23Z. Kalal, et. al, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” CVPR, 2010
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Precision/Recall анализ  Элемент списка  Элемент подсписка  Элемент подподсписка  Еще один элемент подподсписка  Элемент списка  Элемент списка 24Z. Kalal, et. al, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” CVPR, 2010
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Слабо текстурированный объект 25Z. Kalal, et. al, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” CVPR, 2010
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Схожие объекты 26Z. Kalal, et. al, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” CVPR, 2010
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Predator Выводы  Достоинства:  Работа в реальном времени  Неограниченная длительность слежения  Отсутствие стадии off-line обучения (не требуется априорная информация об объекте)  Стабильность к перекрытиям  Недостатки:  Слежение только за одним объектом  Требуется ручная инициализация цели 27Z. Kalal, et. al, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” CVPR, 2010
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Predator  Particle Filter  Graph Evolution-Based Tracking  Заключение 28
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Particle Filter  В основе метода – классический подход Particle Filter Tracking  Усложняется критерий взвешивания «испускаемых» частиц  Область применения – on-line трекинг большого числа объектов 29 Available http://www.youtube.com/watch?v=wCMk- pHzScE&context=C4fa52a5ADvjVQa1PpcFPbqnPnnX8IA53VF5LB2K jj-pmUobhxVQI=r Визуализация процесса «испускания» частиц
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Particle Filter Схема алгоритма  Элемент списка  Элемент подсписка  Элемент подподсписка  Еще один элемент подподсписка  Элемент списка  Элемент списка 30M. D. Breitenstein et. al, “Robust Tracking-by-Detection using a Detector Confidence Particle Filter,” IEEE ICCV, 2009
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Particle Filter Детектор объектов Используется стандартный HOG (Histogram of Oriented Gradients) детектор людей 31M. D. Breitenstein et. al, “Robust Tracking-by-Detection using a Detector Confidence Particle Filter,” IEEE ICCV, 2009 Обнаруженные кандидаты Карта доверия (вероятность обнаружения объекта в конкретной точке)
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Детектор объектов Сопоставление объектов Обнаруженные объекты d и объекты слежения tr требуется сопоставить 1. Для каждой пары (tr, d) вычисляется функция соответствия s(tr, d) 2. Жадным алгоритмом для каждого tr выбирается единственное d, пока s(tr, d) не стало меньше допустимого значения 3. Каждое d соответствует единственному tr 32M. D. Breitenstein et. al, “Robust Tracking-by-Detection using a Detector Confidence Particle Filter,” IEEE ICCV, 2009
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сопоставление объектов Функция сопоставления 33M. D. Breitenstein et. al, “Robust Tracking-by-Detection using a Detector Confidence Particle Filter,” IEEE ICCV, 2009 ctr – классификатор объекта tr vtr – скорость объекта tr p – «испускаемая» частица объекта tr pN – функция нормального распределения α, τv – константы dist(d, vtr) – расстояние от d до линии, задаваемое скоростью vtr и проходящей через положение объекта tr
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Трекеры объектов «Испускаемые» частицы (1)  Объект задан положением (x, y), скоростью (u, v) и областью bounding box  «Испускаемая» частица – новое предполагаемое положение объекта: 34M. D. Breitenstein et. al, “Robust Tracking-by-Detection using a Detector Confidence Particle Filter,” IEEE ICCV, 2009 Пример «испускаемых» частиц ε(x, y), ε(u, v) – функции случайного распределения
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Трекеры объектов «Испускаемые» частицы (2) Новое положение объекта tr определяет частица p с наибольшим весом wtr,p 35M. D. Breitenstein et. al, “Robust Tracking-by-Detection using a Detector Confidence Particle Filter,” IEEE ICCV, 2009 d* – ближайший к частице p обнаруженный объект – индикатор сопоставления объектов d* и tr dc(p) – карта доверия детектора β, γ, η – константы
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Particle filter Результаты (1) 36M. D. Breitenstein et. al, “Robust Tracking-by-Detection using a Detector Confidence Particle Filter,” IEEE ICCV, 2009
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Particle filter Результаты (2) 37M. D. Breitenstein et. al, “Robust Tracking-by-Detection using a Detector Confidence Particle Filter,” IEEE ICCV, 2009
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Particle filter Результаты (3) 38M. D. Breitenstein et. al, “Robust Tracking-by-Detection using a Detector Confidence Particle Filter,” IEEE ICCV, 2009
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Particle Filter Выводы  Достоинства:  Работа в реальном времени  Отслеживание большого числа объектов  Недостатки:  Ложные срабатывания детектора  Нестабильность траектории объектов (за счет случайного характера «испускания» частиц) 39M. D. Breitenstein et. al, “Robust Tracking-by-Detection using a Detector Confidence Particle Filter,” IEEE ICCV, 2009
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Predator  Particle Filtering  Graph Evolution-Based Tracking  Заключение 40
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  GE-Based Tracking  Рассматривается задача глобальной оптимизации траекторий нескольких объектов в сцене  Каждая траектория строится из коротких треков (tracklets, треклеты), найденных другим методом трекинга  Требуется найти оптимальное объединение треклетов в траектории объектов 41B. Song et.al, “A Stochastic Graph Evolution Framework for Robust Multi-target Tracking,” ECCV, 2010
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  GE-Based Tracking Схема алгоритма 42B. Song et.al, “A Stochastic Graph Evolution Framework for Robust Multi-target Tracking,” ECCV, 2010
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  GE-Based Tracking Разбиение на треклеты  Полученные от внешнего трекера траектории разбиваются на короткие треклеты  Траектория разрывается:  В точках низкого доверия к обнаруженному объекту  В точках, где область объекта содержит большое количество фона  В областях сближения с другими траекториями 43B. Song et.al, “A Stochastic Graph Evolution Framework for Robust Multi-target Tracking,” ECCV, 2010
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Взвешивание треклетов Конечная точка треклета Вводится функция вероятности qtl(w|x) продолжения треклета из последней точки треклета x в точку w: 44B. Song et.al, “A Stochastic Graph Evolution Framework for Robust Multi-target Tracking,” ECCV, 2010 – функция распределения von Mises с параметрами μθ, к – функция нормального распределения с заданными средним и дисперсией Иллюстрация функций вероятности
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Взвешивание треклетов Начальная точка треклета Для треклета вводится функция вероятности ptl(z), определяющая, является ли z новым началом треклета: dbh – расстояние Бхаттачарии до усредненной модели объекта 45B. Song et.al, “A Stochastic Graph Evolution Framework for Robust Multi-target Tracking,” ECCV, 2010
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Взвешивание треклетов Построение графа треклетов  Финальная весовая функция для конечной точки x одного треклета и начальной точки w другого треклета:  Вычисляется для каждой пары треклетов  Определяет вес ребер в графе сопоставления треклетов 46B. Song et.al, “A Stochastic Graph Evolution Framework for Robust Multi-target Tracking,” ECCV, 2010
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оптимизация графа  Применяется Венгерский алгоритм оптимизации  Инициализация траекторий – набор первых (по времени) треклетов  Результат работы – множество {λq} траекторий (последовательностей найденных объектов eij) 47B. Song et.al, “A Stochastic Graph Evolution Framework for Robust Multi-target Tracking,” ECCV, 2010
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Найденные траектории Оценка оптимальности (1) Для каждой точки eij траектории λq вычисляется 48B. Song et.al, “A Stochastic Graph Evolution Framework for Robust Multi-target Tracking,” ECCV, 2010 ST – дисперсия X (множества всех точек траектории) SW – сумма дисперсий X(1) и X(2) (подразбиений траектории относительно eij) eij
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Найденные траектории Оценка оптимальности (2)  Для всех траекторий λq вычисляется:  Если L(λq) больше заданного числа, то:  У точек с высоким TAC случайным образом изменяется вес в графе треклетов  Оптимизационная задача пересчитывается 49B. Song et.al, “A Stochastic Graph Evolution Framework for Robust Multi-target Tracking,” ECCV, 2010
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  GE-Based Tracking Результаты 50B. Song et.al, “A Stochastic Graph Evolution Framework for Robust Multi-target Tracking,” ECCV, 2010
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  GE-Based Tracking Выводы  Достоинства:  Необычный подход  Высокое качество трекинга  Недостатки:  Обработка всей последовательности целиком (не real-time метод)  Неизвестное время работы (вероятно, большое) 51B. Song et.al, “A Stochastic Graph Evolution Framework for Robust Multi-target Tracking,” ECCV, 2010
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Predator  Particle Filtering  Graph Evolution-Based Tracking  Заключение 52
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Текущая задача (1) 53 Дана видеопоследовательность с большим количеством движущихся частиц
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Текущая задача (2) 54 Требуется сформировать стабильную во времени маску объектов переднего плана
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Решенные этапы Стабильная маска кандидатов 55 Присутствует большое количество ложных срабатываний
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Решенные этапы Пороговая фильтрация по признакам 56 Объекты, чьи признаки находятся на границе порога, становятся нестабильны во времени
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Текущая задача Предполагаемый алгоритм 1. Инициализация объектов на первом кадре 2. Вычисление движения в сцене  Motion Estimation  Feature Tracking  Particle Filtering 3. Сопоставление объектов по признакам 4. Ограничения на появление новых объектов 57
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. C. Yang, R. Duraiswami, A. Elgammal, and L. Davis, “On-Line Kernel- Based Tracking in Joint Feature-Spatial Spaces,” DEMO on IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. 2. Антон Конушин. Слежение за точечными особенностями сцены (Point feature tracking). Компьютерная графика и мультимедиа. Выпуск №1(5)/2003. Available http://cgm.computergraphics.ru/content/view/54 3. Z. Kalal, J. Matas, and K. Mikolajczyk, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” Conference on Computer Vision and Pattern Recognition, 2010. 4. Z. Kalal, K. Mikolajczyk, and J. Matas, “Forward-Backward Error: Automatic Detection of Tracking Failures,” International Conference on Pattern Recognition, 2010, pp. 23-26. 58
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 5. Z. Kalal, J. Matas, and K. Mikolajczyk, “Online learning of robust object detectors during unstable tracking,” On-line Learning for Computer Vision Workshop, 2009. 6. M. D. Breitenstein, F. Reichlin, B. Leibe, E. K. Meier, and L. V. Gool, “Robust Tracking-by-Detection using a Detector Confidence Particle Filter,” IEEE International Conference on Computer Vision (ICCV'09), Kyoto, JP, 2009. 7. B. Song, T. Jeng, E. Staudt, and A.K.R. Chowdhury, “A Stochastic Graph Evolution Framework for Robust Multi-target Tracking,” in Proceedings European Conference on Computer Vision, 2010, pp. 605-619. 59
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищены 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 60

×