Лекция 07 Обработка видео

5,126 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
5,126
On SlideShare
0
From Embeds
0
Number of Embeds
2,086
Actions
Shares
0
Downloads
45
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Лекция 07 Обработка видео

  1. 1. Анализ последовательностейСайт курса:http://cvbeginner.blogspot.com/ 1
  2. 2. Из прошлой лекции…• Локальные особенности• Дескрипторы• Скользящее окно• Градиенты 2
  3. 3. Трассировка 3
  4. 4. План лекции• Технические моменты• Модель фона• Адаптивная модель фона• Сопровождение• Mean Shift• Оптический поток (Lucas-Canade)• Predator 4
  5. 5. Работа с видео OpenCVcv::VideoCapture cap;//Открыть файлcap.open(‘filename’);cv::Mat img;//Загрузить в память изображениеcap >> img; 5
  6. 6. Работа с видео Matlab//Открыть файл и получить указательhReader = mmreader(‘filename);//Кол-во кадров в файлеnumFrames = get(hReader, numberOfFrames);//Прочитать i-ый кадрx = read(hReader,i);ВАЖНО: Необходимо чтобы былиустановлены нужные кодеки. Естьбесплатные наборы кодеков напримерK-Lite codec pack. 6
  7. 7. Задача• Наблюдение за объектом• Захват объекта с помощью ограничевающего прямоугольника или с помощью попиксельной маске• Трассировка. Вход первое положение объекта, выход - положение объекта в других кадрах 7
  8. 8. Система наблюдения1. Неподвижная камера2. Постоянный фон 8
  9. 9. Простой алгоритм трассировки• Вычитание фона: – Взяли снимок без объектов, только фон – Из снимка с объектом вычитаем фон – Строим передний план – Считаем параметры связанных компонент – Фильтрация медианная или морфологическая 9
  10. 10. Пример животные• Идеальные лабораторные условия 10
  11. 11. Пример эритроциты• Движущийся фон• Множество объектов 11
  12. 12. Реальные условия• Фон существенно меняется Slide credit: Антон Конушин 12
  13. 13. Изменения яркости• У каждого пикселя индивидуальная функция яркости от времени• Строим модель фона• Если пиксель пришедший не удовлеторяет модели фона, значит он относится к переднему плану v t 13
  14. 14. Блок схема алгоритма Начальное приближение фона Межкадровая разница Выделение объектов Обновление модели фона 14
  15. 15. Среднее изображение фон 15
  16. 16. Медианная модель фона 16
  17. 17. Как построить медиану для 1000 кадров? 17
  18. 18. Медианная фильтрация или среднее 18
  19. 19. Обновление фона 19
  20. 20. Модуль шума в точке изображения• В точке шум в яркосте можно описать с помощью нормального распределения (среднего значения и дисперсии)• Тогда вероятность что пиксель принадлежит фону будет равна: 20
  21. 21. Модель фона как смесь гауссиановBackgroundSubtractorMOGP. KadewTraKuPong and R. Bowden, An improved adaptive background mixture model for real-time tracking with shadow detection, Proc. 2nd European Workshp on Advanced Video-Based Surveillance Systems, 2001 21
  22. 22. Трассировка множества объектов 22
  23. 23. Сопровождение объектов 23
  24. 24. Сопровождение объектов• Выделили «объекты интереса» на каждом кадре с помощью вычитания фона в виде набора блобов• Какому объекту (следу) какой блоб соответствует?• Фактически – задача сопоставления или ассоциации данных (Data association)• «Tracking by detection»• Можем каждый объект описать набором признаков 24
  25. 25. Простейшая стратегия Slide credit: Антон Конушин 25
  26. 26. Ограничения Slide credit: Антон Конушин 26
  27. 27. Трассировка через обнаружения Начальное приближение фона Межкадровая разница Обновление модели Выделение объектов фона Ассоциация объектов Инициализация новых в треки треков 27
  28. 28. Что делать если фон изменяется? 28
  29. 29. Перерыв• Вопрос? 29
  30. 30. Функции правдоподобия• Функции дающие ответ на вопрос на сколько вероятно что точка принадлежит объекту 30
  31. 31. Прямое сопоставление (корреляция) 31
  32. 32. Обратная проекция гистограммы 32
  33. 33. Трассировка смещением среднего 33
  34. 34. Трассировка смещением среднегоВероятность признака в модели Вероятность признака в изображении 34
  35. 35. Расстояние между нормированными векторами 35
  36. 36. Переход к непрерывной моделиПрогнозированная плотность Реальные измерения 36
  37. 37. Интересующий регион Центр масс Смещение
  38. 38. Интересующий регион Центр масс Смещение
  39. 39. Интересующий регион Центр масс Смещение
  40. 40. Интересующий регион Центр масс Смещение
  41. 41. Интересующий регион Центр масс Смещение
  42. 42. Интересующий регион Центр масс Смещение
  43. 43. Интересующий регион Центр масс
  44. 44. Трассировка смещением среднего 44
  45. 45. Реализация в OpenCV• int meanShift(InputArray probImage, Rect& window, TermCriteria criteria)• probImage – изображение правдоподобия• Window – выходное окно описывающее объект• Criteria – критерий остановки 45
  46. 46. Пример• http://www.youtube.com/watch?v=v GDy20VxwAA&feature=related 46
  47. 47. Выбор признаковCOLLINS, R. AND LIU, Y.. On-line selection of discriminative tracking features. ICCV 2003 47
  48. 48. Выбор признаков Slide credit: Антон Конушин 48
  49. 49. 49
  50. 50. Predator (совмещение обучения с трассировкой) • http://www.youtube.com/user/ekalic2Zdenek Kalal et al. Forward-Backward Error: Automatic Detection of Tracking Failures, ICPR 2010 50
  51. 51. Итог по трассировке• Что лучше обнаружение и сопоставление или трассировка? 51
  52. 52. Оптический поток• Векторное поле движения пикселей между кадрами• Задача - аналог задачи сопоставления изображений (dense matching)• Один из базовых инструментов анализа изображений Slide credit: Антон Конушин 52
  53. 53. ЗадачаКак оценить движение пикселей от H в изображение I?Пусть дан пиксель H, наити близкие пиксели того же цвета в I•Константный цвет: точка в H выглядит также, как и в I– Для изображения в градациях серого, это постоянная яркость•Малое движение: точки не уезжают далеко между кадрами Slide credit: Антон Конушин 53
  54. 54. Уравнение оптического потока Сколько неизвестных и уравнений для каждого пикселя? Slide credit: Антон Конушин 54
  55. 55. Дополнительные ограничения• Как можно получить больше уравнений? – Пусть оптический поток меняется плавно – Пусть для всех пикселей p из окрестности (x,y) смещение (u,v) постоянно• В чем теперь проблема? 55
  56. 56. Алгоритм Лукаса-Канаде Slide credit: Антон Конушин 56
  57. 57. Условия на разрешимость Slide credit: Антон Конушин 57
  58. 58. 58
  59. 59. Контрастная область Slide credit: Антон Конушин 59
  60. 60. Реализация• GoodFeatureToTrack – Выбор особых точек (фактически, Harris)• cvCalcOpticalFlowPyrLK – Иерархическое расширение метода Lucas-Kanade для оптического потока 60
  61. 61. Оценка движения 61
  62. 62. Решение задачи Structure from motion 62
  63. 63. Вопросы 63

×