Your SlideShare is downloading. ×
Лекция 07 Обработка видео
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Лекция 07 Обработка видео

4,337
views

Published on

Published in: Technology

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
4,337
On Slideshare
0
From Embeds
0
Number of Embeds
8
Actions
Shares
0
Downloads
36
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Анализ последовательностейСайт курса:http://cvbeginner.blogspot.com/ 1
  • 2. Из прошлой лекции…• Локальные особенности• Дескрипторы• Скользящее окно• Градиенты 2
  • 3. Трассировка 3
  • 4. План лекции• Технические моменты• Модель фона• Адаптивная модель фона• Сопровождение• Mean Shift• Оптический поток (Lucas-Canade)• Predator 4
  • 5. Работа с видео OpenCVcv::VideoCapture cap;//Открыть файлcap.open(‘filename’);cv::Mat img;//Загрузить в память изображениеcap >> img; 5
  • 6. Работа с видео Matlab//Открыть файл и получить указательhReader = mmreader(‘filename);//Кол-во кадров в файлеnumFrames = get(hReader, numberOfFrames);//Прочитать i-ый кадрx = read(hReader,i);ВАЖНО: Необходимо чтобы былиустановлены нужные кодеки. Естьбесплатные наборы кодеков напримерK-Lite codec pack. 6
  • 7. Задача• Наблюдение за объектом• Захват объекта с помощью ограничевающего прямоугольника или с помощью попиксельной маске• Трассировка. Вход первое положение объекта, выход - положение объекта в других кадрах 7
  • 8. Система наблюдения1. Неподвижная камера2. Постоянный фон 8
  • 9. Простой алгоритм трассировки• Вычитание фона: – Взяли снимок без объектов, только фон – Из снимка с объектом вычитаем фон – Строим передний план – Считаем параметры связанных компонент – Фильтрация медианная или морфологическая 9
  • 10. Пример животные• Идеальные лабораторные условия 10
  • 11. Пример эритроциты• Движущийся фон• Множество объектов 11
  • 12. Реальные условия• Фон существенно меняется Slide credit: Антон Конушин 12
  • 13. Изменения яркости• У каждого пикселя индивидуальная функция яркости от времени• Строим модель фона• Если пиксель пришедший не удовлеторяет модели фона, значит он относится к переднему плану v t 13
  • 14. Блок схема алгоритма Начальное приближение фона Межкадровая разница Выделение объектов Обновление модели фона 14
  • 15. Среднее изображение фон 15
  • 16. Медианная модель фона 16
  • 17. Как построить медиану для 1000 кадров? 17
  • 18. Медианная фильтрация или среднее 18
  • 19. Обновление фона 19
  • 20. Модуль шума в точке изображения• В точке шум в яркосте можно описать с помощью нормального распределения (среднего значения и дисперсии)• Тогда вероятность что пиксель принадлежит фону будет равна: 20
  • 21. Модель фона как смесь гауссиановBackgroundSubtractorMOGP. KadewTraKuPong and R. Bowden, An improved adaptive background mixture model for real-time tracking with shadow detection, Proc. 2nd European Workshp on Advanced Video-Based Surveillance Systems, 2001 21
  • 22. Трассировка множества объектов 22
  • 23. Сопровождение объектов 23
  • 24. Сопровождение объектов• Выделили «объекты интереса» на каждом кадре с помощью вычитания фона в виде набора блобов• Какому объекту (следу) какой блоб соответствует?• Фактически – задача сопоставления или ассоциации данных (Data association)• «Tracking by detection»• Можем каждый объект описать набором признаков 24
  • 25. Простейшая стратегия Slide credit: Антон Конушин 25
  • 26. Ограничения Slide credit: Антон Конушин 26
  • 27. Трассировка через обнаружения Начальное приближение фона Межкадровая разница Обновление модели Выделение объектов фона Ассоциация объектов Инициализация новых в треки треков 27
  • 28. Что делать если фон изменяется? 28
  • 29. Перерыв• Вопрос? 29
  • 30. Функции правдоподобия• Функции дающие ответ на вопрос на сколько вероятно что точка принадлежит объекту 30
  • 31. Прямое сопоставление (корреляция) 31
  • 32. Обратная проекция гистограммы 32
  • 33. Трассировка смещением среднего 33
  • 34. Трассировка смещением среднегоВероятность признака в модели Вероятность признака в изображении 34
  • 35. Расстояние между нормированными векторами 35
  • 36. Переход к непрерывной моделиПрогнозированная плотность Реальные измерения 36
  • 37. Интересующий регион Центр масс Смещение
  • 38. Интересующий регион Центр масс Смещение
  • 39. Интересующий регион Центр масс Смещение
  • 40. Интересующий регион Центр масс Смещение
  • 41. Интересующий регион Центр масс Смещение
  • 42. Интересующий регион Центр масс Смещение
  • 43. Интересующий регион Центр масс
  • 44. Трассировка смещением среднего 44
  • 45. Реализация в OpenCV• int meanShift(InputArray probImage, Rect& window, TermCriteria criteria)• probImage – изображение правдоподобия• Window – выходное окно описывающее объект• Criteria – критерий остановки 45
  • 46. Пример• http://www.youtube.com/watch?v=v GDy20VxwAA&feature=related 46
  • 47. Выбор признаковCOLLINS, R. AND LIU, Y.. On-line selection of discriminative tracking features. ICCV 2003 47
  • 48. Выбор признаков Slide credit: Антон Конушин 48
  • 49. 49
  • 50. Predator (совмещение обучения с трассировкой) • http://www.youtube.com/user/ekalic2Zdenek Kalal et al. Forward-Backward Error: Automatic Detection of Tracking Failures, ICPR 2010 50
  • 51. Итог по трассировке• Что лучше обнаружение и сопоставление или трассировка? 51
  • 52. Оптический поток• Векторное поле движения пикселей между кадрами• Задача - аналог задачи сопоставления изображений (dense matching)• Один из базовых инструментов анализа изображений Slide credit: Антон Конушин 52
  • 53. ЗадачаКак оценить движение пикселей от H в изображение I?Пусть дан пиксель H, наити близкие пиксели того же цвета в I•Константный цвет: точка в H выглядит также, как и в I– Для изображения в градациях серого, это постоянная яркость•Малое движение: точки не уезжают далеко между кадрами Slide credit: Антон Конушин 53
  • 54. Уравнение оптического потока Сколько неизвестных и уравнений для каждого пикселя? Slide credit: Антон Конушин 54
  • 55. Дополнительные ограничения• Как можно получить больше уравнений? – Пусть оптический поток меняется плавно – Пусть для всех пикселей p из окрестности (x,y) смещение (u,v) постоянно• В чем теперь проблема? 55
  • 56. Алгоритм Лукаса-Канаде Slide credit: Антон Конушин 56
  • 57. Условия на разрешимость Slide credit: Антон Конушин 57
  • 58. 58
  • 59. Контрастная область Slide credit: Антон Конушин 59
  • 60. Реализация• GoodFeatureToTrack – Выбор особых точек (фактически, Harris)• cvCalcOpticalFlowPyrLK – Иерархическое расширение метода Lucas-Kanade для оптического потока 60
  • 61. Оценка движения 61
  • 62. Решение задачи Structure from motion 62
  • 63. Вопросы 63

×