Fast pedestrian detection
Upcoming SlideShare
Loading in...5
×
 

Fast pedestrian detection

on

  • 1,657 views

 

Statistics

Views

Total Views
1,657
Views on SlideShare
897
Embed Views
760

Actions

Likes
0
Downloads
4
Comments
0

4 Embeds 760

http://graphics.cs.msu.ru 735
http://graphics.cs.msu.su 21
http://graphics2.cs.msu.ru 3
http://xn--80aai8awzy.xn--p1ai 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Fast pedestrian detection Fast pedestrian detection Presentation Transcript

  • Быстрый поиск объектов на дороге Влад Шахуро Computer Vision Group CMC MSU Graphics & Media Lab
  • Текущие результатыНаиболее многообещающими методами поиска заданных объектовна сегодняшний день являются подходы, использующиескользящее окно. Подходы, основанные на сегментации ивыделении ключевых точек, показывают неудовлетворительнуюточность на изображениях низкого и среднего разрешений.Подавляющее большинство методов, предложенных за последние10 лет, использует в качестве низкоуровневого признака,извлекаемого из изображения, гистограммы ориентированныхградиентов (HOG).Для классификации в основном используются AdaBoost иливариации SVM. 3
  • Текущие результаты (сравнение методов)Dollár et al., Pedestrian Detection: An Evaluation of the State of the Art 4
  • Проблема: поиск объектов должен быть инвариантен к масштабу Пирамида изображений Viola and Jones, пирамида классификаторовDollár et al., The Fastest Pedestrian Detector in the West 5
  • The Fastest Pedestrian Detector in the West (FPDW)Dollár et al., The Fastest Pedestrian Detector in the West 6
  • The Fastest Pedestrian Detector in the West (FPDW) (продолжение) Дано: гистограмма градиентов для окна. Идея: аппроксимировать гистограмму градиентов для этого же увеличенного или уменьшенного окна. – дискретный сигнал (изображение) – величина градиента – угол направления градиента – ячейка гистограммы, соответствующая углуDollár et al., The Fastest Pedestrian Detector in the West 7
  • The Fastest Pedestrian Detector in the West (FPDW) (продолжение) В случае увеличения изображения количество информации, содержащейся в нём, не меняется. Предположим, что сигнал непрерывный. Тогда, обозначая через «растянутый» в раз сигнал, получим Будем предполагать, что зависимости частных производных и инвариантность угла градиента переносятся на дискретный сигнал, тогда , т.е. при увеличении изображения в раз значения ячеек гистограммы меняются соответственно.Dollár et al., The Fastest Pedestrian Detector in the West 8
  • The Fastest Pedestrian Detector in the West (FPDW) (продолжение) В случае уменьшения изображения теряется информация, поэтому изменение гистограммы не получается аппроксимировать линейной функцией. В natural image statistics есть следующее утверждение: если некоторая статистика (например, гистограмма градиентов) представляется в виде – весовые коэффициенты , где – инвариантная к сдвигу функция, возвращающая преобразованное изображение того же размера, тогда Можно показать, что . Кроме того, если непрерывная и не равна нулю ни в одной точке, то она представляется в виде определяется эмпирически для каждой . Таким, образомDollár et al., The Fastest Pedestrian Detector in the West 9
  • Проблема: перебор всех возможных оконВозможные решения:1. Обучение каскада, отсекающего неперспективные окнапри очень малом отклике.2. Использование априорных знаний для сокращенияпространства, на котором ведётся поиск.В конкретном случае поиска препятствий на дороге(пешеходов, машин, зданий) эту проблему можноэффективно решить с помощью стереопары, полученной сдвух камер. 10
  • Постановка задачиИмеем: два видеопотока (левый и правый), получаемые с двух горизонтальных камер (откалиброванных и ректифицированных), установленных на машинеХотим: построить модель, хорошо описывающую свободное пространство и преграды перед машиной 11
  • Требования к модели– компактность модель должна требовать меньшее количество памяти по сравнению с картой диспаритетов– полнота должна учитываться важная для обнаружения объектов информация– стабильность малое изменение данных не должно вызывать сильных изменений модели– робастность устойчивость к шуму и выбросамBadino et al., The Stixel World – A Compact Medium Level Representation of the 3D-World. 12
  • СтикселиСтиксели – множествопрямоугольных брусков.Каждый стиксель стоитвертикально на земле,имеет определённуювысоту, ограничиваетсвободное пространствои приближает границыобъекта.Badino et al., The Stixel World – A Compact Medium Level Representation of the 3D-World. 13
  • Алгоритм построения стикселей1. Строим карту диспаритетов2. По карте диспаритетов находим свободное пространство на кадре3. Для каждой точки границы свободного пространства ищем высоту стикселя, который стоит на этой точке 14
  • Строим карту диспаритетовBadino et al., The Stixel World – A Compact Medium Level Representation of the 3D-World. 15
  • Поиск свободного пространства на кадре Polar occupancy grid Polar occupancy grid with Cartesian occupancy grid background subtraction with calculated free spaceBadino et al., The Stixel World – A Compact Medium Level Representation of the 3D-World. 16
  • Оценка высоты стикселейБудем искать высоту путём оптимального разбиения надиспаритеты фона и переднего плана.Зададим функцию , сравнивающую диспаритет в даннойточке и ожидаемый диспаритет стикселя,взятый из его нижней точки.Если пиксель точно принадлежит данному стикселю,функция возвращает , если не принадлежит – .Конкретный вид функции не так сильно важен, скольважно то, чтобы она была непрерывной. 17Badino et al., The Stixel World – A Compact Medium Level Representation of the 3D-World.
  • Оценка высоты стикселей (продолжение)Для поиска оптимального разбиения построим граф, вершины которогосоответствуют пикселям кадра (им припишем стоимость ), а ребрасоответствуют переходам между пикселями (им припишем вес ), где– стоимость нахождения в точке– стоимость перехода из точки в точку . – номер строки, в которой находится основание стикселя – стоимость прыжка по вертикали, – глубины соответствующих пикселей, – максимальная разница глубины (нужна для того, чтобыучитывать разрывы глубины). 18 Benenson et al., Fast stixel computation without disparity
  • Свободное пространство для каждого пикселя для каждого пикселя Оценка высот стикселей 19Badino et al., The Stixel World – A Compact Medium Level Representation of the 3D-World.
  • Алгоритм построения стикселей1. Строим карту диспаритетов – bottleneck2. По карте диспаритетов находим свободное пространство на кадре3. Для каждой точки границы свободного пространства ищем высоту стикселя, который стоит на этой точке 20
  • Matching cost volumeБудем использовать вместо карты диспаритетовmatching cost volume – матрицу, подсчитываемуюна первом шаге любого алгоритма построениякарты глубины. – трёхмерная матрица, в ячейкекоторой записана стоимость совмещения пикселя левого кадра с пикселем правого кадра сучётом диспаритета (в качестве метрики можетиспользоваться, например, absolute distance).Построение matching cost volume – простая, легкораспараллеливаемая операция. 21Benenson et al., Fast stixel computation without disparity
  • V-disparity map Disparity map V-disparity mapLabayrade et al., Real time obstacle detection on non flat road geometry through ’v-disparity’ representation. 22
  • Оценка диспаритета дорогиПросуммируем по оси , получим грубоеприближение v-disparity map.С помощью робастного алгоритма(например, преобразование Хафа) впишемпрямую или ломаную, аппроксимирующуюпрофиль дороги.Получим функцию , задающуюдиспаритет дороги для каждой строкиизображения. 23Benenson et al., Fast stixel computation without disparity
  • Оценка диспаритетов стикселейДля поиска диспаритетов стикселей решим следующую задачуминимизациигдеИспользуя , мы можем находить строку поверхностидороги по заданной глубине.С помощью знания о калибровке камеры и оценки поверхности дорогимы можем также оценить строку, соответствующую точке надповерхностью земли . Для оценки диспаритета стикселей мыбудем предполагать, что нам известна максимальная высота объектов. 24 Benenson et al., Fast stixel computation without disparity
  • Оценка диспаритетов стикселей (продолжение)Не все пиксели правого изображения видны в левом изображении.Некоторые объекты в одном изображении перекрыты другимиобъектами во втором изображении.Так как стиксели извлекаются на основе информации из двухизображений, возможна ситуация, когда они соответствуютперекрывающимся областям. Чтобы учесть это, построим функцию,предотвращающую прыжки из видимого стикселя в невидимыйстиксель.Решив задачу оптимизации, с помощью и можем найтифункцию , задающую границу свободного пространства. 25 Benenson et al., Fast stixel computation without disparity
  • Оценка диспаритета стикселей с помощьюmatching cost volume даёт очень хорошееускорение, однако эту задачу можнопереформулировать, введя параметризацию,и получить дополнительное ускорение. 26
  • Оценка диспаритетов стикселей (продолжение)Разделим изображение на группы строк, внутри каждой группы строкдля каждого столбца изображения выберем пиксель с максимальнымгоризонтальным градиентом. Так мы увеличим шансы найти точнограницу объекта. – группы строк – строка пикселя с максимальным горизонтальным градиентом,находящаяся в стикселе – диспаритет дорогиПоскольку искать пиксель для каждого столбца избыточно, будем искатьпиксель в одном из столбцов. При этом стиксель будетрасположен в столбцеВарьируя ширину стикселя и количество строк в группе, мы можемконтролировать количество данных, извлекаемых из изображения. 27 Benenson et al., Fast stixel computation for fast pedestrian detection
  • Оценка диспаритетов стикселей (продолжение)С учётом новой параметризации переформулируем задачу поискаоптимальных диспаритетов стикселейгдеАналогично решив задачу, сможем найти границу свободногопространства. 28 Benenson et al., Fast stixel computation for fast pedestrian detection
  • Сравнение точности обнаружения стикселей с помощью ячеек различного размера 29Benenson et al., Fast stixel computation for fast pedestrian detection
  • Оценка высоты стикселейДля поиска высоты стикселей нужно задать функцию ,сравнивающую значение диспаритета в данной точке с ожидаемымдиспаритетом . Поскольку вместо карты диспаритетов используетсяmatching cost volume, необходимо оценить, наскольконапоминает локальный минимум. – значение cost volume после медианной фильтрации – окрестность точки – нормировочная константа 30 Benenson et al., Fast stixel computation without disparity
  • Ускорение поиска пешеходовBenenson et al., Pedestrian detection at 100 frames per second 31
  • Резюме лекции– Близкие по разрешению модели можноаппроксимировать– Грамотно использованные априорные знанияпомогают ограничивать область интереса и решатьзадачи со скоростью, достаточной для real-time– Довольно часто извлеченная из изображенияинформация избыточна и её можно «прореживать»без потери качества распознавания и с хорошимприростом в скорости 32