Downloaded 44 times
![Линейная SVM (реализация)
// Set up training data
float labels[4] = {1.0, -1.0, -1.0, -1.0};
Mat labelsMat(3, 1, CV_32FC1, labels);
float trainingData[4][2] = { {501, 10}, {255, 10}, {501, 255}, {10, 501} };
Mat trainingDataMat(3, 2, CV_32FC1, trainingData);
// Set up SVM's parameters
CvSVMParams params; params.svm_type = CvSVM::C_SVC;
params.kernel_type = CvSVM::LINEAR;
params.term_crit = cvTermCriteria(CV_TERMCRIT_ITER, 100, 1e-6);
// Train the SVM
CvSVM SVM;
SVM.train(trainingDataMat, labelsMat, Mat(), Mat(), params);
float response = SVM.predict(sampleMat);
Вопрос: как должна выглядеть sampleMat?
24](https://image.slidesharecdn.com/l06detection-111031000517-phpapp02/85/L06-detection-24-320.jpg)
![Далал-Тригс vs. Виола-Джонс
• Для лиц Виола-Джонс работает почти идеально
• Для пешеходов Далал-Тригс аккуратнее (но медленнее)
• [Dollar et al. BMVC’09]: Виола-Джонс на правильных
каналах не хуже Далала-Тригса
Slide credit: Виктор Лемпицкий
55](https://image.slidesharecdn.com/l06detection-111031000517-phpapp02/85/L06-detection-55-320.jpg)
![Что осталось «за бортом»
• Локализация объектов и Хаф-леса
[Juergen Gall & Victor Lempitsky,
Class-Specific Hough Forests for
Object Detection, CVPR 2009]
• Неявная модель формы [Leibe,
Leonardis & Schiele IJCV’08]
• Обобщенное преобразование Хафа
57](https://image.slidesharecdn.com/l06detection-111031000517-phpapp02/85/L06-detection-57-320.jpg)
Uploaded byVictor Kulikov
L06 detection
Документ охватывает методы обнаружения объектов, включая подходы, такие как RANSAC и алгоритм Виолы-Джонса. Основное внимание уделяется описанию ключевых понятий, таких как локальные особенности, дескрипторы, и использование SVM для классификации изображений. Также рассматриваются высокоуровневые идеи, такие как построение мешков слов и применение методов машинного обучения для поиска объектов на изображениях.
L06 detection
- 1.
- 2. Из прошлой лекции… •Локальные особенности • Дескрипторы • Гистограмма градиентов • Инвариантность 2
- 3. Задача: найти положениеобъекта по описанию Slide credit: Виктор Лемпицкий 3
- 4. Поиск пешеходов Slide credit: Виктор Лемпицкий 4
- 5.
- 6. Схожие задачи • Нахождение конкретных объектов • Семантическая сегментация • Оценка конфигурации Sadeghi и др. CVPR 2011 6
- 7. План лекции • Сопоставлениепо особенностям гомография и RANSAC • SVM • Мешки слов, распознавание объекта • Метод Виола-Джонс, Бустинг • Метод Далала-Тригса 7
- 8. План лекции • Общиеидеи и принципы • Минимум математики • Пропущено очень много интересных и важных направлений 8
- 9.
- 10. Проблема • Много выбросов •Точек не соответствующих модели 10
- 11. RANSAC 11
- 12. RANSAC На вход алгоритмапоступает: • набор исходных данных X • функция M, позволяющая вычислить параметры θ модели P по набору данных из n точек • функция оценки E соответствия точек полученной модели • порог t для функции оценки • Количество итерация k 12
- 13. RANSAC • Первый этап— выбор точек и подсчѐт модели. – Из множества исходных точек X случайным образом выбираются n различных точек. – На основе выбранных точек вычисляются параметры θ модели P с помощью функции M, построенную модель принято называть гипотезой. • Второй этап — проверка гипотезы. – Для каждой точки проверяется еѐ соответствие данной гипотезе с помощью функции оценки E и порога t – Каждая точка помечается инлаером или выбросом – После проверки всех точек, проверяется, является ли гипотеза лучшей на данный момент, и если является, то она замещает предыдущую лучшую гипотезу. • В конце работы цикла оставляется последняя лучшая гипотеза. 13
- 14. Пример 14
- 15. Параметры RANSAC Размер выборкиs • Обычно, минимальное количество, достаточное для оценки параметров Порог T • Выбираем T так, чтобы вероятность инлаера (inlier) была p (пр. 0.95) • Обычно гауссова модель шума с нулевым матожиданием и σ: t2=3.84σ2 Количество выборок N • Выбираем N так, чтобы вероятность выбрать хотя бы одну выборку без выбросов была не ниже заданной (например,0.99) • Зависит от доли выбросов в данных (доля выбросов: e) 15
- 16. Гомография • Перспективноепреобразование плоскости • Переводит четырехугольник в другой произвольный четырехугольник 16
- 17. Гомография 17
- 18. Гомография Вопрос: сколько точекнадо чтобы оценить гомографию? 18
- 19. RANSAC + модельгомографии Mat H = cv::findHomography( obj, scene, CV_RANSAC ); 19
- 20.
- 21. Машинное обучение • Имеетсяучасток изображения • Мы хотим ответить на вопрос есть ли там объект или нет 21
- 22.
- 23. Линейная SVM 23
- 24. Линейная SVM (реализация) //Set up training data float labels[4] = {1.0, -1.0, -1.0, -1.0}; Mat labelsMat(3, 1, CV_32FC1, labels); float trainingData[4][2] = { {501, 10}, {255, 10}, {501, 255}, {10, 501} }; Mat trainingDataMat(3, 2, CV_32FC1, trainingData); // Set up SVM's parameters CvSVMParams params; params.svm_type = CvSVM::C_SVC; params.kernel_type = CvSVM::LINEAR; params.term_crit = cvTermCriteria(CV_TERMCRIT_ITER, 100, 1e-6); // Train the SVM CvSVM SVM; SVM.train(trainingDataMat, labelsMat, Mat(), Mat(), params); float response = SVM.predict(sampleMat); Вопрос: как должна выглядеть sampleMat? 24
- 25. Линейно не разделимыеданные Cortes&Vapnik, ML’93 25
- 26. Линейно не разделимыеданные 26
- 27. Линейно не разделимыеданные 27
- 28.
- 29. Визуальные слова (VisualWords) • Что в нашем случае «слово» и «словарь»? • «Визуальное слово» – часто повторяющийся фрагмент изображения («visual word») • В изображении визуальное слово может встречаться только один раз, может ни разу, может много раз Slide credit: Антон Конушин 29
- 30. Словарь • Словарь –набор фрагментов, часто повторяющихся в коллекции изображений 30
- 31.
- 32.
- 33. Мешок слов (Bagof words) 33
- 34. «Скормив» мешок словSVM на какой вопрос мы смоем ответить? Slide credit: Виктор Лемпицкий 34
- 35.
- 36.
- 37. Детектор Viola-Jones • P.Viola and M. Jones. Robust real-time face detection. IJCV 57(2), 2004 Основополагающий метод для поиска объектов на изображении в реальном времени Обучение очень медленное, но поиск очень быстр Основные идеи: • Интегральные изображения для быстрого вычисления признаков • Бустинг для выбора признаков • Каскад (Attentional cascade) для быстрой отбраковки окон без лица 37
- 38. Изображение представляется комбинаторнымчислом бинарных признаков Value =Σ (pixels in white area) –Σ (pixels in black area) 38
- 39. Пример Slide credit: Антон Конушин 39
- 40. Интегральные изображения • Какбыстро считать прямоугольные суммы? Slide credit: Антон Конушин 40
- 41. Выбор признаков • Дляокна поиска 24x24 пиксела, число возможных прямоугольных признаков достигает ~160,000! • Хороший классификатор должен использовать лишь маленькое подмножество всевозможных признаков Slide credit: Антон Конушин 41
- 42. Бустинг • Y. Freund and R. Schapire, A short introduction to boosting, Journal of Japanese Society for Artificial Intelligence, 14(5):771-780, September, 1999. • Бустинг – схема классификации, основанная на комбинировании слабых классификаторов в более точный комитетный Слабый классификатор должен быть лучше монетки • Обучение состоит из нескольких этапов усиления • На каждом этапе выбираем слабый классификатор, который лучше всех сработал на примерах, оказавшихся трудными для предыдущих классификаторов • «Трудность» записывается с помощью весов, приписанных примерам из обучающей выборки • Составляем общий классификатор как линейную комбинацию слабых классификаторов 42
- 43. AdaBoost Начальные условия Строим линейныйклассификатор минимизирующий ошибку Обновляем веса у всех образцов, таким образом, чтобы у Правильно классифицированных веса уменьшались, у неправильно Классифицированных увеличивались Демо по презентации 43
- 44. Бустинг для поискалиц Slide credit: Антон Конушин 44
- 45. Каскадное представление Slide credit: Виктор Лемпицкий 45
- 46. Каскадное представление Slide credit: Виктор Лемпицкий 46
- 47. Тренировочная выборка 5000 лиц •Все фронтальные, уменьшенные до 24x24 пикселей • Все нормированы 300М отрицательных примеров • 9500 изображений без лиц • Большая изменчивость • Разные люди • Освещение • Поза лица Slide credit: Антон Конушин 47
- 48. Реализация CascadeClassifier face_cascade; face_cascade.load(―haarcascade_frontalface_alt.xml‖); cvtColor( frame,frame_gray, CV_BGR2GRAY ); equalizeHist( frame_gray, frame_gray ); face_cascade.detectMultiScale( frame_gray, faces, 1.1, 2, 0|CV_HAAR_SCALE_IMAGE, Size(30, 30) ); 48
- 49. Примеры 49
- 50. Viola-Jones • Прямоугольные признаки •Интегральные изображения для быстрого вычисления признаков • Бустинг для выбора признаков • Каскад классификаторов для быстрого выбраковки отрицательных окон 50
- 51. Гистограммы Ориентированных Градиентов(HOG) Slide credit: Виктор Лемпицкий 51
- 52. Метод Далала-Тригса Линейный SVM+ HOG Slide credit: Виктор Лемпицкий 52
- 53. HOG-фильтр Slide credit: Виктор Лемпицкий 53
- 54. Реализация OpenCV HOGDescriptor hog; hog.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector()); //run the detector with default parameters. to get a higher hit-rate // (and more false alarms, respectively), decrease the hitThreshold and vector<Rect> found; hog.detectMultiScale(img, found, 0, Size(8,8), Size(32,32), 1.05, 2); 54
- 55. Далал-Тригс vs. Виола-Джонс •Для лиц Виола-Джонс работает почти идеально • Для пешеходов Далал-Тригс аккуратнее (но медленнее) • [Dollar et al. BMVC’09]: Виола-Джонс на правильных каналах не хуже Далала-Тригса Slide credit: Виктор Лемпицкий 55
- 56. Проверить свои силы •PASCAL Visual Object Classes (VOC) Dataset and Challenge 56
- 57. Что осталось «забортом» • Локализация объектов и Хаф-леса [Juergen Gall & Victor Lempitsky, Class-Specific Hough Forests for Object Detection, CVPR 2009] • Неявная модель формы [Leibe, Leonardis & Schiele IJCV’08] • Обобщенное преобразование Хафа 57
- 58. Вопросы 58