Anton Konushin, profile picture
Uploaded byAnton Konushin
PDF, PPTX1,571 views

CV2015. Лекция 5. Выделение объектов.

Документ описывает методы выделения объектов и распознавания изображений, включая концепции, такие как скользящее окно и гистограмма ориентаций градиентов (HOG). Основное внимание уделяется алгоритмам обнаружения пешеходов и применению методов машинного обучения, таких как SVM и бустинг, для повышения точности детекторов объектов. Рассматриваются также подходы к решению проблем, связанных с множественными откликами и фоновыми примерами, что является ключевым для выполнения задач в реальном времени.

Embed presentation

Download as PDF, PPTX
Выделение объектов Many slides adopted from Svetlana Lazebnik,Ondra Chum,Alyosha Efros, Mark Everingham,Pedro Felzenszwalb,Rob Fergus, Kristen Grauman,Bastian Leibe,Ivan Laptev, Fei-Fei Li, Marcin Marszalek, Pietro Perona,Deva Ramanan,BerntSchiele,Jamie Shotton, JosefSivic and Andrea Vedaldi Антон Конушин
Выделение объектов Здание ЛицоТекст Лицо Текст Человек Человек Необходимо определить, есть ли на изображении объекты заданного типа и если да, то определить их положение
Things vs. Stuff Объекты (Things) • Имеют определенные размер и формы Найти «человека» Материалы (Stuff) • Однородный или повторяющийся шаблон мелких деталей • Нет определенного размера и формы Найти «небо»
Задачи распознавания • Категоризация изображений • Image categorization • Содержит ли изображение самолёт? • Выделение объектов • Object class detection and localization • Есть ли на изображении самолёт, и если да, то где и сколько их? • Каждый объект выделяем рамкой (bounding box) • Cемантическая сегментация • Object class pixel-level segmentation • Какие пиксели изображения принадлежат самолёту?
Критерий обнаружения
Пример - поиск пешеходов • Нужно найти «пешеходов» (если есть) и выделить их прямоугольной рамкой • Пешеход (pedestrian) – это «категория», а не «объект» • Пешеходы все похожи, но все разные • Известным нам способом (сегментация по контрасту + анализ признаков сегмента) выделять пешеходов получается плохо
Классификация изображения • Простая бинарная классификация может ответить на вопрос «да» / «нет» • Например: «есть» пешеход на изображении или «нет» пешехода на изображении • А нам нужно знать, где ещё на картинке пешеход! «Картинка ли это пешехода»? Обучающая выборка
• Возьмём «окно», пусть размером 64*128 пикселов • Сканируем изображение «окном» • Применяем классификатор «пешеход?» к каждому окну • Скользящее окно – форма сегментации изображения! Скользящее окно (sliding window) Разделили изображение на фрагменты, которые классифицируем независимо друг от друга
Простейший классификатор Это стул Найдём стул в изображении Выход корреляции Сопоставление шаблонов («Pattern matching»): • Фиксируем изображение объекта («шаблон») • Классификатор – сравнение шаблона и текущего окна (фрагмента) • Итогом скользящего окна будет карта откликов (score)
Найдём стул в этом изображени Мусор Ограничения подхода «Классификатор» в виде сравнения с шаблоном не может учесть всё множество факторов изменчивости
Построение классификатора • Нужно выбрать признаки и классификатор • Мы рассмотрим схему HOG + линейный SVM
«Простые клетки» V1 Вспомним, что первичная зрительная кора в основном занимается анализом краёв и градиентов в изображении
«Ретинотопическая» организация Для каждой области визуального поля есть клетки, чувствительные к краям разной ориентации (отображены на рисунке цветом) Построим признаки, организованные по похожей схеме!
Оценка градиентов • Градиент изображения – направление максимального изменения яркости изображения 101 202 101- 121 000 121-                        Собеля Сила края: Направление градиента: Вычисление разностной производной через свёртку Вычисление градиента со сглаживанием
Признаки через градиенты • Вычислим градиенты в каждом пикселе • Направление градиента • Силу градиента • Как использовать градиенты в качестве признаков? • Можем использовать напрямую (слишком много, слишком шумные и изменчивые) • Статистика распределения по области
• Вычислим направление градиента в каждом пикселе • Квантуем ориентации градиентов на 8 ячеек (направлений) • Пометим каждый пиксель номером ячейки • Посчитаем гистограмму направлений градиентов • Для каждой ячейки посчитаем количество пикселов с номером этой ячейки • Можем нормализовать гистограмму Гистограмма ориентаций градиентов 0 2p
Гистограмма ориентаций градиентов • Histogram of oriented gradients (HOG) • Мощный класс признаков • Очень широко используется при анализе изображений • Устойчив к изменениям освещенности изображения • Т.к. считаем только направления градиентов 0 2 p
Алгоритм поиска пешеходов • Алгоритм поиска: • Скользящее окно поиска • Признаки «гистограммы ориентаций градиентов» • Бинарный классификатор «пешеход?» SVM • Хотя схема HOG + SVM изначально была предложена для пешеходов, она успешно применялась в дальнейшем к разным категориями объектов Navneet Dalal, Bill Triggs,Histograms of Oriented Gradients for Human Detection, CVPR 2005
Вычисление признаков • Возьмём окно 64 x 128 пикселей • Разобъём его на блоки 8 x 8 пикселей • Всего будет 8 * 16 = 128 блоков • В каждом блоке посчитаем гистограмму ориентаций градиентов с 8 ячейками (8 параметров) • Всего у нас получится 128 x 8 = 1024 признака 0 2p
Обучение классификатора • Соберём обучающую выборку фрагментом изображения с пешеходами и без • Для каждого фрагмента посчитаем вектор признак x и метку y • На полученной обучающей выборке обучим линейный классификатор SVM
• Обучаем линейную SVM: • Опорные вектора с положительными и отрицательными весами • Чем фактически в нашем случае являются x ? SVM ОтступОпорные вектора  i iii y xw  bxwxf T )(
SVM ОтступОпорные вектора • Каждый опорный вектор – это вектор-признак одного из примеров • Опорные вектора с положительными и отрицательными весами • Положительный вес – пример фрагмента, содержащего пешехода • Отрицательный вес – пример фрагмента, содержащего фон
SVM Source: Deva Ramanan • Разделяющая гиперплоскость задается как wx – линейная комбинация положительных и отрицательных примеров • Каждый признак – «мягкий шаблон» краёв, мы берём не чёткие края, а распределение ориентаций краёв в небольших областях • Похоже на многократную линейную фильтрацию изображений
«Детектор пешеходов» • Получили работающий «детектор пешеходов» • Базовый алгоритм: • Сканирующее окно • Вычисление признаков (гистограмм ориентаций градиентов) • Классификация с помощью SVM • Базовый алгоритм можно существенно улучшить простыми способами
Усложнение схемы • Добавляем второй уровень: • Выделяем блоки 2x2 с перекрытием • Нормализуем гистограммы в каждом блоке • Это дает большую пространственную поддержку • Размер вектора = 16 x 8 (сетка) x 8 (ориентаций) x 4 (блоки с перекрытием) = 4096
Обучение детектора • Сколько на изображении объектов «пешеход» и сколько фрагментов фона? • Выделение объектов ассиметричная задача: объектов гораздо меньше, чем «не-объектов» • Вдобавок, класс «не объект» очень сложный – нужно много разных данных для обучения • Для SVM желательно одинаковое количество и фона, и объекта
Обучение детектора Какие нам нужны примеры фона для получения наилучшего детектора? Отступ Опорные вектора Самые трудные! Как их найти?
Бутстраппинг (Bootstrapping) • Выбираем отрицательные примеры случайным образом • Обучаем классификатор • Применяем к данным • Добавляем ложные обнаружение к выборке • Повторяем • Смысл: • Ложные обнаружения для первого детектора – сложные (hard negative) • Пусть наша выборка фона будет маленькой, но сложной и представительной I. Laptev "Improvements of Object Detection Using Boosted Histograms« ВMVC 2006
Пример – поиск «торса» • Хотим построить детектор «верхней части тела и головы» • Воспользуемся схемой HOG + линейный SVM с бустраппингом • Данные • 33 фрагмента фильмов из базы Hollywood2 • 1122 кадров с размеченным объектами • На каждом кадре отмечены 1-3 человека, всего 1607 людей, это маловато
Положительные окна Внимание: похожие положение и ориентация! Посмотрим, что отметили люди при разметке:
Искаженные примеры Небольшие сдвиги, отображения, повороты, изменения масштаба Давайте «размножим» данные, «пошевелив» их:
Искаженные примеры Сколько отрицательных примеров можно набрать из 1100 кадров? • Гораздо больше 32k. Воспользуемся схемой бутстраппинга для поиска «трудных примеров» фона Из 1607 эталонных примеров получили ~32000 искаженных (jittered) примеров
Первая итерация Соберём случайные фрагменты фона:
Первая стадия • Обучим детектор по случайной выборке фона • Применим его к исходным изображениям • Ищем ложные обнаружения с высоким рейтингом • Используем их как трудные отрицательные примеры • Затраты: # количество изображений x поиск в каждом Трудный отрицательный пример
Трудные примеры
Трудные примеры
Измерение качества
После перетренировки
Сравнение
Сравнение
Сравнение
Сравнение
Резюме алгоритма • Используем скользящее окно • Вычисляем вектор-признак на основе HOG • Разбиваем окно на ячейки • В каждой ячейке считаем гистограмму ориентации градиентов • Обучаемый линейный SVM • Для обучения: • Размножаем (шевелим) эталонные примеры объектов • Используем схему bootstrapping для выбора примеров фона – На первой стадии берём случайные окна для фона – На следующих стадиях выбираем ложные срабатывания детектора как «трудные» примеры
Проблемы скользящего окна Множественные отклики Соотношение размеров окна Перекрытие и плохое соответствие формы объекта окну Разный размер объектов
Разный размер объектов Сканируем изображение рамками разного размера и разных пропорций
Разный размер объектов • Вместо изменения размеров рамки можем построить «пирамиду» изображений разных размеров и сканировать одной рамкой • Сколько потребуется масштабов? • На практике до 50-70
Пропорции объектов • Будем сканировать рамками разных пропорций • С учетом масштабов нам придётся сканировать Nрамок x Nмасштабов раз • Поэтому общее количество сканирований может достигать 150-200
Множественные отклики • В одном масштабе может быть множество откликов разной силы • Мы выберем из них точки, в которых значение достигает локального максимума («Подавление не-максимумов») • При наличии нескольких масштабов нужно выбирать максимальные значения по 3х мерной области • Параметры выделения максимумов могут значительно влиять на результат! Пирамида изображений Множественные отклики Карта откликов
Перекрытия Самая сложная проблема!
Требования к детектору • Для изображения в 1МП нужно просмотреть порядка 1М окон (например, для случая лиц) • На одном изображении обычно 0-10 лиц • Чтобы избежать ложных обнаружений (false positives) ошибка 2го рода должна быть ниже 10-6 • Нужно быстро отбрасывать ложные окна
Детектор Violo-Jones • Основополагающий метод для поиска объектов на изображении в реальном времени • Обучение очень медленное, но поиск очень быстр • Основные идеи: • Признаки Хоара в качестве слабых классификаторов • Интегральные изображения для быстрого вычисления признаков • Бустинг для выбора признаков • Каскад (Attentional cascade) для быстрой отбраковки окон без лица P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features. CVPR 2001. P. Viola and M. Jones. Robust real-time face detection. IJCV 57(2), 2004.
Найти стул в изображении Что если воспользоваться маленькими фрагментами? Искать не стул, а часть стула? Вспомним сопоставление шаблонов
Части объектов Что если воспользоваться маленькими фрагментами? Искать не стул, а часть стула? Не так плохо, срабатывает на ножках
Признаки Хоара “Прямоугольные фильтры” Value = ∑ (pixels in white area) – ∑ (pixels in black area)
Слабые детекторы/классификаторы • Определяем слабые классификаторы на основе прямоугольных признаков      0 )(if1 )( tt t xf xh  окно Значение признака порог
Пример Source Result
Интегральные изображения • Значение каждого пиксела (x,y) равно сумме значений всех пикселов левее и выше пикселя (x,y) включительно • Интегральное изображение рассчитывается за один проход (x,y)
Вычисление интегрального изображения
Вычисление интегрального изображения • Сумма по строке: s(x, y) = s(x–1, y) + i(x, y) • Интегральное изображение: ii(x, y) = ii(x, y−1) + s(x, y) ii(x, y-1) s(x-1, y) i(x, y) MATLAB: ii = cumsum(cumsum(double(i)), 2);
Вычисление суммы в прямоугольнике • Пусть A,B,C,D – значения интегрального изображения в углах прямоугольника • Тогда сумма значений пикселов в исходном изображении вычисляется по формуле: sum = A – B – C + D • 3 операции сложения для любого прямоугольника D B C A
Пример -1 +1 +2 -1 -2 +1 Integral Image
Количество признаков Для окна поиска 24x24 пиксела, число возможных прямоугольных признаков достигает ~160,000!
Выбор признаков • Для окна поиска 24x24 пиксела, число возможных прямоугольных признаков (слабых классификаторов) достигает ~160,000! • Каждый по отдельности очень «слабый» • В процессе поиска вычислять все признаки нереально • Хороший классификатор должен использовать небольшое подмножество всевозможных признаков • «Комитетные классификаторы» • Будем выбирать нужные признаки и строить из них линейные комбинации с помощью бустинга Y. Freund and R. Schapire, A short introduction to boosting, Journal of Japanese Society for Artificial Intelligence, 14(5):771-780, September, 1999.
Бустинг • Бустинг – схема построения сильного классификатора (комитета) за счёт комбинирования слабых классификаторов • Слабый классификатор должен быть лучше монетки • Обучение состоит из нескольких этапов усиления (boosting rounds) • На каждом этапе выбираем слабый классификатор, который лучше всех сработал на примерах, оказавшихся трудными для предыдущих классификаторов • «Трудность» записывается с помощью весов, приписанных примерам из обучающей выборки • Составляем общий классификатор как взвешенную линейную комбинацию слабых классификаторов Y. Freund and R. Schapire, A short introduction to boosting, Journal of Japanese Society for Artificial Intelligence, 14(5):771-780, September, 1999.
Пример хорошего классификатора +  ++ + +    
Итерация 1 из 3 +  ++ + +     O OO +  ++ + +     D2 e1 = 0.300 a1=0.424 h1
Итерация 2 из 3 +  ++ + +     O O O +  ++ + +     D2 h2e2 = 0.196 a2=0.704
Итерация 3 из 3 +  ++ + +     h3 e3 = 0.344 a2=0.323 O O O СТОП
Итоговый классификатор 0.42 + 0.70 + 0.32 +  ++ + +     )](72.0)(70.0)(42.0[ 321 xhxhxhsignH final        1 0 ,1 ,1 )( x x xhi
Инициализируем D1(i) = 1/m Ошибка ht рассчитывается с учётом Dt ])([Pr ~ iikDik yxhk 1. Обучим hk с минимальной ошибкой         k k t    1 ln 2 1 2. Рассчитаем вес гипотезы         iik iik k k k yxhe yxhe Z iD iD k k )(if )(if)( )(1   3. Для всех i = 1 to m         K k kk xhxH 1 )(sign)(  Результат: Вес Adaптируется. Чем больше ek тем меньше ak Zt нормализующий коэф. AdaBoost (Discreet) Увеличиваем вес примера, если на нём алгоритм ошибается Линейная комбинация Пусть T: (x1, y1), …, (xm, ym) где }1,1{,  ii yXx Для Kk ,1 Пусть есть набор {h} – слабых классификаторов
AdaBoost (пороги)
Эмпирический риск • Как показали Freund и Schapire • Эмпирический риск падает по экспоненте – высокая скорость обучения 2 1 2 exp 2 k k emp k k R             
Бустинг • Плюсы + Универсальность + Высокая скорость сходимости + Высокая обобщающая способность + Возможность очень эффективной программной реализации и распараллеливания + Простота метода и отсутствия параметров • Минусы – Трудность определения нужного числа итераций обучения (зачастую, ошибка на контроле продолжает падать и после нуля эмпирического риска)
• Определяем слабые классификаторы на основе прямоугольных признаков • Для каждого этапа бустинга: • Вычисляем каждый прямоугольный признак на каждом примере • Выбираем наилучший порог для каждого признака (обучаем слабый классификатор) • Выбираем наилучший слабый классификатор и добавляем его в линейную комбинацию • Перевзвешиваем выборку • Вычислительная сложность обучения: O(MNK) • M этапов, N примеров, K признаков Бустинг для поиска лиц
Бустинг для поиска лиц • Первые два классификатора, выбранные бустингом: Эта комбинация признаков дает 100% detection rate и 50% false positive rate
Бустинг для поиска лиц • Классификатор из 200 признаков дает 95% точность и долю ложноположительных срабатываний 1 из 14084 Недостаточно хорошо! ROC-кривая
Каскад (Attentional cascade) • Начинаем с простых классификаторов, которые отбрасывают часть отрицательных окон, при этом принимая почти все положительные окна • Положительный отклик первого классификатора запускает вычисление второго, более сложного, классификатора, и т.д. • Отрицательный отклик на любом этапе приводит к немедленной отбраковке окна FACEIMAGE SUB-WINDOW Classifier 1 T Classifier 3 T F NON-FACE T Classifier 2 T F NON-FACE F NON-FACE
Каскад • Медленные классификаторы применяются только к некоторым окнам ⇒ существенное ускорение • Управляем сложностью/скоростью классификатора: • Количество опорных векторов [Romdhani et al, 2001] • Количество признаков [Viola & Jones, 2001] • Видом ядра SVM [Vedaldi et al, 2009]
Каскад Цепочка классификаторов с каждым уровнем становится более сложной, ошибка второго рода постоянно снижается vs false negdetermined by % False Pos %Detection 0 50 0100 FACEIMAGE SUB-WINDOW Classifier 1 T Classifier 3 T F NON-FACE T Classifier 2 T F NON-FACE F NON-FACE ROC-кривая
Каскад • Уровень обнаружения и доля ложноположительных срабатываний каскада можно оценить как произведение соответствующих уровней ошибок каждого этапа • Уровень обнаружения 0.9 и доля ложноположительных срабатываний порядка 10-6 достигается с помощью каскада из 10 этапов, если на каждом этапе уровень обнаружения примерно равен 0.99 (0.9910 ≈ 0.9) и доля ложноположительных примерно 0.30 (0.310 ≈ 6×10-6) FACEIMAGE SUB-WINDOW Classifier 1 T Classifier 3 T F NON-FACE T Classifier 2 T F NON-FACE F NON-FACE
Обучение каскада • Задаем требуемые значения уровня обнаружения и доли ложноположительных срабатываний для каждого этапа • Добавляем признаки до тех пор, пока параметры текущего этапа не достигнут заданного уровня • Приходится понижать порог AdaBoost для максимизации обнаружения (в противоположенность минимизации общей ошибки классификации) • Тестирование на отдельном наборе (validation set) • Если общий уровень ложноположительных срабатываний недостаточно низок, добавляем очередной этап • Ложные обнаружения на текущем этапе используются как отрицательные примеры на следующем этапе
Тренировочная выборка • 5000 лиц • Все фронтальные, уменьшенные до 24x24 пикселов • Все нормированы • 300М отрицательных примеров • 9500 изображений без лиц • Большая изменчивость • Разные люди • Освещение • Поза лица
Производительность системы • Обучение: “недели” на 466 MHz Sun рабочей станции • 38 этапов, всего 6061 признаков • В среднем 10 признаков оцениваются для каждого окна на тестовой выборке • “На 700 Mhz Pentium III, детектор лиц обрабатывает одно изображение 384x288 пикселов за 0.067 секунды” • 15 Hz • В 15 раз быстрее сравнимого по точности предшествующего метода (Rowley et al., 1998)
Пример работы
Резюме: детектор Violа-Jones • Прямоугольные признаки как слабые классификаторы • Интегральные изображения для быстрого вычисления признаков • Бустинг для выбора признаков • Каскад классификаторов для быстрого выбраковки отрицательных окон
Недостатки Viola-Jones • Малое количество используемых каналов изображения и признаков • Серые изображения, фильтры Хоара • Недостаточная точность • 10-6 – слишком много ложных срабатываний • Множественные отклики у правильных обнаружений • «Дискретность» - возможность завершения только в конце этапа • Очень долгое время обучения
Интегральные канальные признаки • Цвет и градиенты очень показательны для многих классов • Построим много (10 каналов) • Яркость + цвета (LUV, HSV) – 3 • Норма градиента + отклики по направлениям – 1+6 = 7 • Признаки – сумма значений в прямоугольной области в заданном канале • Быстро считаем через интегральные изображения Input P. Dollár, Z. Tu, P. Perona and S. Belongie Integral Channel Features BMVC 2009,
Учёт масштабов P. Dollár, S. Belongie and P. Perona The Fastest Pedestrian Detector in the West BMVC 2010, R. Benenson,M. Mathias, R. Timofte, L. Van Gool Pedestrian detection at 100 frames per second, CVPR 2013
Мягкий каскад Теперь можем остановиться на любом слабом классификаторв Bourdev, L., Brandt,J. Robust object detection via soft cascade. CVPR 2005
«Сrosstalk cascades» Идея – нужно «подавлять» каскады в тех областях, где скорее всего не будет локального максимума P. Dollár, R. Appel and W. Kienzle Crosstalk Cascades for Frame-Rate Pedestrian Detection. ECCV 2012
Работа с ракурсами • Попытка делать детектор одновременно для всех ракурсов делает его менее «жёстким», ухудшает специфичность • Обучаем набор детекторов для разных ракурсов («компоненты») • Проблема сбора данных такого времени M. Mathias. et. al. Face detection without bells and whistles. ECCV2014
Важность «компонент» M. Mathias. et. al. Face detection without bells and whistles. ECCV2014
Влияние «компонент» M. Mathias. et. al. Face detection without bells and whistles. ECCV2014
Вопросы разметки • Разные люди и разные базы размечены немного по разному • Есть лица, которые лучше игнорировать, но за ошибку не считать • Проблема «маленьких» лиц
Выделение лиц (2014) M. Mathias. et. al. Face detection without bells and whistles. ECCV2014
Точность PASCAL VOC (2009 год)
Точность (2012 год)
За пределами лекции Схема голосования как альтернатива скользящему окну • В курсе «Доп. главы компьютерного зрения» Модели из набора частей и учет их взаимного расположения • В курсе «Доп. главы компьютерного зрения» Многослойные нейросети • На следующей лекции
Резюме лекции • Скользящее окно – основной способ сведения задачи выделения объектов к задаче категоризации изображений • Каскад классификаторов – основной способ повышения скорости и точности работы • Схема VJ развивается и сейчас является основным методом для real-time выделения объектов • Нужно уделить большое внимание построению хорошей выборки для обучения (jittering, bootstrapping)

More Related Content

PDF
CV2015. Лекция 8. Распознавание лиц людей.
byAnton Konushin
 
PDF
CV2015. Лекция 6. Нейросетевые алгоритмы.
byAnton Konushin
 
PDF
CV2015. Лекция 2. Простые методы распознавания изображений.
byAnton Konushin
 
PDF
CV2015. Лекция 7. Поиск изображений по содержанию.
byAnton Konushin
 
PDF
CV2015. Лекция 4. Классификация изображений и введение в машинное обучение.
byAnton Konushin
 
PDF
CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет.
byAnton Konushin
 
PDF
CV2011 Lecture 8. Detection
byAnton Konushin
 
PDF
CV2011 Lecture 10. Image retrieval
byAnton Konushin
 
CV2015. Лекция 8. Распознавание лиц людей.
byAnton Konushin
 
CV2015. Лекция 6. Нейросетевые алгоритмы.
byAnton Konushin
 
CV2015. Лекция 2. Простые методы распознавания изображений.
byAnton Konushin
 
CV2015. Лекция 7. Поиск изображений по содержанию.
byAnton Konushin
 
CV2015. Лекция 4. Классификация изображений и введение в машинное обучение.
byAnton Konushin
 
CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет.
byAnton Konushin
 
CV2011 Lecture 8. Detection
byAnton Konushin
 
CV2011 Lecture 10. Image retrieval
byAnton Konushin
 

What's hot

PDF
CV2011 Lecture 13. Real-time vision
byAnton Konushin
 
PDF
CV2011 Lecture 7. Recognition
byAnton Konushin
 
PDF
CV2011 Lecture 11. Basic video
byAnton Konushin
 
PDF
CV2011 Lecture 12. Action recognition
byAnton Konushin
 
PDF
20120414 videorecognition konushin_lecture03
byComputer Science Club
 
PPTX
Лекция 07 Обработка видео
byVictor Kulikov
 
PDF
CV2011-2. Lecture 01. Segmentation.
byAnton Konushin
 
PDF
CV2011-2. Lecture 12. Face models.
byAnton Konushin
 
PDF
CV2011-2. Lecture 10. Pose estimation.
byAnton Konushin
 
PDF
CV2011-2. Lecture 11. Face analysis.
byAnton Konushin
 
PDF
CV2011-2. Lecture 08. Multi-view stereo.
byAnton Konushin
 
PDF
20120414 videorecognition konushin_lecture04
byComputer Science Club
 
PDF
CV2015. Лекция 2. Основы обработки изображений.
byAnton Konushin
 
PPTX
CV2011 Lecture 1. Part 1. Introduction to computer vision
byAnton Konushin
 
PDF
CV2011-2. Lecture 04. Semantic image segmentation
byAnton Konushin
 
PPT
Поиск объектов
byLiloSEA
 
PPT
Классификация изображений
byLiloSEA
 
PDF
Введение в машинное обучение
byAnton Anokhin
 
PDF
CV2011-2. Lecture 02. Photomontage and graphical models.
byAnton Konushin
 
PPTX
Машинное обучение (Открытый семинар по средам)
byPavel Egorov
 
CV2011 Lecture 13. Real-time vision
byAnton Konushin
 
CV2011 Lecture 7. Recognition
byAnton Konushin
 
CV2011 Lecture 11. Basic video
byAnton Konushin
 
CV2011 Lecture 12. Action recognition
byAnton Konushin
 
20120414 videorecognition konushin_lecture03
byComputer Science Club
 
Лекция 07 Обработка видео
byVictor Kulikov
 
CV2011-2. Lecture 01. Segmentation.
byAnton Konushin
 
CV2011-2. Lecture 12. Face models.
byAnton Konushin
 
CV2011-2. Lecture 10. Pose estimation.
byAnton Konushin
 
CV2011-2. Lecture 11. Face analysis.
byAnton Konushin
 
CV2011-2. Lecture 08. Multi-view stereo.
byAnton Konushin
 
20120414 videorecognition konushin_lecture04
byComputer Science Club
 
CV2015. Лекция 2. Основы обработки изображений.
byAnton Konushin
 
CV2011 Lecture 1. Part 1. Introduction to computer vision
byAnton Konushin
 
CV2011-2. Lecture 04. Semantic image segmentation
byAnton Konushin
 
Поиск объектов
byLiloSEA
 
Классификация изображений
byLiloSEA
 
Введение в машинное обучение
byAnton Anokhin
 
CV2011-2. Lecture 02. Photomontage and graphical models.
byAnton Konushin
 
Машинное обучение (Открытый семинар по средам)
byPavel Egorov
 

Viewers also liked

PPTX
L05 features
byVictor Kulikov
 
PDF
CV2011 Lecture 5. Features
byAnton Konushin
 
PDF
Технологии разработки ПО
byAnton Konushin
 
PPTX
Online incometax return filing system - BEST SRS Report
bySiddharth Modi
 
PDF
Анализ и обработка изображений. Классификация изображений и распознавание об...
byYandex
 
PDF
Классификация изображений с помощью нейронных сетей. Сжатие и ускорение обуче...
byYandex
 
PDF
以深度學習加速語音及影像辨識應用發展
byNVIDIA Taiwan
 
PPSX
Face recognition technology - BEST PPT
bySiddharth Modi
 
PPT
Face recognition ppt
bySantosh Kumar
 
PPT
Enterprise Resource Planning- BEST PPT
bySiddharth Modi
 
L05 features
byVictor Kulikov
 
CV2011 Lecture 5. Features
byAnton Konushin
 
Технологии разработки ПО
byAnton Konushin
 
Online incometax return filing system - BEST SRS Report
bySiddharth Modi
 
Анализ и обработка изображений. Классификация изображений и распознавание об...
byYandex
 
Классификация изображений с помощью нейронных сетей. Сжатие и ускорение обуче...
byYandex
 
以深度學習加速語音及影像辨識應用發展
byNVIDIA Taiwan
 
Face recognition technology - BEST PPT
bySiddharth Modi
 
Face recognition ppt
bySantosh Kumar
 
Enterprise Resource Planning- BEST PPT
bySiddharth Modi
 

Similar to CV2015. Лекция 5. Выделение объектов.

PPTX
L06 detection
byVictor Kulikov
 
PPT
Классификация изображений
byLiloSEA
 
PDF
20100919 computer vision_konushin_lecture02
byComputer Science Club
 
PPT
распознавание автомобильного номера в условиях зашумлённости»
byseik0ixtem
 
PPT
Построение гендерного классификатора
byVladimir Pavlov
 
PPT
Лекция 1
byVictor Kulikov
 
PPTX
Лекция 3 Сегментация
byVictor Kulikov
 
PPTX
Лекция 4 Обработка бинарных изображений
byVictor Kulikov
 
PPT
FaceDetection+GenderRecognition_review
byKhryashchev
 
PPTX
CV2011 Lecture 3. Basic image analysis
byAnton Konushin
 
PDF
Анализ изображений и видео. Построение признаков и сравнение изображений: ло...
byYandex
 
PDF
Анализ изображений и видео. Сегментация изображений
byYandex
 
PPT
Сегментация
byLiloSEA
 
PDF
Обзор методов вычисления базовой геометрии сцены
byMSU GML VideoGroup
 
PPT
DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перев...
byit-people
 
PDF
“ComputerVision(Ruby && OpenCV)”, Людмила Дежкина ( Senior Ruby, DataArt)
byAlina Vilk
 
PPTX
20111009 csseminar image feature detection and matching
byComputer Science Club
 
PDF
Ifmo crfh
bylinx56
 
PDF
Анализ изображений и видео. Построение признаков и сравнение изображений: гл...
byYandex
 
PDF
Face detection and recognition using OpenCV
byAndrew Babiy
 
L06 detection
byVictor Kulikov
 
Классификация изображений
byLiloSEA
 
20100919 computer vision_konushin_lecture02
byComputer Science Club
 
распознавание автомобильного номера в условиях зашумлённости»
byseik0ixtem
 
Построение гендерного классификатора
byVladimir Pavlov
 
Лекция 1
byVictor Kulikov
 
Лекция 3 Сегментация
byVictor Kulikov
 
Лекция 4 Обработка бинарных изображений
byVictor Kulikov
 
FaceDetection+GenderRecognition_review
byKhryashchev
 
CV2011 Lecture 3. Basic image analysis
byAnton Konushin
 
Анализ изображений и видео. Построение признаков и сравнение изображений: ло...
byYandex
 
Анализ изображений и видео. Сегментация изображений
byYandex
 
Сегментация
byLiloSEA
 
Обзор методов вычисления базовой геометрии сцены
byMSU GML VideoGroup
 
DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перев...
byit-people
 
“ComputerVision(Ruby && OpenCV)”, Людмила Дежкина ( Senior Ruby, DataArt)
byAlina Vilk
 
20111009 csseminar image feature detection and matching
byComputer Science Club
 
Ifmo crfh
bylinx56
 
Анализ изображений и видео. Построение признаков и сравнение изображений: гл...
byYandex
 
Face detection and recognition using OpenCV
byAndrew Babiy
 

More from Anton Konushin

PDF
Статистическое сравнение классификаторов
byAnton Konushin
 
PDF
Classifier evaluation and comparison
byAnton Konushin
 
PDF
CV2011-2. Lecture 07. Binocular stereo.
byAnton Konushin
 
PDF
CV2011-2. Lecture 06. Structure from motion.
byAnton Konushin
 
PDF
CV2011-2. Lecture 05. Video segmentation.
byAnton Konushin
 
PDF
CV2011-2. Lecture 03. Photomontage, part 2.
byAnton Konushin
 
PDF
CV2011-2. Lecture 09. Single view reconstructin.
byAnton Konushin
 
PDF
Anton Konushin - TEDxRU 2009
byAnton Konushin
 
PDF
Computer vision infrastracture
byAnton Konushin
 
PPTX
Writing a computer vision paper
byAnton Konushin
 
PDF
Andrew Zisserman Talk - Part 1a
byAnton Konushin
 
Статистическое сравнение классификаторов
byAnton Konushin
 
Classifier evaluation and comparison
byAnton Konushin
 
CV2011-2. Lecture 07. Binocular stereo.
byAnton Konushin
 
CV2011-2. Lecture 06. Structure from motion.
byAnton Konushin
 
CV2011-2. Lecture 05. Video segmentation.
byAnton Konushin
 
CV2011-2. Lecture 03. Photomontage, part 2.
byAnton Konushin
 
CV2011-2. Lecture 09. Single view reconstructin.
byAnton Konushin
 
Anton Konushin - TEDxRU 2009
byAnton Konushin
 
Computer vision infrastracture
byAnton Konushin
 
Writing a computer vision paper
byAnton Konushin
 
Andrew Zisserman Talk - Part 1a
byAnton Konushin
 

CV2015. Лекция 5. Выделение объектов.

  • 1.
    Выделение объектов Many slidesadopted from Svetlana Lazebnik,Ondra Chum,Alyosha Efros, Mark Everingham,Pedro Felzenszwalb,Rob Fergus, Kristen Grauman,Bastian Leibe,Ivan Laptev, Fei-Fei Li, Marcin Marszalek, Pietro Perona,Deva Ramanan,BerntSchiele,Jamie Shotton, JosefSivic and Andrea Vedaldi Антон Конушин
  • 2.
    Выделение объектов Здание ЛицоТекст Лицо Текст Человек Человек Необходимоопределить, есть ли на изображении объекты заданного типа и если да, то определить их положение
  • 3.
    Things vs. Stuff Объекты(Things) • Имеют определенные размер и формы Найти «человека» Материалы (Stuff) • Однородный или повторяющийся шаблон мелких деталей • Нет определенного размера и формы Найти «небо»
  • 4.
    Задачи распознавания • Категоризацияизображений • Image categorization • Содержит ли изображение самолёт? • Выделение объектов • Object class detection and localization • Есть ли на изображении самолёт, и если да, то где и сколько их? • Каждый объект выделяем рамкой (bounding box) • Cемантическая сегментация • Object class pixel-level segmentation • Какие пиксели изображения принадлежат самолёту?
  • 5.
  • 6.
    Пример - поискпешеходов • Нужно найти «пешеходов» (если есть) и выделить их прямоугольной рамкой • Пешеход (pedestrian) – это «категория», а не «объект» • Пешеходы все похожи, но все разные • Известным нам способом (сегментация по контрасту + анализ признаков сегмента) выделять пешеходов получается плохо
  • 7.
    Классификация изображения • Простаябинарная классификация может ответить на вопрос «да» / «нет» • Например: «есть» пешеход на изображении или «нет» пешехода на изображении • А нам нужно знать, где ещё на картинке пешеход! «Картинка ли это пешехода»? Обучающая выборка
  • 8.
    • Возьмём «окно»,пусть размером 64*128 пикселов • Сканируем изображение «окном» • Применяем классификатор «пешеход?» к каждому окну • Скользящее окно – форма сегментации изображения! Скользящее окно (sliding window) Разделили изображение на фрагменты, которые классифицируем независимо друг от друга
  • 9.
    Простейший классификатор Это стул Найдёмстул в изображении Выход корреляции Сопоставление шаблонов («Pattern matching»): • Фиксируем изображение объекта («шаблон») • Классификатор – сравнение шаблона и текущего окна (фрагмента) • Итогом скользящего окна будет карта откликов (score)
  • 10.
    Найдём стул вэтом изображени Мусор Ограничения подхода «Классификатор» в виде сравнения с шаблоном не может учесть всё множество факторов изменчивости
  • 11.
    Построение классификатора • Нужновыбрать признаки и классификатор • Мы рассмотрим схему HOG + линейный SVM
  • 12.
    «Простые клетки» V1 Вспомним,что первичная зрительная кора в основном занимается анализом краёв и градиентов в изображении
  • 13.
    «Ретинотопическая» организация Для каждойобласти визуального поля есть клетки, чувствительные к краям разной ориентации (отображены на рисунке цветом) Построим признаки, организованные по похожей схеме!
  • 14.
    Оценка градиентов • Градиентизображения – направление максимального изменения яркости изображения 101 202 101- 121 000 121-                        Собеля Сила края: Направление градиента: Вычисление разностной производной через свёртку Вычисление градиента со сглаживанием
  • 15.
    Признаки через градиенты •Вычислим градиенты в каждом пикселе • Направление градиента • Силу градиента • Как использовать градиенты в качестве признаков? • Можем использовать напрямую (слишком много, слишком шумные и изменчивые) • Статистика распределения по области
  • 16.
    • Вычислим направлениеградиента в каждом пикселе • Квантуем ориентации градиентов на 8 ячеек (направлений) • Пометим каждый пиксель номером ячейки • Посчитаем гистограмму направлений градиентов • Для каждой ячейки посчитаем количество пикселов с номером этой ячейки • Можем нормализовать гистограмму Гистограмма ориентаций градиентов 0 2p
  • 17.
    Гистограмма ориентаций градиентов •Histogram of oriented gradients (HOG) • Мощный класс признаков • Очень широко используется при анализе изображений • Устойчив к изменениям освещенности изображения • Т.к. считаем только направления градиентов 0 2 p
  • 18.
    Алгоритм поиска пешеходов •Алгоритм поиска: • Скользящее окно поиска • Признаки «гистограммы ориентаций градиентов» • Бинарный классификатор «пешеход?» SVM • Хотя схема HOG + SVM изначально была предложена для пешеходов, она успешно применялась в дальнейшем к разным категориями объектов Navneet Dalal, Bill Triggs,Histograms of Oriented Gradients for Human Detection, CVPR 2005
  • 19.
    Вычисление признаков • Возьмёмокно 64 x 128 пикселей • Разобъём его на блоки 8 x 8 пикселей • Всего будет 8 * 16 = 128 блоков • В каждом блоке посчитаем гистограмму ориентаций градиентов с 8 ячейками (8 параметров) • Всего у нас получится 128 x 8 = 1024 признака 0 2p
  • 20.
    Обучение классификатора • Соберёмобучающую выборку фрагментом изображения с пешеходами и без • Для каждого фрагмента посчитаем вектор признак x и метку y • На полученной обучающей выборке обучим линейный классификатор SVM
  • 21.
    • Обучаем линейнуюSVM: • Опорные вектора с положительными и отрицательными весами • Чем фактически в нашем случае являются x ? SVM ОтступОпорные вектора  i iii y xw  bxwxf T )(
  • 22.
    SVM ОтступОпорные вектора • Каждыйопорный вектор – это вектор-признак одного из примеров • Опорные вектора с положительными и отрицательными весами • Положительный вес – пример фрагмента, содержащего пешехода • Отрицательный вес – пример фрагмента, содержащего фон
  • 23.
    SVM Source: Deva Ramanan •Разделяющая гиперплоскость задается как wx – линейная комбинация положительных и отрицательных примеров • Каждый признак – «мягкий шаблон» краёв, мы берём не чёткие края, а распределение ориентаций краёв в небольших областях • Похоже на многократную линейную фильтрацию изображений
  • 24.
    «Детектор пешеходов» • Получилиработающий «детектор пешеходов» • Базовый алгоритм: • Сканирующее окно • Вычисление признаков (гистограмм ориентаций градиентов) • Классификация с помощью SVM • Базовый алгоритм можно существенно улучшить простыми способами
  • 25.
    Усложнение схемы • Добавляемвторой уровень: • Выделяем блоки 2x2 с перекрытием • Нормализуем гистограммы в каждом блоке • Это дает большую пространственную поддержку • Размер вектора = 16 x 8 (сетка) x 8 (ориентаций) x 4 (блоки с перекрытием) = 4096
  • 26.
    Обучение детектора • Сколькона изображении объектов «пешеход» и сколько фрагментов фона? • Выделение объектов ассиметричная задача: объектов гораздо меньше, чем «не-объектов» • Вдобавок, класс «не объект» очень сложный – нужно много разных данных для обучения • Для SVM желательно одинаковое количество и фона, и объекта
  • 27.
    Обучение детектора Какие намнужны примеры фона для получения наилучшего детектора? Отступ Опорные вектора Самые трудные! Как их найти?
  • 28.
    Бутстраппинг (Bootstrapping) • Выбираемотрицательные примеры случайным образом • Обучаем классификатор • Применяем к данным • Добавляем ложные обнаружение к выборке • Повторяем • Смысл: • Ложные обнаружения для первого детектора – сложные (hard negative) • Пусть наша выборка фона будет маленькой, но сложной и представительной I. Laptev "Improvements of Object Detection Using Boosted Histograms« ВMVC 2006
  • 29.
    Пример – поиск«торса» • Хотим построить детектор «верхней части тела и головы» • Воспользуемся схемой HOG + линейный SVM с бустраппингом • Данные • 33 фрагмента фильмов из базы Hollywood2 • 1122 кадров с размеченным объектами • На каждом кадре отмечены 1-3 человека, всего 1607 людей, это маловато
  • 30.
    Положительные окна Внимание: похожиеположение и ориентация! Посмотрим, что отметили люди при разметке:
  • 31.
    Искаженные примеры Небольшие сдвиги,отображения, повороты, изменения масштаба Давайте «размножим» данные, «пошевелив» их:
  • 32.
    Искаженные примеры Сколько отрицательныхпримеров можно набрать из 1100 кадров? • Гораздо больше 32k. Воспользуемся схемой бутстраппинга для поиска «трудных примеров» фона Из 1607 эталонных примеров получили ~32000 искаженных (jittered) примеров
  • 33.
  • 34.
    Первая стадия • Обучимдетектор по случайной выборке фона • Применим его к исходным изображениям • Ищем ложные обнаружения с высоким рейтингом • Используем их как трудные отрицательные примеры • Затраты: # количество изображений x поиск в каждом Трудный отрицательный пример
  • 35.
  • 36.
  • 37.
  • 38.
  • 39.
  • 40.
  • 41.
  • 42.
  • 43.
    Резюме алгоритма • Используемскользящее окно • Вычисляем вектор-признак на основе HOG • Разбиваем окно на ячейки • В каждой ячейке считаем гистограмму ориентации градиентов • Обучаемый линейный SVM • Для обучения: • Размножаем (шевелим) эталонные примеры объектов • Используем схему bootstrapping для выбора примеров фона – На первой стадии берём случайные окна для фона – На следующих стадиях выбираем ложные срабатывания детектора как «трудные» примеры
  • 44.
    Проблемы скользящего окна Множественныеотклики Соотношение размеров окна Перекрытие и плохое соответствие формы объекта окну Разный размер объектов
  • 45.
    Разный размер объектов Сканируемизображение рамками разного размера и разных пропорций
  • 46.
    Разный размер объектов •Вместо изменения размеров рамки можем построить «пирамиду» изображений разных размеров и сканировать одной рамкой • Сколько потребуется масштабов? • На практике до 50-70
  • 47.
    Пропорции объектов • Будемсканировать рамками разных пропорций • С учетом масштабов нам придётся сканировать Nрамок x Nмасштабов раз • Поэтому общее количество сканирований может достигать 150-200
  • 48.
    Множественные отклики • Водном масштабе может быть множество откликов разной силы • Мы выберем из них точки, в которых значение достигает локального максимума («Подавление не-максимумов») • При наличии нескольких масштабов нужно выбирать максимальные значения по 3х мерной области • Параметры выделения максимумов могут значительно влиять на результат! Пирамида изображений Множественные отклики Карта откликов
  • 49.
  • 50.
    Требования к детектору •Для изображения в 1МП нужно просмотреть порядка 1М окон (например, для случая лиц) • На одном изображении обычно 0-10 лиц • Чтобы избежать ложных обнаружений (false positives) ошибка 2го рода должна быть ниже 10-6 • Нужно быстро отбрасывать ложные окна
  • 51.
    Детектор Violo-Jones • Основополагающийметод для поиска объектов на изображении в реальном времени • Обучение очень медленное, но поиск очень быстр • Основные идеи: • Признаки Хоара в качестве слабых классификаторов • Интегральные изображения для быстрого вычисления признаков • Бустинг для выбора признаков • Каскад (Attentional cascade) для быстрой отбраковки окон без лица P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features. CVPR 2001. P. Viola and M. Jones. Robust real-time face detection. IJCV 57(2), 2004.
  • 52.
    Найти стул визображении Что если воспользоваться маленькими фрагментами? Искать не стул, а часть стула? Вспомним сопоставление шаблонов
  • 53.
    Части объектов Что есливоспользоваться маленькими фрагментами? Искать не стул, а часть стула? Не так плохо, срабатывает на ножках
  • 54.
  • 55.
    Слабые детекторы/классификаторы • Определяемслабые классификаторы на основе прямоугольных признаков      0 )(if1 )( tt t xf xh  окно Значение признака порог
  • 56.
  • 57.
    Интегральные изображения • Значениекаждого пиксела (x,y) равно сумме значений всех пикселов левее и выше пикселя (x,y) включительно • Интегральное изображение рассчитывается за один проход (x,y)
  • 58.
  • 59.
    Вычисление интегрального изображения •Сумма по строке: s(x, y) = s(x–1, y) + i(x, y) • Интегральное изображение: ii(x, y) = ii(x, y−1) + s(x, y) ii(x, y-1) s(x-1, y) i(x, y) MATLAB: ii = cumsum(cumsum(double(i)), 2);
  • 60.
    Вычисление суммы впрямоугольнике • Пусть A,B,C,D – значения интегрального изображения в углах прямоугольника • Тогда сумма значений пикселов в исходном изображении вычисляется по формуле: sum = A – B – C + D • 3 операции сложения для любого прямоугольника D B C A
  • 61.
  • 62.
    Количество признаков Для окнапоиска 24x24 пиксела, число возможных прямоугольных признаков достигает ~160,000!
  • 63.
    Выбор признаков • Дляокна поиска 24x24 пиксела, число возможных прямоугольных признаков (слабых классификаторов) достигает ~160,000! • Каждый по отдельности очень «слабый» • В процессе поиска вычислять все признаки нереально • Хороший классификатор должен использовать небольшое подмножество всевозможных признаков • «Комитетные классификаторы» • Будем выбирать нужные признаки и строить из них линейные комбинации с помощью бустинга Y. Freund and R. Schapire, A short introduction to boosting, Journal of Japanese Society for Artificial Intelligence, 14(5):771-780, September, 1999.
  • 64.
    Бустинг • Бустинг –схема построения сильного классификатора (комитета) за счёт комбинирования слабых классификаторов • Слабый классификатор должен быть лучше монетки • Обучение состоит из нескольких этапов усиления (boosting rounds) • На каждом этапе выбираем слабый классификатор, который лучше всех сработал на примерах, оказавшихся трудными для предыдущих классификаторов • «Трудность» записывается с помощью весов, приписанных примерам из обучающей выборки • Составляем общий классификатор как взвешенную линейную комбинацию слабых классификаторов Y. Freund and R. Schapire, A short introduction to boosting, Journal of Japanese Society for Artificial Intelligence, 14(5):771-780, September, 1999.
  • 65.
  • 66.
    Итерация 1 из3 +  ++ + +     O OO +  ++ + +     D2 e1 = 0.300 a1=0.424 h1
  • 67.
    Итерация 2 из3 +  ++ + +     O O O +  ++ + +     D2 h2e2 = 0.196 a2=0.704
  • 68.
    Итерация 3 из3 +  ++ + +     h3 e3 = 0.344 a2=0.323 O O O СТОП
  • 69.
    Итоговый классификатор 0.42 +0.70 + 0.32 +  ++ + +     )](72.0)(70.0)(42.0[ 321 xhxhxhsignH final        1 0 ,1 ,1 )( x x xhi
  • 70.
    Инициализируем D1(i) =1/m Ошибка ht рассчитывается с учётом Dt ])([Pr ~ iikDik yxhk 1. Обучим hk с минимальной ошибкой         k k t    1 ln 2 1 2. Рассчитаем вес гипотезы         iik iik k k k yxhe yxhe Z iD iD k k )(if )(if)( )(1   3. Для всех i = 1 to m         K k kk xhxH 1 )(sign)(  Результат: Вес Adaптируется. Чем больше ek тем меньше ak Zt нормализующий коэф. AdaBoost (Discreet) Увеличиваем вес примера, если на нём алгоритм ошибается Линейная комбинация Пусть T: (x1, y1), …, (xm, ym) где }1,1{,  ii yXx Для Kk ,1 Пусть есть набор {h} – слабых классификаторов
  • 71.
  • 72.
    Эмпирический риск • Какпоказали Freund и Schapire • Эмпирический риск падает по экспоненте – высокая скорость обучения 2 1 2 exp 2 k k emp k k R             
  • 73.
    Бустинг • Плюсы + Универсальность +Высокая скорость сходимости + Высокая обобщающая способность + Возможность очень эффективной программной реализации и распараллеливания + Простота метода и отсутствия параметров • Минусы – Трудность определения нужного числа итераций обучения (зачастую, ошибка на контроле продолжает падать и после нуля эмпирического риска)
  • 74.
    • Определяем слабыеклассификаторы на основе прямоугольных признаков • Для каждого этапа бустинга: • Вычисляем каждый прямоугольный признак на каждом примере • Выбираем наилучший порог для каждого признака (обучаем слабый классификатор) • Выбираем наилучший слабый классификатор и добавляем его в линейную комбинацию • Перевзвешиваем выборку • Вычислительная сложность обучения: O(MNK) • M этапов, N примеров, K признаков Бустинг для поиска лиц
  • 75.
    Бустинг для поискалиц • Первые два классификатора, выбранные бустингом: Эта комбинация признаков дает 100% detection rate и 50% false positive rate
  • 76.
    Бустинг для поискалиц • Классификатор из 200 признаков дает 95% точность и долю ложноположительных срабатываний 1 из 14084 Недостаточно хорошо! ROC-кривая
  • 77.
    Каскад (Attentional cascade) •Начинаем с простых классификаторов, которые отбрасывают часть отрицательных окон, при этом принимая почти все положительные окна • Положительный отклик первого классификатора запускает вычисление второго, более сложного, классификатора, и т.д. • Отрицательный отклик на любом этапе приводит к немедленной отбраковке окна FACEIMAGE SUB-WINDOW Classifier 1 T Classifier 3 T F NON-FACE T Classifier 2 T F NON-FACE F NON-FACE
  • 78.
    Каскад • Медленные классификаторыприменяются только к некоторым окнам ⇒ существенное ускорение • Управляем сложностью/скоростью классификатора: • Количество опорных векторов [Romdhani et al, 2001] • Количество признаков [Viola & Jones, 2001] • Видом ядра SVM [Vedaldi et al, 2009]
  • 79.
    Каскад Цепочка классификаторов скаждым уровнем становится более сложной, ошибка второго рода постоянно снижается vs false negdetermined by % False Pos %Detection 0 50 0100 FACEIMAGE SUB-WINDOW Classifier 1 T Classifier 3 T F NON-FACE T Classifier 2 T F NON-FACE F NON-FACE ROC-кривая
  • 80.
    Каскад • Уровень обнаруженияи доля ложноположительных срабатываний каскада можно оценить как произведение соответствующих уровней ошибок каждого этапа • Уровень обнаружения 0.9 и доля ложноположительных срабатываний порядка 10-6 достигается с помощью каскада из 10 этапов, если на каждом этапе уровень обнаружения примерно равен 0.99 (0.9910 ≈ 0.9) и доля ложноположительных примерно 0.30 (0.310 ≈ 6×10-6) FACEIMAGE SUB-WINDOW Classifier 1 T Classifier 3 T F NON-FACE T Classifier 2 T F NON-FACE F NON-FACE
  • 81.
    Обучение каскада • Задаемтребуемые значения уровня обнаружения и доли ложноположительных срабатываний для каждого этапа • Добавляем признаки до тех пор, пока параметры текущего этапа не достигнут заданного уровня • Приходится понижать порог AdaBoost для максимизации обнаружения (в противоположенность минимизации общей ошибки классификации) • Тестирование на отдельном наборе (validation set) • Если общий уровень ложноположительных срабатываний недостаточно низок, добавляем очередной этап • Ложные обнаружения на текущем этапе используются как отрицательные примеры на следующем этапе
  • 82.
    Тренировочная выборка • 5000лиц • Все фронтальные, уменьшенные до 24x24 пикселов • Все нормированы • 300М отрицательных примеров • 9500 изображений без лиц • Большая изменчивость • Разные люди • Освещение • Поза лица
  • 83.
    Производительность системы • Обучение:“недели” на 466 MHz Sun рабочей станции • 38 этапов, всего 6061 признаков • В среднем 10 признаков оцениваются для каждого окна на тестовой выборке • “На 700 Mhz Pentium III, детектор лиц обрабатывает одно изображение 384x288 пикселов за 0.067 секунды” • 15 Hz • В 15 раз быстрее сравнимого по точности предшествующего метода (Rowley et al., 1998)
  • 84.
  • 85.
    Резюме: детектор Violа-Jones •Прямоугольные признаки как слабые классификаторы • Интегральные изображения для быстрого вычисления признаков • Бустинг для выбора признаков • Каскад классификаторов для быстрого выбраковки отрицательных окон
  • 86.
    Недостатки Viola-Jones • Малоеколичество используемых каналов изображения и признаков • Серые изображения, фильтры Хоара • Недостаточная точность • 10-6 – слишком много ложных срабатываний • Множественные отклики у правильных обнаружений • «Дискретность» - возможность завершения только в конце этапа • Очень долгое время обучения
  • 87.
    Интегральные канальные признаки •Цвет и градиенты очень показательны для многих классов • Построим много (10 каналов) • Яркость + цвета (LUV, HSV) – 3 • Норма градиента + отклики по направлениям – 1+6 = 7 • Признаки – сумма значений в прямоугольной области в заданном канале • Быстро считаем через интегральные изображения Input P. Dollár, Z. Tu, P. Perona and S. Belongie Integral Channel Features BMVC 2009,
  • 88.
    Учёт масштабов P. Dollár,S. Belongie and P. Perona The Fastest Pedestrian Detector in the West BMVC 2010, R. Benenson,M. Mathias, R. Timofte, L. Van Gool Pedestrian detection at 100 frames per second, CVPR 2013
  • 89.
    Мягкий каскад Теперь можем остановитьсяна любом слабом классификаторв Bourdev, L., Brandt,J. Robust object detection via soft cascade. CVPR 2005
  • 90.
    «Сrosstalk cascades» Идея –нужно «подавлять» каскады в тех областях, где скорее всего не будет локального максимума P. Dollár, R. Appel and W. Kienzle Crosstalk Cascades for Frame-Rate Pedestrian Detection. ECCV 2012
  • 91.
    Работа с ракурсами •Попытка делать детектор одновременно для всех ракурсов делает его менее «жёстким», ухудшает специфичность • Обучаем набор детекторов для разных ракурсов («компоненты») • Проблема сбора данных такого времени M. Mathias. et. al. Face detection without bells and whistles. ECCV2014
  • 92.
    Важность «компонент» M. Mathias.et. al. Face detection without bells and whistles. ECCV2014
  • 93.
    Влияние «компонент» M. Mathias.et. al. Face detection without bells and whistles. ECCV2014
  • 94.
    Вопросы разметки • Разныелюди и разные базы размечены немного по разному • Есть лица, которые лучше игнорировать, но за ошибку не считать • Проблема «маленьких» лиц
  • 95.
    Выделение лиц (2014) M.Mathias. et. al. Face detection without bells and whistles. ECCV2014
  • 96.
  • 97.
  • 98.
    За пределами лекции Схемаголосования как альтернатива скользящему окну • В курсе «Доп. главы компьютерного зрения» Модели из набора частей и учет их взаимного расположения • В курсе «Доп. главы компьютерного зрения» Многослойные нейросети • На следующей лекции
  • 99.
    Резюме лекции • Скользящееокно – основной способ сведения задачи выделения объектов к задаче категоризации изображений • Каскад классификаторов – основной способ повышения скорости и точности работы • Схема VJ развивается и сейчас является основным методом для real-time выделения объектов • Нужно уделить большое внимание построению хорошей выборки для обучения (jittering, bootstrapping)