2012 11-09 image-videoanalysis_lecture07

  • 699 views
Uploaded on

 

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
699
On Slideshare
0
From Embeds
0
Number of Embeds
5

Actions

Shares
Downloads
16
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Анализ изображений и видеоЛекция 7: Классификация изображений ираспознавание объектов.Наталья Васильеваnvassilieva@hp.comHP Labs Russia9 ноября 2012, Computer Science Center
  • 2. Вопросы (время на ответы 15 минут)1. Преобразуйте цепной код 11076765543322 так, чтобы он стал инвариантным по отношению к выбору начальной точки и к повороту.2. Дано изображение шахматного поля с клетками размером nxn пикселей. Какие параметры сдвига будут порождать матрицу смежности диагонального вида?3. К каким трансформациям изображения не инвариантен детектор Харриса?4. Какая индексная структура требует меньшего объема памяти для организации индекса: kD-tree или Vocabulary tree?5. Какова вероятность коллизии для двух объектов x и y при использовании b- битных хеш-кодов и t независимых хеш-таблиц, если известно что sim(x,y)=p? a) pt b) 1 – (1 – pb)t c) b(1 – pt)2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 3. Зачем сравнивать изображения?Классификация, кластеризация Обучение Обучение классификатора: Модель сопоставление особенностей классификатора изображений меткам классовОбучающее множество:изображения и метки класса Тестирование Предсказанные Сопоставление тестового классификатором изображения модели классы: классификатора – open outdoor Тестовое изображение3 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 4. Зачем сравнивать изображения?Обнаружение объектов4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 5. Зачем сравнивать изображения?Мы бы хотели...• чтобы компьютер «понимал» семантику сцены на изображении• автоматически распознавать что и где изображено• категоризировать и идентифицировать объекты, определять их свойства и отношения5 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 6. Что считать похожими объектами?Разные уровни обобщения • Один и тот же объект в разные моменты времени (слежение/tracking) • Один и тот же объект в разных позах, в разных условиях, с разным фоном (распознавание лиц) • Разные объекты одной категории (обнаружение объектов/object detection)6 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 7. Что есть распознанный объект?Разные уровни локализации • Объект (сцена) присутствует на изображении классификация, категоризация изображений (image classification) • Известно местоположение объекта, объект выделен на изображении обнаружение, выделение, локализация объекта (object detection, localization) • Известны пиксели, принадлежащие объекту объектная сегментация (object segmentation)7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 8. Уровни локализации сложно Определение категории и объектная сегментация Определение категории и выделение объекта на изображении Определение категории объекта на изображении просто Уровни обобщения8 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 9. Насколько сложна задача выделения объекта? Стул Найдем стул на этом изображении Корреляция с шаблоном9 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: А. Torralba
  • 10. Насколько сложна задача выделения объекта? Найдем стул на этом изображении Простое сопоставление шаблонов не решает задачу10 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: А. Torralba
  • 11. Сложности: разные ракурсы/позы объекта11 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 12. Сложности: разный масштаб12 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 13. Сложности: изменение освещения13 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 14. Сложности: фон14 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 15. Cложности: перекрытия15 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 16. Сложности: деформируемые объекты16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 17. Сложности: внутривидовые различия17 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 18. Как выделить общие свойства свойства объектов изодной категории?Определить «с потолка» абстрактную модель непростоПроще обучить модель на примерах18 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 19. Общая схема решенияИспользование классификатора:• Представление изображения или его фрагмента в виде вектора признаков: f( )• Обучение классификатора• Классификация векторов признаков Извлечение Классификатор машина/не машина признаков19 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 20. Какие признаки использовать?Какие свойства объектов являютсяключевыми?Зависят ли ключевые свойствва ипризнаки от категории?Как достичь необходимойинвариантности?20 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 21. Какие признаки использовать? 2500 2000 1500 1000 500 0 0 50 100 150 200 25021 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 22. Какие признаки использовать?22 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 23. Как обучить классификатор? Как построить разделяющую поверхность? Как добиться необходимого уровня обощения модели классификатора? Как учесть дополнительные априорные знания?23 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 24. Различные варианты разметки обучающегомножества24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 25. Модели: Generative vs. Discriminative25 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 26. Модели: Generative vs. Discriminative• Generative model 0.1 0.05 0 0 10 20 30 40 50 60 70 x = data• Discriminative model 1 0.5 0 0 10 20 30 40 50 60 70 x = data• Classification function 1 -1 0 10 20 30 40 50 60 70 80 x = data26 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: А. Torralba
  • 27. Discriminative methodsNearest neighbor Neural networks 106 examplesShakhnarovich, Viola, Darrell 2003 LeCun, Bottou, Bengio, Haffner 1998Berg, Berg, Malik 2005 Rowley, Baluja, Kanade 1998… …Support Vector Machines and Kernels Conditional Random FieldsGuyon, Vapnik McCallum, Freitag, Pereira 2000Heisele, Serre, Poggio, 2001 Kumar, Hebert 2003… …27 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: А. Torralba
  • 28. Классификация для разных подзадач и типовобъектов • Определение категории сцены/объекта Подход: классификация признаков изображения (глобальных или локальных) без выделения и анализа отдельных объектов/частей • Выделение объектов Подход: классификация локальных признаков фрагментов изображения (скользящее окно) • Объекты как множество составляющих их частей Подход: классификация локальных признаков составляющих частей объектов с учетом их взаимного расположения28 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 29. Определение категории объекта • Объект (сцена) присутствует на изображении классификация, категоризация изображений (image classification)29 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 30. Определение категории: пример30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 31. 31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 32. 32 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 33. 33 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 34. 34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 35. 35 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 36. 36 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 37. 37 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 38. 38 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 39. 39 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 40. 40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 41. Выделение объекта • Известно местоположение объекта, объект выделен на изображении обнаружение, выделение, локализация объекта (object detection, localization)41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 42. Использование классификатораИзображение разбивается на фрагменты (возможно пересекающиеся)… и принимается решение относительно категории каждого фрагмента(«монитор» или «не монитор»). Decision Фон boundaryГде мониторы? Набор фрагментов Монитор В пространстве признаков42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: А. Torralba
  • 43. Использование скользящего окнаПолный перебор всех позиций и размеров окна!43 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 44. Использование скользящего окнаПолный перебор всех позиций и размеров окна!44 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 45. Использование скользящего окнаПолный перебор всех позиций и размеров окна!45 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 46. 46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 47. Добавим информацию о пространственномрасположении в модель «мешка слов»47 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 48. Добавим информацию о пространственномрасположении в модель «мешка слов»48 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 49. Можно использовать пирамиду49 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 50. 50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 51. 51 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 52. 52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 53. JitteringДобавление искусственных положительных примеров в выборку Отображения, повороты, сдвиги, изменение масштаба, добавление шума53 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 54. 54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 55. Детектор Violo-Jones Основные идеи:• «Быстрые», «простые» признаки объектов • Интегральные изображения, свертка с прибиженным базисом Хаара• Использование адаптивного бустинга (AdaBoost) для выбора наиболее информаитвных признаков• Использование каскада классификаторов для быстрой отбраковки не- объектов55 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 56. 2 356 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 57. 57 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  • 58. Part arrangement models• Объекты, как набор составных частей• Вероятностная модель присутствия объекта на изображении: P(Object|Image)• Вероятность наличия объекта зависит от: • Вероятности наличия необходимых частей объекта «в нужных местах»: P(part k is at [xk,yk]|Image) • Вероятности «правильного» расположения частей относительно друг друга P(part 1 is at [x1,y1]|Image) && P(part 2 is at [x2,y2]|Image) && …58 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 59. Part arrangement models• Голосование• Ограничение на углы• Использование Марковских случайных полей59 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  • 60. 60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Irani
  • 61. 61 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Irani
  • 62. 62 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Irani
  • 63. Заключение • Определение категории и выделение объектов решается при помощи классификации • Определение категории: классификация локальных (глобальных) признаков с использованием машинного обучения • Выделение объекта – использование скользящего окна • Проблемы • Репрезентативность обучающей выборки • Bootstrapping and jittering • Скорость работы • Каскады классификаторов • Зависимость от контекста63 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.