Your SlideShare is downloading. ×
0
Анализ изображений и видеоЛекция 7: Классификация изображений ираспознавание объектов.Наталья Васильеваnvassilieva@hp.comH...
Вопросы (время на ответы 15 минут)1. Преобразуйте цепной код 11076765543322 так, чтобы он стал инвариантным по   отношению...
Зачем сравнивать изображения?Классификация, кластеризация                                                                 ...
Зачем сравнивать изображения?Обнаружение объектов4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The informat...
Зачем сравнивать изображения?Мы бы хотели...• чтобы компьютер «понимал» семантику сцены на изображении• автоматически расп...
Что считать похожими объектами?Разные уровни обобщения  • Один и тот же объект в разные    моменты времени    (слежение/tr...
Что есть распознанный объект?Разные уровни локализации  • Объект (сцена) присутствует на    изображении     классификация,...
Уровни локализации                                                                                                        ...
Насколько сложна задача выделения объекта?  Стул                                    Найдем стул на этом изображении       ...
Насколько сложна задача выделения объекта?    Найдем стул на этом изображении                                             ...
Сложности: разные ракурсы/позы объекта11 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contai...
Сложности: разный масштаб12 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is...
Сложности: изменение освещения13 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained here...
Сложности: фон14 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to...
Cложности: перекрытия15 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is sub...
Сложности: деформируемые объекты16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained he...
Сложности: внутривидовые различия17 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained h...
Как выделить общие свойства свойства объектов изодной категории?Определить «с потолка» абстрактную модель непростоПроще об...
Общая схема решенияИспользование классификатора:• Представление изображения или его  фрагмента в виде вектора признаков:  ...
Какие признаки использовать?Какие свойства объектов являютсяключевыми?Зависят ли ключевые свойствва ипризнаки от категории...
Какие признаки использовать?                   2500                   2000                   1500                   1000  ...
Какие признаки использовать?22 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein...
Как обучить классификатор?     Как построить разделяющую     поверхность?     Как добиться необходимого уровня     обощени...
Различные варианты разметки обучающегомножества24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The informati...
Модели: Generative vs. Discriminative25 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contain...
Модели: Generative vs. Discriminative• Generative model                                                                   ...
Discriminative methodsNearest neighbor                                                                                    ...
Классификация для разных подзадач и типовобъектов                                      • Определение категории сцены/объек...
Определение категории объекта                      • Объект (сцена) присутствует на                        изображении    ...
Определение категории: пример30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herei...
31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
32 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
33 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
35 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
36 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
37 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
38 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
39 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
Выделение объекта           • Известно местоположение объекта,             объект выделен на изображении              обна...
Использование классификатораИзображение разбивается на фрагменты (возможно пересекающиеся)… и принимается решение относите...
Использование скользящего окнаПолный перебор всех позиций и размеров окна!43 © Copyright 2012 Hewlett-Packard Development ...
Использование скользящего окнаПолный перебор всех позиций и размеров окна!44 © Copyright 2012 Hewlett-Packard Development ...
Использование скользящего окнаПолный перебор всех позиций и размеров окна!45 © Copyright 2012 Hewlett-Packard Development ...
46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
Добавим информацию о пространственномрасположении в модель «мешка слов»47 © Copyright 2012 Hewlett-Packard Development Com...
Добавим информацию о пространственномрасположении в модель «мешка слов»48 © Copyright 2012 Hewlett-Packard Development Com...
Можно использовать пирамиду49 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein ...
50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
51 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
JitteringДобавление искусственных положительных примеров в выборку               Отображения, повороты, сдвиги, изменение ...
54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
Детектор Violo-Jones  Основные идеи:• «Быстрые», «простые» признаки объектов    • Интегральные изображения, свертка с приб...
2                                                356 © Copyright 2012 Hewlett-Packard Development Company, L.P. The inform...
57 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
Part arrangement models• Объекты, как набор составных частей• Вероятностная модель присутствия объекта на изображении: P(O...
Part arrangement models• Голосование• Ограничение на углы• Использование Марковских случайных полей59 © Copyright 2012 Hew...
60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
61 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
62 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
Заключение   • Определение категории и выделение объектов решается при     помощи классификации    • Определение категории...
Upcoming SlideShare
Loading in...5
×

2012 11-09 image-videoanalysis_lecture07

799

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
799
On Slideshare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
26
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Transcript of "2012 11-09 image-videoanalysis_lecture07"

  1. 1. Анализ изображений и видеоЛекция 7: Классификация изображений ираспознавание объектов.Наталья Васильеваnvassilieva@hp.comHP Labs Russia9 ноября 2012, Computer Science Center
  2. 2. Вопросы (время на ответы 15 минут)1. Преобразуйте цепной код 11076765543322 так, чтобы он стал инвариантным по отношению к выбору начальной точки и к повороту.2. Дано изображение шахматного поля с клетками размером nxn пикселей. Какие параметры сдвига будут порождать матрицу смежности диагонального вида?3. К каким трансформациям изображения не инвариантен детектор Харриса?4. Какая индексная структура требует меньшего объема памяти для организации индекса: kD-tree или Vocabulary tree?5. Какова вероятность коллизии для двух объектов x и y при использовании b- битных хеш-кодов и t независимых хеш-таблиц, если известно что sim(x,y)=p? a) pt b) 1 – (1 – pb)t c) b(1 – pt)2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  3. 3. Зачем сравнивать изображения?Классификация, кластеризация Обучение Обучение классификатора: Модель сопоставление особенностей классификатора изображений меткам классовОбучающее множество:изображения и метки класса Тестирование Предсказанные Сопоставление тестового классификатором изображения модели классы: классификатора – open outdoor Тестовое изображение3 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  4. 4. Зачем сравнивать изображения?Обнаружение объектов4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  5. 5. Зачем сравнивать изображения?Мы бы хотели...• чтобы компьютер «понимал» семантику сцены на изображении• автоматически распознавать что и где изображено• категоризировать и идентифицировать объекты, определять их свойства и отношения5 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  6. 6. Что считать похожими объектами?Разные уровни обобщения • Один и тот же объект в разные моменты времени (слежение/tracking) • Один и тот же объект в разных позах, в разных условиях, с разным фоном (распознавание лиц) • Разные объекты одной категории (обнаружение объектов/object detection)6 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  7. 7. Что есть распознанный объект?Разные уровни локализации • Объект (сцена) присутствует на изображении классификация, категоризация изображений (image classification) • Известно местоположение объекта, объект выделен на изображении обнаружение, выделение, локализация объекта (object detection, localization) • Известны пиксели, принадлежащие объекту объектная сегментация (object segmentation)7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  8. 8. Уровни локализации сложно Определение категории и объектная сегментация Определение категории и выделение объекта на изображении Определение категории объекта на изображении просто Уровни обобщения8 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  9. 9. Насколько сложна задача выделения объекта? Стул Найдем стул на этом изображении Корреляция с шаблоном9 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: А. Torralba
  10. 10. Насколько сложна задача выделения объекта? Найдем стул на этом изображении Простое сопоставление шаблонов не решает задачу10 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: А. Torralba
  11. 11. Сложности: разные ракурсы/позы объекта11 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  12. 12. Сложности: разный масштаб12 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  13. 13. Сложности: изменение освещения13 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  14. 14. Сложности: фон14 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  15. 15. Cложности: перекрытия15 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  16. 16. Сложности: деформируемые объекты16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  17. 17. Сложности: внутривидовые различия17 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  18. 18. Как выделить общие свойства свойства объектов изодной категории?Определить «с потолка» абстрактную модель непростоПроще обучить модель на примерах18 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  19. 19. Общая схема решенияИспользование классификатора:• Представление изображения или его фрагмента в виде вектора признаков: f( )• Обучение классификатора• Классификация векторов признаков Извлечение Классификатор машина/не машина признаков19 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  20. 20. Какие признаки использовать?Какие свойства объектов являютсяключевыми?Зависят ли ключевые свойствва ипризнаки от категории?Как достичь необходимойинвариантности?20 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  21. 21. Какие признаки использовать? 2500 2000 1500 1000 500 0 0 50 100 150 200 25021 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  22. 22. Какие признаки использовать?22 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  23. 23. Как обучить классификатор? Как построить разделяющую поверхность? Как добиться необходимого уровня обощения модели классификатора? Как учесть дополнительные априорные знания?23 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  24. 24. Различные варианты разметки обучающегомножества24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  25. 25. Модели: Generative vs. Discriminative25 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  26. 26. Модели: Generative vs. Discriminative• Generative model 0.1 0.05 0 0 10 20 30 40 50 60 70 x = data• Discriminative model 1 0.5 0 0 10 20 30 40 50 60 70 x = data• Classification function 1 -1 0 10 20 30 40 50 60 70 80 x = data26 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: А. Torralba
  27. 27. Discriminative methodsNearest neighbor Neural networks 106 examplesShakhnarovich, Viola, Darrell 2003 LeCun, Bottou, Bengio, Haffner 1998Berg, Berg, Malik 2005 Rowley, Baluja, Kanade 1998… …Support Vector Machines and Kernels Conditional Random FieldsGuyon, Vapnik McCallum, Freitag, Pereira 2000Heisele, Serre, Poggio, 2001 Kumar, Hebert 2003… …27 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: А. Torralba
  28. 28. Классификация для разных подзадач и типовобъектов • Определение категории сцены/объекта Подход: классификация признаков изображения (глобальных или локальных) без выделения и анализа отдельных объектов/частей • Выделение объектов Подход: классификация локальных признаков фрагментов изображения (скользящее окно) • Объекты как множество составляющих их частей Подход: классификация локальных признаков составляющих частей объектов с учетом их взаимного расположения28 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  29. 29. Определение категории объекта • Объект (сцена) присутствует на изображении классификация, категоризация изображений (image classification)29 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  30. 30. Определение категории: пример30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  31. 31. 31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  32. 32. 32 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  33. 33. 33 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  34. 34. 34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  35. 35. 35 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  36. 36. 36 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  37. 37. 37 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  38. 38. 38 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  39. 39. 39 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  40. 40. 40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  41. 41. Выделение объекта • Известно местоположение объекта, объект выделен на изображении обнаружение, выделение, локализация объекта (object detection, localization)41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  42. 42. Использование классификатораИзображение разбивается на фрагменты (возможно пересекающиеся)… и принимается решение относительно категории каждого фрагмента(«монитор» или «не монитор»). Decision Фон boundaryГде мониторы? Набор фрагментов Монитор В пространстве признаков42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: А. Torralba
  43. 43. Использование скользящего окнаПолный перебор всех позиций и размеров окна!43 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  44. 44. Использование скользящего окнаПолный перебор всех позиций и размеров окна!44 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  45. 45. Использование скользящего окнаПолный перебор всех позиций и размеров окна!45 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  46. 46. 46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  47. 47. Добавим информацию о пространственномрасположении в модель «мешка слов»47 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  48. 48. Добавим информацию о пространственномрасположении в модель «мешка слов»48 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  49. 49. Можно использовать пирамиду49 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  50. 50. 50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  51. 51. 51 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  52. 52. 52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  53. 53. JitteringДобавление искусственных положительных примеров в выборку Отображения, повороты, сдвиги, изменение масштаба, добавление шума53 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  54. 54. 54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  55. 55. Детектор Violo-Jones Основные идеи:• «Быстрые», «простые» признаки объектов • Интегральные изображения, свертка с прибиженным базисом Хаара• Использование адаптивного бустинга (AdaBoost) для выбора наиболее информаитвных признаков• Использование каскада классификаторов для быстрой отбраковки не- объектов55 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  56. 56. 2 356 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  57. 57. 57 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  58. 58. Part arrangement models• Объекты, как набор составных частей• Вероятностная модель присутствия объекта на изображении: P(Object|Image)• Вероятность наличия объекта зависит от: • Вероятности наличия необходимых частей объекта «в нужных местах»: P(part k is at [xk,yk]|Image) • Вероятности «правильного» расположения частей относительно друг друга P(part 1 is at [x1,y1]|Image) && P(part 2 is at [x2,y2]|Image) && …58 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  59. 59. Part arrangement models• Голосование• Ограничение на углы• Использование Марковских случайных полей59 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  60. 60. 60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Irani
  61. 61. 61 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Irani
  62. 62. 62 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Irani
  63. 63. Заключение • Определение категории и выделение объектов решается при помощи классификации • Определение категории: классификация локальных (глобальных) признаков с использованием машинного обучения • Выделение объекта – использование скользящего окна • Проблемы • Репрезентативность обучающей выборки • Bootstrapping and jittering • Скорость работы • Каскады классификаторов • Зависимость от контекста63 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×