20100919 computer vision_konushin_lecture02

599
-1

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
599
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
8
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

20100919 computer vision_konushin_lecture02

  1. 1. Поговорим о признакахЗадача: каждый фрагмент изображения описать набором признаков, признаков чтобы можно было надежно сравнивать фрагменты (находить похожие), использовать для р распознавания и т.д. f n = ( f n ,1 , L , f n , j )TДескрипторы должны быть достаточно специфичны, локальны, локальны и не очень сложны в вычислении
  2. 2. • Интуитивно понятно, что едва ли не основная информация в картинке содержится как раз в краях (границах) • Ко а ое представление Компактное ре с а е е• Рисунок художника тонкими линиями может передать почти всю семантическую информацию об объектах • Кроме цвета, конечно! Source: D. Lowe
  3. 3. Фильтры Габораx = x cos(θ ) + y sin(θ )y = − x sin(θ ) + y cos(θ ) i ( (θ - ориентацияλ - длина волныσ - сигма гауссианаγ - соотношение размеров (aspect ratio), «эллиптичность фильтра»ψ - сдвиг фазы• 2D фильтр Габора – ядро гауссина, домноженное на синусоиду• Предложены в 1947 Денисом Габором (нобелевским лауреатом),независимо переоткрыты в 1980 году
  4. 4. Связь со зрением человека • Похожи на форму рецептивных полей простых клеток (simple cells) в визуальной коре мозга человекаJ. G. Daugman, “Two-dimensional spectral analysis of cortical receptive field profiles.,”Vision research, vol. 20, no. 10, pp. 847–856, 1980.J. G. Daugman, “Uncertainty relation for resolution in space, spatial frequency, andorientation optimized by two-dimensional visual cortical filters,” J. Opt. Soc. Am. A, vol. 2,no. 7, pp. 1160–1169, 1985.
  5. 5. Поиск краёв с помощью Габора• Слева вверху – иероглиф• 4 справа – применение фильтров Габора с ориентациями 0, 45, 90 и 135 градусов• Слева внизу – совмещение результатов фильтрации
  6. 6. Банки фильтров• Набор фильтров разного масштаба и ориентации образует «банк ф б б фильтров»• Каждый пиксель изображения после обработки банком фильтров даёт вектор признаков• Этот вектор признаков эффективно описывает локальную текстуру у уру окрестности пикселя• Активно используется в сегментации, сегментации распознавании изображений и т.д.
  7. 7. Дескрипторы• Недостаток точного описания каждого пикселя: • Небольшой сдвиг приводит к существенному изменению• Решение: гистограммы 0 2π Slide by S. Lazebnik
  8. 8. Дескрипторы - градиенты Гистограммы градиентов Lowe (SIFT): Используется 128 значений на точку • Cетка 4*4, 8 значений в гистограмме Устойчив к изменениям освещенности и небольшим сдвигамDavid G. Lowe. "Distinctive image features from scale-invariant keypoints.” IJCV 60(2), pp. 91-110, 2004.
  9. 9. ОриентацияПример: найти локальное направление градиента вокруг интересной точкиПовернуть фрагмент(ы) так чтобы средний градиент был так, направлен вверх 0 2π
  10. 10. Дескриптор изображенияTORRALBA, A., MURPHY, K. P., FREEMAN, W. T., AND RUBIN. Context-basedvision system for place and object recognition. In ICCV 2003E. P. Simoncelli and W. T. Freeman. The steerable pyramid: а flexible architecturefor multi-scale derivative computation. IEEE Intl. Conf. on Image Processing, 1995.
  11. 11. Дескриптор изображенияУсреднение каждого уровня пирамиды порешетке 4*4
  12. 12. Дескриптор изображения GIST +Добавление канала цвета дляболее точного описанияцветных изображений
  13. 13. James Hays, Alexei A. Efros Scene Completion using Millions of Photographs,SIGGRAPH 2007.
  14. 14. … 200 изображений
  15. 15. Graph cut + Poisson blending
  16. 16. … 200 ближайших
  17. 17. … 200 ближайших
  18. 18. … 200 ближайших
  19. 19. Почему это работает?
  20. 20. 10 ближайших из 20,000 изображений
  21. 21. 10 ближайших из 2х миллионов изображений
  22. 22. im2gps• Собрали 6М картинок из Flikr спроставленными GPS-метками• Умеем искать похожиеизображения в большой базе• Кластер из 400 машин дляаннотации всех 6М изображений• Найдем вот эту картинку: Найдем, James Hays, Alexei A. Efros im2gps: estimating geographic information from a single image, CVPR 2008.
  23. 23. Найдем теперь такую:
  24. 24. Что мы нашли:
  25. 25. Отображение результатов на карте200 результатов, кластеризуем и покажем центрыи распределение картинок р р р
  26. 26. im2gps
  27. 27. Категории данных
  28. 28. * * * ** * *
  29. 29. Скорость = 112 м / км* * * ** * *
  30. 30. УклонРанжирование изображений по уклону (от макс к мин)
  31. 31. Ранжирование по плотности населения
  32. 32. Пустыни
  33. 33. Города и здания
  34. 34. Снег и лед
  35. 35. Саванна
  36. 36. Вода
  37. 37. Sketch2photoTao Chen, Ming-Ming Cheng, Ping Tan, Ariel Shamir, Shi-Min HuSketch2Photo: Internet Image Montage ACM SIGGRAPH ASIA 2009
  38. 38. Схема метода• Идея: • Поиск в интернете подходящих для композиции изображений • 3000 кандидатов для каждого объекта (выбирается 100) • 1000 кандидатов для фона (выбирается 20)
  39. 39. Выбор кандидатов на фон• Фильтрация по ряду критериев • Согласование по контенту – Для каждого изображения вычисляется гистограмма в LUV – Все вектора кластеризуются с помощью сдвига среднего – Выбирается самый большой кластер – Качество изображения считается по нормализованному расстоянию махаланобиса • Согласование по горизонту – Вычисление горизонта – Отбрасываем изображения со значительным >30% отклонением горизонта • Чистый (uncluttered) фон – Сегментация – Считаем кол-во сегментов, в выпуклой оболочке объектов для размещения – Добавляем с весом 0.3 к метрике качества
  40. 40. Выбор кандидатов для объектов• Для композиции лучше всего подходят такие изображения • Один значимый (salient) объект на чистом, простом фоне • Форма значимого объекта похожа на форму целевого • Используем salient-сегментацию LIU, T., SUN, J., ZHENG, N.-N., TANG, X., AND SHUM, H.-Y. Learning to detect a salient object. In Proc. of CVPR 2007
  41. 41. Выбор кандидатов для объектов (2)• Чистый, простой фон • Считаем количество сегментов в полосе вокруг найденного значимого объекта й б • Отбрасываем изображение, если сегментов больше 10• Уточнение сегментации • Используем GrabCut (развитие Interactive Graph Cuts) c прямоугольной рамкой для инициализации• Фильтрация по согласованию контуров • Считаем расстояние с помощью Shape Context
  42. 42. Примеры расчета кандидатов Moto rider Red car
  43. 43. Композиция изображений Примеры композиций разными методами Ранжирование композиций по качеству
  44. 44. Примеры работы
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×