Your SlideShare is downloading. ×
20100919 computer vision_konushin_lecture02
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Saving this for later?

Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime - even offline.

Text the download link to your phone

Standard text messaging rates apply

20100919 computer vision_konushin_lecture02

526
views

Published on


0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
526
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
7
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Поговорим о признакахЗадача: каждый фрагмент изображения описать набором признаков, признаков чтобы можно было надежно сравнивать фрагменты (находить похожие), использовать для р распознавания и т.д. f n = ( f n ,1 , L , f n , j )TДескрипторы должны быть достаточно специфичны, локальны, локальны и не очень сложны в вычислении
  • 2. • Интуитивно понятно, что едва ли не основная информация в картинке содержится как раз в краях (границах) • Ко а ое представление Компактное ре с а е е• Рисунок художника тонкими линиями может передать почти всю семантическую информацию об объектах • Кроме цвета, конечно! Source: D. Lowe
  • 3. Фильтры Габораx = x cos(θ ) + y sin(θ )y = − x sin(θ ) + y cos(θ ) i ( (θ - ориентацияλ - длина волныσ - сигма гауссианаγ - соотношение размеров (aspect ratio), «эллиптичность фильтра»ψ - сдвиг фазы• 2D фильтр Габора – ядро гауссина, домноженное на синусоиду• Предложены в 1947 Денисом Габором (нобелевским лауреатом),независимо переоткрыты в 1980 году
  • 4. Связь со зрением человека • Похожи на форму рецептивных полей простых клеток (simple cells) в визуальной коре мозга человекаJ. G. Daugman, “Two-dimensional spectral analysis of cortical receptive field profiles.,”Vision research, vol. 20, no. 10, pp. 847–856, 1980.J. G. Daugman, “Uncertainty relation for resolution in space, spatial frequency, andorientation optimized by two-dimensional visual cortical filters,” J. Opt. Soc. Am. A, vol. 2,no. 7, pp. 1160–1169, 1985.
  • 5. Поиск краёв с помощью Габора• Слева вверху – иероглиф• 4 справа – применение фильтров Габора с ориентациями 0, 45, 90 и 135 градусов• Слева внизу – совмещение результатов фильтрации
  • 6. Банки фильтров• Набор фильтров разного масштаба и ориентации образует «банк ф б б фильтров»• Каждый пиксель изображения после обработки банком фильтров даёт вектор признаков• Этот вектор признаков эффективно описывает локальную текстуру у уру окрестности пикселя• Активно используется в сегментации, сегментации распознавании изображений и т.д.
  • 7. Дескрипторы• Недостаток точного описания каждого пикселя: • Небольшой сдвиг приводит к существенному изменению• Решение: гистограммы 0 2π Slide by S. Lazebnik
  • 8. Дескрипторы - градиенты Гистограммы градиентов Lowe (SIFT): Используется 128 значений на точку • Cетка 4*4, 8 значений в гистограмме Устойчив к изменениям освещенности и небольшим сдвигамDavid G. Lowe. "Distinctive image features from scale-invariant keypoints.” IJCV 60(2), pp. 91-110, 2004.
  • 9. ОриентацияПример: найти локальное направление градиента вокруг интересной точкиПовернуть фрагмент(ы) так чтобы средний градиент был так, направлен вверх 0 2π
  • 10. Дескриптор изображенияTORRALBA, A., MURPHY, K. P., FREEMAN, W. T., AND RUBIN. Context-basedvision system for place and object recognition. In ICCV 2003E. P. Simoncelli and W. T. Freeman. The steerable pyramid: а flexible architecturefor multi-scale derivative computation. IEEE Intl. Conf. on Image Processing, 1995.
  • 11. Дескриптор изображенияУсреднение каждого уровня пирамиды порешетке 4*4
  • 12. Дескриптор изображения GIST +Добавление канала цвета дляболее точного описанияцветных изображений
  • 13. James Hays, Alexei A. Efros Scene Completion using Millions of Photographs,SIGGRAPH 2007.
  • 14. … 200 изображений
  • 15. Graph cut + Poisson blending
  • 16. … 200 ближайших
  • 17. … 200 ближайших
  • 18. … 200 ближайших
  • 19. Почему это работает?
  • 20. 10 ближайших из 20,000 изображений
  • 21. 10 ближайших из 2х миллионов изображений
  • 22. im2gps• Собрали 6М картинок из Flikr спроставленными GPS-метками• Умеем искать похожиеизображения в большой базе• Кластер из 400 машин дляаннотации всех 6М изображений• Найдем вот эту картинку: Найдем, James Hays, Alexei A. Efros im2gps: estimating geographic information from a single image, CVPR 2008.
  • 23. Найдем теперь такую:
  • 24. Что мы нашли:
  • 25. Отображение результатов на карте200 результатов, кластеризуем и покажем центрыи распределение картинок р р р
  • 26. im2gps
  • 27. Категории данных
  • 28. * * * ** * *
  • 29. Скорость = 112 м / км* * * ** * *
  • 30. УклонРанжирование изображений по уклону (от макс к мин)
  • 31. Ранжирование по плотности населения
  • 32. Пустыни
  • 33. Города и здания
  • 34. Снег и лед
  • 35. Саванна
  • 36. Вода
  • 37. Sketch2photoTao Chen, Ming-Ming Cheng, Ping Tan, Ariel Shamir, Shi-Min HuSketch2Photo: Internet Image Montage ACM SIGGRAPH ASIA 2009
  • 38. Схема метода• Идея: • Поиск в интернете подходящих для композиции изображений • 3000 кандидатов для каждого объекта (выбирается 100) • 1000 кандидатов для фона (выбирается 20)
  • 39. Выбор кандидатов на фон• Фильтрация по ряду критериев • Согласование по контенту – Для каждого изображения вычисляется гистограмма в LUV – Все вектора кластеризуются с помощью сдвига среднего – Выбирается самый большой кластер – Качество изображения считается по нормализованному расстоянию махаланобиса • Согласование по горизонту – Вычисление горизонта – Отбрасываем изображения со значительным >30% отклонением горизонта • Чистый (uncluttered) фон – Сегментация – Считаем кол-во сегментов, в выпуклой оболочке объектов для размещения – Добавляем с весом 0.3 к метрике качества
  • 40. Выбор кандидатов для объектов• Для композиции лучше всего подходят такие изображения • Один значимый (salient) объект на чистом, простом фоне • Форма значимого объекта похожа на форму целевого • Используем salient-сегментацию LIU, T., SUN, J., ZHENG, N.-N., TANG, X., AND SHUM, H.-Y. Learning to detect a salient object. In Proc. of CVPR 2007
  • 41. Выбор кандидатов для объектов (2)• Чистый, простой фон • Считаем количество сегментов в полосе вокруг найденного значимого объекта й б • Отбрасываем изображение, если сегментов больше 10• Уточнение сегментации • Используем GrabCut (развитие Interactive Graph Cuts) c прямоугольной рамкой для инициализации• Фильтрация по согласованию контуров • Считаем расстояние с помощью Shape Context
  • 42. Примеры расчета кандидатов Moto rider Red car
  • 43. Композиция изображений Примеры композиций разными методами Ранжирование композиций по качеству
  • 44. Примеры работы