Анализ изображений и видео
Лекция 5: Построение признаков и сравнение
изображений: локальные особенности и признаки
Наталь...
Признаки изображений

Признаки
Глобальные
Описывают картинку целиком:
− средняя яркость;
− среднее значение по
красному ка...
Когда глобальные признаки не работают?

Изменение масштаба

Изменение точки съемки

Изменение освещения

3 © Copyright 201...
Решение: локальные признаки

•
•
•

Хотя глобальные признаки отличаются, можно найти сопоставимые
фрагменты изображений
Ка...
Как сопоставлять фрагменты?

1.

Сканирование (scanning)
Полный перебор (точно не пропустим пару сопоставимых фрагментов)
...
Как сопоставлять фрагменты?
Ключевые точки
Точки интереса
Точки внимания
Особые точки
Точечные особенности
Характерные точ...
Какими должны быть «особые» фрагменты?

1.
•

2.
•

3.
•

4.
•

Их должно быть немного
существенно меньше, чем пикселей на...
Повторяемость особых точек

Нет совпадающих особых точек – нет возможности сопоставить изображения!

•

Необходимо, чтобы ...
Информативность, репрезентативность

?
•

Желательна однозначность в сопоставлении фрагментов

•

Желательна инвариантност...
Геометрические и фотометрические
трансформации изображения
Геометрические:
• Поворот
• Поворот + изменение масштаба
• Афин...
Сравнение изображений при помощи локальных
признаков: основные шаги
1.

Локализация особых точек

2.

Выделение особых фра...
Применение локальных признаков
• Слежение за движущимися объектами
• Сопоставление изображений (например, для построения
п...
Finding Corners

•Key property: in the region around a corner, image gradient has two or more
dominant directions
•Corners...
Угловые точки в качестве особых
•
•
•

Просто обнаружить, используя маленькое окно
Смещение окна в окрестности угловой точ...
Схема работы детекторов угловых точек

http://kiwi.cs.dal.ca/~dparks/CornerDetection/index.htm

15 © Copyright 2012 Hewlet...
Пример

16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to chang...
Детектор Моравица (Moravec)
(u,v) – направление смещения (всего 8 направлений)
(x,y) – центр окна, размер окна (2n+1)X(2n+...
Недостатки детектора Моравица
•

Не является инвариантным к повороту из-за дискретности
рассмтариваемого множества направл...
Детектор Харриса

df
dy

0.08
0.06
0.04
0.02
0
-0.02
-0.04
-0.06
-0.08
-0.08

0.08

-0.06

-0.04

-0.02

0

0.02

0.04

0....
Детектор Харриса – освновная идея
Для каждого окна смотрим на собственные числа ковариационной матрицы
градиентов пикселей...
Детектор Харриса: математика
Изменение интенсивности в окрестности точки (x,y) при сдвиге [u,v]:

=
E (u , v)

∑ w( x, y) ...
Детектор Харриса: математика
Для небольших сдвигов [u,v] можем аппроксимировать (ряд Тейлора):

I (u + x, v + y ) ≈ I ( x,...
Детектор Харриса: математика
Угол характеризуется большим изменением E во всех направлениях вектора [u,v], что
эквивалентн...
Детектор Харриса: мера отклика угла
= det M − k ( trace M )
R

2

det M = λ1λ2
=
trace M λ1 + λ2

λ2
“Край”

“Угол”

R<0

...
Детектор Харриса
1.

Вычислить градиент изображения в каждой точке с использованием
Гауссова сглаживания

2.

Вычислить ма...
Пример

26 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to chang...
Пример
Вычисляем значение R

27 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herei...
Пример
Выделяем точки с R>threshold

28 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contain...
Пример
Оставим точки локального максимума R

29 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information...
Пример

30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to chang...
Свойства детектора Харриса
• Инвариантность к повороту

• Инвариантность к сдвигу интенсивности I → I + b
• Не инвариантен...
Инвариантность к изменению масштаба
Рассмотрим фрагменты (например, круги) разного размера на разных
изображениях
Для двух...
Инвариантность к изменению масштаба
Задача: как выбрать размер фрагмента независимо для каждого
изображения???

33 © Copyr...
Инвариантность к изменению масштаба
Решение:
• Выберем функцию, заданную на фрагменте изображения, инвариантную к
изменени...
Инвариантность к изменению масштаба
Решение:
Найти лоакльный максимум такой функции

Наблюдение: точка локального максимум...
Characteristic Scale (Характеристический размер)

• Точка локального максимума - characteristic scale
• S1/S2 равно соотно...
Инвариантность к изменению масштаба
“Хорошая” функция для определения соотношения масштабов
фрагментов:
f

f

bad

f

Good...
Многомасштабное представление изображений
Пирамида изображений

38 © Copyright 2012 Hewlett-Packard Development Company, L...
Прореживающая выборка (sampling)
Тривиальный способ уменьшения размера изображения

39 © Copyright 2012 Hewlett-Packard De...
Алиасинг (aliasing)

40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is sub...
41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
Антиалиасинг

Решение: избавится от высоких частот
Потеряем часть информации, но это лучше, чем алиасинг

Для удаления выс...
44 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change withou...
Построение пирамиды

45 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is sub...
Гауссова пирамида

46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subje...
Масштабно-независимые детекторы
Функции для определения характеристического размера:

= Kernel ∗ Image
f

Лапласиан:

L σ ...
Свертка с Лапласианом

f

2

d
g
2
dx
d2
f∗ 2g
dx

48 © Copyright 2012 Hewlett-Packard Development Company, L.P. The infor...
Свертка с Лапласианом

maximum
Spatial selection: the magnitude of the Laplacian
response will achieve a maximum at the ce...
Пример выбора масштаба
• 2D Laplacian задается формулой:

( x + y − 2σ ) e
2

2

2

− ( x 2 + y 2 ) / 2σ 2

r

Laplacian r...
Laplacian-of-Gaussian (LoG)

51 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herei...
Difference-of-Gaussian
The input image is convolved with Gaussian function:

σ1 = 2

σ2 = 4

σ =2

52 © Copyright 2012 Hew...
Difference-of-Gaussian

53 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is ...
Difference-of-Gaussian

54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is ...
Key point localization
scale

Find local maximum of:
• Harris corner detector in space (image
coordinates)
• Laplacian in ...
Scale Invariant Detection: Summary

Given: two images of the same scene with a large scale difference
between them
Goal: f...
Локальные признаки
Point descriptor should be:
We know how to detect points
1. Invariant
Next question:
2. Distinctive
How...
SIFT: Основные шаги

1.
•
2.
•
3.
•
4.
•

Scale-space peak selection
Using Difference-of-Gaussians (DoG)
Keypoint localiza...
SIFT keypoints
Maxima and minima of DoG applied in
scale-space:
1) Extrema detection for the same scale
2) Check if it is ...
Scale-space extrema detection

60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained her...
Keypoints orientation and scale
• Extract image gradients

and orientations at each
pixel
• Each key location is
assigned ...
SIFT descriptor

62 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject...
Example

63/50

63 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject ...
Заключение
 Глобальные признаки не всегда работают
 Вычисление локальных признаков
 Определение особых точек
 Выделени...
Upcoming SlideShare
Loading in …5
×

2013 11 12_video_imageanalysis_lecture_05

1,892 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,892
On SlideShare
0
From Embeds
0
Number of Embeds
1,554
Actions
Shares
0
Downloads
17
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

2013 11 12_video_imageanalysis_lecture_05

  1. 1. Анализ изображений и видео Лекция 5: Построение признаков и сравнение изображений: локальные особенности и признаки Наталья Васильева nvassilieva@hp.com HP Labs Russia 12 ноября 2013, Computer Science Center
  2. 2. Признаки изображений Признаки Глобальные Описывают картинку целиком: − средняя яркость; − среднее значение по красному каналу; − … Обычно, вычисляются по всем пикселям изображения Локальные Описывают часть картинки: − средняя яркость верхней левой четверти; − среднее значение по красному каналу в окрестности центра изображения; − … Сегментация, поиск точек интереса, построение признаков по окрестностям точек интереса 2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  3. 3. Когда глобальные признаки не работают? Изменение масштаба Изменение точки съемки Изменение освещения 3 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Перекрытие
  4. 4. Решение: локальные признаки • • • Хотя глобальные признаки отличаются, можно найти сопоставимые фрагменты изображений Как выбирать фрагменты? Как описывать фрагменты? 4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  5. 5. Как сопоставлять фрагменты? 1. Сканирование (scanning) Полный перебор (точно не пропустим пару сопоставимых фрагментов) Полный перебор (медленно) Слишком много пар 5 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  6. 6. Как сопоставлять фрагменты? Ключевые точки Точки интереса Точки внимания Особые точки Точечные особенности Характерные точки “salient” “keypoints” “representative” 1. Выборочное сравнение фрагментов (sparse matching) Быстрее: меньше сравнений Изолированные фрагменты (нет пересекающихся пар) Нет гарантии, что всегда будут найдены все пары Как искать «ключевые» точки??? 6 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  7. 7. Какими должны быть «особые» фрагменты? 1. • 2. • 3. • 4. • Их должно быть немного существенно меньше, чем пикселей на изображении Информативные, репрезентативные, уникальные (distinctive, salient) Если окрестности двух точек не отличимы, будет сложно понять, какую из них сопоставить искомому фрагменту Повторяемые (repeatable) Одна и та же точка должна находиться на изображении вне зависимости от геометрических и фотометрических изменений объекта съемки Локальные (local) Небольшого размера, устойчивы к частичному перекрытию другим объектом 7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  8. 8. Повторяемость особых точек Нет совпадающих особых точек – нет возможности сопоставить изображения! • Необходимо, чтобы хотя бы часть особых точек первого изображения была обнаружена на втором • При этом обнаружение особых точек должно происходить независимо для каждого изображения Slide credit: K. Grauman 8 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  9. 9. Информативность, репрезентативность ? • Желательна однозначность в сопоставлении фрагментов • Желательна инвариантность к геометрическим и фотометрическим трансформациям объекта на разных изображениях 9 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  10. 10. Геометрические и фотометрические трансформации изображения Геометрические: • Поворот • Поворот + изменение масштаба • Афинные преобразования Фотометрические • Афинные преобразования интенстивности (I → a I + b) 10 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  11. 11. Сравнение изображений при помощи локальных признаков: основные шаги 1. Локализация особых точек 2. Выделение особых фрагментов – окрестности ключевых точек, инвариантные к различного рода преобразованиям 3. Построение векторов признаков для найденных фрагментов 4. Сопоставление наборов локальных признаков для двух изображений Fig. credit: K. Grauman, B. Leibe 11 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  12. 12. Применение локальных признаков • Слежение за движущимися объектами • Сопоставление изображений (например, для построения панорам) • 3D-реконструкция • Распознавание объектов • Индексирование и поиск изображений • Навигация роботов 12 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  13. 13. Finding Corners •Key property: in the region around a corner, image gradient has two or more dominant directions •Corners are repeatable and distinctive C.Harris and M.Stephens. "A Combined Corner and Edge Detector.“ Proceedings of the 4th Alvey Vision Conference: pages 147--151. 13 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  14. 14. Угловые точки в качестве особых • • • Просто обнаружить, используя маленькое окно Смещение окна в окрестности угловой точки в любом направлении приводит к существенному изменению набора интенсивностей окна (алгоритм Моравица) В окрестности угловой точки – два доминирующих направления градиента (алгоритм Харриса) “монотонная” область: нет изменений ни в каком направлении “край”: нет изменений по одному из направлений – вдоль края 14 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. “угол”: существенные изменения по всем направлениям
  15. 15. Схема работы детекторов угловых точек http://kiwi.cs.dal.ca/~dparks/CornerDetection/index.htm 15 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  16. 16. Пример 16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  17. 17. Детектор Моравица (Moravec) (u,v) – направление смещения (всего 8 направлений) (x,y) – центр окна, размер окна (2n+1)X(2n+1), n=1,2,4 • Для каждого направления смещения вычисляется изменение интенсивности: S ( x, y, u , v) = ∑a = x − n , b = y − n ( I (a, b) − I (a + u , b + v)) 2 a= x+ n,b= y + n • Строится карта силы угла в каждой точке: C ( x, y ) = min{S ( x, y, u , v)} u ,v • • Отсекаются неугловые точки по порогу (значение силы угла меньше порога) Отсекаются точки, не являющиеся локальным максимумом (non-maximal suppression) 17 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  18. 18. Недостатки детектора Моравица • Не является инвариантным к повороту из-за дискретности рассмтариваемого множества направлений смещений • Выдает высокий отклик вдоль при наличии даже небольшого шума • Неточен в оценке локального изменения интенсивности из-за использования квадратной бинарной маски окна 18 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  19. 19. Детектор Харриса df dy 0.08 0.06 0.04 0.02 0 -0.02 -0.04 -0.06 -0.08 -0.08 0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08 0.08 0.06 0.06 0.04 0.04 0.02 0.02 0 0 -0.02 -0.02 -0.04 -0.04 -0.06 -0.06 -0.08 -0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08 -0.08 -0.08 -0.06 -0.04 19 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. -0.02 0 0.02 0.04 0.06 0.08 df dx
  20. 20. Детектор Харриса – освновная идея Для каждого окна смотрим на собственные числа ковариационной матрицы градиентов пикселей Собственные вектора этой матрицы показывают «основные направления» данных Величина собственных чисел указывает на «степень выраженности» соответствующего направления • • • 0.08 0.08 0.08 0.06 0.06 0.06 0.04 0.04 0.04 0.02 0.02 0.02 0 0 0 -0.02 -0.02 -0.02 -0.04 -0.04 -0.04 -0.06 -0.06 -0.06 -0.08 -0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08 Нет «больших» собственных чисел -0.08 -0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08 1 «большое» собственное число 20 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. -0.08 -0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08 2 «больших» собственных числа
  21. 21. Детектор Харриса: математика Изменение интенсивности в окрестности точки (x,y) при сдвиге [u,v]: = E (u , v) ∑ w( x, y) [ I ( x + u, y + v) − I ( x, y)] 2 x, y Функция окна Яркость при сдвиге Яркость или Функция окна w(x,y) = 1 в окне, 0 снаружи 21 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Гауссиан Slide credit: Computer Vision : CISC 4/689
  22. 22. Детектор Харриса: математика Для небольших сдвигов [u,v] можем аппроксимировать (ряд Тейлора): I (u + x, v + y ) ≈ I ( x, y ) + I x ( x, y )u + I y ( x, y )v Это приводит к приближению: E (u , v) ≈ ∑ w( x, y )( I x ( x, y )u + I y ( x, y )v) 2 x, y E (u , v) ≅ [u , v ] M u  v    где M - матрица 2×2, состоящая из частных производных от интенсивности: 2  Ix M = ∑ w( x, y )  x, y IxI y  IxI y  2  Iy   22 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  23. 23. Детектор Харриса: математика Угол характеризуется большим изменением E во всех направлениях вектора [u,v], что эквивалентно большим по модулю собственным значениям матрицы М E (u , v) ≅ [u , v ] u  M   v  λ2 “Край” λ2 >> λ1 λ1, λ2 – собственные значения M λ1 и λ2 малы; E почти постоянна по всем направлениям “Угол” λ1 и λ2 велики, λ1 ~ λ2, E растет во всех направлениях “Плоская” область “Край” λ1 >> λ2 23 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. λ1 Slide credit: Computer Vision : CISC 4/689
  24. 24. Детектор Харриса: мера отклика угла = det M − k ( trace M ) R 2 det M = λ1λ2 = trace M λ1 + λ2 λ2 “Край” “Угол” R<0 (k – эмпирическая константа, k = 0.04-0.06) R>0 • R зависит только от значений собственных чисел λ1 , λ2 • R принимает большие значения в угловых точках • R принимает отрицательные значения, большие по модулю на контуре “Плоская” область |R| small “Край” R<0 λ1 • |R| мало в плоском регионе 24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Computer Vision : CISC 4/689
  25. 25. Детектор Харриса 1. Вычислить градиент изображения в каждой точке с использованием Гауссова сглаживания 2. Вычислить матрицу М с весовыми коэффициентами Гауссова окна для окрестности каждой точки 3. Вычислить меру отклика угла R 4. Найти точки с большим значением R (отсечение по порогу) 5. Найти локальные максимумы меры отклика угла (nonmaximum suppression) 25 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  26. 26. Пример 26 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Computer Vision : CISC 4/689
  27. 27. Пример Вычисляем значение R 27 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Computer Vision : CISC 4/689
  28. 28. Пример Выделяем точки с R>threshold 28 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Computer Vision : CISC 4/689
  29. 29. Пример Оставим точки локального максимума R 29 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Computer Vision : CISC 4/689
  30. 30. Пример 30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Computer Vision : CISC 4/689
  31. 31. Свойства детектора Харриса • Инвариантность к повороту • Инвариантность к сдвигу интенсивности I → I + b • Не инвариантен к изменению масштаба! Угол Все точки – точки контура 31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  32. 32. Инвариантность к изменению масштаба Рассмотрим фрагменты (например, круги) разного размера на разных изображениях Для двух изображений найдутся соответствующие масштабы, при которых фрагменты будут выглядеть похоже Fine/Low Coarse/High 32 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Computer Vision : CISC 4/689
  33. 33. Инвариантность к изменению масштаба Задача: как выбрать размер фрагмента независимо для каждого изображения??? 33 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Computer Vision : CISC 4/689
  34. 34. Инвариантность к изменению масштаба Решение: • Выберем функцию, заданную на фрагменте изображения, инвариантную к изменению масштаба – значение функции одинаково для сопоставимых фрагментов, даже если они разного масштаба (например, средняя интенсивность) • В каждой точке изображения посмотрим на эту функцию, как на функцию от изменения размера фрагмента f Image 1 f Image 2 scale = 1/2 region size region size 34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Computer Vision : CISC 4/689
  35. 35. Инвариантность к изменению масштаба Решение: Найти лоакльный максимум такой функции Наблюдение: точка локального максимума инвариантна к изменению маштаба Важно: размер фрагмента, на котором достигается локальный максимум, находится для каждого изображения независимо! f f Image 1 Image 2 scale = 1/2 s1 s2 region size/scale 35 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. region size/scale Slide credit: Computer Vision : CISC 4/689
  36. 36. Characteristic Scale (Характеристический размер) • Точка локального максимума - characteristic scale • S1/S2 равно соотношению масштабов между изображениями 36 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  37. 37. Инвариантность к изменению масштаба “Хорошая” функция для определения соотношения масштабов фрагментов: f f bad f Good ! bad region size region size region size Нужен один хорошо выраженный пик функции. 37 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Computer Vision : CISC 4/689
  38. 38. Многомасштабное представление изображений Пирамида изображений 38 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  39. 39. Прореживающая выборка (sampling) Тривиальный способ уменьшения размера изображения 39 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide source: Fei-Fei Li
  40. 40. Алиасинг (aliasing) 40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Fei-Fei Li
  41. 41. 41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Fei-Fei Li
  42. 42. 42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  43. 43. Антиалиасинг Решение: избавится от высоких частот Потеряем часть информации, но это лучше, чем алиасинг Для удаления высоких частот используется сглаживание Если сглаживаем при помощи фильтра Гаусса, получим Гауссову пирамиду 43 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  44. 44. 44 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  45. 45. Построение пирамиды 45 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  46. 46. Гауссова пирамида 46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Fei-Fei Li
  47. 47. Масштабно-независимые детекторы Функции для определения характеристического размера: = Kernel ∗ Image f Лапласиан: L σ 2 ( Gxx ( x, y, σ ) + G yy ( x, y, σ ) ) Разность Гауссиан (приближение Лапласиана): DoG G ( x, y, kσ ) − G ( x, y, σ ) где G ( x, y , σ ) = 1 2πσ − e x2 + y 2 2σ 2 Оба ядра инварианты к изменению масштаба и повороту 47 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Computer Vision : CISC 4/689
  48. 48. Свертка с Лапласианом f 2 d g 2 dx d2 f∗ 2g dx 48 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Edge Second derivative of Gaussian (Laplacian) Edge = zero crossing of second derivative Source: S. Seitz
  49. 49. Свертка с Лапласианом maximum Spatial selection: the magnitude of the Laplacian response will achieve a maximum at the center of the blob, provided the scale of the Laplacian is “matched” to the scale of the blob 49 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: S. Lazebnik
  50. 50. Пример выбора масштаба • 2D Laplacian задается формулой: ( x + y − 2σ ) e 2 2 2 − ( x 2 + y 2 ) / 2σ 2 r Laplacian response • Для бинарного круга радиуса r Лапласиан достигает максимума при σ = r / 2 image r/ 2 50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: S. Lazebnik scale (σ)
  51. 51. Laplacian-of-Gaussian (LoG) 51 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  52. 52. Difference-of-Gaussian The input image is convolved with Gaussian function: σ1 = 2 σ2 = 4 σ =2 52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. σ1 − σ 2
  53. 53. Difference-of-Gaussian 53 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  54. 54. Difference-of-Gaussian 54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  55. 55. Key point localization scale Find local maximum of: • Harris corner detector in space (image coordinates) • Laplacian in scale ← Laplacian → Harris-Laplacian1 y ← Harris → ← DoG → Find local maximum of: – Difference of Gaussians in space and scale x scale ← DoG → • SIFT (Lowe)2 x y 55 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Computer Vision : CISC 4/689
  56. 56. Scale Invariant Detection: Summary Given: two images of the same scene with a large scale difference between them Goal: find the same interest points independently in each image Solution: search for maxima of suitable functions in scale and in space (over the image) Methods: 1. Harris-Laplacian [Mikolajczyk, Schmid]: maximize Laplacian over scale, Harris’ measure of corner response over the image 2. SIFT [Lowe]: maximize Difference of Gaussians over scale and space 56 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  57. 57. Локальные признаки Point descriptor should be: We know how to detect points 1. Invariant Next question: 2. Distinctive How to match them? ? 57 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  58. 58. SIFT: Основные шаги 1. • 2. • 3. • 4. • Scale-space peak selection Using Difference-of-Gaussians (DoG) Keypoint localization Elimination of unstable keypoints Orientation assignment Based on keypoint local image patch Keypoint descriptor Based upon the image gradients in keypoint local neighbourhood 58 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  59. 59. SIFT keypoints Maxima and minima of DoG applied in scale-space: 1) Extrema detection for the same scale 2) Check if it is stable for different scales 59 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  60. 60. Scale-space extrema detection 60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  61. 61. Keypoints orientation and scale • Extract image gradients and orientations at each pixel • Each key location is assigned a canonical orientation • The orientation is determined by the peak in a histogram of local image gradient orientations 61/50 61 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  62. 62. SIFT descriptor 62 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  63. 63. Example 63/50 63 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  64. 64. Заключение  Глобальные признаки не всегда работают  Вычисление локальных признаков  Определение особых точек  Выделение особых фрагментов – инвариантность к масштабу!  Построение векторов признаков  Сопоставление локальных деcкрипторов пары изображений 64 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

×