2013 11 26_video_imageanalysis_lecture_06

1,790 views
1,735 views

Published on

0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,790
On SlideShare
0
From Embeds
0
Number of Embeds
1,514
Actions
Shares
0
Downloads
42
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

2013 11 26_video_imageanalysis_lecture_06

  1. 1. Анализ изображений и видео Лекция 6: Геометрическая согласованность локальных признаков, подгонка параметров моделей Наталья Васильева nvassilieva@hp.com HP Labs Russia 26 ноября 2013, Computer Science Center
  2. 2. Сравнение изображений при помощи локальных признаков: основные шаги 1. Локализация особых точек 2. Выделение особых фрагментов – окрестности ключевых точек, инвариантные к различного рода преобразованиям 3. Построение векторов признаков для найденных фрагментов 4. Сопоставление наборов локальных признаков для двух изображений Fig. credit: K. Grauman, B. Leibe 2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  3. 3. Какие могут быть сложности? • Особые фрагменты не всегда уникальны и однозначно сопоставимы • Могут быть ложные соответствия 3 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  4. 4. 4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  5. 5. Сравнение изображений при помощи локальных признаков: основные шаги 1. Локализация особых точек 2. Выделение особых фрагментов – окрестности ключевых точек, инвариантные к различного рода преобразованиям 3. Построение векторов признаков для найденных фрагментов 4. Сопоставление наборов локальных признаков для двух изображений 5. Проверка геометрической согласованности (взаимное расположение особенностей относительно друг друга), отбраковка выбросов 5 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Fig. credit: K. Grauman, B. Leibe
  6. 6. Когда еще полезно ограничение на взаимное расположение? 9300 Harris Corners Pkwy, Charlotte, NC • Умеем находить локальные особенности • Края, углы,... • Во многих случаях знаем, что особые точки должны располагаться относительно друг друга определенным образом • прямые линии, окружности,... • Если геометрическая модель заранее известна, то можно сгруппировать данные по модели => получим более компактное, точное и высокоуровневое представление данных 6 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: S. Lazebnik
  7. 7. Когда еще полезно ограничение на взаимное расположение? При распознавании объектов заранее известной формы 7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  8. 8. Как задать ограничение на взаимное расположение? При помощи параметрической модели: Простая модель: линии Простая модель: окружности Более сложная модель: машина 8 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: K. Grauman
  9. 9. Как задать ограничение на взаимное расположение? При помощи параметрической модели: Модель преобразования: перенос + поворот + сжатие/растяжение 9 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: K. Grauman
  10. 10. Примеры задач на сопоставление Составление панорам Распознавание объектов 10 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  11. 11. Параметрическая модель F ( x, a ) = 0 где x – вектор данных (наблюдаемые и ожидаемые значения), a – вектор параметров модели. При распознавании объектов заданной геометрической формы: x = ( x, y ) При сопоставлении изображений: x = ( x1 , y1 , x2 , y2 ) 11 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  12. 12. Общая схема решения • Выбрать модель (с точностью до параметров), которая будет наилучшим образом описывать имеющийся набор данных • Оценить параметры модели по набору данных • Чтобы модель при подобранных параметрах как можно более точно описывала данные, несмотря на наличие шума/выбросов • Необходимо максимизировать число точек, удовлетворяющих модели (“inliers”) • Имея модель и параметры, отфильтровать лишние точки – отбраковать выбросы (“outliers”) 12 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  13. 13. В чем сложности? На примере обнаружения линий •Наличие шума в данных («помехи измерения») •Наличие «посторонних» точек: не принадлежащие линиям, принадлежащие другим линиям •Отсутствие «нужных» точек: перекрытия 13 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  14. 14. Задачи и методы • Даны точки, удовлетворяющие модели. Как найти оптимальные параметры модели? – Метод наименьших квадратов • Если данные заведомо содержат выбросы? – Робастные методы: М-оценки, RANSAC • Если данные – смесь моделей (несколько линий)? – Схемы голосования: RANSAC, преобразование Хафа (Hough transform) • Если мы не знаем, какая модель? – Model selection (выбор модели) 14 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  15. 15. Подгонка прямой линии Дано: набор точек (x1, y1), …, (xn, yn) Задача: найти прямую, наилучшим образом аппроксимирующую точки Уравнение прямой: y = mx + b 15 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  16. 16. Метод наименьших квадратов для прямой Дано: (x1, y1), …, (xn, yn) Уравнение прямой: yi = m xi + b Здача: найти (m, b), которые минимизируют y=mx+b E = ∑i =1 ( yi − m xi − b) 2 n 16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  17. 17. Метод наименьших квадратов для прямой Дано: (x1, y1), …, (xn, yn) Уравнение прямой: yi = m xi + b Здача: найти (m, b), которые минимизируют y=mx+b E = ∑i =1 ( yi − m xi − b) 2 n 2  E = ∑i =1  yi − [xi   n  y1   x1 1 m  m   2  =    −      = Y − XB = 1]    b    b   yn   xn 1       2 = (Y − XB)T (Y − XB) = Y T Y − 2( XB)T Y + ( XB)T ( XB) dE = 2 X T XB − 2 X T Y = 0 dB X T XB = X T Y 17 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  18. 18. Недостатки классического МНК • Не инвариантен к повороту • Не подходит для вертикальных линий • Предполагает большую контролируемость измерения x по сравнению с y 18 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  19. 19. Метод полных наименьших квадратов Расстояние от (xn, yn) до линии ax+by=d (a2+b2=1): |ax + by – d| Найти (a, b, d) минимизирующие E = ∑i =1 (a xi + b yi − d ) 2 n 19 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. ax+by=d Нормаль: (xi, yi) N=(a, b) Source: S. Lazebnik
  20. 20. Метод полных наименьших квадратов Расстояние от (xn, yn) до линии ax+by=d (a2+b2=1): |ax + by – d| Найти (a, b, d) минимизирующие ax+by=d Нормаль: (xi, yi) N=(a, b) E = ∑i =1 (a xi + b yi − d ) 2 n ∂E n = ∑i =1 − 2(a xi + b yi − d ) = 0 ∂d d= b n a n xi + ∑i =1 xi = a x + b y ∑ n i =1 n  x1 − x n E = ∑i =1 (a ( xi − x ) + b( yi − y )) 2 =     xn − x  dE = 2(U T U ) N = 0 dN 2 y1 − y   a  = (UN )T (UN )    b  yn − y   Решение (UTU)N = 0, при условии ||N||2 = 1: собственный вектор UTU, соответствующий минимальнному собственному значению 20 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  21. 21. Метод полных наименьших квадратов  x1 − x U =    xn − x  y1 − y     yn − y   n  ( xi − x ) 2  ∑ T U U =  n i =1  ( x − x )( y − y ) i ∑ i  i =1  ∑ ( xi − x )( yi − y ) i =1  n ( yi − y ) 2  ∑  i =1  n second moment matrix 21 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  22. 22. Метод полных наименьших квадратов  x1 − x U =    xn − x  y1 − y     yn − y   n  ( xi − x ) 2  ∑ T U U =  n i =1  ( x − x )( y − y ) i ∑ i  i =1  ∑ ( xi − x )( yi − y ) i =1  n ( yi − y ) 2  ∑  i =1  n second moment matrix N = (a, b) ( xi − x , yi − y ) (x, y) 22 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  23. 23. Вероятностная интерпретация: максимум правдоподобия ax+by=d Модель: точки на линии зашумлены в направлении нормали (u, v) (x, y)  x  u   a   =  +ε   y v b       точка на линии нормаль Гауссов шум с нулевым матожиданием и стандартным отклонением σ 23 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  24. 24. Вероятностная интерпретация: максимум правдоподобия ax+by=d Модель: точки на линии зашумлены в направлении нормали (u, v) (x, y)  x  u   a   =  +ε   y v b       Правдоподобие точек при параметрах (a, b, d):  (axi + byi − d ) 2   P( x1 ,  , xn | a, b, d ) = ∏ P( xi | a, b, d ) ∝ ∏ exp − 2   2σ i =1 i =1   n Логарифм: L( x1 ,  , xn | a, b, d ) = − n 1 2σ 2 24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. n (axi + byi − d ) 2 ∑ i =1 Source: S. Lazebnik
  25. 25. Наименьшие квадраты для производных кривых •Минимизируем сумму квадратов расстояний между наблюдаемыми точками и кривой (xi, yi) d((xi, yi), C) кривая C 25 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  26. 26. Устойчивость к выбросам МНК: 26 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  27. 27. Устойчивость к выбросам МНК: Недостаток: квадрат ошибки делает метод очень чувствительным к выбрсам 27 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  28. 28. Робастные оценки Основная идея: минимизировать ∑ ρ (r (x ,θ );σ ) i i i ri (xi, θ) – ошибка в i-ой точке при параметрах модели θ ρ – робастная функция влияния с оценкой масштаба σ Функция влияния ρ ведет себя как квадрат расстояния при малых значениях u, но стремится к константе при больших значениях u 28 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  29. 29. Влияние выбора параметра масштаба 29 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  30. 30. Влияние выбора параметра масштаба: слишком маленький Вклад в ошибку практически одинаков для всех точек 30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  31. 31. Влияние выбора параметра масштаба: слишком большой Ведет себя почти как МНК 31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  32. 32. Робастные М-оценки • Робастная подгонка параметров – задача нелинейной оптимизации • Часто решается итеративно при помощи последовательных приближений • Важно хороше первое приближение, можно использовать МНК в качестве первого приближения • Как выбрать параметр масштаба? Нужна устойчивость к выбросам. “магическое” число раз медиана ошибки 32 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  33. 33. RANSAC • Робастные методы могут справится, если процент выбросов невелик. Что, если у нас много выбросов? • Random sample consensus (RANSAC): Очень общий подход для подгонки параметров модели при условии большого числа выбросов • Общая схема метода – Строим небольшую выборку данных случайным образом – По выборке осуществляем подгонку параметров модели (строим гипотезу) – Производим оценку гипотезы на всех данных – Повторяем много раз и выбираем наилучшую гипотезу M. A. Fischler, R. C. Bolles. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Comm. of the ACM, Vol 24, pp 381-395, 1981. 33 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  34. 34. RANSAC для линий Повторяем N раз: • Выбираем s точек равномерным случайным образом • Подгоняем параметры прямой под эти s точек, получаем гипотезу прямой • Ищем среди остальных данных точки, удовлетворяющие построенной гипотезе (например, точки на расстоянии меньше t от линии-гипотезы) • Если число точек, удовлетворяющих гипотезе, больше d , принимаем эту гипотезу и уточняем параметры линии по всем точкам, удовлетворяющим этой гипотезе 34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  35. 35. Выбор параметров • s: количество элементов в выборке – Обычно минимальное число, необходимое для оценки параметров модели • t: пороговое значение для расстояния – Выбираем t таким образом, что вероятность для «inlier» равна p (e.g. 0.95) – При наличии гауссова шума с нулевым матожиданием и ст. отклонением σ: t2=3.84σ2 •N: число выборок – Выбираем N таким образом, что с вероятностью p, по крайней мере одна выборка не будет содержать выбросов (e.g. p=0.99, e – процент хороших точек в наборе) 35 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: M. Pollefeys
  36. 36. Выбор параметров • s: количество элементов в выборке – Обычно минимальное число, необходимое для оценки параметров модели • t: пороговое значение для расстояния – Выбираем t таким образом, что вероятность для «inlier» равна p (e.g. 0.95) – При наличии гауссова шума с нулевым матожиданием и ст. отклонением σ: t2=3.84σ2 •N: число выборок – Выбираем N таким образом, что с вероятностью p, по крайней мере одна выборка не будет содержать выбросов (e.g. p=0.99, e – процент хороших точек в наборе) (1 − (1 − e) ) s N = 1− p ( N = log(1 − p ) / log 1 − (1 − e ) s ) 36 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: M. Pollefeys
  37. 37. Сколько нужно выборок? proportion of outliers e s 2 3 4 5 6 7 8 5% 2 3 3 4 4 4 5 10% 3 4 5 6 7 8 9 20% 25% 30% 40% 50% 5 6 7 11 17 7 9 11 19 35 9 13 17 34 72 12 17 26 57 146 16 24 37 97 293 20 33 54 163 588 26 44 78 272 1177 S – размер выборок e – процент выбросов в данных • Количество итераций (выборок) быстро растет с увеличением размера выборки и доли выбросов • Если заранее не знаем долю выбросов? 37 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: M. Pollefeys
  38. 38. Адаптивное задание числа итераций Доля выбросов обычно заранее неизвестна, поэтому начинаем с грубой оценки, например 50%, затем переопределяем для каждой гипотезы (например, согласованность 80% точек с текущей гипотезой дает e=0.2) Адаптивная процедура: • N=∞, sample_count =0 • While N >sample_count – Строим новую выборку, строим гипотезу по этой выборке, проверяем гипотезу на всех данных – Вычисляем долю выбросов для построенной гипотезы: e = 1 – (number of inliers)/(total number of points) – Обновляем значение N относительного нового значения e: ( N = log(1 − p ) / log 1 − (1 − e ) – Increment the sample_count by 1 38 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. s ) Source: S. Lazebnik
  39. 39. RANSAC: достоинства и недостатки • Достоинства – Прост в использовании, общий – Подходит для решения большого числа различных задач – Часто хорошо работает на практике • Недостатки – Большое количество настраиваемых параметров – На практике не всегда удается получить хорошее первое приближение модели по минимальной выборке – Иногда требуется очень большое число итераций – Может не сработать, если доля выбросов очень велика – Часто можно предложить более эффективный метод, чем построение равновероятных выборок 39 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  40. 40. Схемы голосования •Пусть каждый элемент данных голосует за те модели, которым он удовлетворяет •Гипотезы с максимальным числом голосов побеждают •Надеемся, что выбросы не будут голосовать согласовано •Пропущенные данные не имеют значения, пока хватает голосов имеющихся данных за правильные модели 40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  41. 41. Преобразование Хафа (Hough transform) • Одна из первых схем голосования • Основная идея: • Дискретизируем пространство параметров (разделим на ячейки) • Каждая точка на изображении голосует за все ячейки, соответствующие параметрам моделей, которым удовлетворяет точка • Найдем ячейки с максимумом голосов Image space Hough parameter space P.V.C. Hough, Machine Analysis of Bubble Chamber Pictures, Proc. Int. Conf. High Energy Accelerators and Instrumentation, 1959 41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  42. 42. Преобразование Хафа для прямых Основная идея • Каждая прямая задается уравнением • Через произвольную точку проходит бесконечное число прямых • Преобразование Хафа основано на «голосовании» точек за те линии, на которых они могут лежать • Линии с максимальным числом голосов выигрывают 42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  43. 43. Преобразование Хафа y=ax+b image space Hough space • Для данного набора точек (x, y) найти все точки (a, b), такие что y = ax+b • Точке (xi, yi) соответсвует прямая в пространстве Хафа: b = –xia + yi 43 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  44. 44. Преобразование Хафа • Разбиваем пространство параметров на «ячейки накопления» • Для каждой точки из заданного множества точек на плоскости перебираем все значения параметра a и вычисляем соответствующее значение параметра b, увеличиваем счетчик соответствующей ячейки • Выбираем ячейки с большим значением счетчика 44 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  45. 45. Преобразование Хафа Обычно, используют полярные координаты: 45 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  46. 46. Преобразование Хафа Диапазон θ: [-90°, 90°] Диапазон ρ: [-D√2, D√2] 46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  47. 47. Влияние шума features 47 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. votes Source: S. Lazebnik
  48. 48. Влияние шума features votes Максимумы голосов становятся «размытыми» 48 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  49. 49. Случайные точки features votes Равномерно распределенные случайные точки могут приводить к пикам в накопителе 49 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  50. 50. Практические вопросы • Фильтрация лишних признаков (точек) • Для линий берем только точки с большим значением градиента • Выбор хорошей сетки • Слишком грубая: голоса за разные линии будут попадать в одну ячейку • Слишком мелкая: будем пропускать линии из-за шума • При поиске максимумов можно сглаживать соседние значения в накопителе • Какая точка соответствует какой линии? • Помечаем голоса 50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  51. 51. Преобразования Хафа: достоинства и недостатки • Достоинства – Работает в условиях перекрытий – Ищет все имеющиеся на изображении экземпляры объекта за один проход – Обладает некоторой устойчивостью к шуму: выбросы обычно голосуют несогласовано • Недостатки – Сложность алгоритма растет экспоненциально с увеличением числа параметров модели – Наличие других объектов на изображении может приводить к случайным пикам в накопителе – Сложно выбрать правильный шаг сетки для пространства параметров 51 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  52. 52. Учет градиента • Когда находим края, мы знаем градиент • Это значит, что направление линии уже определено! • Улучшенный алгоритм: For each edge point (x,y) θ = gradient orientation at (x,y) ρ = x cos θ + y sin θ H(θ, ρ) = H(θ, ρ) + 1 end 52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  53. 53. Обобщенное преобразование Хафа • Решаем задачу нахождения объекта произвольной формы на изображении по его контуру и референтной точке • Для каждой точки контура p, можем определить вектор смещения r = a – p как функцию от направления градиента θ a p θ r(θ) D. Ballard, Generalizing the Hough Transform to Detect Arbitrary Shapes, Pattern Recognition 13(2), 1981, pp. 1 1-122. 1 53 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: S. Lazebnik
  54. 54. Обобщенное преобразование Хафа •Для моделируемого объекта: построим таблицу с парами значений (θ,r), где θ – направление градиента, r – вектор смещения. Проиндексируем по θ. •На шаге распознавания: для каждой точки края p с направлением градиента θ: – Выберем из таблицы все r, соответствующие θ – Для каждого r(θ), добавим один голос в ячейку пространства Хафа, соответствующую p + r(θ) •Максимуму голосов в пространстве Хафа будет соответстовать референтная точка с максимальной поддержкой точек контура •Предполагаем, что рассматриваемое преобразование перемещение, направление и масштаб объекта фиксированы 54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: K. Grauman
  55. 55. Применение обобщенного пребразования Хафа Вместо определения смещения как функции от градиента, определим функцию от “визуального ключевого слова” (visual code word) Обучающее изображение Визуальное слово с векторами смещения B. Leibe, A. Leonardis, and B. Schiele, Combined Object Categorization and Segmentation with an Implicit Shape Model, ECCV Workshop on Statistical Learning in Computer Vision 2004 55 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  56. 56. Применение обобщенного пребразования Хафа Вместо определения смещения как функции от градиента, определим функцию от “визуального ключевого слова” (visual code word) Тестовое изображение B. Leibe, A. Leonardis, and B. Schiele, Combined Object Categorization and Segmentation with an Implicit Shape Model, ECCV Workshop on Statistical Learning in Computer Vision 2004 56 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  57. 57. Применение параметрических моделей для сопоставления изображений xi T Две задачи: • Попиксельное сопоставление • Сопоставление на основе признаков Найти преобразование Т, такое что ∑ residual(T ( x ), x′) i i i 57 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. x' i
  58. 58. Пример распознавания объектов David G. Lowe. "Distinctive image features from scale-invariant keypoints.” IJCV 60 (2), pp. 91-110, 2004. 58 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  59. 59. Пример склейки панорам 59 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  60. 60. Пример склейки панорам • Извлекаем признаки 60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  61. 61. Пример склейки панорам • • Извлекаем признаки Вычисляем поточечные соответствия 61 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  62. 62. Пример склейки панорам • • • Извлекаем признаки Вычисляем поточечные соответствия В цикле: • Строим гипотезу преобразования T (используя небольшое подмножество поточечных соответствий) 62 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  63. 63. Пример склейки панорам • • • Извлекаем признаки Вычисляем поточечные соответствия В цикле: • Строим гипотезу преобразования T (используя небольшое подмножество поточечных соответствий) • Проверяем гипотезу (ищем остальные пары поточечных соответствий, согласованных с T) 63 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  64. 64. Пример склейки панорам • • • Извлекаем признаки Вычисляем поточечные соответствия В цикле: • Строим гипотезу преобразования T (используя небольшое подмножество поточечных соответствий) • Проверяем гипотезу (ищем остальные пары поточечных соответствий, согласованных с T) 64 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  65. 65. Заключение  Для оценки геометрической согласованности локальных признаков используются параметрические модели и методы подгонки параметров  Рассмотренные методы  МНК – не устойчив к выбросам, подходит для «чистых» данных  М-оценки, рандомизированные методы (RANSAC)  Схемы голосования, преобразование Хафа  Наиболее применяемые методы в анализе изображений  RANSAC – широкое применение при сопоставлении изображений (построение панорам, восстановление 3D модели)  Схемы голосования, преобразование Хафа – широкое применение в поиске и распознавании объектов на изображении 65 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

×