CV2011-2. Lecture 07. Binocular stereo.

1,528 views

Published on

Published in: Education
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,528
On SlideShare
0
From Embeds
0
Number of Embeds
333
Actions
Shares
0
Downloads
0
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

CV2011-2. Lecture 07. Binocular stereo.

  1. 1. Бинокулярное плотное стерео Антон Конушин http://courses.graphicon.ru/vision2
  2. 2. Этот курс подготовленпри поддержке Microsoft Research
  3. 3. БлагодарностьПрезентация была подготовлена Глебом Кривовяземдля спецсеминара «Компьютерное зрение»При подготовке были использованы материалы из курса«Stereo Vision» от Michael Bleyer (Vienna University ofTechnology):http://www.ims.tuwien.ac.at/teaching_detail.php?ims_id=188.HQK
  4. 4. План• Введение• Формулировка задачи• Трудности и предположения• Локальные методы• Глобальные методы• Использование сегментации• Резюме
  5. 5. Стереопсис«Стереопсис (англ. stereopsis) - сенсорный процесс, возникающийпри бинокулярном зрении как психофизическая реакция насетчаточную горизонтальную диспаратность. В результате С.субъект переживает специфическое ощущение глубины. <…> ».(Психологическая энциклопедия) Левое изображение Правое изображение
  6. 6. Имитация 3DТак мы обычно смотрим на экран (2D): Рисунок: M. Bleyer
  7. 7. Имитация 3DА так можно увидеть 3D-картинку: Рисунок: M. Bleyer
  8. 8. Имитация 3D. Пример 3D-картинка появится посередине! Для правого глаза Для левого глаза
  9. 9. Зрение человека Слайд: M. Bleyer
  10. 10. «Зрение» компьютера Слайд: M. Bleyer
  11. 11. План• Введение• Формулировка задачи• Трудности и предположения• Локальные методы• Глобальные методы• Использование сегментации• Резюме
  12. 12. Смежные задачиВнутренняя Внешняя 3D-точки 2D-соответствия Задачакалибровка калибровка Структура из движения Калибровка PnP (внешняя калибровка) Триангуляция Стерео
  13. 13. Смежные задачиВнутренняя Внешняя 3D-точки 2D-соответствия Задачакалибровка калибровка Структура из движения Калибровка PnP (внешняя калибровка) Триангуляция Стерео
  14. 14. Смежные задачиВнутренняя Внешняя 3D-точки 2D-соответствия Задачакалибровка калибровка Структура из Задача плотного стерео: движениявосстановить в 3D все видимые на Калибровка изображениях точки PnP (внешняя калибровка) Триангуляция Стерео
  15. 15. Виды стерео• Binocular stereo (два изображения)• Multi-view stereo (много изображений)• Photometric stereo
  16. 16. Виды стерео• Binocular stereo (два изображения)• Multi-view stereo (много изображений)• Photometric stereo
  17. 17. Общая схема Ректификация изображений Вычисление соответствующих точек Восстановление 3D путем триангуляции
  18. 18. Общая схема Ректификация изображений Вычисление соответствующих точек Восстановление 3D путем триангуляции
  19. 19. Ректификация• «Ректификация» – преобразование стереопары в изображения, вкоторых соответствующие эпиполярные линии лежат на одной и той жегоризонтальной строке• Пример: проецирование на общую плоскость с помощью гомографии
  20. 20. Ректификация. ПримерНедостатки: • Не применим, когда камера движется вперёд или назад • Сильные искажения в некоторых случаях
  21. 21. Радиальная развёртка• Polar rectification• Индексируем эпиполярные линии углом поворота относительно эпиполи• Копируем соответствующие пары эпиполярных линии последовательно в соответствующие горизонтали ректифицированных изображений• Работает в тех случаях, когда ошибается метод проецирования на общую плоскость
  22. 22. Пример Проецирование Полярная ректификация
  23. 23. Пример
  24. 24. Общая схема Ректификация изображений Вычисление соответствующих точек Восстановление 3D путем триангуляции
  25. 25. Триангуляцияxl , xr - смещения относительно принципиальной точки Слайд: M. Bleyer
  26. 26. Триангуляция Подобные треугольники: X xl  Z f Слайд: M. Bleyer
  27. 27. Триангуляция Подобные треугольники: X B xr  Z f Слайд: M. Bleyer
  28. 28. ТриангуляцияИз подобия треугольников: X xl X  B xr   Z f Z fИсключаем X и выражаем Z: B f B f Z  , где d  xl  xr - диспаритет xl  xr dИтоговые координаты 3D-точки: X  Zxl Zyl B f Y Z f f d xl , xr - смещения относительно принципиальной точки
  29. 29. Общая схема Ректификация изображений Вычисление карты диспаритета Восстановление 3D путем триангуляцииВычисление соответствующих точек сводится к задаче вычисления диспаритета
  30. 30. Общая схема Ректификация изображенийРектификацию и триангуляцию можно считать чисто техническими задачами. Вычисление карты диспаритетаОсновной интерес представляет вычисление карты диспаритета Восстановление 3D путем триангуляции
  31. 31. Вычисление карты диспаритета Какой диспаритет соответствует этой точке?
  32. 32. Вычисление карты диспаритета
  33. 33. Параллакс• Параллакс - видимое смещение объекта в зависимости от точки обзора• Фактически, диспаритет• Чем объект ближе – тем диспаритет больше
  34. 34. Сравнение алгоритмовРесурс Middlebury: http://vision.middlebury.edu/stereo/ • Стандартные тестовые наборы • Рейтинг алгоритмов
  35. 35. План• Введение• Формулировка задачи• Трудности и предположения• Локальные методы• Глобальные методы• Использование сегментации• Резюме
  36. 36. Основные трудностиЦветовые несоответствия• Шум• Различная освещенность• Зеркальные отражения• …
  37. 37. Основные трудности«Плохо» текстурированные области1 – Однородная область2 – Текстура неизменна в горизонтальном направлении3 – Повторяющаяся текстура
  38. 38. Основные трудности«Плохо» текстурированные области Отсутствие текстуры порождает ошибки Пример: M. Bleyer
  39. 39. Основные трудности ПерекрытияНекоторые пиксели одногоизображения могут быть невидны (перекрыты) на другом.«Невидимые» областиназывают областямиперекрытия Рисунок: M. Bleyer
  40. 40. Основные трудностиПерекрытия Пример областей перекрытия (выделены красным) Рисунок: M. Bleyer
  41. 41. Основные предположенияЭпиполярное ограничение:«Соответствующие точки лежат на одной строке»Самое надежное и обоснованное из всех предположений!
  42. 42. Основные предположенияСоответствие цветов:«Цвета соответствующих точек совпадают»Может нарушаться (шум камеры, изменениеосвещенности, погрешности сэмплирования и т.д.)
  43. 43. Основные предположенияТолько лишь эпиполярного ограничения и предположенияо соответствии цветов недостаточно, т.к. задача остаетсянекорректно поставленной:• Решение может не существовать (перекрытия)• Решение может быть не уникально (однородные области)• Небольшие изменения входных данных существенно влияют на результат (шум)Нужны дополнительные предположения!
  44. 44. Основные предположенияГладкость:«Искомая карта диспаритета является кусочно-гладкой» Гладкие области Разрывы на краях объектов Рисунок: M. Bleyer
  45. 45. Основные предположенияГладкость:«Искомая карта диспаритета является кусочно-гладкой» • Нарушается при наличии в сцене большого числа тонких объектов (ветки деревьев, волосы и т.п.)
  46. 46. Основные предположенияУникальность:«Каждая точка одного изображения имеет не болееодного соответствия на другом» • Нарушается при наличии в сцене прозрачных объектов и горизонтально наклоненных плоскостей
  47. 47. Основные предположенияУникальность:«Каждая точка одного изображения имеет не болееодного соответствия на другом» Прозрачный объект Горизонтально наклоненная плоскость Рисунки: M. Bleyer
  48. 48. Основные предположенияСохранение порядка точек:«Порядок относительного расположения точексохраняется и для их соответствий» • Нарушается при наличии в сцене тонких объектов переднего плана • Данное предположение можно считать «устаревшим»
  49. 49. Основные предположенияСохранение порядка точек:«Порядок относительного расположения точексохраняется и для их соответствий» Пример нарушения предположения Рисунок: M. Bleyer
  50. 50. Основные предположенияПредположение о сегментации:«Области разрыва диспаритета совпадают с краями наизображении»Границы цветовых сегментов Границы диспаритета Рисунки: M. Bleyer
  51. 51. Основные предположенияПредположение о сегментации:«Области разрыва диспаритета совпадают с краями наизображении» • Лежит в основе алгоритмов, использующих пересегментацию, - лидеров рейтинга Middlebury • Может нарушаться (ничто не гарантирует, что граница объекта не попадет внутрь цветового сегмента)
  52. 52. План• Введение• Формулировка задачи• Трудности и предположения• Локальные методы• Глобальные методы• Использование сегментации• Резюме
  53. 53. Локальные методы• Локальные, т.к. диспаритет в каждой точке зависит только от ее локальной окрестности• Используют стратегию WTA (Winner-Take-All), т.е. в каждой точке «побеждает» соответствие с наименьшей «стоимостью»
  54. 54. Наивный алгоритм• Стоимость соответствия – разность интенсивностей пикселей• Результат – слишком много шума Пример работы наивного алгоритма Пример: M. Bleyer
  55. 55. Наивный алгоритм• Стоимость соответствия – разность интенсивностей пикселей• Результат – слишком много шума Проблема: Слишком велика неоднозначность сопоставления Решение: Учитывать окрестность Пример работы наивного алгоритма Пример: M. Bleyer
  56. 56. Учет окрестности• Стоимость соответствия – SAD, SSD, NCC по окну вокруг пикселя dp  arg min  c (q , q  d ) 0 d  d max qWp где: dp – искомый диспаритет в пикселе p, c(p,q) – функция стоимости, Wp – окно вокруг пикселя p, dmax – максимально возможный диспаритет• Возможна очень эффективная реализация • Метод «скользящего окна»
  57. 57. Проблема выбора размера окна• Маленькие окна – недостаточно текстуры• Большие окна – эффект «раздувания» объектов переднего плана (foreground fattening) при однотонных фонах Эффект «foreground fattening» Рисунок: M. Bleyer
  58. 58. Проблема выбора размера окна• Маленькие окна – недостаточно текстуры• Большие окна – эффект «раздувания» объектов переднего плана (foreground fattening) Ground truth Окно 3x3 Окно 21x21 Примеры: M. Bleyer
  59. 59. Проблема на границах объектов• Сопоставление окон неявным образом реализует предположение о гладкости • Все пиксели внутри окна полагаются имеющими одинаковый диспаритет, что, вообще говоря, неверно• Выход – исключить границы из рассмотрения с помощью адаптивных окон • Окна с адаптивной структурой • Окна с адаптивными весами
  60. 60. Окна с адаптивной структурой Пробуются 9 окон, по-разному расположенных относительно рассматриваемого пикселя Выбирается окно, дающее наименьшую стоимостьA. Fusiello, V. Roberto, and E. Trucco. Efficient stereo with multiple windowing. CVPR,1997.
  61. 61. Окна с адаптивной структурой Окно делится на 9 подобластей При сопоставлении учитываются лишь стоимости по 5 «лучшим» подобластямH. Hirschmeuller, P. Innocent, and J. Garibaldi. Real-time correlation-based stereo visionwith reduced border errors. IJCV, 2002.
  62. 62. Окна с адаптивными весами• Каждая точка внутри окна берется с определенным весом, отражающим вероятность того, что ее диспаритет и искомый диспаритет рассматриваемого пикселя совпадают: dp  arg min  w( p , q )  c(q, q  d ) 0 d  d max qWp• Главный вопрос – как вычислить вес w(p,q)?
  63. 63. Вычисление веса• Эвристические подсказки • Цвет • Расстояние • Границы Цвет Расстояние Граница Рисунки: M. Bleyer
  64. 64. Адаптивные окна. Резюме• Достоинство: гибкость• Недостаток: скорость • Метод «скользящего окна» неприменим • Тем не менее, достаточно эффективны• Развитие локальных методов на сегодняшний день идет именно в направлении адаптивных окон
  65. 65. Борьба с перекрытиями• Распространенное средство – кросс-проверка (cross- validation, consistency check)• Идея кросс-проверки: • Возьмем поочередно каждое из изображений за базовое и проверим на согласованность две карты диспаритета • Рассогласованные пиксели отнесем к области перекрытия
  66. 66. Кросс-проверка Тест пройден Карта диспаритета (левое Карта диспаритета (правое изображение) изображение) Рисунки: M. Bleyer
  67. 67. Кросс-проверка Тест не пройден Карта диспаритета (левое Карта диспаритета (правое изображение) изображение) Рисунки: M. Bleyer
  68. 68. Кросс-проверка• Кросс-проверка реализует предположение об уникальности: pl ql mr Диспаритет одного из двух пикселей слева будет обнулен в результате кросс-проверки• В результате кросс-проверки все пиксели имеют либо ровно одно, либо ни одного соответствия Рисунок: M. Bleyer
  69. 69. Борьба с перекрытиями Пиксели, не прошедшие кросс-проверку (выделены синим) Пример: M. Bleyer
  70. 70. Борьба с перекрытиями «Пустые» области необходимо заполнить Пиксели, не прошедшие кросс-проверку (выделены синим) Пример: M. Bleyer
  71. 71. Заполнение областей перекрытияНайдем ближайшие к p«значащие» пиксели слева исправа вдоль строки prПрисвоим p наименьший из двухдиспаритетов, т.к. перекрытияобычно располагаются в области plфона: p d p  min( d p , d p ) l r Рисунок: M. Bleyer
  72. 72. Заполнение областей перекрытияПосле заполнения карту диспаритета можно сгладить,например, медианным фильтром До сглаживания После сглаживания Примеры: M. Bleyer
  73. 73. План• Введение• Формулировка задачи• Трудности и предположения• Локальные методы• Глобальные методы• Использование сегментации• Резюме
  74. 74. Глобальные методы• Глобальные, т.к. диспаритет в каждой точке вычисляется при помощи некоторой глобальной процедуры оптимизации, т.е. зависит не только от локальной окрестности• Как правило, формулируются в терминах разметки графа и минимизации энергии
  75. 75. Глобальные методыНеобходимо найти разметку D,минимизирующую функцию энергииE(D).Метки – значения диспаритета.Граф – решетка, узлы – пиксели. E ( D )  Edata ( D )  Esmooth ( D) Рисунок: M. Bleyer
  76. 76. Глобальные методыНеобходимо найти разметку D,минимизирующую функциюэнергии E(D). Унарный потенциал реализуетМетки – значения диспаритета. соответствии предположение о цветовГраф – решетка, узлы – пиксели. E ( D )  Edata ( D )  Esmooth ( D)
  77. 77. Глобальные методыНеобходимо найти разметку D,минимизирующую функциюэнергии E(D). Парный потенциал явнымМетки – значенияобразом реализует диспаритета. предположение о гладкостиГраф – решетка, узлы – пиксели. E ( D )  Edata ( D )  Esmooth ( D)
  78. 78. Унарный потенциал E data ( D )   pI m ( p , p  d p )где:m(p,q) – мера цветового сходства между пикселем pодного изображения и пикселем q другогоНапример:m ( p, q )  I p  I qm ( p , q )  min( I p  I q , k )Зачастую применяется метрика Birchfield-Tomasi,устойчивая к погрешности сэмплирования
  79. 79. Метрика Birchfield-Tomasi Проблема: Непрерывный сигнал может быть сэмплирован по-разному. Цвета соответствующих пикселей могут не совпасть. Яркость Яркость X-координаты X-координаты (Левое изображение) (Правое изображение)S. Birchfield, C. Tomasi. A Pixel Dissimilarity Measure That Is Insensitive to ImageSampling. PAMI, 1998. Рисунок: M. Bleyer
  80. 80. Метрика Birchfield-Tomasi Решение: Учитывать средние яркости между рассматриваемыми пикселями и их соседями: m( p, p )  min(| p  p|, | p   p|, | p   p|,| p  p |, | p  p |) p p- p’ p’+ p+ Яркость Яркость q p’- X-координаты X-координаты (Левое изображение) (Правое изображение)S. Birchfield, C. Tomasi. A Pixel Dissimilarity Measure That Is Insensitive to ImageSampling. PAMI, 1998. Рисунок: M. Bleyer
  81. 81. Парный потенциал E smooth ( D )    p , q  N s ( dp, dp)где:N – система соседства (множество всех пар пикселей-соседей),s(dp,dq) – функция штрафа за нарушение гладкостиНапример:  0 ,d p  d qs ( dp, dq )  dp  dq  P или s ( dp, dq )    P , dp  dq
  82. 82. Парный потенциал E smooth ( D )    p , q  N s ( dp, dp)где:N – система соседства (множество всех пар пикселей-соседей),s(dp,dq) – функция штрафа за нарушение гладкостиНапример: Линейная модель  0 ,d p  d qs ( dp, dq )  dp  dq  P или s ( dp, dq )    P , dp  dq
  83. 83. Парный потенциал E smooth ( D )    p , q  N s ( dp, dp)где:N – система соседства (множество всех пар пикселей-соседей),s(dp,dq) – функция штрафа за нарушение гладкости Модель ПоттсаНапример:  0 ,d p  d qs ( dp, dq )  dp  dq  P или s ( dp, dq )    P , dp  dq
  84. 84. Проблема сохранения границПредположим, необходимо восстановить диспаритет вобласти границы между объектами, как показано нарисунке Диспаритет X-координаты Рисунок: M. Bleyer
  85. 85. Проблема сохранения границСлучай линейной модели: s ( dp, d q)  dp  dq  P Вклад в энергию: Вклад в энергию: 9P 9P PДиспаритет Диспаритет P P P P 9P P P P P X-координаты X-координаты (неверное решение) (верное решение) Рисунки: M. Bleyer
  86. 86. Проблема сохранения границСлучай линейной модели: s ( dp, d q)  dp  dq  P Вклад в энергию: Вклад в энергию: 9P 9P P Линейная модель не поощряетДиспаритет Диспаритет P P резких разрывов диспаритета. Она P P 9P чересчур сглаживает решение P P P P X-координаты X-координаты (неверное (верное решение) Рисунки: M. Bleyer решение)
  87. 87. Проблема сохранения границСлучай линейной модели: s ( dp, d q)  dp  dq  P Пример результатов для линейной модели. Справа показан увеличенный фрагмент Примеры: M. Bleyer
  88. 88. Проблема сохранения границ  0 ,d p  d qСлучай модели Поттса: s ( dp, dq )    P , dp  dq Вклад в энергию: Вклад в энергию: 9P P PДиспаритет Диспаритет P P P P P P P P P X-координаты X-координаты (неверное решение) (верное решение) Рисунки: M. Bleyer
  89. 89. Проблема сохранения границ  0 ,d p  d qСлучай модели Поттса: s ( dp, dq )    P , dp  dq Модель Поттса не препятствует Вклад в энергию: Вклад в энергию: 9P резким разрывам диспаритета. P PДиспаритет Диспаритет P P Такие модели называют P P P P P сохраняющими разрывы P P (discontinuity preserving) X-координаты X-координаты (неверное (верное решение)Рисунки: M. Bleyer решение)
  90. 90. Проблема сохранения границ  0 ,d p  d qСлучай модели Поттса: s ( dp, dq )    P , dp  dq Пример результатов для модели Поттса. Справа показан увеличенный фрагмент Примеры: M. Bleyer
  91. 91. Другие модели • Модифицированная  0, d p  d q модель Поттса:  s ( d p , d q )   P1 , d p  d q  1 P , d  d  1  2 p q • Усеченная линейная модель: s ( d p , d q )  min( d p  d q , k )  P • Модель 2-го порядка [Woodford, 2008]: s ( d p , d q , d r )  min( d p  2 d q  d r , k )  PO. Woodford, P. Torr, I. Reid, A. Fitzgibbon. Global stereo reconstruction under secondorder smoothness priors. CVPR, 2008.
  92. 92. Минимизация энергии • Плотное стерео – задача многоклассовой разметки • Эффективное решение на графе общего вида существует лишь для выпуклых относительно |dp - dq| парных потенциалов [Ishikava, 2003] • Но необходимо использовать модели, сохраняющие границы, а они невыпуклы относительно |dp - dq| • Задача становится NP-полной • Необходимы приблизительные алгоритмыH. Ishikawa. Exact Optimization for Markov Random Fields with Convex Priors. PAMI,2003.
  93. 93. Используемые подходы• Expansion Move, Swap Move • Основаны на Graph Cuts • Энергия должна быть субмодулярна• Fusion Move • Основан на QPBO • Энергия произвольная• Loopy Belief Propagation • Энергия произвольная • Сходимость не гарантируется• TRW-S • Энергия произвольная
  94. 94. Используемые подходы• Expansion Move, Swap Move • Основаны на Graph Cuts • Энергия должна быть субмодулярна• Fusion Move • Основан на QPBO • Энергия произвольная• Loopy Belief Propagation • Энергия произвольная • Сходимость не гарантируется• TRW-S • Энергия произвольная
  95. 95. Алгоритм Fusion Move Два произвольных решения «смешиваются», энергия уменьшается α-расширение – частный Решение 1 Решение 2 случай алгоритма Fusion Move, при котором второе решение включает только метку α Одна из возможных разметок после смешения решений 1 и 2V. Lempitsky, C. Rother, A. Blake. LogCut - Efficient Graph Cut Optimization for MarkovRandom Fields. ICCV, 2007. Рисунки: M. Bleyer
  96. 96. Fusion Move для стерео• Возможность параллельных вычислений • Одно ядро работает с диапазоном диспаритетов 0..8 • Другое ядро – с диапазоном 9..16 • Результаты смешиваются с помощью Fusion Move• Возможность комбинировать сильные стороны разных алгоритмов • Один алгоритм хорошо работает на границах объектов и плохо в однородных областях • Другой – наоборот • Результаты смешиваются• Возможность оптимизации непрерывных параметров
  97. 97. Минимизация энергии • Плотное стерео – задача многоклассовой разметки • Эффективное решение на графе общего вида существует лишь для выпуклых относительно |dp - dq| парных потенциалов [Ishikava, 2003] • Но необходимо использовать модели, сохраняющие границы, а они невыпуклы относительно |dp - dq| • Задача становится NP-полной • Необходимы приблизительные алгоритмыH. Ishikawa. Exact Optimization for Markov Random Fields with Convex Priors. PAMI,2003.
  98. 98. Минимизация энергии • Плотное стерео – задача многоклассовой разметки • Эффективное решение на графе общего вида существует лишь для выпуклых относительно |dp - dq| парных потенциалов [Ishikava, 2003] • Но необходимо использовать модели, сохраняющие Альтернативный подход|d - d | границы, а они невыпуклы относительно p q заключается в уходе от графов • Задача становится NP-полной общего вида • Необходимы приблизительные алгоритмыH. Ishikawa. Exact Optimization for Markov Random Fields with Convex Priors.PAMI, 2003.
  99. 99. Переход к деревьям• Отсутствие циклов позволяет использовать метод динамического программирования • Глобальный минимум, произвольная энергия, высокая скорость работы Рисунки: M. Bleyer
  100. 100. Переход к деревьям Главный вопрос – какие ребра убирать?• Отсутствие циклов позволяет использовать метод динамического программирования • Глобальный минимум, произвольная энергия, высокая скорость работы Рисунки: M. Bleyer
  101. 101. Алгоритм Scanline Optimization• Удаляются все вертикальные ребра• Так поступали в первых подобных алгоритмах Рисунки: M. Bleyer
  102. 102. Алгоритм Scanline OptimizationОчевидная проблема – рассогласованность строк между собой(horizontal streaking) Пример: M. Bleyer
  103. 103. Алгоритм на основе MST Идея – не форсировать гладкость между пикселями сильно разного цвета Каждому ребру (паре пикселей p и q) присваивается вес: w ( p , q ) | I ( p )  I ( q ) | Строится минимальное покрывающее дерево Рисунок: M. Bleyer (Minimum Spanning Tree, MST)O. Veksler. Stereo Correspondence by Dynamic Programming on a Tree. CVPR, 2005.
  104. 104. Алгоритм на основе MSTЛучше, чем scanline optimization, но некоторая рассогласованностьостается
  105. 105. Алгоритм Semi-Global Matching В каждом пикселе строится свое дерево Оптимизация производится вдоль p лучей, исходящих из пикселя Подход не совсем глобальный, но и Рисунок: M. Bleyer не локальныйH. Hirschmueller. Accurate and Efficient Stereo Processing by Semi-Global Matchingand Mutual Information. CVPR, 2005.
  106. 106. Алгоритм Semi-Global Matching• Рассогласованности нет, но есть «изолированные» пиксели• Алгоритм заточен под работу с аэрофотоснимками
  107. 107. Алгоритм Semi-Global Matching Примеры: http://www.robotic.de/Heiko.Hirschmueller/
  108. 108. Алгоритм Simple Tree p p Рисунки: M. Bleyer В каждом пикселе строятся два дерева, совместно покрывающих все изображение. Алгоритм глобальный и лишен недостатка SGM.M. Bleyer, M. Gelautz. Simple but Effective Tree Structures for Dynamic Programming-based Stereo Matching. VISAPP, 2008.
  109. 109. Алгоритм Simple Tree Пример работы
  110. 110. Борьба с перекрытиями• Модифицируем унарный потенциал: E data ( D )   p I m( p , dp) Edata( D)   pI m( p, dp )(1  O( p ))  Pocc  O( p )  где: O(p) – функция, возвращающая 1, если пиксель принадлежит области перекрытия, иначе 0 Pocc – штраф за перекрытие
  111. 111. Борьба с перекрытиями• Модифицируем унарный потенциал: E data ( D )   p I m( p , dp) Как задать функцию O(p)? Edata( D)   pI m( p, dp )(1  O( p ))  Pocc  O( p )  где: O(p) – функция, возвращающая 1, если пиксель принадлежит области перекрытия, иначе 0 Pocc – штраф за перекрытие
  112. 112. Ограничение видимости Из двух пикселей p и q виден тот, который ближе к камере. Пиксель p на левом изображении принадлежит области перекрытия. Левое изображение Правое изображениеДиспаритет Диспритет q q Warp p p X-координаты X-координаты Рисунки: M. Bleyer
  113. 113. Модифицированная энергия• Унарный потенциал: Edata ( D )   pI m( p, dp )(1  O( p))  Pocc  O ( p) • Зададим O(p) при помощи ограничения видимости (visibility constraint): 1, если q  I : p  dp  q  dq и dp  dq O( p)    0, иначе
  114. 114. Глобальные методы. Резюме• Наилучшие по качеству методы на сегодняшний день• Методы, основанные на динамическом программировании, - отличный компромисс между качеством и скоростью• Узкое место глобальных методов – функционалы энергии, а не алгоритмы оптимизации
  115. 115. План• Введение• Формулировка задачи• Трудности и предположения• Локальные методы• Глобальные методы• Использование сегментации• Резюме
  116. 116. Использование сегментации Рисунок: M. Bleyer
  117. 117. Использование сегментации• Очень популярно в последние годы• Методы с сегментацией дают наилучшие результаты на стандартных наборах данных • Вероятно, проблема в «переобучении» на наборах Middlebury • Явное доминирование в верхней части рейтинга
  118. 118. Использование сегментации• Используется предположение о сегментации («области разрыва диспаритета совпадают с краями на изображении)• Для его реализации применяют пересегментацию (т.е. сегменты достаточно мелкие, «с запасом») Исходное Результат Границы объектов изображение сегментации Примеры: M. Bleyer
  119. 119. Использование сегментации• Используется предположение о сегментации («области разрыва диспаритета совпадают с краями на изображении)• Для его реализации применяют пересегментацию (т.е. сегменты достаточно мелкие, «с из пиксельного Происходит переход запасом»)пространства в пространство сегментов.Гладкость внутри сегментов форсируется Исходное Результат сегментации Границы объектов изображение Примеры: M. Bleyer
  120. 120. Базовый алгоритм с сегментацией• Произвести сегментацию • Mean-shift, EDISON и др.• Инициализировать решение • Любой локальный алгоритм на пикселях• Аппроксимировать сегменты гладкими поверхностями • Модель: плоскость, B-сплайн • Средство: RANSAC, голосование и т.д.• Уточнить разметку сегментов • Iterated Conditional Modes (ICM), Cooperative Optimization и др.
  121. 121. Использование сегментации• Преимущества • Надежность в областях со слабой текстурой • Снижение размерности задачи (оптимизация на уровне сегментов)• Недостатки • Нет защиты от нарушения предположения о сегментации • Сложность выбора модели, описывающей изменение диспаритета внутри сегмента • Проблему перекрытий все равно необходимо решать на пиксельном уровне
  122. 122. План• Введение• Формулировка задачи• Трудности и предположения• Локальные методы• Глобальные методы• Использование сегментации• Резюме
  123. 123. Что не вошло• Учет цвета в стерео• Борьба с перепадами яркости• Совмещение задач стерео и матирования• Обучение парных потенциалов• …
  124. 124. Выводы• Многое уже сделано, но задача не решена• Главный компромисс: скорость либо качество• Требуется расширение тестовых выборок• Явный тренд в сторону глобальных алгоритмов
  125. 125. На следующих лекциях• Многовидовая реконструкция• Реконструкция по 1 изображению

×