Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Некоторые методы сопоставления стерео

550 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Некоторые методы сопоставления стерео

  1. 1. Некоторые методы сопоставления стерео Алексей Федоров Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Первичная обработка  Нелинейная ректификация стерео  Методы сопоставления стерео  Bidirectional Stereo Matching with Occlusion Handling  Building an Accurate Stereo Matching System  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Задача сопоставления стерео 3 Изображение «Алоэ» из набора данных «Middlebury» в «общем» случае в «нашем» случае
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сопоставление блоков Метрики для блоков (1) 4 k – диспаритет Левый ракурс (Il) Правый ракурс (Ir) (x,y) (x+m,y+n) (x,y) (x+k,y) (x+k+m,y+n) Блок для сравнения Блок для сравнения Позаимствовано из презентации Нападовского Вячеслава
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus     Стандартный подход Метрики для блоков (2) 5 M. Galar, M. Pagola, E. Barrenechea et al., “Aggregation of Color Information in Stereo Matching Problem: A Comparison Study,” Lecture Notes in Computer Science, 2010
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Возможны искажения изображений на разных ракурсах  по яркости  по контрасту  по фокусу  по геометрии Сопоставление стерео Частые проблемы 6 Метрики, устойчивые к расхождениям, рассмотрел Нападовский Вячеслав
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Пример Ректификация изображений (1/2) 7 Объект Левая камера Правая камера Левый ракурс Правый ракурс До ректификации
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Пример Ректификация изображений (2/2) 8 Объект Левая камера Правая камера Левый ракурс Правый ракурс Левый ракурс Правый ракурс До ректификации После ректификации
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Первичная обработка  Нелинейная ректификация стерео  Методы сопоставления стерео  Bidirectional Stereo Matching with Occlusion Handling  Building an Accurate Stereo Matching System  Заключение 9
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ректификация стерео Постановка задачи 10Y. Zhao, H. Shao, and Q. Dai, “Gravity-oriented nonlinear stereo rectification for stereoscopic 3D,” on 3DTV-CON, 2011  Объект Левая камера Правая камера
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск преобразования Минимизируемый функционал 11Y. Zhao, H. Shao, and Q. Dai, “Gravity-oriented nonlinear stereo rectification for stereoscopic 3D,” on 3DTV-CON, 2011 
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск преобразования Компонента смещения 12Y. Zhao, H. Shao, and Q. Dai, “Gravity-oriented nonlinear stereo rectification for stereoscopic 3D,” on 3DTV-CON, 2011 
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск преобразования Эпиполярная компонента 13Y. Zhao, H. Shao, and Q. Dai, “Gravity-oriented nonlinear stereo rectification for stereoscopic 3D,” on 3DTV-CON, 2011 Эпиполяры уводим на бесконечность. Теперь прямые на обоих ракурсах параллельны.
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Поиск преобразования Компонента вращения 14Y. Zhao, H. Shao, and Q. Dai, “Gravity-oriented nonlinear stereo rectification for stereoscopic 3D,” on 3DTV-CON, 2011
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Поиск преобразования Компонента вертикального соответствия 15Y. Zhao, H. Shao, and Q. Dai, “Gravity-oriented nonlinear stereo rectification for stereoscopic 3D,” on 3DTV-CON, 2011
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ожидаемый край И что же такого в этой статье? Степень заметности формируется из следующей информации:  Резкость края  Скорость движения  Результат Face Detection 16Y. Zhao, H. Shao, and Q. Dai, “Gravity-oriented nonlinear stereo rectification for stereoscopic 3D,” on 3DTV-CON, 2011 Ректификация без учета заметности Ректификация с учетом заметности Выбранная точка Заметная точка Менее заметная точка
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Нелинейная ректификация Учет заметности Человеческое восприятие чувствительно к искажению относительно соседних пикселей. Введем вектор относительной позиции: 17Y. Zhao, H. Shao, and Q. Dai, “Gravity-oriented nonlinear stereo rectification for stereoscopic 3D,” on 3DTV-CON, 2011 Выбранная точка Заметная точка Менее заметная точка
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Сравнение с конкурентами (1/3) 18Y. Zhao, H. Shao, and Q. Dai, “Gravity-oriented nonlinear stereo rectification for stereoscopic 3D,” on 3DTV-CON, 2011 Исходная стереопара
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Сравнение с конкурентами (2/3) 19Y. Zhao, H. Shao, and Q. Dai, “Gravity-oriented nonlinear stereo rectification for stereoscopic 3D,” on 3DTV-CON, 2011 Предложенный метод
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Сравнение с конкурентами (3/3) 20Y. Zhao, H. Shao, and Q. Dai, “Gravity-oriented nonlinear stereo rectification for stereoscopic 3D,” on 3DTV-CON, 2011 Результат конкурента
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинство:  Учет степени заметности Недостатки:  Высокая требовательность к ресурсам (Real-time на GPU)  Возможность искажения прямых на Т-образных перекрестках 21
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Первичная обработка  Нелинейная ректификация стерео  Методы сопоставления стерео  Bidirectional Stereo Matching with Occlusion Handling  Building an Accurate Stereo Matching System  Заключение 22
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Bidirectional Stereo Matching Особенности метода  Используется двунаправленное сопоставление стерео  Использование Graph-Cut для поиска диспаритета  Учитываются области открытия (закрытия) 23Sh. Zhang, Sh. Liu, Y. Mao, and X. Wang, “Global Optimization for Bidirectional SM with Occlusion Handling,” on MIC, 2012
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск диспаритета Graph Cut  24Sh. Zhang, Sh. Liu, Y. Mao, and X. Wang, “Global Optimization for Bidirectional SM with Occlusion Handling,” on MIC, 2012
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Альфа-расширение 25Sh. Zhang, Sh. Liu, Y. Mao, and X. Wang, “Global Optimization for Bidirectional SM with Occlusion Handling,” on MIC, 2012
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Минимизируемая функция стоимости 26Sh. Zhang, Sh. Liu, Y. Mao, and X. Wang, “Global Optimization for Bidirectional SM with Occlusion Handling,” on MIC, 2012
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Функция стоимости Компонента интенсивности 27Sh. Zhang, Sh. Liu, Y. Mao, and X. Wang, “Global Optimization for Bidirectional SM with Occlusion Handling,” on MIC, 2012
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (1) Изображение Moebius (1/3) 28Sh. Zhang, Sh. Liu, Y. Mao, and X. Wang, “Global Optimization for Bidirectional SM with Occlusion Handling,” on MIC, 2012 Исходное изображение
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (1) Изображение Moebius (2/3) 29Sh. Zhang, Sh. Liu, Y. Mao, and X. Wang, “Global Optimization for Bidirectional SM with Occlusion Handling,” on MIC, 2012 Ground truth
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (1) Изображение Moebius (3/3) 30Sh. Zhang, Sh. Liu, Y. Mao, and X. Wang, “Global Optimization for Bidirectional SM with Occlusion Handling,” on MIC, 2012 Предложенный метод
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (2) Изображение Street (1/2) 31Sh. Zhang, Sh. Liu, Y. Mao, and X. Wang, “Global Optimization for Bidirectional SM with Occlusion Handling,” on MIC, 2012 Исходное изображение
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (2) Изображение Street (2/2) 32Sh. Zhang, Sh. Liu, Y. Mao, and X. Wang, “Global Optimization for Bidirectional SM with Occlusion Handling,” on MIC, 2012 Предложенный метод
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства:  Двунаправленное сопоставление  Учет областей открытия Недостаток:  Высокая требовательность к ресурсам 33
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Первичная обработка  Нелинейная ректификация стерео  Методы сопоставления стерео  Bidirectional Stereo Matching with Occlusion Handling  Building an Accurate Stereo Matching System  Заключение 34
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Accurate Stereo Matching Особенности метода  Используется метрика, основанная на расстоянии Хэмминга  Используется адаптивная форма сопоставляемых блоков  Учитывается возможность параллельных вычислений 35X. Sun, M. Zhou, Sh. Jiao et al., “On Building an Accurate SM System on Graphics Hardware,” on ICCV Workshops, 2011
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  , – константы Метрика отличия блоков AD-Census 36X. Sun, M. Zhou, Sh. Jiao et al., “On Building an Accurate SM System on Graphics Hardware,” on ICCV Workshops, 2011  – метрика, равная расстоянию Хемминга между блоками (используются блоки 9×7) Absolute Differences
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение метрик 37X. Sun, M. Zhou, Sh. Jiao et al., “On Building an Accurate SM System on Graphics Hardware,” on ICCV Workshops, 2011
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Крестообразные области Агрегирование стоимости 38X. Sun, M. Zhou, Sh. Jiao et al., “On Building an Accurate SM System on Graphics Hardware,” on ICCV Workshops, 2011 Пример
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Изображение Cones (1/3) 39X. Sun, M. Zhou, Sh. Jiao et al., “On Building an Accurate SM System on Graphics Hardware,” on ICCV Workshops, 2011 Исходное изображение
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Изображение Cones (2/3) 40X. Sun, M. Zhou, Sh. Jiao et al., “On Building an Accurate SM System on Graphics Hardware,” on ICCV Workshops, 2011 Предложенный метод
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Изображение Cones (3/3) 41X. Sun, M. Zhou, Sh. Jiao et al., “On Building an Accurate SM System on Graphics Hardware,” on ICCV Workshops, 2011 Разница с Ground truth
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Мультик =) 42X. Sun, M. Zhou, Sh. Jiao et al., “On Building an Accurate SM System on Graphics Hardware,” on ICCV Workshops, 2011
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства:  Использование метрики AD-Census  Возможность распараллеливания (реализовать на GPU) Недостатки:  Чувствителен к зашумленным данным  Чувствителен к искажениям по цвету 43
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Первичная обработка  Нелинейная ректификация стерео  Методы сопоставления стерео  Bidirectional Stereo Matching with Occlusion Handling  Building an Accurate Stereo Matching System  Заключение 44
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение В презентации обозначены следующие идеи, которые можно использовать в дальнейшем:  Учитывать степень заметности при ректификации  Использовать двунаправленное сопоставление  Попробовать метрику AD-Census 45
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Наши результаты 1 Изображение Cones (1/3) 46 Изображение «Cones» из набора данных «Middlebury» Исходное изображение
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Наши результаты 1 Изображение Cones (2/3) 47 Наш метод
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Наши результаты 1 Изображение Cones (3/3) 48 Метод из статьи Xun Sun (2011)
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Наши результаты 2 Изображение Tsukuba (1/3) 49 Изображение «Tsukuba» из набора данных «Middlebury» Исходное изображение
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Наши результаты 2 Изображение Tsukuba (2/3) 50 Наш метод
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Наши результаты 2 Изображение Tsukuba (3/3) 51 Метод из статьи Xun Sun (2011)
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. Yu Zhao, Hang Shao, and Qionghai Dai, “Gravity-oriented nonlinear stereo rectification for stereoscopic 3D,” in 3DTV Conference: The True Vision – Capture, Transmission and Display of 3D Video (3DTV-CON), 2011, pp. 1-4. 2. Shaobo Zhang, Sheng Liu, Yuhang Mao, and Xin Wang, “Global Optimization for Bidirectional Stereo Matching with Occlusion Handling,” International Conference on Measurement, Information and Control (MIC), vol. 2, 2012, pp. 553-557. 3. Xun Sun, Mingcai Zhou, Shaohui Jiao, Haitao Wang, and Xiaopeng Zhang, “On Building an Accurate Stereo Matching System on Graphics Hardware,” IEEE International Conference on Computer Vision Workshops (ICCV Workshops), 2011, pp. 467-474. 4. Mikel Galar, Miguel Pagola, Edurne Barrenechea, Carlos Lopez-Molina, and Humberto Bustince, “Aggregation of Color Information in Stereo Matching Problem: A Comparison Study,” Lecture Notes in Computer Science, vol. 6098, 2010, pp. 369–378. 52
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищены 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 53

×