Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Обзор методов
вычисления базовой
геометрии сцены
Дмитрий Акимов
Video Group
CS MSU Graphics & Media Lab
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Feature-based...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Карты глубин
Задача автомати...
Карты глубин
Классификация сцен (1)
4D. Hoiem, A.A. Efros, M. Hebert, “Geometric Context
from a Single Image”, ICCV 2005
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Карты глубин
Классификация сцен (2)
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Feature-based...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Feature-based алгоритмы
Общие черты
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Geometric context extraction
Работа я...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Geometric context extraction
Предполо...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Исходное изображение
Каждый ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Множественная сегментация (1...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Множественная сегментация (2...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Распределение геометрических...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Распределение геометрических...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Geometric context extraction
Вычисляе...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Geometric context extraction
Результа...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Geometric context extraction
Результа...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Geometric context Extraction
Выводы
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Feature-based...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Vanishing point detection
Алгоритм J-...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Отрезки
Полученные гипотезы
J-linkage...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
J-linkage
Результаты
22J. Tardif, “No...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Vanishing point detection
Image plane...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Vanishing point detection
Image plane...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Image plane accumulation
Результаты
2...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Feature-based...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Geometric reasoning
Отрезки прямых на...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Geometric reasoning
Алгоритм
1. Поиск...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Line segments and
vanishing point det...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Geometric Reasoning
Построение моделе...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Geometric Reasoning
Построение моделе...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Построение моделей
Формализация алгор...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Определение наиболее
вероятной модели...
Geometric reasoning
Результаты
34D. C. Lee, M. Hebert, T. Kanade, “Geometric Reasoning for Single
Image Structure Recovery...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Ошибочные определения моде...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Feature-based...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
1. Границы – алгоритм Canny edge dete...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
 Сегментация неба
по цвету
 Отрезок...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Определение центра
скопления линий
(м...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Определение крайних
областей пучков
4...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Определение профиля сцены на основе к...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Объединение:
 Маска неба
 Схема сце...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
 Достоинство:
Правдоподобная карта г...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Литература
1. D. Hoiem, A.A. Efros, a...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Лаборатория компьютерной
графики и му...
Upcoming SlideShare
Loading in …5
×

Обзор методов вычисления базовой геометрии сцены

553 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Обзор методов вычисления базовой геометрии сцены

  1. 1. Обзор методов вычисления базовой геометрии сцены Дмитрий Акимов Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Feature-based алгоритм с обучением  Интерпретация геометрических примитивов  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Карты глубин Задача автоматического вычисления карты глубины по одному изображению в общем случае неразрешима 3 Исходное изображение Автоматически полученная карта глубины
  4. 4. Карты глубин Классификация сцен (1) 4D. Hoiem, A.A. Efros, M. Hebert, “Geometric Context from a Single Image”, ICCV 2005
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Карты глубин Классификация сцен (2)  Количество различных классов сцен мало  Для сцены из каждого конкретного класса с высокой вероятностью возможно автоматически создать базовую карту глубины по шаблону  Базовая карта глубины значительно упрощает и ускоряет создание финальной карты глубины 5
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Feature-based алгоритмы с обучением  Общие характеристики  Geometric context extraction  Интерпретация геометрических примитивов  Заключение 6
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature-based алгоритмы Общие черты  Вычисление большого количества статистик от изображения  Формализация модели сцены  Использование размеченной тренировочной базы для обучения и настройки параметров модели на основе вычисляемых статистик  Получение результата на основе решений обученного классификатора 7D. Hoiem, A.A. Efros, M. Hebert, “Geometric Context from a Single Image”, ICCV 2005
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Geometric context extraction Работа является частью проекта Automatic Photo Pop-Up 8D. Hoiem, A.A. Efros, M. Hebert, “Geometric Context from a Single Image”, ICCV 2005 Исходное изображение Автоматически полученная 3D-модель сцены
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Geometric context extraction Предположения  Объекты в сцене можно классифицировать по их пространственной ориентации  97% всех объектов принадлежат 3 классам: 1. Небо 2. Параллельные земле объекты 3. Перпендикулярные (в той или иной степени) земле объекты  Камера направлена параллельно земле 9D. Hoiem, A.A. Efros, M. Hebert, “Geometric Context from a Single Image”, ICCV 2005
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Исходное изображение Каждый элемент изображения – часть некоторой плоскости в реальном мире Требуется извлечь максимум статистик для каждого элемента  За минимальный элемент принимается суперпиксель изображения  Вычисляются базовые статистики 10D. Hoiem, A.A. Efros, M. Hebert, “Geometric Context from a Single Image”, ICCV 2005 Исходное изображение Карта суперпикселей
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Множественная сегментация (1)  Получение глобальных статистик для суперпикселей  Для каждой сегментации: 1. Случайно выбираются n r = {3, 4, 5, 7, 9, 11, 15, 20, 25} исходных суперпикселей 2. Оставшиеся суперпиксели итеративно добавляются к одному из соседних сегментов на основе абсолютной разности статистик 11D. Hoiem, A.A. Efros, M. Hebert, “Geometric Context from a Single Image”, ICCV 2005 Варианты сегментаций
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Множественная сегментация (2) Классификатор на основе алгоритма AdaBoost: 12D. Hoiem, A.A. Efros, M. Hebert, “Geometric Context from a Single Image”, ICCV 2005
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Распределение геометрических меток Три основных метки:  Земля  Небо  Вертикаль 5 подклассов класса «вертикаль»:  Left  Center  Right  Porous  Solid 13D. Hoiem, A.A. Efros, M. Hebert, “Geometric Context from a Single Image”, ICCV 2005 Сегментация по геометрическим классам
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Распределение геометрических меток (1) Модель внутри классификатора 14D. Hoiem, A.A. Efros, M. Hebert, “Geometric Context from a Single Image”, ICCV 2005
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Geometric context extraction Вычисляемые статистики В общей сумме 72 статистики для каждого суперпикселя 15D. Hoiem, A.A. Efros, M. Hebert, “Geometric Context from a Single Image”, ICCV 2005
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Geometric context extraction Результаты 16D. Hoiem, A.A. Efros, M. Hebert, “Geometric Context from a Single Image”, ICCV 2005 Source Ground truth Result
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Geometric context extraction Результаты (failure) 17D. Hoiem, A.A. Efros, M. Hebert, “Geometric Context from a Single Image”, ICCV 2005 Source Ground truth Result
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Geometric context Extraction Выводы  Достоинства:  Уход от семантики объектов в сегментации  Возможность использования в качестве confidence map для фильтрации карт глубин  Недостатки:  Требуется объемная тренировочная база  Неоднозначность в определении меток даже для ground truth (отмечается в статье) 18D. Hoiem, A.A. Efros, M. Hebert, “Geometric Context from a Single Image”, ICCV 2005
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Feature-based алгоритмы с обучением  Интерпретация геометрических примитивов  Vanishing point detection  Geometric reasoning  Заключение 19
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Vanishing point detection Алгоритм J-linkage  На входе – отрезки прямых  На выходе – классификация линий по основным точкам схода линий 20J. Tardif, “Non-Iterative Approach for Fast and Accurate Vanishing Point Detection”, ICCV, 2009 Найденные отрезки Классификация линий (выделены цветом)
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Отрезки Полученные гипотезы J-linkage Алгоритм кластеризации 1. Каждая строка матрицы принимается за отдельный кластер 2. Вычисление расстояния между кластерами (количество отличающихся элементов в строках) 3. Слияние наиболее близких кластеров 21J. Tardif, “Non-Iterative Approach for Fast and Accurate Vanishing Point Detection”, ICCV, 2009 Характеристическая матрица после кластеризации
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  J-linkage Результаты 22J. Tardif, “Non-Iterative Approach for Fast and Accurate Vanishing Point Detection”, ICCV, 2009 Правильно кластеризованные Неверно кластеризованные
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Vanishing point detection Image plane accumulation В качестве аккумулирующего пространства может быть выбрана плоскость изображения или гауссова сфера 23C. Rother, “A New Approach for Vanishing Point Detection in Architectural Environments” CVAP, 2000 Сфера ГауссаОтрезок определяется центральной точкой, длиной и углом наклона
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Vanishing point detection Image plane accumulation Для каждой точки аккумулирующей матрицы каждый отрезок вносит вес: 24C. Rother, “A New Approach for Vanishing Point Detection in Architectural Environments” CVAP, 2000
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Image plane accumulation Результаты 25C. Rother, “A New Approach for Vanishing Point Detection in Architectural Environments” CVAP, 2000
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Feature-based алгоритмы с обучением  Интерпретация геометрических примитивов  Vanishing point detection  Geometric reasoning  Заключение 26
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Geometric reasoning Отрезки прямых на изображении. Этой информации достаточно, чтобы восстановить геометрию сцены 27D. C. Lee, M. Hebert, T. Kanade, “Geometric Reasoning for Single Image Structure Recovery”, IEEE CVPR, 2009
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Geometric reasoning Алгоритм 1. Поиск отрезков прямых 2. Вычисление точек схода перспективы и классификация отрезков 3. Построение всех возможных моделей сцены 4. Определение наиболее вероятной модели на основе “supporting line segments” 28D. C. Lee, M. Hebert, T. Kanade, “Geometric Reasoning for Single Image Structure Recovery”, IEEE CVPR, 2009
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Line segments and vanishing point detection  Используются готовые реализации алгоритмов  Предполагается наличие трех основных направлений линий (“Manhattan world model”) 29D. C. Lee, M. Hebert, T. Kanade, “Geometric Reasoning for Single Image Structure Recovery”, IEEE CVPR, 2009 Исходное изображение Найденные линии Vanishing point + три базовых направления
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Geometric Reasoning Построение моделей сцены (1)  Предполагается существование лишь конечного числа возможных пересечений линий  Каждое пересечение характеризуется минимальным необходимым количеством линий 30D. C. Lee, M. Hebert, T. Kanade, “Geometric Reasoning for Single Image Structure Recovery”, IEEE CVPR, 2009 Допустимые гипотезы о пересечении линий Линии, необходимые для детектирования пересечения
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Geometric Reasoning Построение моделей сцены (2) 31D. C. Lee, M. Hebert, T. Kanade, “Geometric Reasoning for Single Image Structure Recovery”, IEEE CVPR, 2009 Шаги алгоритма построения одной из моделей Множество всех моделей
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Построение моделей Формализация алгоритма Н – множество моделей сцены li – отрезок прямой Hk – модель с k углами в сцене H’ – множество моделей, полученных добавлением одного угла к исходной модели h n – максимально допустимое количество углов в модели 32D. C. Lee, M. Hebert, T. Kanade, “Geometric Reasoning for Single Image Structure Recovery”, IEEE CVPR, 2009
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Определение наиболее вероятной модели Построение “supporting map”:  Каждая линия в собственной окрестности поддерживает некоторую плоскость  Две перпендикулярные линии однозначно определяют плоскость в своей окрестности  В каждой точке определяются вероятности различной ориентации плоскости 33D. C. Lee, M. Hebert, T. Kanade, “Geometric Reasoning for Single Image Structure Recovery”, IEEE CVPR, 2009 “Supporting map” Черные области означают конфликт опорных линий
  34. 34. Geometric reasoning Результаты 34D. C. Lee, M. Hebert, T. Kanade, “Geometric Reasoning for Single Image Structure Recovery”, IEEE CVPR, 2009 Модель сцены 3D-представление сцены
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Ошибочные определения моделей 35D. C. Lee, M. Hebert, T. Kanade, “Geometric Reasoning for Single Image Structure Recovery”, IEEE CVPR, 2009 Исходное изображение Найденные прямые Модель сцены
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Feature-based алгоритмы с обучением  Интерпретация геометрических примитивов  Заключение  Собственные наработки 36
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  1. Границы – алгоритм Canny edge detection 2. Производные dx, dy – свертка с ядром Собеля 3. Параметры прямых – аккумулирование голосов точек маски границ 37 Depth from geometry Алгоритм Найденные прямые
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Сегментация неба по цвету  Отрезок линии – объединение всех проголосовавших точек данной линии 38 Depth from geometry Алгоритм (1)
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Определение центра скопления линий (минимизация невязки) 39 Depth from geometry Алгоритм (2)
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Определение крайних областей пучков 40 Depth from geometry Алгоритм (3)
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Определение профиля сцены на основе кучности линий в трех основных областях 41 Depth from geometry Алгоритм (4) «Сходящаяся к центру» «Расходящаяся от центра»
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Объединение:  Маска неба  Схема сцены  Главный градиент плоскости земли 42 Depth from geometry Алгоритм (5)
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Достоинство: Правдоподобная карта глубины на определенной выборке изображений  Недостатки:  Излишне высокая дискретизация параметрического пространства  Излишнее упрощение отрезков прямых  Нахождение только одной точки схода перспективы  Простые эвристики для принятия решений 43 Depth from geometry Выводы
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. D. Hoiem, A.A. Efros, and M. Hebert, “Recovering Surface Layout from an Image”, IJCV, Vol. 75, No. 1, October 2007 2. D. Hoiem, A.A. Efros, and M. Hebert, “Geometric Context from a Single Image”, ICCV, 2005 3. D. C. Lee, M. Hebert, and T. Kanade, “Geometric Reasoning for Single Image Structure Recovery”, IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), June 2009 4. J. Tardif, “Non-Iterative Approach for Fast and Accurate Vanishing Point Detection”, in Proc. ICCV, 2009, pp.1250-1257 5. C. Rother, “A New approach for Vanishing Point Detection in Architectural Environments”, in Proc. Computational Vision and Active Perception Laboratory (CVAP), 2000 44
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищено 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 45

×