Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Получение глубины из движения камеры

360 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Получение глубины из движения камеры

  1. 1. Получение глубины из движения камеры Зачесов Антон Video Group CS MSU Graphics & Media Lab 30.03.2015
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Iterative Depth Estimation  Live Scene Reconstruction  Real-time Depth Estimation  Свой алгоритм 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Постановка задачи Каждая точка пространства при съемке проецируется на плоскость кадра 3 – фокусное расстояние камеры Dibos, Jonchery, Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, CAIP, 2009
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Постановка задачи Зная движение камеры, можно точно восстановить отношение глубины разных объектов в сцене 4 R – матрица поворота t – вектор сдвига Dibos, Jonchery, Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, CAIP, 2009
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Iterative Depth Estimation  Live Scene Reconstruction  Real-time Depth Estimation  Свой алгоритм 5
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation Camera motion estimation  Фокусное расстояние камеры = 1  Используется упрощение 12-параметрической модели: 6 – поворот вокруг оси k на угол β – поворот на угол α вокруг оси Δ, угол (i, Δ) = θ Dibos, Jonchery, Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, CAIP, 2009
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation  Группа из шести параметров однозначно описывает движение камеры  Через эти параметры можно выразить смещение блоков изображений (x’,y’), (x,y) – координаты пикселей точки 7Dibos, Jonchery, Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, CAIP, 2009
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation Идея Первый кадр 8
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation Идея Второй кадр 9
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation Идея Искаженный первый кадр 10
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation Идея Первый кадр 11
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation Идея Модули смещений блоков между исходным и искаженным кадрами 12
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation  Для восстановления глубины сцены применяется belief propagation (100 итераций)  Максимизируется вероятность f, g – кадры y – реализация random field Y х – глубина сцены по отношению к кадру f 13Dibos, Jonchery, Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, CAIP, 2009
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  V – множество всех пикселей xs – относительная глубина в пикселе s ψ(xs) – вероятность определения глубины для пикселя s Iterative Depth Estimation 14 – координаты пикселя (x,y) после применения к нему преобразования Dibos, Jonchery, Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, CAIP, 2009
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  E – множество границ ψst(xs ,xt) – отвечает за непрерывность глубины для соседних пикселей s и t e1 , σ1 = const Iterative Depth Estimation 15Dibos, Jonchery, Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, CAIP, 2009
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Идея – попеременно искать и уточнять параметры движения камеры и карту глубины  Глубина сцены делится на H уровней  На каждом шаге i:  Для каждой считается смещение с глубиной  Для каждой считается вес вклада в общее движение в кадре  По полученным смещениям каждой области получаем новые параметры камеры =  Если , то Iterative Depth Estimation Метод уточнения глубины 16Dibos, Jonchery, Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, CAIP, 2009
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation Исходный кадр 1 17Dibos, Jonchery, Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, CAIP, 2009
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation Исходный кадр 2 18Dibos, Jonchery, Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, CAIP, 2009
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation Результаты 100 итераций belief propagation 15 итераций алгоритма уточнения 19Dibos, Jonchery, Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, CAIP, 2009
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation Исходный кадр 1 20Dibos, Jonchery, Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, CAIP, 2009
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation Исходный кадр 2 21Dibos, Jonchery, Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, CAIP, 2009
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation Результаты 100 итераций belief propagation 15 итераций алгоритма уточнения 22Dibos, Jonchery, Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, CAIP, 2009
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Iterative Depth Estimation Выводы  Достоинства  Надежный алгоритм вычисления параметров движения камеры  Эффективный метод расчета глубины  Недостатки  Вычислительная сложность  Изначальное деление глубины на фиксированное число уровней 23
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Iterative Depth Estimation  Live Scene Reconstruction  Real-time Depth Estimation  Свой алгоритм 24
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Live Scene Reconstruction Постановка задачи По видео, снятому 2D-камерой, точно восстановить глубину и построить достоверную модель сцены 25Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR, 2010
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Live Scene Reconstruction Camera motion estimation Анализ движения: Parallel Tracking and Mapping system (PTAM) 26Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR, 2010
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Live Scene Reconstruction Camera motion estimation  PTAM позволяет расставлять в видео ключевые кадры  Для каждого ключевого кадра определяется позиция камеры и видимость каждой точки в нем 27Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR, 2010
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Live Scene Reconstruction Инициализация нормалей В каждой точке xj нормаль nj принимается равной: nj = 1/N × Σ(V(PT)) V(PT) – направление на камеру в ключевом кадре T N – число точек 28Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR, 2010
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Для каждого ключевого кадра считается яркость и матрица проекции точек пространства на плоскость этого кадра K – матрица, получаемая при калибровке камеры – матрица поворота из системы координат камеры в мировую систему координат Live Scene Reconstruction Depth estimation 29Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR, 2010
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Live Scene Reconstruction Depth estimation  Каждой точке ь ставится в соответствие проекция для каждой камеры i  При малом смещении точки на расстояние может быть выражено формулой 30Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR, 2010
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Live Scene Reconstruction Depth estimation  Якобиан рассчитывается для матрицы проекции каждого ключевого кадра  Из полученных линейных систем можно вычислить для каждого пикселя 31Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR, 2010
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Live Scene Reconstruction Уточнение глубины  – луч из позиции камеры к пикселю j  λj – параметр для каждой вершины  Pref – ключевой кадр  Pi – один из соседних кадров 32Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR, 2010
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Live Scene Reconstruction Уточнение глубины – матрица поворота из системы координат камеры в мировую систему координат – скалярное произведение 33Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR, 2010
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Live Scene Reconstruction Уточнение глубины  Система сводится к поиску  Решив систему, получаем параметр λ:  Получаем точные координаты вершины: 34Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR, 2010
  35. 35. Only for Maxus  Live Scene Reconstruction Результаты 35Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR, 2010
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Live Scene Reconstruction Результаты 36Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR, 2010
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Live Scene Reconstruction Результаты 37Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR, 2010
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Live Scene Reconstruction Результаты 38Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR, 2010
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Live Scene Reconstruction Итоги  Достоинства  Скорость (засчет использования GPU)  Модель сцены строится в реальном времени  На QuadCore Xeon+2GPU – обновление модели каждые 2-5 секунд  Качество и точность получаемой карты глубины  Недостатки  Необходимость калибровки камеры перед началом работы алгоритма 39
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Iterative Depth Estimation  Live Scene Reconstruction  Real-time Depth Estimation  Свой алгоритм 40
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation  Та же задача реконструкции сцены по движению одной камеры  Оптимизация – нет расчета 2D-motion векторов для каждой точки кадра 41Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation Пример 42Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation Пример 43Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation Пример 44Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation 2 изображения Для простого случая пары изображений минимизируется энергия вида: I0, I1 – изображения exp(ξ1) – 6 параметров камеры π – проекция точки из мировых координат на плоскость кадра Ω0 – множество всех возможных глубин сцены h – глубина 45Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation 2 изображения Разница между двумя изображениями, приведенными к одной системе координат 46 Позволяет избежать разрывов глубины на границах объектов Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation N изображений Для n последовательных изображений можно суммировать энергии каждой из пар – производная по h в точке h0 – множество кадров, для которых проекция точки x находится внутри кадра 47Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation Результат (без текстуры) 48Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation Результат (с текстурой) 49Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation Исходные данные 50Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation Результат (без текстуры) 51Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation Результат (с текстурой) 52Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation Скорость High quality: 640х480, 1.8 fps 53Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation Скорость Medium quality: 640х480, 11.4 fps 54Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation Скорость Low quality: 480х360, 24 fps 55Stuhmer, Gumhold, Daniel Cremers, “Real-Time Dense Geometry from a Handheld Camera”, DAGM, 2010
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Real-time Depth Estimation Итоги  Достоинства  Высокая скорость и качество расчета (на NVidia GTX 480)  Не требуется калибровка камеры  Недостатки  Не опубликованы результаты работы с реальным видео, а не с последовательностью из небольшого числа изображений 56
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Iterative Depth Estimation  Live Scene Reconstruction  Real-time Depth Estimation  Свой алгоритм 57
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Свой алгоритм  Поиск матрицы проективного преобразования между соседними кадрами по данным МЕ  Получение параметров движения камеры: перемещение и углы поворота  Получение относительной глубины блока Z = magnitude ( Vreal – Vcamera_motion ) Vreal – motion vector текущего блока Vcamera_motion = pixel_pos × H, где H – исходная матрица преобразования 58
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Свой алгоритм Исходное видео 59
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Свой алгоритм Первоначальная карта глубины 60
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Свой алгоритм Карта глубины после фильтрации 61
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Свой алгоритм Проблемы  Неточная маска фона  Неверный выбор точек при построении преобразования  Ошибочное построение глубины для областей с низкой дисперсией и в областях открытия  Слишком сильное поднятие движущихся объектов по глубине 62
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Свой алгоритм Дальнейшие планы  Учет нескольких кадров при получении глубины  Уточнение преобразования таким образом, чтобы параметры камеры не сильно изменялись от кадра к кадру  Улучшение алгоритма заполнения областей с низким доверием к motion векторам 63
  64. 64. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. Franёcoise Dibos, Claire Jonchery, and Georges Koepfler, “Iterative Camera Motion and Depth Estimation in a Video Sequence”, Computer Analysis of Images and Pattern, 2009 2. Richard A. Newcombe and Andrew J. Davison, “Live Dense Reconstruction with a Single Moving Camera”, Int. Conf. on Computer Vision and Pattern Recognition 2010 3. Jan StЁuhmer, Stefan Gumhold, and Daniel Cremers, “Real- Time Dense Geometry from a Handheld Camera”, The German Association for Pattern Recognition DAGM, 2010 64

×