SlideShare a Scribd company logo
1 of 24
Download to read offline
Построение 3D модели сцены
      по одному фотоснимку

Cornell University                         Дмитрий Вихарев
Make3D Project:                 студент магистратуры ГУ-ВШЭ
http://make3d.cs.cornell.edu/                twitter.com/vikds
Наглядный пример




               http://www.flickr.com/photos/lofink/4501610335/
Особенность проекта




 diff         monocular cues
Современно?
                                               Основная статья, разъясняющая
                                             механизм обработки фотоснимков:
                                                 Make3D: Learning 3-D Scene
                                              Structure from a Single Still Image
Ashutosh               Andrew
                                                            (2008)
 Saxena                 Y. Ng
                                                  Make3D:
                          3-D Depth             Learning 3-D             i23 - Rapid
   Learning Depth       Reconstruction        Scene Structure          Interactive 3D
     from Single       from a Single Still                             Reconstruction
                                             from a Single Still
  Monocular Images          Image                                   from a Single Image
                                                   Image




 2005           2006          2007           2008            2009          2010                  2011




                                                                              http://www.flickr.com/photos/lofink/4501610335/
Computer vision machine learning




 Обычная фотография   3D Модель сцены
MRF: Markov Random Field
Модель Изинга




                            ������
                ������������ ������ = −                 ������������ ������������ − ������������             ������������
                            2
                                 ������−������ =1                      ������




           Свойство Марковского типа
                            ������ ������������ = ������ ������������ , ������ ≠ ������) = ������ ������������ = ������ ������������ , ������ ∈ ������������ )
                                                        1                       1
                                                                              − ������������ (������)
                                                ������ ������ =                    ������  ������������
                                                        ������
                                                                    ������
Сегментация




Efficient Graph-Based Image Segmentation (2004)

                                              http://www.flickr.com/photos/lofink/4501610335/
Постановка задачи




Нужно будет определить параметры:
                                                                            ������
     Плоскостей ������ ∈ ℝ3   определяемые нормальным вектором           ������ =
                                                                            ������
                                                             1
     Расстояния до суперпикселей вычисляются по   ������������ =     ������
                                                           ������������ ������
В MRF учитывались
Local features         Coplanarity




Connection             Collinearity
Monocular cues

                                                                                            ������
                            ������������ ������ =                   ������ ������, ������ ∗ ������������ ������, ������
                                          ������,������ ∈������������

                             ������ = 2,4



1   2   3   4   5   …   …   …   31   32      33     34




                                                         +14




                                                         http://www.flickr.com/photos/lofink/4501610335/
Monocular cues: контекст




Итого:   34 ∗ 4 + 1 ∗ 3 + 14 = 524       особенности для «суперпикселя»

   1     2    3    4    5    …       …      …   521   522   523   524
Edge detection




bool   1   2   3   4   5   …   …   …   11   12   13   14
Формальная постановка задачи
Input:                                                                 Output:
������   Входные параметры                                                   ������ Параметры плоскости,
     суперпикселей (local features)                                         определяющие положение и
������   Параметры обученной                                                    ориентацию суперпикселя в
     модели MRF                                                             пространстве

������   «Доверие» к расстоянию до объекта,
     вычисленному опираясь только на
     локальные свойства суперпикселя
������   Оценка того, насколько четко мы
     определили границу между
     суперпикселями



                                   1
     ������ ������ ������, ������, ������, ������; ������) =             ������1 ������������ | ������������ , ������������ , ������������ ; ������           ������2 ������������ , ������������ | ������������������ , ������������ , ������������
                                   ������
                                        ������                                        ������,������


                                                                                                        http://www.flickr.com/photos/lofink/4501610335/
Local features




        ������������,������������ − ������������,������������   ������������,������������         ������              ������
                              =           − 1 = ������������,������������ ������������ ������������,������������ ������������ − 1
                ������������,������������       ������������,������������
                                               ������������
                                                                   ������              ������
������1 ������������ | ������������ , ������������ , ������������ ; ������ = exp −             ������������,������������ ������������,������������ ������������ ������������,������������ ������������ − 1
                                             ������������ =1
Connection




                                                                 ������                ������
ℎ������������ ,������������ ������������ , ������������ , ������������������ , ������������ , ������������ = exp −������������������   ������������,������������ ������������ − ������������,������������ ������������ ������
Coplanarity




                                                          ������               ������
ℎ������′′ ������������ , ������������ , ������������������ , ������������,������′′ = exp −������������������   ������������,������′′ ������������ − ������������,������′′ ������������ ������������′′
   ������                       ������                              ������               ������           ������
Collinearity




  ℎ������������ ������������ , ������������ , ������������������ , ������������,������������
                                              ������               ������
                     = exp −������������������         ������������,������������ ������������ − ������������,������������ ������������ ������
Решение
Обучение:     MCL (Multi-Conditional Learning)
  Методы линейного программирования (LP) min ������1 -нормы

       ∗
    ������������ = arg max        log ������1 ������������ | ������������ , ������������ , ������������ ; ������������ +           log ������2 ������������ , ������������ | ������������������ , ������������ , ������������
              ������������
                     ������                                                ������,������


Построение модели:                Оценивается и максимальная апостериорная
                                  вероятность (MAP) для параметров плоскостей
  Методы линейного программирования (LP) min ������1 -нормы
  Модифицированный метод Ньютона для эффективного нахождения Гессиана
                            ������ ∗ = arg max log ������ ������ | ������, ������, ������, ������; ������������
                                              ������
Технические детали
          Фотоснимки           Всего снимков
          2272x1704                 400

          Матрицы расстояний
          55x305

                                  150 Мб


       MATLAB + C++
        *.cpp, *.c  *.mex



                VRML
                  *.wrl
Ограничения
В текущей реализации:
• Обучение проводилось только на снимках ландшафтов местности
• Небольшое количество обучающего набора фотографий (400)
• Фотографии – ландафты местности Пало-Альто в летнее время
• Низкая разрешающая способность лазера (55x305)
• Несмотря на из разрешение фотографий, они все перед обработкой
  приводятся к одному и тому же небольшому разрешению
• В математической модели жестко заданы параметры фототехники
  (фокусное расстояние, диафрагма…)
Дальнейшее развитие проекта
Построение трехмерной модели сцены по нескольким фотоснимкам




Добавление элементов Интерактивности
Возможное применение



                            Google
Microsoft «3DVIA Shape»   «SketchUp»
Демонстрация
Спасибо за внимание
      Дмитрий Вихарев
студент магистратуры ГУ-ВШЭ
  dmitry.vikharev@gmail.com
       twitter.com/vikds

More Related Content

Viewers also liked

Viewers also liked (8)

网站存储经验谈pdf
网站存储经验谈pdf网站存储经验谈pdf
网站存储经验谈pdf
 
Danielle pres.ppt
Danielle pres.pptDanielle pres.ppt
Danielle pres.ppt
 
Danielle pres.ppt
Danielle pres.pptDanielle pres.ppt
Danielle pres.ppt
 
History of horror films
History of horror filmsHistory of horror films
History of horror films
 
History of horror films
History of horror filmsHistory of horror films
History of horror films
 
Danielle pres.ppt
Danielle pres.pptDanielle pres.ppt
Danielle pres.ppt
 
20101220-ekoplan
20101220-ekoplan20101220-ekoplan
20101220-ekoplan
 
Danielle pres.ppt
Danielle pres.pptDanielle pres.ppt
Danielle pres.ppt
 

ADD 2011 Make3D

  • 1. Построение 3D модели сцены по одному фотоснимку Cornell University Дмитрий Вихарев Make3D Project: студент магистратуры ГУ-ВШЭ http://make3d.cs.cornell.edu/ twitter.com/vikds
  • 2. Наглядный пример http://www.flickr.com/photos/lofink/4501610335/
  • 4. Современно? Основная статья, разъясняющая механизм обработки фотоснимков: Make3D: Learning 3-D Scene Structure from a Single Still Image Ashutosh Andrew (2008) Saxena Y. Ng Make3D: 3-D Depth Learning 3-D i23 - Rapid Learning Depth Reconstruction Scene Structure Interactive 3D from Single from a Single Still Reconstruction from a Single Still Monocular Images Image from a Single Image Image 2005 2006 2007 2008 2009 2010 2011 http://www.flickr.com/photos/lofink/4501610335/
  • 5. Computer vision machine learning Обычная фотография 3D Модель сцены
  • 6. MRF: Markov Random Field Модель Изинга ������ ������������ ������ = − ������������ ������������ − ������������ ������������ 2 ������−������ =1 ������ Свойство Марковского типа ������ ������������ = ������ ������������ , ������ ≠ ������) = ������ ������������ = ������ ������������ , ������ ∈ ������������ ) 1 1 − ������������ (������) ������ ������ = ������ ������������ ������ ������
  • 7. Сегментация Efficient Graph-Based Image Segmentation (2004) http://www.flickr.com/photos/lofink/4501610335/
  • 8. Постановка задачи Нужно будет определить параметры: ������ Плоскостей ������ ∈ ℝ3 определяемые нормальным вектором ������ = ������ 1 Расстояния до суперпикселей вычисляются по ������������ = ������ ������������ ������
  • 9. В MRF учитывались Local features Coplanarity Connection Collinearity
  • 10. Monocular cues ������ ������������ ������ = ������ ������, ������ ∗ ������������ ������, ������ ������,������ ∈������������ ������ = 2,4 1 2 3 4 5 … … … 31 32 33 34 +14 http://www.flickr.com/photos/lofink/4501610335/
  • 11. Monocular cues: контекст Итого: 34 ∗ 4 + 1 ∗ 3 + 14 = 524 особенности для «суперпикселя» 1 2 3 4 5 … … … 521 522 523 524
  • 12. Edge detection bool 1 2 3 4 5 … … … 11 12 13 14
  • 13. Формальная постановка задачи Input: Output: ������ Входные параметры ������ Параметры плоскости, суперпикселей (local features) определяющие положение и ������ Параметры обученной ориентацию суперпикселя в модели MRF пространстве ������ «Доверие» к расстоянию до объекта, вычисленному опираясь только на локальные свойства суперпикселя ������ Оценка того, насколько четко мы определили границу между суперпикселями 1 ������ ������ ������, ������, ������, ������; ������) = ������1 ������������ | ������������ , ������������ , ������������ ; ������ ������2 ������������ , ������������ | ������������������ , ������������ , ������������ ������ ������ ������,������ http://www.flickr.com/photos/lofink/4501610335/
  • 14. Local features ������������,������������ − ������������,������������ ������������,������������ ������ ������ = − 1 = ������������,������������ ������������ ������������,������������ ������������ − 1 ������������,������������ ������������,������������ ������������ ������ ������ ������1 ������������ | ������������ , ������������ , ������������ ; ������ = exp − ������������,������������ ������������,������������ ������������ ������������,������������ ������������ − 1 ������������ =1
  • 15. Connection ������ ������ ℎ������������ ,������������ ������������ , ������������ , ������������������ , ������������ , ������������ = exp −������������������ ������������,������������ ������������ − ������������,������������ ������������ ������
  • 16. Coplanarity ������ ������ ℎ������′′ ������������ , ������������ , ������������������ , ������������,������′′ = exp −������������������ ������������,������′′ ������������ − ������������,������′′ ������������ ������������′′ ������ ������ ������ ������ ������
  • 17. Collinearity ℎ������������ ������������ , ������������ , ������������������ , ������������,������������ ������ ������ = exp −������������������ ������������,������������ ������������ − ������������,������������ ������������ ������
  • 18. Решение Обучение: MCL (Multi-Conditional Learning) Методы линейного программирования (LP) min ������1 -нормы ∗ ������������ = arg max log ������1 ������������ | ������������ , ������������ , ������������ ; ������������ + log ������2 ������������ , ������������ | ������������������ , ������������ , ������������ ������������ ������ ������,������ Построение модели: Оценивается и максимальная апостериорная вероятность (MAP) для параметров плоскостей Методы линейного программирования (LP) min ������1 -нормы Модифицированный метод Ньютона для эффективного нахождения Гессиана ������ ∗ = arg max log ������ ������ | ������, ������, ������, ������; ������������ ������
  • 19. Технические детали Фотоснимки Всего снимков 2272x1704 400 Матрицы расстояний 55x305 150 Мб MATLAB + C++ *.cpp, *.c  *.mex VRML *.wrl
  • 20. Ограничения В текущей реализации: • Обучение проводилось только на снимках ландшафтов местности • Небольшое количество обучающего набора фотографий (400) • Фотографии – ландафты местности Пало-Альто в летнее время • Низкая разрешающая способность лазера (55x305) • Несмотря на из разрешение фотографий, они все перед обработкой приводятся к одному и тому же небольшому разрешению • В математической модели жестко заданы параметры фототехники (фокусное расстояние, диафрагма…)
  • 21. Дальнейшее развитие проекта Построение трехмерной модели сцены по нескольким фотоснимкам Добавление элементов Интерактивности
  • 22. Возможное применение Google Microsoft «3DVIA Shape» «SketchUp»
  • 24. Спасибо за внимание Дмитрий Вихарев студент магистратуры ГУ-ВШЭ dmitry.vikharev@gmail.com twitter.com/vikds