Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Вычисление глубины
по одному изображению
Дмитрий Акимов
Video Group
CS MSU Graphics & Media Lab
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
2
 Введение
 Comfortable...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Карты глубин
Исходное изобра...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Автоматическое построение
Машинное об...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Анализ движения камеры:
 Глубина объ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
 Вычисление параметров гауссова
разм...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
 Извлекаем из изображения
прямые лин...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Постановка задачи
Особенност...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
9
 Введение
 Comfortable...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Comfortable depth generation
10
Задач...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Comfortable depth generation
Схема ра...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Блочная сегментация
Построение графа
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
13
 Для графа строится
минимальное о...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
14
 Полученное остовное дерево
разре...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Comfortable depth generation
Базовый ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Comfortable depth generation
Итоговая...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Comfortable depth generation
Результа...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Comfortable depth generation
Результа...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Comfortable depth generation
Результа...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Субъективная оценка
20
Dep...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Субъективная оценка
21
Vis...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Выводы
22
 Достоинства:
 Нормальное...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
23
 Введение
 Comfortabl...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Focused object segmentation
24
Изобра...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Focused object segmentation
25
 Широ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Focused object segmentation
Алгоритм
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Focused object segmentation
Алгоритм
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
HOS map
28
 Вычисляем момен...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Morphological filters by rec...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Morphological filters by rec...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Morphological filters by rec...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Сегментация
32
 Объединение...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Сегментация
33
Разрастание O...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
34J. Park, C. Kim, “Extracting Focuse...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
35J. Park, C. Kim, “Extracting Focuse...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
36
 Введение
 Comfortabl...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
37S. Zhuo, T.Sim, “Recovering Depth f...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
38S. Zhuo, T.Sim, “Recovering Depth f...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
39S. Zhuo, T.Sim, “Recovering Depth f...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
40S. Zhuo, T.Sim, “Recovering Depth f...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
41S. Zhuo, T.Sim, “Recovering Depth f...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
42S. Zhuo, T.Sim, “Recovering Depth f...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
43S. Zhuo, T.Sim, “Recovering Depth f...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
44S. Zhuo, T.Sim, “Recovering Depth f...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
45S. Zhuo, T.Sim, “Recovering Depth f...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
46
 Введение
 Comfortabl...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
47
Собственные наработки
 Сегментаци...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
48
Собственные наработки
Defocus dept...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
49
Defocus
Результаты
Original
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
50
Defocus
Результаты
Depth map
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
51
Defocus
Выводы
 Достоинства:
 Co...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
52
Собственные наработки
Depth from g...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
53
Собственные наработки
Depth from g...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
54
Собственные наработки
Depth from g...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
55
Собственные наработки
Depth from g...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
56
Depth from geometry
Два случая сце...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
57
Depth from geometry
Два случая сце...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
58
Depth from geometry
Финальная карт...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
59S. Zhuo, T.Sim, “Recovering Depth f...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Литература
1. Chao-Chung Cheng et al....
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Лаборатория компьютерной
графики и му...
Upcoming SlideShare
Loading in …5
×

Вычисление глубины по одному изображению

476 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Вычисление глубины по одному изображению

  1. 1. Вычисление глубины по одному изображению Дмитрий Акимов Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание 2  Введение  Comfortable depth generation  Focused object segmentation  Depth from defocus  Собственные наработки  Заключение
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Карты глубин Исходное изображение 3 CS MSU Graphics & Media Lab (Video Group) Автоматически полученная карта глубины  Сопоставляем каждой точке изображения «глубину» – удаленность реальной точки в пространстве  Карты глубин:  Реальное значение (true depth)  Комфортные для зрителя (comfortable depth)
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Автоматическое построение Машинное обучение 1. Извлечение множества статистик для классификации 2. Многоуровневые поля Маркова (MRF) 3. Машинное обучение 4. Получение реального значения глубины (true depth) 4A. Saxena et al., “Learning Depth from Single Monocular Images”, NIPS 2005 3-scale Markov Random Field Depth estimation results
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Анализ движения камеры:  Глубина объектов относительна  Калибровка камеры позволяет получить реальные значения глубины (true depth) Проблемы:  Движущиеся объекты  Статичная камера 5Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR 2010 Depth from motion Live scene reconstruction Автоматическое построение Depth from motion
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Вычисление параметров гауссова размытия границ объектов  Распространение данных с границ на объекты  Comfortable depth Проблемы:  Узкая область применения  Неоднозначность распространения 6Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR 2010 Автоматическое построение Depth from defocus
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Извлекаем из изображения прямые линии  Анализируем их взаимное расположение Проблемы:  Область применения – urban scenes  «Непрямоугольные» объекты 7Newcombe, Davison, “Live Dense Reconstruction with a Single Moving Camera”, CVPR 2010 Автоматическое построение Depth from geometry
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Постановка задачи Особенности:  Не всегда нужна реальная глубина  Каждый алгоритм работает только на определенном классе входных последовательностей Цель:  Подобрать набор алгоритмов вычисления комфортных для зрителя карт глубин; cуммарная область применения алгоритмов должна покрывать максимум входных последовательностей 8
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание 9  Введение  Comfortable depth generation  Focused object segmentation  Depth from defocus  Собственные наработки  Заключение
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Comfortable depth generation 10 Задача:  Быстро и «недорого» автоматически сгенерировать карту глубины Предположения:  Изменение глубины происходит на границах  Можем выделить конечное число базовых градиентов глубины
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Comfortable depth generation Схема работы 11C.-C. Cheng et al., “A Novel 2D-to-3D Conversion System Using Edge Information”, Trans. on IEEE Consumer Electronics 2010
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Блочная сегментация Построение графа 12  Разбиваем изображение на блоки 4х4  Для блока считается среднее по цвету mean(a)  Представляем как неориентированный граф G(V,E):  V – блоки-вершины  E – ребра с весами |mean(a) – mean(b)| C.-C. Cheng et al., “A Novel 2D-to-3D Conversion System Using Edge Information”, Trans. on IEEE Consumer Electronics 2010
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  13  Для графа строится минимальное остовное дерево  Используется алгоритм Прима: Блочная сегментация Остовное дерево C.-C. Cheng et al., “A Novel 2D-to-3D Conversion System Using Edge Information”, Trans. on IEEE Consumer Electronics 2010
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  14  Полученное остовное дерево разрезается по ребрам с большим весом  Итоговая блочная сегментация Блочная сегментация Разбиение на сегменты C.-C. Cheng et al., “A Novel 2D-to-3D Conversion System Using Edge Information”, Trans. on IEEE Consumer Electronics 2010
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Comfortable depth generation Базовый градиент и глубина сегмента 15  Из анализа прямых линий на изображении выбирается один из базовых градиентов глубины:  Глубина сегмента вычисляется как средняя глубина всех его пикселей, Wrl, Wud – параметры градиента, |Wrl| + |Wud| = 1 C.-C. Cheng et al., “A Novel 2D-to-3D Conversion System Using Edge Information”, Trans. on IEEE Consumer Electronics 2010
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Comfortable depth generation Итоговая карта глубины 16 Финальный этап – сглаживание блочной карты с помощью билатеральной фильтрации Original Filtered C.-C. Cheng et al., “A Novel 2D-to-3D Conversion System Using Edge Information”, Trans. on IEEE Consumer Electronics 2010
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Comfortable depth generation Результаты 17C.-C. Cheng et al., “A Novel 2D-to-3D Conversion System Using Edge Information”, Trans. on IEEE Consumer Electronics 2010
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Comfortable depth generation Результаты 18C.-C. Cheng et al., “A Novel 2D-to-3D Conversion System Using Edge Information”, Trans. on IEEE Consumer Electronics 2010
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Comfortable depth generation Результаты: ошибки 19C.-C. Cheng et al., “A Novel 2D-to-3D Conversion System Using Edge Information”, Trans. on IEEE Consumer Electronics 2010
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Субъективная оценка 20 Depth Quality C.-C. Cheng et al., “A Novel 2D-to-3D Conversion System Using Edge Information”, Trans. on IEEE Consumer Electronics 2010
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Субъективная оценка 21 Visual Comfort C.-C. Cheng et al., “A Novel 2D-to-3D Conversion System Using Edge Information”, Trans. on IEEE Consumer Electronics 2010
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы 22  Достоинства:  Нормальное субъективное качество  Недостатки:  Карта глубины далека от реальной  Слишком простые базовые предположения о геометрии сцены
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание 23  Введение  Comfortable depth generation  Focused object segmentation  Depth from defocus  Собственные наработки  Заключение
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Focused object segmentation 24 Изображения – www.kinopoisk.ru
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Focused object segmentation 25  Широкий класс сцен – объект в фокусе и размытый фон  Задача – разделить изображение на передний план (Object Of Interest, OOI) и фон Изображения – http://www.abc.net.au/tv/talkingheads/ “Talking Heads”
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Focused object segmentation Алгоритм 26  Идея – найти наиболее сфокусированную область изображения  Проблемы:  Резкие границы на фоне  Резкие текстурные области фона  Ровные области OOI J. Park, C. Kim, “Extracting Focused Object from Low Depth-of- Field Image Sequences”, SPIE VCIP 2006
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Focused object segmentation Алгоритм 27  Вычисление статистики высокого порядка (Higher Order Statistics, HOS)  Упрощение HOS map морфологией с сохранением границ (morphological filters by reconstruction)  Выделение главного сегмента OOI и его «разрастание» J. Park, C. Kim, “Extracting Focused Object from Low Depth-of- Field Image Sequences”, SPIE VCIP 2006 Original image HOS map Morphological simplification OOI segmentation
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм HOS map 28  Вычисляем моменты четвертого порядка J. Park, C. Kim, “Extracting Focused Object from Low Depth-of- Field Image Sequences”, SPIE VCIP 2006 HOS map Local variance map  Определяем HOS(x,y) как: η – окрестность, Nη – размер окрестности I(x,y) – цветовая компонента изображения m(x,y) – среднее по окрестности DSF – down scaling factor
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Morphological filters by reconstruction 29  Стандартная морфология: εB – сужение, δB – расширение  Geodesic filters: OR – яркость исходного пикселя J. Park, C. Kim, “Extracting Focused Object from Low Depth-of- Field Image Sequences”, SPIE VCIP 2006
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Morphological filters by reconstruction 30  Filters by reconstruction: J. Park, C. Kim, “Extracting Focused Object from Low Depth-of- Field Image Sequences”, SPIE VCIP 2006  Open by reconstruction:  Closing by reconstruction:
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Morphological filters by reconstruction 31  В работе использовалось закрытие-открытие с радиусом, заведомо покрывающим мелкие детали HOS map J. Park, C. Kim, “Extracting Focused Object from Low Depth-of- Field Image Sequences”, SPIE VCIP 2006 original simplifiedHOS map
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Сегментация 32  Объединение связных компонент  Определение компоненты с наибольшим значением HOS (зерна OOI)  Определение компонент, относящихся к фону (HOS меньше TL порога)  Итеративное разрастание OOI – захват соседних сегментов J. Park, C. Kim, “Extracting Focused Object from Low Depth-of- Field Image Sequences”, SPIE VCIP 2006 card – граница области BRn,i – текущий рассматриваемый сегмент
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Сегментация 33 Разрастание OOI J. Park, C. Kim, “Extracting Focused Object from Low Depth-of- Field Image Sequences”, SPIE VCIP 2006
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  34J. Park, C. Kim, “Extracting Focused Object from Low Depth-of- Field Image Sequences”, SPIE VCIP 2006 Original Focused object segmentation Результаты HOS map Simplified Segmentation
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  35J. Park, C. Kim, “Extracting Focused Object from Low Depth-of- Field Image Sequences”, SPIE VCIP 2006 Focused object segmentation Выводы  Достоинства:  Возможность применения для построения комфортных карт глубины  Недостатки:  Карта глубины только двух уровней
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание 36  Введение  Comfortable depth generation  Focused object segmentation  Depth from defocus  Собственные наработки  Заключение
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  37S. Zhuo, T.Sim, “Recovering Depth from a Single Defocused Image”, under review, 2010 1. Исследуем параметры размытия границ 2. Вводим модель гауссова размытия границы 3. Вычисляем коэффициент размытия Основная проблема: распространение информации с границ на все изображение Depth from defocus Не в фокусе (дальше) В фокусе (ближе)
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  38S. Zhuo, T.Sim, “Recovering Depth from a Single Defocused Image” , under review, 2010  Граница лежит в неопределенной области (blended region), α ϵ (0,1)  Используем метод маттинга для распространения информации с границ Depth from defocus Элемент исходного изображения
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  39S. Zhuo, T.Sim, “Recovering Depth from a Single Defocused Image” , under review, 2010 Depth from defocus Посчитанная граница по Кэнни  Граница лежит в неопределенной области (blended region), α ϵ (0,1)  Используем метод маттинга для распространения информации с границ
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  40S. Zhuo, T.Sim, “Recovering Depth from a Single Defocused Image” , under review, 2010 Depth from defocus Depth propagation Минимизация функции энергии E(d): d – вектор значений глубины всего изображения – вектор посчитанных значений глубины (≠ 0 только на границах) λ – штраф изменения посчитанных значений D – единичная матрица L – матрица Лапласа с коэффициентами маттинга Сводим к решению СЛАУ:
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  41S. Zhuo, T.Sim, “Recovering Depth from a Single Defocused Image” , under review, 2010 Depth propagation Функция энергии Матрица Лапласа: L(i, j) = Окно 3х3 пикселя Символ Кронекера Матрица среднего Единичная матрица 3х3 Матрица ковариации Значение пикселя в i-ой точке Значение пикселя в j-ой точке Параметр регуляризации
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  42S. Zhuo, T.Sim, “Recovering Depth from a Single Defocused Image” , under review, 2010 Depth from defocus Результаты Original Depth
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  43S. Zhuo, T.Sim, “Recovering Depth from a Single Defocused Image” , under review, 2010 Depth from defocus Результаты Original Depth
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  44S. Zhuo, T.Sim, “Recovering Depth from a Single Defocused Image” , under review, 2010 Depth from defocus Результаты Original Depth
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  45S. Zhuo, T.Sim, “Recovering Depth from a Single Defocused Image” , under review, 2010 Depth from defocus Выводы  Достоинства:  Comfortable depth  Сохранение границ объектов  Недостатки:  Узкая область применения  Временная стабильность не гарантирована  Вычислительная сложность (большой размер СЛАУ)
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание 46  Введение  Comfortable depth generation  Focused object segmentation  Depth from defocus  Собственные наработки  Заключение
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  47 Собственные наработки  Сегментация неба по цвету  Два метода:  Depth from defocus  Depth from geometry Defocus Geometry
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  48 Собственные наработки Defocus depth propagation 1. Вычисление коэффициента размытия на границах 2. Итеративное распространение билатеральной фильтрацией Blur on edges Nth Propagation iteration Depth map
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  49 Defocus Результаты Original
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  50 Defocus Результаты Depth map
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  51 Defocus Выводы  Достоинства:  Comfortable depth  Недостатки:  Проблема локально-инвертированной глубины  «Затекания» глубины на ровных по цвету участках (некритично для построения стерео)  Время работы
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  52 Собственные наработки Depth from geometry 1. Границы по Кэнни 2. Производные dx, dy по Собелю 3. Аккумулируем параметры прямых для точек маски границ
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  53 Собственные наработки Depth from geometry  Сегментация неба по цвету  Выделение отрезков из линий (крайние проголосовавшие точки)
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  54 Собственные наработки Depth from geometry Определение центра скопления линий (минимизация невязки)
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  55 Собственные наработки Depth from geometry Определение крайних областей пучков
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  56 Depth from geometry Два случая сцены Расходящаяся
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  57 Depth from geometry Два случая сцены Сходящаяся
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  58 Depth from geometry Финальная карта глубины Объединяем:  Маска неба  Схема сцены  Вертикальный градиент
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  59S. Zhuo, T.Sim, “Recovering Depth from a Single Defocused Image” , under review, 2010 Depth from geometry Выводы  Достоинства:  Comfortable depth  Недостатки:  На данном этапе – слишком простые решения, большое количество эвристик  Объекты «прилипают» к базовой геометрии
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. Chao-Chung Cheng et al., “A Novel 2D-to-3D Conversion System Using Edge Information”, Trans. on IEEE CE 2010 2. Changick Kim, “Segmenting a Low-Depth-of-Field Image Using Morphological Filters and Region Merging”, SPIE VCIP 2005 3. Jungwoo Park, Changick Kim, “Extracting Focused Object from Low Depth-of-Field Image Sequences”, SPIE VCIP 2006 4. Shaojie Zhuo, Terence Sim, “Recovering Depth from a Single Defocused Image” , under review, 2010 60
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищено 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 61

×