Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Некоторые методы генерации многоракурсных изображений на основе карты глубины

539 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Некоторые методы генерации многоракурсных изображений на основе карты глубины

  1. 1. Некоторые методы генерации многоракурсных изображений на основе карты глубины Вячеслав Нападовский Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Occlusion Filling with Horizontal Mirroring  Enhancement of Depth Maps with Alpha Channel Estimation  Заполнение областей открытия с использованием фона  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Постановка задачи На входе:  Один или несколько ракурсов  Карты глубины для всех ракурсов  Положение виртуальной камеры На выходе:  Сгенерированный ракурс для виртуальной камеры 3
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Виртуальная камера 4A. Mavlankar, “Image-Based Rendering using Disparity Compensated Interpolation,” Applied Vision and Imaging Systems, 2005
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Основные приложения  Генерация дополнительных ракурсов для автостереоскопических дисплеев по стерео или по 2D+Z  Генерация 3D-контента под конкретные устройства  Конвертация 2D в 3D 5
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  DIBR Одна из реализаций 1. Предобработка карты глубины 2. Warping 3. Заполнение областей открытия 6Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Пример генерации Depth Image Based Rendering (DIBR) 7Laihua Wang et al., “A Novel Virtual View Rendering Approach Based on DIBR,” ICCSE, 2012 Исходное изображение Карта глубины Смещённые пиксели
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Проблемы, возникающие при использовании DIBR 8M. Sjostrom et al., “Improved depth-image-based rendering algorithm,” 3DTV-CON, 2011 Тип артефакта Предложенный алгоритм 1 Пустые «трещины» Интерполяция только недостающих пикселей 2 Полупрозрачные «трещины» Поиск и заполнение 3 Ореол Уменьшение приоритета у слоя с фоном 4 Неестественные цвета Смешивание слоёв с передним планом 5 Области открытия Заполнение константным цветом из слоя фона 6 Ошибка на карте глубины —
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Occlusion Filling with Horizontal Mirroring  Enhancement of Depth Maps with Alpha Channel Estimation  Заполнение областей открытия с использованием фона  Заключение 9
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Modified DIBR Шаг 1 из 4 Конвертация карты глубины в карту диспаритета с помощью Lookup Table (LUT) 10Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Modified DIBR Шаг 2 из 4 Увеличение значений диспаритета на краях объектов 11Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Modified DIBR Эффективность фильтрации 12Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Modified DIBR 13 3. Warping 4. Заполнение областей открытия методом зеркального отражения Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Modified DIBR Пример зеркального отражения 14 Полученный результат с помощью повторения крайнего пикселя Результат метода, предложенного в статье Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат Метод с использованием экстраполяции 15 Исходное изображение Заполнение областей открытия с помощью экстраполяции Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат 16 Карта границ диспаритета Предложенный метод Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства:  Простота в реализации  Высокая скорость (realtime) Недостатки:  Более чувствителен:  к импульсному шуму на карте глубины  к несовпадению границ глубины и изображения 17
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Occlusion Filling with Horizontal Mirroring  Enhancement of Depth Maps with Alpha Channel Estimation  Заполнение областей открытия с использованием фона  Заключение 18
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Особенности алгоритма  Требуется на вход:  исходное изображение  карта глубины (Kinect)  изображение с инфракрасной камеры (Time-Of-Flight camera)  Строится карты глубины и карты прозрачности  Данные TOF-камеры используются для улучшения результата на границах объектов 19 J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps With Alpha Channel Estimation for 3-D Video,” IEEE Journal of Selected Topics in Signal Processing, 2012
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Схема алгоритма На стороне encoder’а 20 J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps With Alpha Channel Estimation for 3-D Video,” IEEE Journal of Selected Topics in Signal Processing, 2012
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Схема алгоритма На стороне decoder’а 21 J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps With Alpha Channel Estimation for 3-D Video,” IEEE Journal of Selected Topics in Signal Processing, 2012
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Depth Image Enhancement 1. Бинаризация карты глубины с помощью метода k-средних с целью получения trimap’а 2. Морфологическое расширение карты глубины 3. Использование closed form matting’а для вычисления альфа-канала 22 J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps With Alpha Channel Estimation for 3-D Video,” IEEE Journal of Selected Topics in Signal Processing, 2012
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Вычисление цветов объекта и фона 23 I – изображение αi – значение альфа-канала i-го пикселя Интенсивность i-го пикселя объекта по каналу c: – объекта, – фона, – изображения J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps With Alpha Channel Estimation for 3-D Video,” IEEE Journal of Selected Topics in Signal Processing, 2012 С целью вычисления цветов пикселей фона (B) и объекта (F) выполняется минимизация следующей функции:
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Входные данные 24 J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps With Alpha Channel Estimation for 3-D Video,” IEEE Journal of Selected Topics in Signal Processing, 2012
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты маттинга (1) 25 Исходное изображение (b) маттинг по исходному изображению, (c) маттинг по карте глубины, (d) результат авторов J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps With Alpha Channel Estimation for 3-D Video,” IEEE Journal of Selected Topics in Signal Processing, 2012
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты маттинга (2) 26 Color image Depth image IR image Closed form matting Depth alignment Result using IR image J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps With Alpha Channel Estimation for 3-D Video,” IEEE Journal of Selected Topics in Signal Processing, 2012
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение (1) 27 J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps With Alpha Channel Estimation for 3-D Video,” IEEE Journal of Selected Topics in Signal Processing, 2012
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение (2) 28 J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps With Alpha Channel Estimation for 3-D Video,” IEEE Journal of Selected Topics in Signal Processing, 2012
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства:  Высокая скорость работы (realtime)  Улучшение за счёт использования маттинга Недостаток:  Востребовано изображение от TOF-камеры 29
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Occlusion Filling with Horizontal Mirroring  Enhancement of Depth Maps with Alpha Channel Estimation  Заполнение областей открытия с использованием фона  Заключение 30
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Особенности алгоритма  На вход алгоритму подаётся многоракурсное видео  Для вычисления глубины используется метод M. Tanimoto “Depth Estimation Reference Software (DERS) 5.0,” 2009  Предполагается статичность фона 31M. Koppel et al., “Temporally consistent handling of disocclusions with texture synthesis for depth-image-based rendering,” ICIP, 2010
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заполнение разрывов карты глубины 32 Ground truth Результат авторов MPEG VSRS (View Synthesis Reference Software) Карта диспаритетаDIBR M. Koppel et al., “Temporally consistent handling of disocclusions with texture synthesis for depth-image-based rendering,” ICIP, 2010
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Temporally Consistent Handling of Disocclusions 1. Выделение области фона с помощью бинаризации карты глубины и морфологического расширения 2. Обновление ранее сохранённого изображения фона и его глубины Для восстановления текстуры в областях открытия используются методы синтеза текстур 33M. Koppel et al., “Temporally consistent handling of disocclusions with texture synthesis for depth-image-based rendering,” ICIP, 2010
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат (1) 34 Reference view M. Koppel et al., “Temporally consistent handling of disocclusions with texture synthesis for depth-image-based rendering,” ICIP, 2010
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат (2) 35 Warping result M. Koppel et al., “Temporally consistent handling of disocclusions with texture synthesis for depth-image-based rendering,” ICIP, 2010
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат (3) 36 Восстановленный фон M. Koppel et al., “Temporally consistent handling of disocclusions with texture synthesis for depth-image-based rendering,” ICIP, 2010
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат (4) 38 Сгенерированный ракурс с помощью MPEG VSRS M. Koppel et al., “Temporally consistent handling of disocclusions with texture synthesis for depth-image-based rendering,” ICIP, 2010
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат (5) 39 Сгенерированный ракурс по методу авторов статьи M. Koppel et al., “Temporally consistent handling of disocclusions with texture synthesis for depth-image-based rendering,” ICIP, 2010
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат Увеличенные области 40 Результат авторов Результат авторовMPEG VSRS MPEG VSRS M. Koppel et al., “Temporally consistent handling of disocclusions with texture synthesis for depth-image-based rendering,” ICIP, 2010
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинство:  Заполнение областей открытия с помощью фона, присутствующего на видео Недостаток:  Требование статичного фона 41
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Occlusion Filling with Horizontal Mirroring  Enhancement of Depth Maps with Alpha Channel Estimation  Заполнение областей открытия с использованием фона  Заключение 42
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение В области алгоритмов генерации многоракурсных изображений за последние 1,5 года не было предложено новых методов. Из рассмотренных методов интересными на мой взгляд являются:  Маттинг с использованием глубины  Использование восстановленного фона 43
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература (1) 1. S.-F. Hsiao, J.-W. Cheng, W.-L. Wang and G.-F. Yeh, “Low latency design of Depth-Image-Based Rendering using hybrid warping and hole-filling,” in IEEE International Symposium on Circuits and Systems (ISCAS), Seoul, Korea, 2012, pp. 608–611. 2. M. Sjostrom, P. Hardling, L. S. Karlsson, R. Olsson, “Improved depth-image-based rendering algorithm,” in 3DTV Conference: The True Vision — Сapture, Transmission and Display of 3D Video (3DTV-CON), Antalya, Turkey, 2011, pp. 1–4. 3. J.-H. Cho, K. H. Lee and K. Aizawa, “Enhancement of Depth Maps With Alpha Channel Estimation for 3-D Video,” in IEEE Journal of Selected Topics in Signal Processing, 2012, vol. 6, pp. 483–494. 44
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература (2) 4. M. Koppel, P. Ndjiki-Nya, D. Doshkov, H. Lakshman, P. Merkle, K. Muller and T. Wiegand, “Temporally consistent handling of disocclusions with texture synthesis for depth-image-based rendering,” in 17th IEEE International Conference on Image Processing (ICIP), Hong Kong, China, 2010, pp. 1809–1812. 45
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищены 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 46

×