Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Исправление различий резкости в 3D видео

455 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Исправление различий резкости в 3D видео

  1. 1. Исправление различий резкости в 3D-видео Александр Белоус Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Частотная реконструкция  Пространственная реконструкция  Размытие более резкого ракурса  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Постановка задачи Требуется устранить различия резкости между ракурсами, описываемые двумя случаями:  Глобальное (несинхронизированные камеры)  Локальное (геометрия сцены) 3
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Пример глобального несоответствия (1) 4 http://albums.phanfare.com/isolated/Mc8yEhS2/1/4354620 Левый ракурс
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  5 http://albums.phanfare.com/isolated/Mc8yEhS2/1/4354620 Введение Пример глобального несоответствия (2) Правый ракурс
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  6 http://albums.phanfare.com/isolated/Mc8yEhS2/1/4354620 Введение Пример глобального несоответствия (3) Сравнение
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Оптическая система (1) Модель тонкой линзы. Сфокусированное и расфокусированное изображения 7 S. Zhuo and T. Sim, “Defocus Map Estimation from a Single Image,” in The Journal of the Pattern Recognition Society, vol. 44, pp. 1852–1858, 2011
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Оптическая система (2) 8 S. Zhuo and T. Sim, “Defocus Map Estimation from a Single Image,” in The Journal of the Pattern Recognition Society, vol. 44, pp. 1852–1858, 2011
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Оптическая система (3) Даже знания глубины и расстояния до фокальной плоскости недостаточно для оценки размытия 9
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Point spread function (1)  10 http://medim.sth.kth.se/6l2872/F/F9.pdf
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Point spread function (2) 11 объект PSF изображение
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Частотная реконструкция  Пространственная реконструкция  Размытие более резкого ракурса  Заключение 12
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Частотная реконструкция Шаги алгоритма 1. Дискретное косинусное преобразование ракурсов 2. Разделение на диапазоны частот 3. Оценка шума 4. Выравнивание сигнала 5. Обратное преобразование 13 C. Doutre and P. Nasiopoulos, “Correcting Sharpness Variations in Stereo Image Pairs,” in Conference for Visual Media Production, pp. 45–51, 2009
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаг 1/5 Дискретное косинусное преобразование  14Syed Ali Khayam, “The Discrete Cosine Transform (DCT): Theory and Application,” Michigan State University Technical Report, 2003
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  15 Шаг 1/5 Пример из фильма «Аватар» (1) Левый ракурс ДКП
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  16 Шаг 1/5 Пример из фильма «Аватар» (2) Правый ракурс ДКП
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  17 Шаг 1/5 Пример из фильма «Аватар» (3) Размытый правый ракурс ДКП
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаг 2/5 Разделение на диапазоны частот (1)  18 C. Doutre and P. Nasiopoulos, “Correcting Sharpness Variations in Stereo Image Pairs,” in Conference for Visual Media Production, pp. 45–51, 2009
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаг 2/5 Разделение на диапазоны частот (2) 19 C. Doutre and P. Nasiopoulos, “Correcting Sharpness Variations in Stereo Image Pairs,” in Conference for Visual Media Production, pp. 45–51, 2009 изображение ДКП полоса ДКП
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаг 3/5 Оценка шума  20 C. Doutre and P. Nasiopoulos, “Correcting Sharpness Variations in Stereo Image Pairs,” in Conference for Visual Media Production, pp. 45–51, 2009
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаг 4/5 Выравнивание сигнала (1)  21 C. Doutre and P. Nasiopoulos, “Correcting Sharpness Variations in Stereo Image Pairs,” in Conference for Visual Media Production, pp. 45–51, 2009
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаг 4/5 Выравнивание сигнала (2)  22 C. Doutre and P. Nasiopoulos, “Correcting Sharpness Variations in Stereo Image Pairs,” in Conference for Visual Media Production, pp. 45–51, 2009
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаг 5/5 Обратное преобразование  23 C. Doutre and P. Nasiopoulos, “Correcting Sharpness Variations in Stereo Image Pairs,” in Conference for Visual Media Production, pp. 45–51, 2009
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Частотная реконструкция Собственная реализация (1) 24 левый ракурс
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Частотная реконструкция Собственная реализация (2) 25 правый ракурс (до размытия) правый ракурс (результат)
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Частотная реконструкция Собственная реализация (3) 26 правый ракурс (до размытия) правый ракурс (результат)
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Частотная реконструкция Собственная реализация (4) 27 правый ракурс (до размытия) правый ракурс (результат unsharp masking)
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Частотная реконструкция Пример из фильма «Аватар» (1) 28 левый ракурс
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Частотная реконструкция Пример из фильма «Аватар» (2) 29 левый ракурс (исправленный, используется плавающее окно)
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Частотная реконструкция Пример из фильма «Аватар» (3) 30 правый ракурс
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Частотная реконструкция Выводы Достоинство:  Позволяет восстанавливать области открытия Недостатки:  Применим только для одинакового глобального несоответствия резкости  Не учитывает диспаритет  Результаты зашумлены (несмотря на то, что шум учитывается) 31
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Частотная реконструкция  Пространственная реконструкция  Blur and Contrast Invariants  Blur Robust Cost  Размытие более резкого ракурса  Заключение 32
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blur and Contrast Invariants Основная идея (1) Будем использовать для сопоставления ракурсов устойчивые к размытию свойства изображения Теорема: Тангенс фазового значения преобразования Фурье инвариантен к размытию 33 J. Flusser and T. Suk, “Degraded Image Analysis: An Invariant Approach,” in IEEE Transactions on Patten Analysis and Machine Intelligence, vol. 20, pp. 590–603, 1998
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blur and Contrast Invariants Основная идея (2)  34 J. Flusser and T. Suk, “Degraded Image Analysis: An Invariant Approach,” in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, pp. 590–603, 1998
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blur and Contrast Invariants Применение для сопоставления стерео  35 M. Pedone, J. Heikkila, “Blur and Contrast Invariant Fast Stereo Matching,” in Advanced Concepts for Intelligent Vision Systems, pp. 883–890, 2008
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Blur and Contrast Invariants Метрика сравнения 36 M. Pedone, J. Heikkila, “Blur and Contrast Invariant Fast Stereo Matching,” in Advanced Concepts for Intelligent Vision Systems, pp. 883–890, 2008 Область суммирования при r = 4, s = 2 (слева), r = 1, s = 1 (справа)
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blur and Contrast Invariants Построение disparity map 37 M. Pedone, J. Heikkila, “Blur and Contrast Invariant Fast Stereo Matching,” in Advanced Concepts for Intelligent Vision Systems, pp. 883–890, 2008 Метрика усредняется по каждым пяти независимым блокам Результат дополнительно сглаживается с помощью Dynamic Programming Scanline Optimization
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  38 Левый ракурс Ground truth Blur and Contrast Invariants Результаты (1) M. Pedone, J. Heikkila, “Blur and Contrast Invariant Fast Stereo Matching,” in Advanced Concepts for Intelligent Vision Systems, pp. 883–890, 2008
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  39 Левый ракурс Результат Blur and Contrast Invariants Результаты (2) M. Pedone, J. Heikkila, “Blur and Contrast Invariant Fast Stereo Matching,” in Advanced Concepts for Intelligent Vision Systems, pp. 883–890, 2008
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blur and Contrast Invariants Выводы Достоинства:  Имеет низкую вычислительную сложность  Применим для локального несоответствия по резкости Недостаток:  Не позволяет реконструировать области открытия 40
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Частотная реконструкция  Пространственная реконструкция  Blur and Contrast Invariants  Blur Robust Cost  Размытие более резкого ракурса  Заключение 41
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blur Robust Cost Введение 42 C. Doutre and P. Nasiopoulos, “A Stereo Matching Data Cost Robust to Blurring,” in IEEE International Conference on Image Processing, pp. 1773–1776, 2010 Подход «в лоб»: последовательно сравнивать более размытый ракурс с четким, но размытым с разной силой. Конечно, это будет долго…
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blur Robust Cost Основная идея (1) 43 C. Doutre and P. Nasiopoulos, “A Stereo Matching Data Cost Robust to Blurring,” in IEEE International Conference on Image Processing, pp. 1773–1776, 2010 
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blur Robust Cost Основная идея (2) 44 C. Doutre and P. Nasiopoulos, “A Stereo Matching Data Cost Robust to Blurring,” in IEEE International Conference on Image Processing, pp. 1773–1776, 2010 
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blur Robust Cost Описание метрики 45 C. Doutre and P. Nasiopoulos, “A Stereo Matching Data Cost Robust to Blurring,” in IEEE International Conference on Image Processing, pp. 1773–1776, 2010 
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blur Robust Cost Собственная реализация алгоритма (1) 46 правый ракурс
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blur Robust Cost Собственная реализация алгоритма (2) 47 исправленный правый ракурс
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blur Robust Cost Собственная реализация алгоритма (3) 48 левый ракурс
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blur Robust Cost Выводы Достоинство:  Низкая вычислительная сложность Недостаток:  Не позволяет реконструировать области открытия 49
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Частотная реконструкция  Пространственная реконструкция  Размытие более резкого ракурса  Заключение 50
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Размытие более резкого ракурса  Требуется определить PSF для обоих ракурсов либо разницу резкости между ними  Задача тесно связана с методом Depth from Focus 51
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Defocus Map Estimation Основная идея  52 S. Zhuo and T. Sim, “Defocus Map Estimation from a Single Image,” in The Journal of the Pattern Recognition Society, vol. 44, pp. 1852–1858, 2011
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Defocus Map Estimation Схема работы Оценка размытия на границе: 53 S. Zhuo and T. Sim, “Defocus Map Estimation from a Single Image,” in The Journal of the Pattern Recognition Society, vol. 44, pp. 1852–1858, 2011
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Defocus Map Estimation Формализация метода  54 S. Zhuo and T. Sim, “Defocus Map Estimation from a Single Image,” in The Journal of the Pattern Recognition Society, vol. 44, pp. 1852–1858, 2011
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Defocus Map Estimation Оценка размытия 55 S. Zhuo and T. Sim, “Defocus Map Estimation from a Single Image,” in The Journal of the Pattern Recognition Society, vol. 44, pp. 1852–1858, 2011
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Defocus Map Estimation Интерполяция карты размытия 56 S. Zhuo and T. Sim, “Defocus Map Estimation from a Single Image,” in The Journal of the Pattern Recognition Society, vol. 44, pp. 1852–1858, 2011 Полученная на этот момент карта размытия определена только на границах объектов Авторы используют заполняющий лапласиан (Matting Laplacian) для интерполяции на всё изображение
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Defocus Map Estimation Детали алгоритма  57 S. Zhuo and T. Sim, “Defocus Map Estimation from a Single Image,” in The Journal of the Pattern Recognition Society, vol. 44, pp. 1852–1858, 2011
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Defocus Map Estimation Результаты (1) 58 S. Zhuo and T. Sim, “Defocus Map Estimation from a Single Image,” in The Journal of the Pattern Recognition Society, vol. 44, pp. 1852–1858, 2011 тестовые изображения
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Defocus Map Estimation Результаты (2) 59 S. Zhuo and T. Sim, “Defocus Map Estimation from a Single Image,” in The Journal of the Pattern Recognition Society, vol. 44, pp. 1852–1858, 2011 оценка размытия на границах
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Defocus Map Estimation Результаты (3) 60 S. Zhuo and T. Sim, “Defocus Map Estimation from a Single Image,” in The Journal of the Pattern Recognition Society, vol. 44, pp. 1852–1858, 2011 карты размытия
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Defocus Map Estimation Выводы Достоинства:  Высокое качество результата (судя по примерам в статье)  Возможность обработки областей открытия за счет экстраполяции Недостаток:  Чувствительность к точности карты диспаритета 61
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Частотная реконструкция  Пространственная реконструкция  Размытие более резкого ракурса  Заключение 62
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Анализ алгоритмов  Алгоритмы пространственной реконструкции ракурса не могут решить проблему областей открытия  С другой стороны, для размытия резкого ракурса эта проблема разрешима  Оптимальный результат можно получить комбинацией этих методов 63
  64. 64. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Планы  Улучшить метод частотной реконструкции, используя карту диспаритета  Рассмотреть возможность использования этого метода для определения маски размытия  Реализовать размытие более резкого ракурса по рассказанному алгоритму  Опробовать комбинированный подход для повышения качества 64
  65. 65. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. C. Doutre and P. Nasiopoulos, “Correcting Sharpness Variations in Stereo Image Pairs,” in Conference for Visual Media Production, London, November 2009, pp. 45–51. 2. J. Flusser and T. Suk, “Degraded Image Analysis: An Invariant Approach,” in IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, vol. 20, pp. 590–603. 3. M. Pedone and J. Heikkila, “Blur and Contrast Invariant Fast Stereo Matching,” in Advanced Concepts for Intelligent Vision Systems, 2008, pp. 883–890. 4. C. Doutre and P. Nasiopoulos, “A Stereo Matching Data Cost Robust to Blurring,” in IEEE International Conference on Image Processing, September 2010, pp. 1773–1776. 5. S. Zhuo and T. Sim, “Defocus Map Estimation from a Single Image,” in The Journal of the Pattern Recognition Society, 2011, vol. 44, pp. 1852–1858. 65
  66. 66. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищены 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 66

×