Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Некоторые методы обнаружения артефактов 3D-видео

514 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Некоторые методы обнаружения артефактов 3D-видео

  1. 1. Некоторые методы обнаружения артефактов 3D-видео Алексей Борисов Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Несоответствие по фокусу  Стабильность по глубине  Несоответствие границ по резкости  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Проблемы стереовидео 3 Несогласованность с системой отображения Артефакты стереосъёмки Артефакты конвертации  Сдвиг по вертикали, наклон  Различия по цвету, фокусу  Рассинхронизация по времени  Неправильный Zoom  Стробление на границах  Изгибы на вертикальных границах  Прилипание мелких деталей к фону  Некачественное заполнение областей открытия  Нестабильное заполнение областей открытия Контроль глубины
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Проблемы стереовидео 4 Несогласованность с системой отображения Артефакты стереосъёмки Артефакты конвертации  Сдвиг по вертикали, наклон  Различия по цвету, фокусу  Рассинхронизация по времени  Неправильный Zoom  Стробление на границах  Изгибы на вертикальных границах  Прилипание мелких деталей к фону  Некачественное заполнение областей открытия  Нестабильное заполнение областей открытия Контроль глубины
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Несоответствие по фокусу  Стабильность по глубине  Несоответствие границ по резкости  Заключение 5
  6. 6. 6Левый ракурс Правый ракурс Несоответствие по фокусу Пример из фильма «Аватар»
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Происхождение статьи 7Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Постановка задачи Входные данные: Выходные данные:  Степень рассинхронизации  Рекомендации по исправлению Приложение: Автокалибровка фокуса для стереорига 8 Стереопара Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Математическая модель (1) 9 Параметры камеры: FD, DOF Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Математическая модель (2) 10Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаги алгоритма 11 1. Вычисление карты диспаритета 2. Измерение резкости каждого пикселя 3. Вычисление вспомогательных статистик 4. Оценивание параметров модели 5. Формирование результата (степень рассинхронизации + рекомендации по исправлению) Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаг 1/5 Вычисление карты диспаритета 12 Используются:  Алгоритм Optical Flow, устойчивый к различиям по фокусу (M. Sizintsev, 2010)  Алгоритм Left-Right Consistency Check для поиска областей открытия Julien Marzat, et al., “Real-Time Dense and Accurate Parallel Optical Flow using CUDA,” in WSCG, 2009
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаг 2/5 Измерение резкости 13 Авторы используют: T = 5 N = 1 s = 1 Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаг 3/5 Вспомогательные статистики 14 Мера надёжности: Агрегированные значения по уровням глубины: Индикатор ракурса с большей резкостью пикселя: M(i) = w(i) = Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаг 4/5 Построение модели 15Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012 C(d) {−0.7, −0.3, 0, 0.3, 0.7} Минимизация функционала E(C):
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаг 5/5 Формирование результата 16 Сопоставление C(d) c модельными конфигурациями: Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  17 J. K. Author, “Title of paper,” in Unabbreviated Name of Conf., yearЛевый ракурс
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  18 J. K. Author, “Title of paper,” in Unabbreviated Name of Conf., yearПравый ракурс
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (1) 19 M(d) Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012 w(d) d d Индикатор ракурса, более резкого на заданном уровне глубины Мера надёжности на заданном уровне глубины
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (2) 20 С(d) Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012 d Построенная модель Эталонная модель
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (3) 21 Карта глубины Карта направления расфокусировки Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (4) 22 Карта глубины Карта степени расфокусировки Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (5) 23 Карта глубины Левый ракурс Полосами отмечены регионы, более резкие на другом ракурсе Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (6) 24 Карта глубины Правый ракурс Полосами отмечены регионы, более резкие на другом ракурсе Frederic Devernay et al., “Focus mismatch detection in stereoscopic content,” in Proc. SPIE, 2012
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы 25 Достоинства:  Теоретическая обоснованность  Низкая вычислительная сложность  Возможность улучшения качества Недостаток:  Результаты только на синтезированных данных
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Несоответствие по фокусу  Стабильность по глубине  Несоответствие границ по резкости  Заключение 26
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Стабильность по глубине Постановка задачи Проблема: «дрожание» объектов по глубине во времени http://footage.shutterstock.com/clip-770785-stock-footage- aspen-leaves-tremble-on-a-summer-wind.html 27
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Происхождение статьи 28M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” Hot3D, 2011 IEEE International Workshop on Hot Topics in 3D
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  «Идеальная глубина» 29M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” Hot3D, 2011
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Используемые обозначения 30 реальная и виртуальная камеры фокальные расстояния горизонтальные координаты камер в глобальной системе координат расстояние между камерами M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” Hot3D, 2011
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Построение «идеальной глубины» (1) 31 Основное уравнение синтеза нового ракурса: Точное выражение для идеальной глубины: M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” Hot3D, 2011 (s= 1)
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Построение «идеальной глубины» (2) 32 Эвристика для небольших сдвигов: Ещё одно приближение: M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” Hot3D, 2011
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Построение «идеальной глубины» (3) 33M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” Hot3D, 2011
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка качества (1) Основная статистика: 34 Вспомогательные метрики:  Spatial error Outliers (SO)  Temporal error Outliers (TO)  Temporal Inconsistencies (TI) Предложенная метрика: M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” Hot3D, 2011
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка качества (2) Вспомогательные метрики 35 Spatial error Outliers: Temporal error Outliers: Temporal Inconsistencies: M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” Hot3D, 2011
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты 36M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” Hot3D, 2011 VQM DMOS DMOS = MOS(reference) − MOS(processed) Субъективная оценка: Предложенная метрика: VQM
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы 37 Достоинство:  Уникальность Недостатки:  Неясность формул  Неубедительность результатов
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Несоответствие по фокусу  Стабильность по глубине  Несоответствие границ по резкости  Заключение 38
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Несоответствие границ по резкости 39 Левый ракурс Правый ракурсСинтезированная стереопара L R
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Происхождение статьи 40 The True Vision Capture, Transmission and Display of 3D Video Hang Shao et al., “Objective quality assessment of depth image based rendering in 3DTV system,” in 3DTV-CON, 2009
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Full-Reference metric – этал – эталонный и синтезированный ракурсы – границы на эталонном и синтезированном – ракурсах – значение соответствующего пикселя – из карты глубины 41Hang Shao et al., “Objective quality assessment of depth image based rendering in 3DTV system,” in 3DTV-CON, 2009
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Исходные (синтезированные) данные 42Hang Shao et al., “Objective quality assessment of depth image based rendering in 3DTV system,” in 3DTV-CON, 2009 a b c d e b
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  43a
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  44 a b
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  45 a c
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  46 a d
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  47 a e
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Найденные границы (1) 48 b a c d e Границы на синтезированных данных (красный прямоугольник) Эталонный кадр Эталонная карта границ b Hang Shao et al., “Objective quality assessment of depth image based rendering in 3DTV system,” in 3DTV-CON, 2009
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Найденные границы (2) 49 b a c e Границы на синтезированных данных (синий прямоугольник) Эталонный кадр Эталонная карта границ b d Hang Shao et al., “Objective quality assessment of depth image based rendering in 3DTV system,” in 3DTV-CON, 2009
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Сравнение с субъективными оценками Приемлемое качество: Obj. > 0,7 50 b Последова- тельность Способ оценки a b c d e Tsukuba Obj. 0,479 0,573 0,563 0,707 0,646 Sub. −45 −25 −35 −11 −25 Teddy Obj. 0,557 0,578 0,557 0,756 0,763 Sub. −30 −18 −22 −10 −10 Venus Obj. 0,474 0,615 0,498 0,723 0,728 Sub. −45 −26 −40 −20 −20 Hang Shao et al., “Objective quality assessment of depth image based rendering in 3DTV system,” in 3DTV-CON, 2009
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы 51 Достоинство:  Учитывает глубину объекта (артефакты на близких объектах более заметны) Недостаток:  Финальная оценка по кадру зависит от сцены (происходит усреднение по «плохим и хорошим» границам)
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Несоответствие по фокусу  Стабильность по глубине  Несоответствие границ по резкости  Заключение 52
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Дальнейшие планы  Работа над метриками качества для конвертированного стерео (использование идей из второй и третей статей)  Реализация алгоритма Focus Mismatch Detection 53
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. F. Devernay, S. Pujades and V. Ch.A.V., “Focus mismatch detection in stereoscopic content,” in Proceedings of SPIE, Stereoscopic Displays and Applications, vol. 8288, San Francisco, CA, 2012. 2. M. Solh and G. AlRegib, "A No-reference Quality Measure for DIBR-Based 3D Videos," in IEEE International Workshop on Hot Topics in 3D, Barcelona, July 2011. 3. H. Shao, X. Cao and G. Er, “Objective quality assessment of depth image based rendering in 3DTV system,” in 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video, Potsdam, May 2009, pp. 1–4. 54
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Настоящие планы 55 «Хреновый контент»
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищены 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 56

×