Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Обзор артефактов стерео видео. Временная синхронизация

598 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Обзор артефактов стерео видео. Временная синхронизация

  1. 1. Обзор артефактов стерео видео Временная синхронизация Алексей Борисов Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лирическое вступление Stereoscopic images are easy to do badly, hard to do well, and impossible to do correctly Фольклор 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Зона комфортного восприятия  Binocular luster  Zoom синхронизация  Временная синхронизация  Заключение 3
  4. 4. Введение Классификация артефактов Atanas Boev, Danilo Hollosi, Atanas Gotchev, “Classification of stereoscopic artefacts”, MOBILE3DTV technical report, 2008 4
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Camera configuration (1) 5Andrew Woods, Tom Docherty, Rolf Koch, “Image Distortions in Stereoscopic Video Systems”, Processing of SPIE, 1993 Представление уровней глубины при съёмке параллельной и сходящейся конфигурациями камер toed-in configuration parallel configuration
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Camera configuration (2) 6 Camera Configuration Достоинства Недостатки Параллельная Не требует изменений во время съёмки HVS (Human Visual System) работает иначе Сходящаяся Совместимость с HVS Необходимость постоянного изменения параметров при съёмке
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Трапецеидальное искажение 7Andrew Woods, Tom Docherty, Rolf Koch, “Image Distortions in Stereoscopic Video Systems”, Processing of SPIE, 1993 При сходящейся конфигурации камер возникает вертикальный параллакс Keystone distortion
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Внешняя симметрия 8Daniele Siragusano, “Stereo3D Postproduction”, CinePostproduction
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Внутренняя симметрия (1) 9Daniele Siragusano, “Stereo3D Postproduction”, CinePostproduction
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Внутренняя симметрия (2) 10Atanas Boev, Danilo Hollosi, Atanas Gotchev, “Classification of stereoscopic artefacts”, MOBILE3DTV technical report, 2008 Focus Symmetry L R L R
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Эффект картонок 11Burazerovic et al., “Automatic depth profiling of 2D cinema — and photographic images”, ICIP, 2009 Cardboard effect — отсутствие рельефа и объёма 2D изображение Карта глубины
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Depth cues rivalry (1) 12Atanas Boev, Danilo Hollosi, Atanas Gotchev, “Classification of stereoscopic artefacts”, MOBILE3DTV technical report, 2008 Источники информации о глубине
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Depth cues rivalry (2) 13 Stephan Reichelt, et al., “Depth cues in human visual perception and their realization in 3D display”, Three-Dimensional Imaging, Visualization, and Display 2010 and Display Technologies and Applications for Defense, Security, and Avionics IV Accommodation-convergence rivalry
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Depth cues rivalry (3) 14Atanas Boev, Danilo Hollosi, Atanas Gotchev, “Classification of stereoscopic artefacts”, MOBILE3DTV technical report, 2008 Эффект кукольного театра (Perspective-disparity rivalry) Depth as suggested by perspective cues Depth as suggested by binocular cues
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Contents  Введение  Зона комфортного восприятия  Binocular luster  Zoom синхронизация  Временная синхронизация  Заключение 15
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Восприятие глубины Введение  Серый: невидимая зона  Красный: опасная зона  Большая нагрузка на глаза  Оранжевый: быстрая зона  Объект виден только одному глазу — нагрузка  Зеленый: зона отдыха глаз  Рядом с плоскостью экрана  Комфортная для восприятия 16Bernard Mendiburu, “Tutorial on Stereoscopic Imaging”, Digital Cinema Summit, NAB, 2009
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Восприятие глубины Постановка задачи Цель: определить зону комфортного восприятия 17 W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New stereoscopic video shooting rule based on stereoscopic distortion parameters and comfortable viewing zone”, SPIE, 2011 DoF = 0.2D
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Восприятие глубины Максимальный параллакс (1) 18 W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New stereoscopic video shooting rule based on stereoscopic distortion parameters and comfortable viewing zone”, SPIE, 2011
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Восприятие глубины Максимальный параллакс (2) 19 W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New stereoscopic video shooting rule based on stereoscopic distortion parameters and comfortable viewing zone”, SPIE, 2011
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Восприятие глубины Гипотезы  Для каждой сцены существует свой оптимальный DoF  Оптимальные параметры съёмки достигаются при наименьшем искажении объекта области интереса (RoI) 20 W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New stereoscopic video shooting rule based on stereoscopic distortion parameters and comfortable viewing zone”, SPIE, 2011
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Восприятие глубины Субъективное тестирование (1) Исследование, цель которого — проверка гипотез + определение доминирующей, если обе верные, но не могут быть выполнены одновременно  5 сцен  3 значения DoF  28 испытуемых 21 W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New stereoscopic video shooting rule based on stereoscopic distortion parameters and comfortable viewing zone”, SPIE, 2011
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Восприятие глубины Субъективное тестирование (2) 22 W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New stereoscopic video shooting rule based on stereoscopic distortion parameters and comfortable viewing zone”, SPIE, 2011 Сцены, использованные при тестировании
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Восприятие глубины Результаты (1) 23 W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New stereoscopic video shooting rule based on stereoscopic distortion parameters and comfortable viewing zone”, SPIE, 2011 Подчёркнутые значения являются наилучшими согласно проведённому тестированию
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Восприятие глубины Результаты (2)  Исследование подтвердило универсальный для всех сцен DoF = 0,2  В большинстве случаев при оптимальных параметрах съёмки искажения объекта RoI незначительны  Параметры съёмки определяются DoF 24 W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New stereoscopic video shooting rule based on stereoscopic distortion parameters and comfortable viewing zone”, SPIE, 2011
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Contents  Введение  Зона комфортного восприятия  Binocular luster  Zoom синхронизация  Временная синхронизация  Заключение 26
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Binocular luster Введение Binocular luster — визуальный эффект сияния (свечения) объекта, вызванный различными функциями контрастности на левом и правом ракурсах 27Can Bal, Ankit K. Jain, Truong Q. Nguyen “Detection and removal of binocular luster in compressed 3D images”, ICASSP, 2011 Left view Right view Cyclopean Image
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Binocular luster Причины возникновения  Сжатие  Постобработка  Конвертация 2D в 3D (?) 28Can Bal, Ankit K. Jain, Truong Q. Nguyen “Detection and removal of binocular luster in compressed 3D images”, ICASSP, 2011
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Binocular luster Детектирование при сильном сжатии (1) Алгоритм: 1. Построение карты полярности для обоих видов 2. Вычитание построенных карт 3. Медианная фильтрация 29Can Bal, Ankit K. Jain, Truong Q. Nguyen, “Detection and removal of binocular luster in compressed 3D images”, ICASSP, 2011
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  30Can Bal, Ankit K. Jain, Truong Q. Nguyen “Detection and removal of binocular luster in compressed 3D images”, ICASSP, 2011 Binocular luster Детектирование при сильном сжатии (2)
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Binocular luster Результаты 31Can Bal, Ankit K. Jain, Truong Q. Nguyen “Detection and removal of binocular luster in compressed 3D images”, ICASSP, 2011 Left compressed view Right compressed view Right compressed view with shine detection
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Contents  Введение  Зона комфортного восприятия  Binocular luster  Zoom синхронизация  Временная синхронизация  Заключение 32
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Zoom synchronization Введение  Причины  Внутрикамерные различия  Рассинхронизация по времени  Эффекты  Напряжение глаз  Затруднение синтеза изображения 33Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al. “Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011 Рассинхронизированная стереопара Синхронизированная стереопара
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Zoom synchronization Субъективное оценивание 34Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al. “Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011 Исследование по влиянию асинхронного масштабирования на визуальное восприятие зрителя  Коэффициент масштабирования 5-20%  4 последовательности  17 испытуемых
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Zoom synchronization Результаты тестирования 35Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al. “Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Zoom synchronization Особенности алгоритма Требования к видео:  Синхронизация по времени  Параллельная конфигурация камер  Отсутствие вертикального параллакса 36Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al. “Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Zoom synchronization Модель сцены 37Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al. “Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Zoom synchronization Алгоритм 1. Генерация пар (SIFT detector) 2. Задача линейной регрессии (решение методом наименьших квадратов) 3. Итоговое преобразование 38Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al. “Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Zoom synchronization Результаты (1) 39Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al. “Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011 До синхронизации Левый ракурс Правый ракурс
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Zoom synchronization Результаты (2) 40Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al. “Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011 Левый ракурс Правый ракурс После синхронизации
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Zoom synchronization Результаты (3) 41Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al. “Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011 Левый ракурс Правый ракурс До синхронизации
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Zoom synchronization Результаты (4) 42Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al. “Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011 Левый ракурс Правый ракурс После синхронизации
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Zoom synchronization Выводы 43Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al. “Correcting Unsynchronized Zoom in 3D Video”, ISCAS, 2011  Достоинство  Возможность расширения класса применимости путём усложнения модели  Недостатки  Point-based  Жёсткие ограничения применимости
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Contents  Введение  Зона комфортного восприятия  Binocular luster  Zoom синхронизация  Временная синхронизация  Заключение 45
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Временная синхронизация Причина — дороговизна использования дополнительного аппаратного обеспечения 46Daniele Siragusano, “Stereo3D Postproduction”, CinePostproduction
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Временная синхронизация Субъективное оценивание Исследование по влиянию рассинхронизации по времени на визуальное восприятие зрителя  Смещение ± 10 кадров  Видео 25 fps  66 тестов  20 испытуемых 47 Lutz Goldmann, Jong-Seok Lee, Touradj Ebrahimi, “Temporal synchronization in stereoscopic video: influence on quality of experience and automatic asynchrony detection”, ICIP, 2010
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Временная синхронизация Результаты тестирования (1) 48 Lutz Goldmann, Jong-Seok Lee, Touradj Ebrahimi, “Temporal synchronization in stereoscopic video: influence on quality of experience and automatic asynchrony detection”, ICIP, 2010
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Временная синхронизация Результаты тестирования(2) 49 Lutz Goldmann, Jong-Seok Lee, Touradj Ebrahimi, “Temporal synchronization in stereoscopic video: influence on quality of experience and automatic asynchrony detection”, ICIP, 2010
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Временная синхронизация Выводы Результаты: В пересчёте на fps: 50 Lutz Goldmann, Jong-Seok Lee, Touradj Ebrahimi, “Temporal synchronization in stereoscopic video: influence on quality of experience and automatic asynchrony detection”, ICIP, 2010 — Good Frame rate Frame shift (good) Frame shift (bad) 25 fps 2 5 50 fps 4 10 — Bad
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Contents  Введение  Зона комфортного восприятия  Binocular luster  Zoom synchronization  Временная синхронизация  Subjective quality test  Distribution based sync  Inflection points based sync  Заключение 51
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Distribution based sync Алгоритм 1. Поиск точек с наибольшими пространственно-временными искажениями на обоих видах 2. Построение гистрограмм распределений найденных точек 3. Поиск сдвига, минимизирующего разницу гистограмм 52 Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time interest point distribution”, Proceedings of Advanced Concepts for Intelligent Vision Systems, 2004
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Distribution based sync Space-time interest points (1)  Пространство  детектор Харриса  Пространство + время 53 Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time interest point distribution”, Proceedings of Advanced Concepts for Intelligent Vision Systems, 2004
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Distribution based sync Space-time interest points (2)  Значимость точки  Выбираются 200 точек максимальной значимости: 54 Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time interest point distribution”, Proceedings of Advanced Concepts for Intelligent Vision Systems, 2004
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Distribution based sync Space-time interest points (3) 55 Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time interest point distribution”, Proceedings of Advanced Concepts for Intelligent Vision Systems, 2004 Красным квадратом выделена область, содержащая space-time interest points
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Distribution based sync Space-time interest points (4) 56 Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time interest point distribution”, Proceedings of Advanced Concepts for Intelligent Vision Systems, 2004 Красным квадратом выделена область, содержащая space-time interest points
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Distribution based sync Корреляционная функция 57 Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time interest point distribution”, Proceedings of Advanced Concepts for Intelligent Vision Systems, 2004 Номер кадра Номер кадра Сдвиг по времени Кол-воточек Кол-воточек C(t) Распределение точек интереса для левого ракурса Распределение точек интереса для правого ракурса Корреляционная функция (максимум соответствуют найденному сдвигу по времени)
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Distribution based sync Результаты 58 Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time interest point distribution”, Proceedings of Advanced Concepts for Intelligent Vision Systems, 2004 Номер кадра Номер кадра Сдвиг по времени Кол-воточек Кол-воточек C(t) Номер кадра Номер кадра Сдвиг по времени Кол-воточек Кол-воточек C(t) Распределение точек интереса для левого ракурса Распределение точек интереса для правого ракурса Корреляционная функция (максимум соответствуют найденному сдвигу по времени)
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Distribution based sync Выводы  Достоинство  Скорость  Недостаток  Невозможно синхронизировать видео с зацикленным движением 59 Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time interest point distribution”, Proceedings of Advanced Concepts for Intelligent Vision Systems, 2004
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Contents  Введение  Зона комфортного восприятия  Binocular luster  Zoom синхронизация  Временная синхронизация  Subjective quality test  Distribution based sync  Inflection points based sync  Заключение 60
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Inflection Points based sync Введение Point of inflection (PoI) — точка резкого изменения траектории Идея: сопоставление не траекторий, а ключевых точек траекторий 61 Anthony Whitehead, Robert Laganiere et al. “Temporal Synchronization of Video Sequences in Theory and in Practice”, Motion and Video Computing, WACV/MOTIONS, 2005
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Inflection Points based sync Алгоритм (1) 1. Вычисление PoI 2. Сопоставление на основе PoI 3. Уточнение результатов с помощью эпиполярной геометрии 62 Anthony Whitehead, Robert Laganiere et al. “Temporal Synchronization of Video Sequences in Theory and in Practice”, Motion and Video Computing, WACV/MOTIONS, 2005
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Inflection Points based sync Алгоритм (2) Авторы используют feature tracker для построения траекторий, по которым вычисляются PoI 63 Anthony Whitehead, Robert Laganiere et al. “Temporal Synchronization of Video Sequences in Theory and in Practice”, Motion and Video Computing, WACV/MOTIONS, 2005
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Inflection Points based sync Алгоритм (3) 64 Anthony Whitehead, Robert Laganiere et al. “Temporal Synchronization of Video Sequences in Theory and in Practice”, Motion and Video Computing, WACV/MOTIONS, 2005 Уточнение результатов
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Inflection Points based sync Результаты (1) 65 Anthony Whitehead, Robert Laganiere et al. “Temporal Synchronization of Video Sequences in Theory and in Practice”, Motion and Video Computing, WACV/MOTIONS, 2005 Результыты алгоритма на синтезированных данных Camera (#) Gross sync (frame #) Gross shift Precise sync (frame #) Precise full frame shift Ground Truth (shift) 1 141 0 141 0 0 2 146 5 146.05 5 5 3 151 10 150.97 10 10
  64. 64. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Inflection Points based sync Результаты (2) 66 Anthony Whitehead, Robert Laganiere et al. “Temporal Synchronization of Video Sequences in Theory and in Practice”, Motion and Video Computing, WACV/MOTIONS, 2005 Результыты алгоритма на реальных данных Camera (#) Gross sync (frame #) Precise sync (frame #) Manual sync (frame #) 1 127 126.75 127 2 228 229.33 229 3 160 159 159
  65. 65. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Inflection Points based sync Выводы  Достоинства  Отсутствие детерминированной ошибки сопоставления траекторий  Возможен переход от точек к областям (использование ME или OF)  Недостаток  Point-based алгоритм 67 Anthony Whitehead, Robert Laganiere et al. “Temporal Synchronization of Video Sequences in Theory and in Practice”, Motion and Video Computing, WACV/MOTIONS, 2005
  66. 66. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Зона комфортного восприятия  Binocular luster  Zoom синхронизация  Временная синхронизация  Заключение 71
  67. 67. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты Stereo Quality Assessment Tool (SQAT) = = VirtualDub filter + MATLAB script Осуществляется контроль:  максимального параллакса  пространственной симметрии  соответствия по цвету 72
  68. 68. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (2) Контроль максимального параллакса 73
  69. 69. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (2*) Контроль максимального параллакса 74 Channel mismatch
  70. 70. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (3) Контроль максимального параллакса 75 График распределения количества пикселей по уровням глубины 500 1000 1500 2000 Номер кадра Уровеньглубины 0 -10 +20 [1180;1240] [1930;1963] Максимальный параллакс
  71. 71. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (4) Контроль максимального параллакса 76
  72. 72. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (5) Контроль параллакса 77 График распределения количества пикселей по уровням искажений 500 1000 1500 2000 Номер кадра Величинаискажения 0 -60 +120 2500 3000 3500 4000
  73. 73. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (6) Контроль пространственной симметрии 78 График распределения количества пикселей по уровням искажений 1000 2000 3000 4000 Номер кадра Величинаискажения 0 -20 +20 3063 4533 Максимальныe искажения 5000
  74. 74. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (7) Контроль пространственной симметрии 79 Кадр 3063 Левый вид Кадр 3063 Левый ракурс
  75. 75. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (8) Контроль пространственной симметрии 80 Кадр 3063 Правый вид Кадр 3063 Правый ракурс
  76. 76. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (9) Контроль пространственной симметрии 81 Кадр 3063 Правый вид Кадр 3063 Визуализация Кадр 3063 Визуализация 0 Смещение по вертикали (px) -20 +20
  77. 77. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (10) Контроль пространственной симметрии 82 Кадр 3063 Левый вид Кадр 4533 Левый вид Кадр 4533 Левый ракурс
  78. 78. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (11) Контроль пространственной симметрии 83 Кадр 3063 Правый вид Кадр 4533 Правый вид Кадр 4533 Правый ракурс
  79. 79. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (12) Контроль пространственной симметрии 84 Кадр 3063 Правый вид Кадр 3063 Визуализация Кадр 4553 Визуализация Кадр 4533 Визуализация 0 Смещение по вертикали (px) -20 +20
  80. 80. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (13) Контроль соответствия по цвету 85 График соответствия/несоответствия по цвету между кадрами 500 1000 1500 2000 Номер кадра Разницапоцвету 2260 Максимальныe искажения 2500 1140
  81. 81. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (14) Контроль соответствия по цвету 86 Кадр 3063 Правый вид Кадр 3063 Визуализация Кадр 4553 Визуализация Кадр 1140 Левый вид Кадр 1140 Левый ракурс
  82. 82. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (15) Контроль соответствия по цвету 87 Кадр 3063 Правый вид Кадр 3063 Визуализация Кадр 4553 Визуализация Кадр 1140 Правый вид Кадр 1140 Правый ракурс
  83. 83. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (16) Контроль соответствия по цвету 88 Кадр 3063 Правый вид Кадр 3063 Визуализация Кадр 4553 Визуализация Кадр 1140 Левый вид Кадр 2260 Левый вид Кадр 2260 Левый ракурс
  84. 84. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Мои результаты (17) Контроль соответствия по цвету 89 Кадр 3063 Правый вид Кадр 3063 Визуализация Кадр 4553 Визуализация Кадр 1140 Левый вид Кадр 2260 Правый вид Кадр 2260 Правый ракурс
  85. 85. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Были освещены:  Базовые артефакты стерео видео  3 субъективных тестирования по влиянию различных артефактов  Алгоритм детектирования binocular luster  3 алгоритма синхронизации стереопары 90
  86. 86. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Дальнейшие планы (1)  Временная синхронизация  Реализовать алгоритм на основе распределения space-time interest points  Разработать алгоритм, основанный на идее points of inflection (PoI)  Zoom синхронизация  Доработать предложенный алгоритм  Binocular luster  Разработать алгоритм, способный детектировать артефакт, возникший не обязательно при сжатии 91
  87. 87. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Дальнейшие планы (2)  Нечестное стерео (сдвиг по времени)  Разработать алгоритм, определяющий некорректный способ построения стереопары  Восприятие глубины  Разработать алгоритм, сопоставляющий информацию о глубине, полученную из разных depth cues 92
  88. 88. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература (1) 1. W. Chen, J. Fournier, M. Barkowsky, P. Le Callet, “New stereoscopic video shooting rule based on stereoscopic distortion parameters and comfortable viewing zone”, Society of Photographic Instrumentation Engineers, 2011 2. Can Bal, Ankit K. Jain, Truong Q. Nguyen “Detection and removal of binocular luster in compressed 3D images”, International Conference on Acoustics, Speech, and Signal Processing, 2011 3. Colin Doutre, Mahsa T. Pourazad, Alexis M. Tourapis, et al. “Correcting Unsynchronized Zoom in 3D Video”, International Symposium on Circuits and Systems, 2011 4. Lutz Goldmann, Jong-Seok Lee, Touradj Ebrahimi, “Temporal synchronization in stereoscopic video: influence on quality of experience and automatic asynchrony detection”, the International Conference on Image Processing, 2010 93
  89. 89. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература (2) 5. Jingyu Yan, Marc Pollefeys, “Video synchronization via space-time interest point distribution”, Proceedings of Advanced Concepts for Intelligent Vision Systems, 2004 6. Anthony Whitehead, Robert Laganiere et al. “Temporal Synchronization of Video Sequences in Theory and in Practice”, Motion and Video Computing, Workshop on Applications of Computer Vision, 2005 7. Andrew Woods, Tom Docherty, Rolf Koch, “Image Distortions in Stereoscopic Video Systems”, Processing of Society of Photographic Instrumentation Engineers, 1993 8. Atanas Boev, Danilo Hollosi, Atanas Gotchev, “Classification of stereoscopic artefacts”, MOBILE3DTV technical report, 2008 9. Burazerovic et al., “Automatic depth profiling of 2D cinema and photographic images”, the International Conference on Image Processing , 2009 94
  90. 90. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература (3) 10. Stephan Reichelt, et al., “Depth cues in human visual perception and their realization in 3D display”, Three-Dimensional Imaging, Visualization, and Display 2010 and Display Technologies and Applications for Defense, Security, and Avionics IV 11. Bernard Mendiburu, “Tutorial on Stereoscopic Imaging”, Digital Cinema Summit, National Association of Broadcasters, 2009 95
  91. 91. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  А где слайд с большим знаком вопроса? =) 96 Copyrighted by Alexander Voronov
  92. 92. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищено 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 97

×