Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Обзор подходов к измерению качества 3D видео

399 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Обзор подходов к измерению качества 3D видео

  1. 1. Обзор подходов к измерению качества 3D видео Денис Сумин Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  No-reference метрики  Подсчет статистик из карт глубины и движения  Оценка согласованности ракурсов стереопары  Reference метрики  Full-reference метрика на основе 3D-DCT  Reduced-reference метрика для карт глубины  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Классификация метрик 3
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Качество контента (1) Уже умеем:  находить расхождение ракурсов по цветам, геометрии, времени  контролировать параллакс (или смотрите предыдущие серии… ;-) 4
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Качество контента (2) Надо находить:  разный фокус  проблемы на границах объектов  проблемы в областях открытий  простые варианты заполнения  нестабильное во времени заполнение Надо измерять качество карт глубины для последующей генерации 5
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Качество сжатия Избыточной информации много — хочется хорошей степени сжатия Возможные проблемы:  несоответствие артефактов (MVC)  деградация краев изображения и карты глубины (2D+Z)  полупрозрачные объекты (2D+Z) 6
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  7 Содержание  Введение  No-reference метрики  Подсчет статистик из карт глубины и движения  Оценка согласованности ракурсов стереопары  Reference метрики  Full-reference метрика на основе 3D-DCT  Reduced-reference метрика для карт глубины  Заключение
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Подсчет статистик из карт глубины и движения  No-reference метрика определения качества стереовидео  Авторы — группа Алан Бовика (одна из самых опытных групп в измерении качества видео) 8
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Общая схема 9A. Bovik and others, “Algorithmic assessment of 3D quality of experience for images and videos”, IEEE Signal Processing, 2011 Дальше — определение качества с помощью полученного классификатора
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Набор характеристик (1) Из карты глубины D:  Среднее значение  Медиана  Стандартное отклонение  Коэффициент эксцесса  Коэффициент асимметрии 10A. Bovik and others, “Algorithmic assessment of 3D quality of experience for images and videos”, IEEE Signal Processing, 2011
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Набор характеристик (2) Теперь все те же, только над производной δD: (к глубине применили оператор Лапласа)  Среднее значение  Стандартное отклонение  Коэффициент эксцесса  Коэффициент асимметрии 11A. Bovik and others, “Algorithmic assessment of 3D quality of experience for images and videos”, IEEE Signal Processing, 2011
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Spatial Indicator (1) Характеристики:  Потеря пространственной информации (blurring)  Сдвиг вертикальных и горизонтальных границ в диагональном направлении и обратно  Изменения по цвету  Мера улучшения качества (например, увеличение резкости)  Движение в блоке (например, дрожащая граница) 12M.H. Pinson, S. Wolf, “A new standardized method for objectively measuring video quality”, IEEE Broadcasting, 2004
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Spatial Indicator (2) Характеристики суммируются с весами: Добавляем вычисление градиента по изображению и дисперсии непересекающихся блоков 8х8 изображения 13M.H. Pinson, S. Wolf, “A new standardized method for objectively measuring video quality”, IEEE Broadcasting, 2004
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Spatial Activity Получаем Spatial Indicator. Для него считаем всё то же, что и для предыдущих двух наборов 14A. Bovik and others, “Algorithmic assessment of 3D quality of experience for images and videos”, IEEE Signal Processing, 2011 Левый ракурс стереопары Spatial Activity Map
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Характеристики для видео  Информация ME для ракурсов и для карт глубины  Снова медиана, коэффициенты эксцесса и асимметрии для значений межкадровой разницы карт глубины 15A. Bovik and others, “Algorithmic assessment of 3D quality of experience for images and videos”, IEEE Signal Processing, 2011
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Машинное обучение Пространство: 15 признаков для изображений и еще 10 — для видео Уменьшение размерности:  PCA — Principal Component Analysis  FFS — Forward Feature Selection Соотношение с результатами субъективных тестирований: 16A. Bovik and others, “Algorithmic assessment of 3D quality of experience for images and videos”, IEEE Signal Processing, 2011 — вектор характеристик — вектор весов характеристик — константа
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты для изображений (1) 3D Image QoE: значения Spearman’s Rank Ordered Correlation Coefficient (SROCC) QoE — Quality of Experience 17A. Bovik and others, “Algorithmic assessment of 3D quality of experience for images and videos”, IEEE Signal Processing, 2011
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты для изображений (2) 18A. Bovik and others, “Algorithmic assessment of 3D quality of experience for images and videos”, IEEE Signal Processing, 2011 Медиана D Среднее значение D
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты для видео (1) 3D video QoE: значения SROCC 19A. Bovik and others, “Algorithmic assessment of 3D quality of experience for images and videos”, IEEE Signal Processing, 2011
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты для видео (2) 20A. Bovik and others, “Algorithmic assessment of 3D quality of experience for images and videos”, IEEE Signal Processing, 2011 Коэффициент асимметрии Spatial Activity Коэффициент эксцесса Spatial Activity
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы  Достоинства  Интересные features для машинного обучения  Хорошие результаты  Недостатки  Нет классификации артефактов 21
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  22 Содержание  Введение  No-reference метрики  Подсчет статистик из карт глубины и движения  Оценка согласованности ракурсов стереопары  Reference метрики  Full-reference метрика на основе 3D-DCT  Reduced-reference метрика для карт глубины  Заключение
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка согласованности ракурсов стереопары Система сравнивает ракурсы стереопары и пытается выявить следующие артефакты:  binocular rivalry  shower door effect  randomness 23C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Схема работы 24 Численная оценка качества получается из анализа карты LRC (Left-Right Consistency Check) C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Пример входных данных 25 6 стереопар (3 из Middlebury) 19 фильтров PhotoShop Chalk & Charcoal Halftone Pattern Rough Pastels Craquelure Ocean Ripple Spatter Cutout Paint Daubs Stained Glass Diffuse Glow Palette Knife Stamp Find Edges Photocopy Texturizer Glass Poster Edges Grain Reticulation C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Optical Blur of the Human Eye Препроцессинг: Функция рассеяния точки (ФРТ) для среднестатистического глаза (dзрачок=3 мм) , где gs — двумерное Гауссово размытие со стандартным отклонением s: 26C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Local Cross-Correlator (1) Корреляция между окнами с диспаритетом d: 27 L и R — интенсивности пикселей левого и правого ракурсов µL и µR — средние интенсивности пикселей внутри окна W — размер окна. Для нашей задачи W=5 (пикселей) C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Local Cross-Correlator (2) Для построения disparity map применяется принцип winner-take-all 28C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011 dL dRSource
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Left-Right Check (LRC) dL — disparity map левого ракурса dR — disparity map правого ракурса 29 dL dR LRC map C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Что получается? 30C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение с субъективным тестированием Вводится соотношение между изначальными данными и результатами субъективного тестирования Утверждается точность оценки в 88 % 31C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Применение (1) Binocular Rivalry 32 К LRC-карте применяется размытие, чтобы уменьшить влияние артефактов в областях occlusion C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Original image 33C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  “Pallete knife” effect 34C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Применение (2) Shower Door Effect 35 Для карт диспаритетов строятся гистограммы. Пики вдоль оси Oy означают проявление Shower Door Effect C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011 Numberofpixels Disparity Disparity Disparity Disparity
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Original image 36C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  “Glass” filter 37C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Применение (3) Randomness 38 Левый ракурс Image cross-check Original image C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Применение (3) Randomness 39 Левый ракурс Image cross-check “Grain” filter C. Richardt and others, “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”, ACM, 2011
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы  Достоинства  Алгоритм учитывает особенности зрительной системы человека  Предполагается возможность нахождения конкретных артефактов  Недостатки  Результаты работы представлены на синтетических изображениях 40
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  41 Содержание  Введение  No-reference метрики  Подсчет статистик из карт глубины и движения  Оценка согласованности ракурсов стереопары  Reference метрики  Full-reference метрика на основе 3D-DCT  Reduced-reference метрика для карт глубины  Заключение
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Full-reference метрика на основе 3D-DCT 3D-DCT — трехмерное дискретное косинусное преобразование Авторы — Tampere University of Technology. Они же создали одну из лучших классификаций артефактов в стереовидео Обозначается упор на Mobile 3DTV content, но по сути подход достаточно общий 42
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Общая схема 43L. Jin and others, “Validation of a new full reference metric for quality assessment of mobile 3DTV content”, EUSIPCO, 2011 MSE — Mean Squared Error CSF — Contrast Sensitive Function
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Карты глубины и их оценка Нормализация карты глубины относительно устройства для просмотра стерео: учёт комфортного параллакса Rij и Dij — карты глубины reference и distorted изображений после нормализации 44 #Ω — мощность области (количество блоков) L. Jin and others, “Validation of a new full reference metric for quality assessment of mobile 3DTV content”, EUSIPCO, 2011
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Дисперсия локального диспаритета (1) Считаем для блоков размера N×M таких, что блок полностью проецируется на центральную ямку сетчатки глаза 45 μ(k) — дисперсия k-го блока N×M # снова означает мощность L. Jin and others, “Validation of a new full reference metric for quality assessment of mobile 3DTV content”, EUSIPCO, 2011
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Дисперсия локального диспаритета (2) 46 Локальная дисперсия характеризует изменение глубины вокруг центрального блока 4х4, что позволяет оценивать его визуальное качество Центральный блок 4х4 и блок, для которого подсчитывается дисперсия локального диспаритета (28х28 для мобильных устройств) L. Jin and others, “Validation of a new full reference metric for quality assessment of mobile 3DTV content”, EUSIPCO, 2011
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Block Selection and Matching 47 Получаем набор блоков A={A0, A1, A2, A3} для reference изображения и соответствующий набор B для distorted изображения. Они группируются в два 3D массива L. Jin and others, “Validation of a new full reference metric for quality assessment of mobile 3DTV content”, EUSIPCO, 2011
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  3D-DCT и применение CSF 4 блока размера 4х4 складываются в кубик, к ним применяется 3D-DCT преобразование Применение Contrast Sensitivity Function: 48L. Jin and others, “Validation of a new full reference metric for quality assessment of mobile 3DTV content”, EUSIPCO, 2011
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Вычисление метрики 49 U = {Ui,j,n}, V = {Vi,j,n} — 3D-DCT коэффициенты для кубов A и B. i, j = 1..4, n = 0..3 Ti,j — CSF-коэффициенты α — весовой коэффициент L. Jin and others, “Validation of a new full reference metric for quality assessment of mobile 3DTV content”, EUSIPCO, 2011
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Тестовые последовательности 50 Шесть последовательностей различных типов L. Jin and others, “Validation of a new full reference metric for quality assessment of mobile 3DTV content”, EUSIPCO, 2011
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты 51L. Jin and others, “Validation of a new full reference metric for quality assessment of mobile 3DTV content”, EUSIPCO, 2011
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы  Достоинства  Высокие результаты на реальных последовательностях  Учет особенностей зрения человека  Недостаток  Метод не новый, достаточно много взято из метрики для 2D видео тех же авторов 52
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  53 Содержание  Введение  No-reference метрики  Подсчет статистик из карт глубины и движения  Оценка согласованности ракурсов стереопары  Reference метрики  Full-reference метрика на основе 3D-DCT  Reduced-reference метрика для карт глубины  Заключение
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Reduced-reference метрика для карт глубины Задача: контролировать качество карты глубины после передачи через беспроводные сети Авторы: Wireless, Multimedia and Networking Research Group из University of Kingston Reduced-reference: для передачи reference требуется немного ресурсов 54
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Общая схема 55C. Hewage, M. Martini, “Reduced-reference quality metric for 3D depth map transmission”, IEEE Image Processing, 2010
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Идея (очень простая…)  Вычисляем карту краев для карты глубины  Экспериментально получается 56C. Hewage, M. Martini, “Reduced-reference quality metric for 3D depth map transmission”, IEEE Image Processing, 2010
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты 57 PLR — Packet Loss Rates C. Hewage, M. Martini, “Reduced-reference quality metric for 3D depth map transmission”, IEEE Image Processing, 2010
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы  Достоинства  Авторы обещают малые затраты на передачу reference при адекватной функциональности  Недостатки  Очень простой метод, не учитывается исходное 2D изображение 58
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Вариант улучшения При передаче 2D+Z видео можно использовать, например, информацию о краях и 2D канала, и Z канала. 59
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  60 Содержание  Введение  No-reference метрики  Подсчет статистик из карт глубины и движения  Оценка согласованности ракурсов стереопары  Reference метрики  Full-reference метрика на основе 3D-DCT  Reduced-reference метрика для карт глубины  Заключение
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение  Метрик и подходов очень мало  Артефакты не классифицируются  Почти все подходы расширяют ранее известные техники работы с 2D видео Все плохо. Надо сделать, чтобы было хорошо 61
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. “Algorithmic assessment of 3D quality of experience for images and videos”. A. Mittal, A.K. Moorthy, J. Ghosh and A.C. Bovik. IEEE Digital Signal Processing Workshop, Sedona, Arizona, January 04-07, 2011 2. “Predicting Stereoscopic Viewing Comfort Using a Coherence-Based Computational Model”. Christian Richardt, Lech Świrski, Ian P. Davies, Neil A. Dodgson. ACM, 2011 3. “Validation of a New Full Reference Metric for Quality Assessment of Mobile 3DTV Content”. Lina Jin, Atanas Gotchev, Atanas Boev, Karen Egiazarian. EUSIPCO 2011: 19th European Signal Processing Conference 4. “Reduced-reference quality metric for 3D depth map transmission”. C. Hewage, M.G. Martini. 3DTV Conference 2010, Tampere, Finland, 7- 9 June 2010 5. “A new standardized method for objectively measuring video quality”. M.H. Pinson, S. Wolf. IEEE Transactions on Broadcasting. 2004 62
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищено 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 63

×