Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Метрики оценки качества
конвертированного стерео
Александр Боков
Video Group
CS MSU Graphics & Media Lab
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Примеры сущес...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Постановка задачи
Задача: об...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Стробящие границы
Стробящие ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Геометрические деформации
 ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Локальные деформации (1)
Бой...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Локальные деформации (2)
Бой...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Локальные деформации (3)
Cla...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Локальные деформации (4)
Cla...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Глобальные деформации (1)
Th...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Глобальные деформации (2)
Th...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Глобальные деформации (3)
12...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Глобальные деформации (4)
Th...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Глобальные деформации (5)
Th...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Глобальные деформации (6)
15...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Глобальные деформации (7)
16...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Глобальные деформации (8)
17...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Глобальные деформации (9)
18...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Cardboard Effect (1)
Два осн...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Примеры артефактов
Cardboard Effect (...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Примеры артефактов
Cardboard Effect (...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Cardboard Effect (4)
22
Восс...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
23
 Введение
 Примеры су...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Ideal depth estimation
Постановка зад...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Ideal depth estimation
25
Исходный ра...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Ideal depth estimation
Предложенная м...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Ideal depth estimation
Выводы
Проблем...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Stereo quality prediction
Постановка ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Stereo quality prediction
Схема алгор...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Stereo quality prediction
Метрика бло...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Stereo quality prediction
Метрика тек...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Stereo quality prediction
Выводы
Проб...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
33
 Введение
 Примеры су...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Предложенная метрика
Шаги алгоритма:
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Предложенная метрика
Проблемы:
 Смен...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Предложенная метрика
Пример работы (1...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Предложенная метрика
Пример работы (2...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Предложенная метрика
Пример работы (3...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Предложенная метрика
Пример работы (4...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Модификация метрики (1)
Шаги алгоритм...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Модификация метрики (2)
Проблемы:
 Н...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
42
 …
 Локальные деформа...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Опробованные подходы (1/2)
Шаги алгор...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Опробованные подходы (1/2)
Пример раб...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Опробованные подходы (1/2)
Пример раб...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Опробованные подходы (1/2)
Пример раб...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Левый ракурс Правый ракурс
Опробованн...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Опробованные подходы (1/2)
Проблема:
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Опробованные подходы (2/2)
Шаги алгор...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Опробованные подходы (2/2)
Проблемы:
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Альтернативный подход
1. Разделение о...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
52
 …
 Локальные деформа...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Разделение окрестности
53
— прямые уч...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Разделение окрестности
Общая схема ал...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Разделение окрестности
Выделение прям...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Разделение окрестности
Ассоциирование...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Разделение окрестности
Ассоциирование...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Разделение окрестности
Ассоциирование...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Разделение окрестности
Разделение на ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Разделение окрестности
Разделение на ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Разделение окрестности
Выводы
Достоин...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
62
 …
 Локальные деформа...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка деформаций
Постановка задачи
Y...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка деформаций
Общая схема алгорит...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка деформаций
Модель деформаций (...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка деформаций
Модель деформаций (...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка деформаций
Модель деформаций (...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка деформаций
Шаги алгоритма (1)
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка деформаций
Шаги алгоритма (2)
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка деформаций
Шаги алгоритма (3)
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка деформаций
Шаги алгоритма (4)
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка деформаций
Шаги алгоритма (5)
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Dense
Sparse
Parameter space
Оценка д...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка деформаций
Выводы
Достоинство:...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
75
 Введение
 Примеры су...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка резкости границ
на карте диспа...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка резкости границ
на карте диспа...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка резкости границ
на карте диспа...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка резкости границ
на карте диспа...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка резкости границ
на карте диспа...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка резкости границ
на карте диспа...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
82
 Введение
 Примеры су...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Подход на основе
сегментации (1)
Шаги...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Подход на основе
сегментации (2)
Проб...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
85
 Введение
 Примеры су...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Стробящие границы
Текущая метрика
Tit...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Стробящие границы
Планы
 Реализовать...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Локальные деформации
Текущая метрика ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Локальные деформации
Текущая метрика ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Локальные деформации
Текущая метрика ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Локальные деформации
Планы
 Улучшить...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Глобальные деформации
Планы
 Опробов...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Cardboard effect
Планы
 Реализовать ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Литература
1. M. Solh and G. AlRegib,...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Лаборатория компьютерной
графики и му...
Upcoming SlideShare
Loading in …5
×

Метрики оценки качества конвертированного стерео

382 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Метрики оценки качества конвертированного стерео

  1. 1. Метрики оценки качества конвертированного стерео Александр Боков Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Примеры существующих no-reference метрик  Стробление  Локальные деформации  Глобальные деформации  Cardboard effect  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Постановка задачи Задача: объективно оценить качество конвертированного стерео Артефакты конвертации:  Стробящие границы  Геометрические деформации  Сardboard effect  Некачественное заполнение областей открытия 3
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Стробящие границы Стробящие границы — границы, различающиеся по резкости Основная причина возникновения: неточности границ на карте глубины, по которой строится стерео Бой с тенью 3D: Последний раунд, 2011 4 Левый ракурс Правый ракурс
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Геометрические деформации  Локальные деформации  «Приклеивание» части фона к объекту переднего плана  «Приклеивание» части объекта переднего плана к фону  Глобальные деформации 5
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Локальные деформации (1) Бой с тенью 3D: Последний раунд, 2011 6 Левый ракурс
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Локальные деформации (2) Бой с тенью 3D: Последний раунд, 2011 7 Правый ракурс
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Локальные деформации (3) Clash of the Titans, 2010 8 Левый ракурс
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Локальные деформации (4) Clash of the Titans, 2010 9 Правый ракурс
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Глобальные деформации (1) The Nutcracker in 3D, 2010 10 Левый ракурс
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Глобальные деформации (2) The Nutcracker in 3D, 2010 11 Правый ракурс
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Глобальные деформации (3) 12 Восстановленная карта глубины
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Глобальные деформации (4) The Nutcracker in 3D, 2010 13 Левый ракурс
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Глобальные деформации (5) The Nutcracker in 3D, 2010 14 Правый ракурс
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Глобальные деформации (6) 15 Восстановленная карта глубины
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Глобальные деформации (7) 16 Левый ракурс
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Глобальные деформации (8) 17 Правый ракурс
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Глобальные деформации (9) 18 Восстановленная карта глубины
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Cardboard Effect (1) Два основных случая:  Плоские объекты переднего плана (отсутствие рельефа и объема)  Плоский/градиентный фон 19
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры артефактов Cardboard Effect (2) The Nutcracker in 3D, 2010 20 Левый ракурс
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры артефактов Cardboard Effect (3) The Nutcracker in 3D, 2010 21 Правый ракурс
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Cardboard Effect (4) 22 Восстановленная карта глубины
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание 23  Введение  Примеры существующих no-reference метрик  Стробление  Локальные деформации  Глобальные деформации  Cardboard effect  Заключение
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ideal depth estimation Постановка задачи Входные данные:  Исходный ракурс  Карта глубины  Синтезированный ракурс  Используемые параметры DIBR (Depth Image Based Rendering) Результат:  Оценка качества синтезированного ракурса M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” Hot3D, 2011 24
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ideal depth estimation 25 Исходный ракурс Карта глубины Исходный ракурс Идеальная карта глубины M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” Hot3D, 2011
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ideal depth estimation Предложенная метрика 26 Основная статистика: Вспомогательные метрики: Основная метрика: — глубина, использованная для генерации ракурса — дисперсия — экспериментально полученные коэффициенты M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” Hot3D, 2011
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ideal depth estimation Выводы Проблемы:  Необходимость карты глубины, по которой синтезировался ракурс  Классификация артефактов отлична от нашей 27
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Stereo quality prediction Постановка задачи Входные данные:  Стереопара Результат:  Оценка качества стереопары Z.M. Sazzad, R. Akhter, J. Baltes, Y. Horita, “Objective No-Reference Stereoscopic Image Quality Prediction Based on 2D Image Features and Relative Disparity,” Advances in Multimedia, 2012 28
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Stereo quality prediction Схема алгоритма 29 Z.M. Sazzad, R. Akhter, J. Baltes, Y. Horita, “Objective No-Reference Stereoscopic Image Quality Prediction Based on 2D Image Features and Relative Disparity,” Advances in Multimedia, 2012
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Stereo quality prediction Метрика блочности 30 — изображение — горизонтальная компонента метрики — аналогично построенная вертикальная компонента — финальная метрика Z.M. Sazzad, R. Akhter, J. Baltes, Y. Horita, “Objective No-Reference Stereoscopic Image Quality Prediction Based on 2D Image Features and Relative Disparity,” Advances in Multimedia, 2012
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Stereo quality prediction Метрика текстурированности 31 — горизонтальная компонента метрики — финальная метрика Z.M. Sazzad, R. Akhter, J. Baltes, Y. Horita, “Objective No-Reference Stereoscopic Image Quality Prediction Based on 2D Image Features and Relative Disparity,” Advances in Multimedia, 2012
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Stereo quality prediction Выводы Проблема:  Метрика предназначена исключительно для оценки артефактов сжатия 32
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание 33  Введение  Примеры существующих no-reference метрик  Стробление  Локальные деформации  Глобальные деформации  Cardboard effect  Заключение
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенная метрика Шаги алгоритма: 1. Выделение границ на обоих ракурсах (Canny) 2. Сопоставление границ на разных ракурсах с помощью карты диспаритета 3. Для каждой сопоставленной пары пикселей границ подсчет следующей метрики: 4. Медианная фильтрация результатов метрики 34 — градиенты на сопоставленных границах
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенная метрика Проблемы:  Смена фона около границы приводит к ложным срабатываниям  Все опробованные методы измерения резкости границ оказались недостаточно устойчивыми к смене фона Titanic in 3D, 2011 35 Левый ракурс Правый ракурс
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенная метрика Пример работы (1) Бой с тенью 3D: Последний раунд, 2011 36 Правый ракурс
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенная метрика Пример работы (2) Бой с тенью 3D: Последний раунд, 2011 37 Левый ракурс
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенная метрика Пример работы (3) 38 Визуализация метрики
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенная метрика Пример работы (4) Бой с тенью 3D: Последний раунд, 2011 39 Левый ракурс Правый ракурс Визуализация метрики
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Модификация метрики (1) Шаги алгоритма: 1. Выделение границ на обоих ракурсах (Canny) 2. Сопоставление границ на разных ракурсах с помощью карты диспаритета 3. Выделение границ, около которых сменился фон, и исключение их из рассмотрения 4. Для каждой сопоставленной пары пикселей границ подсчет следующей метрики: 5. Медианная фильтрация результатов метрики 40
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Модификация метрики (2) Проблемы:  Необходимость разработки метода детектирования смены фона около границы  Исключение из рассмотрения случаев, когда стробление накладывается на смену фона около границы 41
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание 42  …  Локальные деформации  Опробованные подходы  Альтернативный подход  Разделение окрестности  Оценка деформаций  Глобальные деформации  Cardboard effect  Заключение
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Опробованные подходы (1/2) Шаги алгоритма: 1. Выделение границ на обоих ракурсах (Canny) 2. Сопоставление границ на разных ракурсах с помощью карты диспаритета 3. Для каждой сопоставленной пары пикселей границ подсчет следующей метрики: 4. Медианная фильтрация результатов метрики 43 — градиенты на сопоставленных границах
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Опробованные подходы (1/2) Пример работы (1) Conan the Barbarian, 2011 44 Правый ракурс
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Опробованные подходы (1/2) Пример работы (2) Conan the Barbarian, 2011 45 Левый ракурс
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Опробованные подходы (1/2) Пример работы (3) 46 Визуализация метрики
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Левый ракурс Правый ракурс Опробованные подходы (1/2) Пример работы (4) Conan the Barbarian, 2011 47 Визуализация метрики
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Опробованные подходы (1/2) Проблема:  Подход работает только в случаях существенного изгиба определенных границ Решение:  Анализ изменений в некоторых окрестностях сопоставленных пикселей границ 48
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Опробованные подходы (2/2) Шаги алгоритма: 1. Выделение границ на обоих ракурсах (Canny) 2. Сопоставление границ на разных ракурсах с помощью карты диспаритета 3. Для каждой сопоставленной пары пикселей границ подсчет следующей метрики: 49 — некоторые окрестности сопоставленных пикселей границ
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Опробованные подходы (2/2) Проблемы:  Сложности с формированием нужных окрестностей  Риск ложных срабатываний в случаях неточных окрестностей Titanic in 3D, 2011 50 Левый ракурс Правый ракурс
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Альтернативный подход 1. Разделение окрестности пикселя границы на несколько областей, рассматриваемых отдельно 2. Оценка деформаций для каждой из выделенных областей Titanic in 3D, 2011 51
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание 52  …  Локальные деформации  Опробованные подходы  Альтернативный подход  Разделение окрестности  Оценка деформаций  Глобальные деформации  Cardboard effect  Заключение
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Разделение окрестности 53 — прямые участки, p — рассматриваемый ассоциированные с p — разделение окрестности p на сектора C. Cui, K.N. Ngan, “Scale- and Affine-Invariant Fan Feature,” IEEE Transactions on Image Processing, 2011 пиксель границы p
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Разделение окрестности Общая схема алгоритма 1. Выделение прямых участков границ в окрестности 2. Определение прямых участков, относящихся к рассматриваемому пикселю границы 3. Разделение окрестности на сектора 54C. Cui, K.N. Ngan, “Scale- and Affine-Invariant Fan Feature,” IEEE Transactions on Image Processing, 2011
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Разделение окрестности Выделение прямых участков Выделение прямых участков производится с помощью преобразования Хафа Преобразование Хафа – известный метод выделения объектов на изображении, которые принадлежат определенному классу фигур 55C. Cui, K.N. Ngan, “Scale- and Affine-Invariant Fan Feature,” IEEE Transactions on Image Processing, 2011
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Разделение окрестности Ассоциирование границ (1) Шаги алгоритма: 1) Вычисление Scorek для каждого прямого участка 2) Выбор прямых участков, относящихся к рассматриваемому пикселю границы по порогу для Scorek 56C. Cui, K.N. Ngan, “Scale- and Affine-Invariant Fan Feature,” IEEE Transactions on Image Processing, 2011
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Разделение окрестности Ассоциирование границ (2) 57C. Cui, K.N. Ngan, “Scale- and Affine-Invariant Fan Feature,” IEEE Transactions on Image Processing, 2011
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Разделение окрестности Ассоциирование границ (3) 58 — гауссиана с центром в — рассматриваемый пиксель границы — расстояние между и прямой, — рассматриваемый прямой участок границы содержащей — рассматриваемая окрестность C. Cui, K.N. Ngan, “Scale- and Affine-Invariant Fan Feature,” IEEE Transactions on Image Processing, 2011
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Разделение окрестности Разделение на сектора (1) 59C. Cui, K.N. Ngan, “Scale- and Affine-Invariant Fan Feature,” IEEE Transactions on Image Processing, 2011
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Разделение окрестности Разделение на сектора (2) Шаги алгоритма: 1) Перебор выходящих из p лучей с некоторым шагом 2) Выбор тех лучей, которые соответствуют минимальным средним отклонениям от прямых участков, ассоциированных с p 60C. Cui, K.N. Ngan, “Scale- and Affine-Invariant Fan Feature,” IEEE Transactions on Image Processing, 2011
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Разделение окрестности Выводы Достоинства:  Устойчивость к разрывам в границах  Рассмотрение случаев перекрестков из границ Недостаток:  Высокая вычислительная сложность 61
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание 62  …  Локальные деформации  Опробованные подходы  Альтернативный подход  Разделение окрестности  Оценка деформаций  Глобальные деформации  Cardboard effect  Заключение
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка деформаций Постановка задачи Y. Tian and S. G. Narasimhan, “A Globally Optimal Data-Driven Approach for Image Distortion Estimation,” CVPR, 2010 63 Исходное изображение Деформированное изображение Модель деформаций Векторное поле, переводящее деформированное изображение в исходное
  64. 64. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка деформаций Общая схема алгоритма 1. Генерация тренировочных изображений с известными параметрами деформаций по исходному изображению 2. Вычисление параметров искомой деформации с использованием тренировочных изображений 64Y. Tian and S. G. Narasimhan, “A Globally Optimal Data-Driven Approach for Image Distortion Estimation,” CVPR, 2010
  65. 65. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка деформаций Модель деформаций (1) 65 — базисные отображения — параметрический вектор — координаты пикселя изображения — множество всех возможных деформаций Y. Tian and S. G. Narasimhan, “A Globally Optimal Data-Driven Approach for Image Distortion Estimation,” CVPR, 2010
  66. 66. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка деформаций Модель деформаций (2) 66 — исходное изображение , — изображение, деформированное с параметрами Y. Tian and S. G. Narasimhan, “A Globally Optimal Data-Driven Approach for Image Distortion Estimation,” CVPR, 2010 — прямое и обратное применения отображения
  67. 67. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка деформаций Модель деформаций (3) 67 — множество всех возможных деформированных изображений — прямое или обратное применение — исходное изображение находится в начале координат параметрического пространства Y. Tian and S. G. Narasimhan, “A Globally Optimal Data-Driven Approach for Image Distortion Estimation,” CVPR, 2010
  68. 68. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка деформаций Шаги алгоритма (1) 68Y. Tian and S. G. Narasimhan, “A Globally Optimal Data-Driven Approach for Image Distortion Estimation,” CVPR, 2010
  69. 69. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка деформаций Шаги алгоритма (2) 69Y. Tian and S. G. Narasimhan, “A Globally Optimal Data-Driven Approach for Image Distortion Estimation,” CVPR, 2010 (Nearest Neighbor)
  70. 70. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка деформаций Шаги алгоритма (3) 70Y. Tian and S. G. Narasimhan, “A Globally Optimal Data-Driven Approach for Image Distortion Estimation,” CVPR, 2010
  71. 71. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка деформаций Шаги алгоритма (4) 71Y. Tian and S. G. Narasimhan, “A Globally Optimal Data-Driven Approach for Image Distortion Estimation,” CVPR, 2010
  72. 72. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка деформаций Шаги алгоритма (5) 72Y. Tian and S. G. Narasimhan, “A Globally Optimal Data-Driven Approach for Image Distortion Estimation,” CVPR, 2010
  73. 73. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Dense Sparse Parameter space Оценка деформаций Генерация training images (1) 73 — расстояние до центра координат — размерность параметрического пространства Density Y. Tian and S. G. Narasimhan, “A Globally Optimal Data-Driven Approach for Image Distortion Estimation,” CVPR, 2010
  74. 74. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка деформаций Выводы Достоинство:  Гарантируется достижение глобально оптимального решения Недостатки:  Необходимость задания модели деформаций  Низкая скорость работы 74
  75. 75. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание 75  Введение  Примеры существующих no-reference метрик  Стробление  Локальные деформации  Глобальные деформации  Cardboard effect  Заключение
  76. 76. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка резкости границ на карте диспаритета (1) The Nutcracker in 3D, 2010 76 Кадр с глобальными деформациями
  77. 77. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка резкости границ на карте диспаритета (2) 77 Карта диспаритета кадра с глобальными деформациями
  78. 78. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка резкости границ на карте диспаритета (3) Бой с тенью 3D: Последний раунд, 2011 78 Кадр без глобальных деформаций
  79. 79. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка резкости границ на карте диспаритета (4) 79 Карта диспаритета кадра без глобальных деформаций
  80. 80. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка резкости границ на карте диспаритета (5) Шаги алгоритма: 1. Выделение границ на карте диспаритета (Canny) 2. Оценка резкости выделенных границ 3. Суммирование значений резкости по всем пикселям границ 4. Выделение плохих кадров по порогу суммарной резкости границ 80
  81. 81. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка резкости границ на карте диспаритета (6) Проблемы:  Шум и блочность карты диспаритета усложняют детектирование границ и оценку их резкости  Стандартные методы оценки резкости границ не работают в случае границ на градиентах по глубине 81
  82. 82. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание 82  Введение  Примеры существующих no-reference метрик  Стробление  Локальные деформации  Глобальные деформации  Cardboard effect  Заключение
  83. 83. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Подход на основе сегментации (1) Шаги алгоритма: 1. Проводим сегментацию по движению 2. Для каждого сегмента, кроме фона, оцениваем дисперсию градиентов глубины 3. По порогу дисперсии выделяем сегменты с подозрением на cardboard effect 83
  84. 84. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Подход на основе сегментации (2) Проблема:  Недостаточное качество сегментации по движению 84
  85. 85. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание 85  Введение  Примеры существующих no-reference метрик  Стробление  Локальные деформации  Глобальные деформации  Cardboard effect  Заключение
  86. 86. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Стробящие границы Текущая метрика Titanic in 3D, 2011 86 Правый ракурс Левый ракурс Визуализация метрики
  87. 87. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Стробящие границы Планы  Реализовать детектирование смены фона возле границы для уменьшения числа ложных срабатываний текущей метрики 87
  88. 88. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Локальные деформации Текущая метрика (1) Clash of the Titans, 2010 88 Левый ракурс
  89. 89. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Локальные деформации Текущая метрика (2) Clash of the Titans, 2010 89 Правый ракурс
  90. 90. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Локальные деформации Текущая метрика (3) Clash of the Titans, 2010 90 Визуализация метрики
  91. 91. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Локальные деформации Планы  Улучшить детектирование изгиба границы, учитывая не только сопоставленную пару пикселей границ, но и их соседей, принадлежащих той же границе  Реализовать описанный выше подход для детектирования деформаций возле сопоставленных границ 91
  92. 92. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальные деформации Планы  Опробовать методы, основанные на сравнении вида диспаритета и характера движения в кадре 92
  93. 93. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Cardboard effect Планы  Реализовать подход, основанный на выделении областей с одинаковой/градиентной глубиной и оценке характера движения в этих областях 93
  94. 94. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. M. Solh and G. AlRegib, “A No-reference Quality Measure for DIBR-Based 3D Videos,” IEEE International Workshop on Hot Topics in 3D, Barcelona, July 2011. 2. Z.M. Sazzad, R. Akhter, J. Baltes, Y. Horita, “Objective No-Reference Stereoscopic Image Quality Prediction Based on 2D Image Features and Relative Disparity,” Advances in Multimedia, 2012. 3. Y. Tian and S. G. Narasimhan, “A globally optimal data-driven approach for image distortion estimation,” IEEE Conference on Computer Vision and Pattern Recognition, San Francisco, June 2010, pp. 1277–1284. 4. C. Cui and K.N. Ngan, “Scale- and Affine-Invariant Fan Feature,” IEEE Transactions on Image Processing, 2011. 94
  95. 95. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищено 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 95

×