Некоторые методы повышения качества построения стерео

Некоторые методы
повышения качества
построения стерео
Юрий Бердников
CS MSU Graphics & Media Lab
Video group

CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Оценка стабильности во времени
 Алгоритм Do и Zinger
 Финско-итальянский вариант Exemplar-Based
 Тайваньский вариант Exemplar-Based
 Китайский вариант Exemplar-Based
 Заключение
2

Only for
Maxus 
Стандартный метод
Врага нужно знать в лицо
3

Only for
Maxus 
Алгоритмы заполнения
Требования
 Отсутствие заметных статических
искажений (Spatial consistency)
 Стабильность во времени
(Temporal consistency)
 Приемлемое время работы
4

Only for
Maxus 
5

Only for
Maxus 
Стабильность во времени
6Michael Schmeing and Xiaoyi Jiang, “Time-consistency
of Disocclusion Filling Algorithms in DIBR,” 3DTV Conference, 2011
 Неформальное определение:
«область мерцает сильнее, чем надо»
 Возникающие вопросы:
 Что есть «сильнее, чем надо» ?
 Что есть «область» в контексте видео ?

Only for
Maxus 
Мерцание
Измерение мерцания
7
 Модельный случай:
 Объект неподвижен
 Фон движется
 Область заполнения неподвижна
 Рассмотрим яркость пикселя во времени
Michael Schmeing and Xiaoyi Jiang, “Time-consistency

Only for
Maxus 
График яркости пикселя
Ground Truth

Only for
Maxus 
График яркости пикселя
Результат алгоритма заполнения

Only for
Maxus 
Измерение мерцания
Формализация подхода
10
 Степень мерцания пикселя
 Степень мерцания области
 Оценка увеличения мерцания области
Michael Schmeing and Xiaoyi Jiang, “Time-consistency

Only for
Maxus 
Тестовые данные

Only for
Maxus 
Результаты сравнения
алгоритмов заполнения
Отногсительнаястепеньмерцания

Only for
Maxus 
13

Only for
Maxus 
Схема алгоритма (1)
14Luat Do, Sveta Zinger, “Quality improving techniques for free-
viewpoint DIBR”, 3DTV-conference, 2009
 Расширение областей открытия в сторону
фона (подавление остатков motion blur)
 Взвешенное суммирование соседних пикселей

Only for
Maxus 
 В математическом виде:
 Да, формула содержит ошибки

Only for
Maxus 
Результат работы

Only for
Maxus 
Анализ
17
 Преимущества
 Малая вычислительная сложность
 Выглядит потенциально лучше Stretch
 Недостатки
 Никак не учитывает соседние кадры
 Сглаживает изображения вдали от границ
области открытия

Only for
Maxus 
 Финско-итальянский вариант Exemplar-
Based
18

Only for
Maxus 
Схема алгоритма
19
Lucio Azzari, Federica Battisti, “A Modified Non-local Mean
Inpainting Technique for Occlusion Filling in Depth-Image Based
Rendering”, SPIE, 2011
 Основа – Exemplar-Based Inpainting
см. доклад Ю. Гитмана
«Обзор методов инпэинтинга по одному изображению»
 Краткая схема Exemplar-Based Inpainting:
 Вычисление карты приоритетов
 Поиск похожих элементов текстуры (патчей)
 Заполнение неизвестных областей

Only for
Maxus 
Модификация алгоритма (1)
20
 Учёт принадлежности к фону
при вычислении карты приоритетов
 Использование только яркости при поиске
патчей
Lmax= max(Dl, Dr)Карта глубины «обратная»

Only for
Maxus 
Ускорение поиска патчей
21
Фиксированные пороги

Only for
Maxus 
 5 видео
 Размеры окна
3х3, 5х5, 7х7
 α = 1, β = 5
Выбор параметров α и β
22
Гистограмма лучших патчей

Only for
Maxus 
 Учёт соседних кадров
 Ограничение области поиска
 Использование нескольких лучших патчей:
23
Количество
используемых патчей.
Чем больше k, тем
больше β.
В экспериментах
k=5, β=7
i-й патч

Only for
Maxus 
24
Тестовые данные

Only for
Maxus 
25
Объективное тестирование

Only for
Maxus 
26
Субъективное тестирование
 3’’ автостереоскопический дисплей
 33 эксперта, от 22 до 40 лет
 5 тестов:
 Preliminary vision test
 Training test
 Acceptance test
 Overall quality
 Perceived depth

Only for
Maxus 
27
Acceptance test

Only for
Maxus 
28
Quality test

Only for
Maxus 
29
Depth test

Only for
Maxus 
Анализ
30
 Использует соседние кадры
 Не нарушает текстуру фона
 Вычислительная сложность
 Стабильность во времени не гарантируется

Only for
Maxus 
31

Only for
Maxus 
32Chia-Ming Cheng, Shu-Jyuan Lin, “Improved Novel View
Synthesis from Depth Image with Large Baseline ”, ICPR, 2008
Кросс-билатеральная предобработка карты глубины
Вес
Учёт
расстояния
Учёт цвета

Only for
Maxus 
Предобработка глубины
Пример работы
33
До
После
Глубина Изображение до и после
заполнения одиночных пикселей
Chia-Ming Cheng, Shu-Jyuan Lin, “Improved Novel View

Only for
Maxus 
34
 Заполнение пикселей с помощью поиска
наилучших патчей
 Порядок заполнения определяется
Локальные
градиенты по осям

Only for
Maxus 
35
Трилатеральная фильтрация
σs = 1.0, σc = 0.25, σd = 0.15

Only for
Maxus 
Результаты работы
36Chia-Ming Cheng, Shu-Jyuan Lin, “Improved Novel View

Only for
Maxus 
Результаты работы
37
Исходные данные
DIBR interpolation Image inpainting Proposed method

Only for
Maxus 
Анализ
38

Only for
Maxus 
39

Only for
Maxus 
Схема алгоритма
40
 Морфология карты глубины
 Доработка оценки приоритетов
 Дополнительное слагаемое в оценке патчей
Kai LUO, Dong-xiao LI, “Depth-aided inpainting for disocclusion
restoration of multi-view images using depth-image-based
rendering”, Journal of Zhejiang University, 2009

Only for
Maxus 
Модификация оценки патчей
41
Исходный кадр Сдвинутый кадр

Only for
Maxus 
Пример работы
42
Исходные данные
Исходный
и модифицированный
алгоритмы

Only for
Maxus 
Сравнение с конкурентами
43

Only for
Maxus 
Анализ
44

Only for
Maxus 
45

Only for
Maxus 
Заключение
 Всё хуже, чем хотелось бы
 Если объект неподвижен, восстановление
из движения не работает
 Если объект движется, простые методы
вызывают артефакты
 Предполагаемый лучший вариант – заполнение
из движения с 1-2 соседних кадров, оставшееся
заполняется простыми методами
46

Only for
Maxus 
Литература
1. Michael Schmeing and Xiaoyi Jiang, “Time-consistency of Disocclusion
Filling Algorithms in Depth Image Based Rendering,” in proc. 3DTV
Conference, 2011, pp. 1–4
2. Luat Do and Svitlana Zinger and Peter H. N. de With, “Quality improving
techniques for free-viewpoint DIBR,” in proc. 3DTV Conference, 2009,
pp. 1–4
3. Lucio Azzari, Federica Battisti, Atanas Gotchev, Marco Carli and Karen
Egiazarian, “A modified non-local mean inpainting technique for
occlusion filling in depth-image-based rendering,” in proc. SPIE, 2011
4. C. Cheng, S. Lin, S. Lai, and J. Yang, "Improved novel view synthesis
from depth image with large baseline", in Proc. ICPR, 2008, pp.1-4.
5. Kai LUO, Dong-xiao LI, Ya-mei FENG, Ming ZHANG, "Depth-aided
inpainting for disocclusion restoration of multi-view images using depth-
image-based rendering", Journal of Zhejiang University, 2009 Vol.10
No.12 P.1738~1749.
47

Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
 Выпускники в аспирантурах Англии,
Франции, Швейцарии (в России в МГУ
и ИПМ им. Келдыша)
 Выпускниками защищены 5 диссертаций
 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
48

Некоторые методы повышения качества построения стерео

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Некоторые методы повышения качества построения стерео

Similar to Некоторые методы повышения качества построения стерео (14)

Некоторые методы повышения качества построения стерео