2. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Gaussian KD-Tree
Permutohedral Lattice (PL)
Adaptive Manifolds (AM)
Заключение
2
3. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Введение
Алгоритмы многомерной
фильтрации применяются
почти во всех наших
проектах
Они универсальны
Они медленно работают
3
Изображение из Mr. Barlow’s blog
http://mrbarlow.wordpress.com/2008/11/30/turtle-in-a-half-shell-
turtle-power/
4. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Gaussian KD-Tree
Permutohedral Lattice (PL)
Adaptive Manifolds (AM)
Заключение
4
5. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Основы метода
5Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
6. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Bilateral grid
6Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
Равномерная сетка
Экспоненциальный рост
количества точек
с ростом размерности
пространства
7. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
KD-Tree
7
Разбиение пространства
к-мерным деревом
Медленный рост
количества точек
с ростом размерности
пространства
Дополнительные
затраты на построение
Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
8. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Splatting
8Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
9. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Blurring
9Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
10. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Slicing
10Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
11. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Построение KD-Tree
11
1. Построение Bounding Box (BB)
2. Если размер BВ меньше порога,
конец итерации,
центр BB – вершина дерева
3. Разделение BB вдоль
меньшей оси
4. Повторение шагов 1 – 4 для
получившихся сегментов
Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
12. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Условия тестирования
12
10 Мп RGB-изображение
Дисперсия по цвету = 1/8
CPU-реализация на Core2Duo 2.13 GHz
GPU-реализация на GTX280
(ускорение в 10 раз)
Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
13. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Скорость работы
13Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
14. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Качество работы
Root Mean Square (RMS)
14Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
15. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Использование памяти
15Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
16. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Примеры работы
Naive Bilateral Filter (NBF)
16Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
17. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Примеры работы
5D Grid
17Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
18. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Примеры работы
KD-Tree
18Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
19. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Примеры работы
3D Grid
19Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
20. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Примеры работы
Разность KD-Tree и NBF
20Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
21. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Примеры работы
Разность 3D Grid и NBF
21Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional
Filtering,” SIGGRAPH, 2009
22. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Выводы
Достоинства
Высокая скорость работы
Доступен код на С++ и CUDA
Доступна авторская видеопрезентация
Недостаток
Не представлено примеров по нашим темам
22
23. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Gaussian KD-Tree
Permutohedral Lattice (PL)
Adaptive Manifolds (AM)
Заключение
23
24. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Основы метода
24Andrew Adams et al., “Fast High-Dimensional Filtering Using the
Permutohedral Lattice,” Eurographics, 2010
25. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Предложенный метод (1)
25Andrew Adams et al., “Fast High-Dimensional Filtering Using the
Permutohedral Lattice,” Eurographics, 2010
26. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Предложенный метод (2)
26Andrew Adams et al., “Fast High-Dimensional Filtering Using the
Permutohedral Lattice,” Eurographics, 2010
27. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Предложенный метод (3)
27Andrew Adams et al., “Fast High-Dimensional Filtering Using the
Permutohedral Lattice,” Eurographics, 2010
28. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Permutohedral Lattice
28Andrew Adams et al., “Fast High-Dimensional Filtering Using the
Permutohedral Lattice,” Eurographics, 2010
Проекция n–мерной
целочисленной решетки
на (n – 1) - мерную
плоскость,
ортогональную
единичному вектору
29. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
29Andrew Adams et al., “Fast High-Dimensional Filtering Using the
Permutohedral Lattice,” Eurographics, 2010
Разделение пространства на симметричные
симплексы ⇒ быстрая барицентрическая
интерполяция (splatting и slicing)
Тривиальное вычисление соседних точек
решётки ⇒ быстрое сглаживание (blurring)
Существенная экономия памяти
Permutohedral Lattice
Преимущества использования
30. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
30Andrew Adams et al., “Fast High-Dimensional Filtering Using the
Permutohedral Lattice,” Eurographics, 2010
Скорость работы
31. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
31Andrew Adams et al., “Fast High-Dimensional Filtering Using the
Permutohedral Lattice,” Eurographics, 2010
Анализ замеров скорости
32. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Пример работы
Исходный кадр
32Andrew Adams et al., “Fast High-Dimensional Filtering Using the
Permutohedral Lattice,” Eurographics, 2010
33. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Пример работы
Обработанный кадр
33Andrew Adams et al., “Fast High-Dimensional Filtering Using the
Permutohedral Lattice,” Eurographics, 2010
34. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Выводы
Достоинства
Высокая скорость работы
Приведено полное описание алгоритма
Доступен код на С++ и CUDA
Доступна авторская видеопрезентация
Недостатки
Примеров работы очень мало
Реализация кросс-фильтрации неочевидна
34
35. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Gaussian KD-Tree
Permutohedral Lattice (PL)
Adaptive Manifolds (AM)
Заключение
35
36. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Основы метода
36Andrew Adams et al., “Fast High-Dimensional Filtering Using the
Permutohedral Lattice,” Eurographics, 2010
37. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Splatting
37Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
Координата
Величина сигнала Адаптивные поверхности (manifolds)
38. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Blurring
38Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
39. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Slicing
39Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
40. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Splatting
40
Ядро Гаусса Матрица ковариации
Значение в точке
поверхности
Значение сигналаКоордината поверхностиКоордината на поверхности
Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
41. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Blurring
41
Сглаживание с ядром Гаусса
Учет кривизны поверхности
Использование растяжения пространства
для устранения анизотропии ядра Гаусса
Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
42. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Slicing
42
– результат сглаживания
Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
Итоговое
значение
сигнала
43. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Построение поверхностей
Алгоритм (1)
43
1. Построение первой поверхности
низкочастотной фильтрацией
2. Определение преобладающего направления
отклонения сигнала от поверхности
– собственный вектор матрицы
соответствующий наибольшему
собственному значению
Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
44. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Построение поверхностей
Алгоритм (2)
44
3. Разбиение множества пикселей на два
подмножества согласно
4. Повторение шагов 2–4 для получившихся
подмножеств
5. Критерий остановки алгоритма: достижение
заданной высоты построенного дерева
поверхностей
Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
45. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Построение поверхностей
Ограничение высоты дерева (1)
45
Для обработки RGB-изображений:
Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
Матрица
дисперсий
по
расстоянию
Матрица
дисперсий
по цвету
46. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Построение поверхностей
Предложенные авторами значения
46Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
47. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Построение поверхностей
Ограничение высоты дерева (2)
47
Для иных случаев:
Подбирать вручную, поддерживая баланс
скорость/качество
Остановиться, когда среднее отклонение
сигнала от ближайшей плоскости будет
достаточно мало
Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
48. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Построение поверхностей
Исходный кадр
48Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
49. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Построение поверхностей
Результат (1/1)
49Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
50. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Построение поверхностей
Результат (2/2)
50Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
51. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Детали реализации
Низкочастотный фильтр
применяется дважды, в двух направлениях,
к прореженному изображению.
Число опорных точек =
Для сглаживания используется рекурсивный
фильтр [Gastal, 2011]
51Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
52. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Точность резульатов
52Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
PSNR with Naive Bilateral Filter
53. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Скорость работы (1)
53Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
54. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Скорость работы (2)
54Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
55. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Скорость работы (3)
55Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
56. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Примеры работы (1)
56Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
57. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Примеры работы (1)
57Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
58. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Примеры работы (2)
58Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
59. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Примеры работы (2)
59Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
60. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Примеры работы (2)
60Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
61. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Примеры работы (2)
61Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
62. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Примеры работы (2)
62Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
63. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Примеры работы (2e)
63Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
64. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Выводы
Достоинства
Высокая скорость работы
Наличие полного математического обоснования
работы метода и выбора параметров
Доступен код для MATLAB
Доступна авторская видеопрезентация
Недостатки
Не представлено примеров по нашим темам
Реализация кросс-фильтрации неочевидна
64
65. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Gaussian KD-Tree
Permutohedral Lattice (PL)
Adaptive Manifolds (AM)
Заключение
65
66. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Заключение
Алгоритмы решают поставленную
задачу
Для представленных алгоритмов
доступен исходный код
Надо брать, тестировать
и использовать!
66
Изображение из I-Love-Cartoons Clipart
http://i-love-cartoons.us/snags/clipart/christmas/garfield/Xmas-
Garfield-Tree.php
67. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Литература (1)
1. A. Adams, N. Gelfand, J.Dolson, and M. Leroy, “Gaussian KD-Trees for
Fast High-Dimensional Filtering,” in ACM Transactions on Graphics,
Proceedings of ACM SIGGRAPH 2009, Volume 28 Issue 3, August 2009,
Article No. 21.
2. A. Adams, J. Baek, and M. A. Davis, “Fast High-Dimensional Filtering
Using the Permutohedral Lattice,” in Computer Graphics Forum, Vol. 29,
No. 2. (2010), pp. 753 – 762.
3. Eduardo S. L. Gastal and Manuel M. Oliveira, “Adaptive Manifolds for
Real-Time High-Dimensional Filtering,” in ACM Transactions on
Graphics, SIGGRAPH 2012 Conference Proceedings, Volume 31 Issue 4,
July 2012, Article No. 33.
67
68. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Литература (2)
4. Sylvain Paris and Frédo Durand, “A Fast Approximation of the Bilateral
Filter Using a Signal Processing Approach,” in Proceedings of the
European Conference on Computer Vision, 2006, pp. 568 – 580.
5. Eduardo S. L. Gastal and Manuel M. Oliveira, “Domain Transform for
Edge-Aware Image and Video Processing,” in ACM Transactions on
Graphics, Volume 30, Number 4, Proceedings of SIGGRAPH 2011,
Article 69.
68
69. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
Выпускники в аспирантурах
Англии, Франции, Швейцарии
(в России в МГУ и ИПМ им. Келдыша)
Выпускниками защищены 5 диссертаций
Наиболее популярные в мире сравнения
видеокодеков
Более 3 миллионов скачанных фильтров
обработки видео
69
