Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Некоторые алгоритмы многомерной обработки изображений

615 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Некоторые алгоритмы многомерной обработки изображений

  1. 1. Некоторые алгоритмы многомерной обработки изображений Юрий Бердников Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Gaussian KD-Tree  Permutohedral Lattice (PL)  Adaptive Manifolds (AM)  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение  Алгоритмы многомерной фильтрации применяются почти во всех наших проектах  Они универсальны  Они медленно работают 3 Изображение из Mr. Barlow’s blog http://mrbarlow.wordpress.com/2008/11/30/turtle-in-a-half-shell- turtle-power/
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Gaussian KD-Tree  Permutohedral Lattice (PL)  Adaptive Manifolds (AM)  Заключение 4
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Основы метода 5Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Bilateral grid 6Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009  Равномерная сетка  Экспоненциальный рост количества точек с ростом размерности пространства
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  KD-Tree 7  Разбиение пространства к-мерным деревом  Медленный рост количества точек с ростом размерности пространства  Дополнительные затраты на построение Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Splatting 8Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blurring 9Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Slicing 10Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Построение KD-Tree 11 1. Построение Bounding Box (BB) 2. Если размер BВ меньше порога, конец итерации, центр BB – вершина дерева 3. Разделение BB вдоль меньшей оси 4. Повторение шагов 1 – 4 для получившихся сегментов Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Условия тестирования 12  10 Мп RGB-изображение  Дисперсия по цвету = 1/8  CPU-реализация на Core2Duo 2.13 GHz  GPU-реализация на GTX280 (ускорение в 10 раз) Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Скорость работы 13Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Качество работы Root Mean Square (RMS) 14Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Использование памяти 15Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы Naive Bilateral Filter (NBF) 16Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы 5D Grid 17Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы KD-Tree 18Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы 3D Grid 19Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы Разность KD-Tree и NBF 20Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы Разность 3D Grid и NBF 21Andrew Adams et al., “Gaussian KD-Trees for Fast High-Dimensional Filtering,” SIGGRAPH, 2009
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства  Высокая скорость работы  Доступен код на С++ и CUDA  Доступна авторская видеопрезентация Недостаток  Не представлено примеров по нашим темам 22
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Gaussian KD-Tree  Permutohedral Lattice (PL)  Adaptive Manifolds (AM)  Заключение 23
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Основы метода 24Andrew Adams et al., “Fast High-Dimensional Filtering Using the Permutohedral Lattice,” Eurographics, 2010
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенный метод (1) 25Andrew Adams et al., “Fast High-Dimensional Filtering Using the Permutohedral Lattice,” Eurographics, 2010
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенный метод (2) 26Andrew Adams et al., “Fast High-Dimensional Filtering Using the Permutohedral Lattice,” Eurographics, 2010
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Предложенный метод (3) 27Andrew Adams et al., “Fast High-Dimensional Filtering Using the Permutohedral Lattice,” Eurographics, 2010
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Permutohedral Lattice 28Andrew Adams et al., “Fast High-Dimensional Filtering Using the Permutohedral Lattice,” Eurographics, 2010 Проекция n–мерной целочисленной решетки на (n – 1) - мерную плоскость, ортогональную единичному вектору
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  29Andrew Adams et al., “Fast High-Dimensional Filtering Using the Permutohedral Lattice,” Eurographics, 2010  Разделение пространства на симметричные симплексы ⇒ быстрая барицентрическая интерполяция (splatting и slicing)  Тривиальное вычисление соседних точек решётки ⇒ быстрое сглаживание (blurring)  Существенная экономия памяти Permutohedral Lattice Преимущества использования
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  30Andrew Adams et al., “Fast High-Dimensional Filtering Using the Permutohedral Lattice,” Eurographics, 2010 Скорость работы
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  31Andrew Adams et al., “Fast High-Dimensional Filtering Using the Permutohedral Lattice,” Eurographics, 2010 Анализ замеров скорости
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Пример работы Исходный кадр 32Andrew Adams et al., “Fast High-Dimensional Filtering Using the Permutohedral Lattice,” Eurographics, 2010
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Пример работы Обработанный кадр 33Andrew Adams et al., “Fast High-Dimensional Filtering Using the Permutohedral Lattice,” Eurographics, 2010
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства  Высокая скорость работы  Приведено полное описание алгоритма  Доступен код на С++ и CUDA  Доступна авторская видеопрезентация Недостатки  Примеров работы очень мало  Реализация кросс-фильтрации неочевидна 34
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Gaussian KD-Tree  Permutohedral Lattice (PL)  Adaptive Manifolds (AM)  Заключение 35
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Основы метода 36Andrew Adams et al., “Fast High-Dimensional Filtering Using the Permutohedral Lattice,” Eurographics, 2010
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Splatting 37Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012 Координата Величина сигнала Адаптивные поверхности (manifolds)
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blurring 38Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Slicing 39Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Splatting 40 Ядро Гаусса Матрица ковариации Значение в точке поверхности Значение сигналаКоордината поверхностиКоордината на поверхности Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Blurring 41  Сглаживание с ядром Гаусса  Учет кривизны поверхности  Использование растяжения пространства для устранения анизотропии ядра Гаусса Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Slicing 42 – результат сглаживания Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012 Итоговое значение сигнала
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Построение поверхностей Алгоритм (1) 43 1. Построение первой поверхности низкочастотной фильтрацией 2. Определение преобладающего направления отклонения сигнала от поверхности – собственный вектор матрицы соответствующий наибольшему собственному значению Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Построение поверхностей Алгоритм (2) 44 3. Разбиение множества пикселей на два подмножества согласно 4. Повторение шагов 2–4 для получившихся подмножеств 5. Критерий остановки алгоритма: достижение заданной высоты построенного дерева поверхностей Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Построение поверхностей Ограничение высоты дерева (1) 45 Для обработки RGB-изображений: Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012 Матрица дисперсий по расстоянию Матрица дисперсий по цвету
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Построение поверхностей Предложенные авторами значения 46Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Построение поверхностей Ограничение высоты дерева (2) 47 Для иных случаев:  Подбирать вручную, поддерживая баланс скорость/качество  Остановиться, когда среднее отклонение сигнала от ближайшей плоскости будет достаточно мало Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Построение поверхностей Исходный кадр 48Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Построение поверхностей Результат (1/1) 49Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Построение поверхностей Результат (2/2) 50Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Детали реализации  Низкочастотный фильтр применяется дважды, в двух направлениях, к прореженному изображению. Число опорных точек =  Для сглаживания используется рекурсивный фильтр [Gastal, 2011] 51Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Точность резульатов 52Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012 PSNR with Naive Bilateral Filter
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Скорость работы (1) 53Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Скорость работы (2) 54Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Скорость работы (3) 55Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (1) 56Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (1) 57Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (2) 58Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (2) 59Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (2) 60Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (2) 61Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (2) 62Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры работы (2e) 63Eduardo S. L. Gastal, Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” SIGGRAPH, 2012
  64. 64. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства  Высокая скорость работы  Наличие полного математического обоснования работы метода и выбора параметров  Доступен код для MATLAB  Доступна авторская видеопрезентация Недостатки  Не представлено примеров по нашим темам  Реализация кросс-фильтрации неочевидна 64
  65. 65. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Gaussian KD-Tree  Permutohedral Lattice (PL)  Adaptive Manifolds (AM)  Заключение 65
  66. 66. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение  Алгоритмы решают поставленную задачу  Для представленных алгоритмов доступен исходный код Надо брать, тестировать и использовать! 66 Изображение из I-Love-Cartoons Clipart http://i-love-cartoons.us/snags/clipart/christmas/garfield/Xmas- Garfield-Tree.php
  67. 67. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература (1) 1. A. Adams, N. Gelfand, J.Dolson, and M. Leroy, “Gaussian KD-Trees for Fast High-Dimensional Filtering,” in ACM Transactions on Graphics, Proceedings of ACM SIGGRAPH 2009, Volume 28 Issue 3, August 2009, Article No. 21. 2. A. Adams, J. Baek, and M. A. Davis, “Fast High-Dimensional Filtering Using the Permutohedral Lattice,” in Computer Graphics Forum, Vol. 29, No. 2. (2010), pp. 753 – 762. 3. Eduardo S. L. Gastal and Manuel M. Oliveira, “Adaptive Manifolds for Real-Time High-Dimensional Filtering,” in ACM Transactions on Graphics, SIGGRAPH 2012 Conference Proceedings, Volume 31 Issue 4, July 2012, Article No. 33. 67
  68. 68. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература (2) 4. Sylvain Paris and Frédo Durand, “A Fast Approximation of the Bilateral Filter Using a Signal Processing Approach,” in Proceedings of the European Conference on Computer Vision, 2006, pp. 568 – 580. 5. Eduardo S. L. Gastal and Manuel M. Oliveira, “Domain Transform for Edge-Aware Image and Video Processing,” in ACM Transactions on Graphics, Volume 30, Number 4, Proceedings of SIGGRAPH 2011, Article 69. 68
  69. 69. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищены 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 69

×