Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Обзор методов инпэинтинга по одному изображению

481 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Обзор методов инпэинтинга по одному изображению

  1. 1. Modern image inpainting methods Юрий Гитман Video Group CS MSU Graphics & Media Lab 129.09.2011
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Inpainting with third-order optimal PDE  Методы композиции блоков  Оптимизации  Свой алгоритм  Результаты тестирования 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Photoshop CS6 tool 3
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры (не photoshop!) Синтез и восстановление текстур 4Graphcut textures: image and video synthesis using graph cuts Scene completion using millions of photographs
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Изображение 5 Исходное изображение Структура (sketch) Текстура (texture) Fast Cartoon+ Texture Image Filters
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Параметры текстур (1) Размер текстурного элемента (текстона) 6 Шум – нет текстонов Элемент кривой – это текстон Овца – это текстон Каждая гора – это текстон Graphcut textures: image and video synthesis using graph cuts
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Параметры текстур (2) 7 Почти идеально повторяющиеся блоки Структура есть, но не самоподобная Хаотичная текстура Texture synthesis by non-parametric sampling Степень структурированности
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Параметры текстур (3) Искажения перспективы 8Graphcut textures: image and video synthesis using graph cuts http://www.imagecompression.info/test_images/
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Постановка задачи  Задача: восстановить кусочно-связную область изображения  Предположения:  Структурная часть кусочно-гладкая  Линии границ кусочно-гладкие  Изображение приближенно самоподобно  Есть необходимая для восстановления информация:  Семантическая — информация о природе объектов  Линии и цвета на границе восстанавливаемой области 9
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Области применения  Удаление объектов  Удаление царапин  Изменение композиции изображения  Построение панорамы  Генерация стерео  Синтез текстур 10
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  11
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Inpainting with third-order optimal PDE  Методы композиции блоков  Оптимизации  Свой алгоритм  Результаты тестирования 12
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Задача и предпосылки  Цель: Восстановить поврежденную область изображения  Предпосылки:  Область достаточно велика  Вся необходимая информация содержится на границе  Изображение кусочно-постоянно 13 Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Классический алгоритм 1. Линии, пресеченные на границе, восстанавливаются внутрь области 2. Замкнутые регионы заполняются цветом 3. Добавляется текстура 14 Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Автоматический алгоритм До сходимости: 1. Продлим линии краев Численное решение PDE (Partial differential equation), сохраняющего вдоль линий некоторую величину 2. Восстановим цвет Численное решение уравнения анизотропной диффузии 15 Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Общее уравнение диффузии — градиент изображения — тензор, определяющий направления и величину передачи тепла (интенсивности) Соответственно, он должен гарантировать, что через края объектов цвет не переходит Метод диффузии — самостоятельный. Может быть быстро реализован (несколько секунд) через аппарат термодинамики 16 @I dt = div[T(x)rI(x)] rI T(x) Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Результат 17 Результаты одного такого алгоритма на моем тесте Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Принцип построения уравнений  Общий принцип:  В правой части обычно находится — инвариант, который хотим сохранить — функция изображения — направление линий краев 18 Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006 @I dt = ¢ ¢ ¢ ! (SteadyState) 0 = : : : rf ¢ r? I f I r? I
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Выбор порядка уравнения  Для любого уравнения ниже третьего порядка, линии будут продолжены с границ, как прямые  Так произойдет, если выбирать уравнение из условия: — функция изображения — малое приращение — произвольная точка 19 I(x0) = I(x0 + hr? I(x0)) + I(x0 ¡ hr? I(x0)) 2 I h x0 Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Выбор уравнения Разложение в ряд Тейлора: — кривизна линии (здесь — параметризация кривой) Следовательно, уравнение оптимально, если мы хотим сохранять направление линий. То же уравнение в терминах частных производных: 20 rI(x0) = rI(x0 + hr? I(x0)) + rI(x0 ¡ hr? I(x0)) 2 r £ k(s)jrIj3 ¤ r? I = 0 ! It = r £ k(s)jrIj3 ¤ r? I k(s) = °00 (s) °(s) It = I2 y [¡IyIxxx + 3IxIxxy] + I2 x[¡IxIyyy + 3IyIyyx] [I2 x + I2 y ] 3 2 Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат 1 21 ResultInput Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат 2 22 Inputs Results Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат 3 23 Input Integral minimization result Classic inpainting equation This algorithm result Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат 4 24 Input ResultThresholded Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат 5 25 Input Classic equation result This algorithm result Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Third order optimal PDE  Достоинства:  Инвариантность к контрасту  Возможность восстанавливать тонкие структуры и острые углы  Меньший blur, чем в других методах  Недостаток: Ничего не известно про время работы 26 Marcelo Bertalmio, ―Strong-Continuation, Contrast-Invariant Inpainting With a Third-Order Optimal PDE‖, IEEE transaction on image processing, 2006
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Inpainting with third-order optimal PDE  Методы композиции блоков  Еxemplar-based inpainting  Belief propagation for inpainting  Оптимизации  Свой алгоритм  Результаты тестирования 27
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Exemplar-based inpainting Актуальность:  Методы, основан- ные на PDE (partial differential equations), не восстанавливают текстуру  Из-за диффузии они склонны к размытию 28 A. Criminisi*, P. P ́rez and K. Toyama, ―Region Filling and Object Removal by Exemplar-Based Image Inpainting‖, IEEE transaction on image processing, 2004
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Exemplar-based inpainting Идея  Идея: использовать самоподобие в текстурах изображения  Можно восстанавливать значение точки из точек со схожей окрестностью  Очень долгое время работы  Не восстанавливаются области, где много структуры  Решение: восстанавливать изображение целыми блоками 29 A. Criminisi*, P. P ́rez and K. Toyama, ―Region Filling and Object Removal by Exemplar-Based Image Inpainting‖, IEEE transaction on image processing, 2004
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Exemplar-based inpainting Идея  Покроем область блоками  Приоритет определяет порядок восстановления — количество известных в окрестности пикселей — общее число пикселей в окрестности — функция изображения — единичная нормаль к границе Таким образом, можно использовать и самоподобие линий 30 Priority = N S jr? I ¢ ~nj N S I ~n A. Criminisi*, P. P ́rez and K. Toyama, ―Region Filling and Object Removal by Exemplar-Based Image Inpainting‖, IEEE transaction on image processing, 2004
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат 1 31 Тестовое изображение и результат A. Criminisi*, P. P ́rez and K. Toyama, ―Region Filling and Object Removal by Exemplar-Based Image Inpainting‖, IEEE transaction on image processing, 2004
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат 2 32 Тестовое изображение и результат A. Criminisi*, P. P ́rez and K. Toyama, ―Region Filling and Object Removal by Exemplar-Based Image Inpainting‖, IEEE transaction on image processing, 2004
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Inpainting with third-order optimal PDE  Методы композиции блоков  Exemplar-based inpainting  Вelief propagation for inpainting  Оптимизации  Свой алгоритм  Результаты тестирования 33
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальный подход  Идея: оптимизировать систему соответствий ―блок области — образец‖ сразу для всех пар  Можно найти максимальное правдоподобие  Возможные алгоритмы:  Expectation Minimization  Belief Propagation 34 Nikos Komodakis and Georgios Tziritas, ―Image Completion Using Efficient Belief Propagation Via Priority Scheduling and Dynamic Pruning‖, IEEE transaction on image processing, 2007
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Belief Propagation Общая задача Классический алгоритм: 1. Пусть есть ациклический граф, в котором каждая вершина может принимать одно из k состояний 2. Известны вероятности : для вершины x принять состояние k и — совместное распределение на х и y 35 Nikos Komodakis and Georgios Tziritas, ―Image Completion Using Efficient Belief Propagation Via Priority Scheduling and Dynamic Pruning‖, IEEE transaction on image processing, 2007 Ã(xk; yq) Á(xk)
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Belief Propagation Общая задача Классический алгоритм: 3. Максимизируем функцию правдоподобия — множество ребер графа — совместного распределения на две вершины — вероятностного распределения на одну вершину — правдоподобие — состояние вершины i Можно решить как задачу динамического программирования в силу ацикличности. При этом перерасчет значений динамической матрицы называется передачей сообщений. 36 Nikos Komodakis and Georgios Tziritas, ―Image Completion Using Efficient Belief Propagation Via Priority Scheduling and Dynamic Pruning‖, IEEE transaction on image processing, 2007 max P = ¡min [log P] = min x1;:::;xn 2 4 nX i=1 Ái(xi) + X fk;jg2E Ãj;k(xj; xk) 3 5 E (¡log) (¡log) P Ãj;k(xj;xk) Ái(xi) xi
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Belief Propagation Формулировка для inpainting  Покроем область сетью пересекающихся блоков. Блоки — это вершины графа, перекрытия задают ребра  Норма перекрытия двух блоков, или блока и начального приближения задает вероятности  Граф не ациклический, но можно рассчитывать на хороший локальный минимум  Алгоритм квадратично зависит от количества состояний. Что делает невозможным использование алгоритма Решения:  Priority message scheduling  Dynamic prunning — ширина и высота блока — ширина и высота перекрытия — изображение и восстанавливаемая область 37 Nikos Komodakis and Georgios Tziritas, ―Image Completion Using Efficient Belief Propagation Via Priority Scheduling and Dynamic Pruning‖, IEEE transaction on image processing, 2007 h; w gapx;gapy S; ¿
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Belief Propagation Методы оптимизации Итеративно будем выполнять алгоритм, как для ациклического графа  Dynamic prunning — будем хранить только наиболее вероятные состояния  Priority message scheduling — будем выполнять передачу сообщений от вершин с наименьшим числом состояний При этом такими вершинами оказываются блоки на границах объектов. Их определенность выше 38 Nikos Komodakis and Georgios Tziritas, ―Image Completion Using Efficient Belief Propagation Via Priority Scheduling and Dynamic Pruning‖, IEEE transaction on image processing, 2007
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат 1 39 Originals Restoration order (Blacks are earlier) Results Nikos Komodakis and Georgios Tziritas, ―Image Completion Using Efficient Belief Propagation Via Priority Scheduling and Dynamic Pruning‖, IEEE transaction on image processing, 2007
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат 2 40 Originals Restoration order (Blacks are earlier) Results Nikos Komodakis and Georgios Tziritas, ―Image Completion Using Efficient Belief Propagation Via Priority Scheduling and Dynamic Pruning‖, IEEE transaction on image processing, 2007
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Belief Propagation (1)  Для изображений 256*170 От нескольких секунд до двух минут, в зависимости от параметров и скорости сходимости  Для моих тестов ~ 1000*800 От десяти до двадцати минут Впрочем, я связался с автором реализации (не автор статьи). И он с моей подачи нашел в ней ошибки. Так что результаты пока не в счет. 41 Nikos Komodakis and Georgios Tziritas, ―Image Completion Using Efficient Belief Propagation Via Priority Scheduling and Dynamic Pruning‖, IEEE transaction on image processing, 2007
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Belief Propagation (2)  Достоинство: Более высокое качество, чем у просто exemplar-based методов  Недостаток: Долгое время работы 42 Nikos Komodakis and Georgios Tziritas, ―Image Completion Using Efficient Belief Propagation Via Priority Scheduling and Dynamic Pruning‖, IEEE transaction on image processing, 2007
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Inpainting with third-order optimal PDE  Методы композиции блоков  Оптимизации  Seamless block matching  Blocks deformation leading by feature-map  Свой алгоритм  Результаты тестирования 43
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Методы оптимизации Качество  Расширять базу поиска за счет поворотов и отражений  Копировать только высокие частоты (восстанавливать освещение отдельно)  Использовать дополнительно карту краев при сравнении блоков  Соединять блоки по линии минимального разреза  Применять к блокам деформации по завершении работы алгоритма 44
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Методы оптимизации Время  Использовать при поиске блоки-кандидаты  Выполнять поиск наилучшего блока в пространстве частот  Спроектировать окрестности блоков в пространство меньшей размерности (метод главных компонент)  Работать в разных разрешениях, от низкого к высокому 45
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Inpainting with third-order optimal PDE  Методы композиции блоков  Оптимизации  Seamless block matching  Blocks deformation leading by feature map  Свой алгоритм  Результаты тестирования 46
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Произвольные блоки Алгоритм: по области пересечения блоков найдем минимальный путь. Он будет границей между ними Задача может быть решена методами динамического программирования 47Alexei Efros, William Freeman, ―Image quilting for texture synthesis and transfer‖, siggraph, 2001 Random copying Searching for the best sample Image quilting
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Inpainting with third-order optimal PDE  Методы композиции блоков  Оптимизации  Seamless block matching  Blocks deformation leading by feature map  Свой алгоритм  Результаты тестирования 48
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature map Актуальность: Даже при блоках произвольной формы важные текстурные линии могут не совпадать Решение: Преобразуем блоки, используя карту линий, так, чтобы линии на карте совпали Кроме того, можно учитывать соответствие карт при поиске наилучшего блока 49Qing Wu, Yizhou Yu, ―Feature matching and deformation for texture synthesis‖, ACM Transactions on Graphics, 2004
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature map Построение Построим по изображению карту линий (feature map): 1. Применим к изображению билатеральную фильтрацию (Параметры — Spatial : 2.0, Color : 10.0) 2. Отсечение по глобальному порогу Многие ребра распадутся на кусочки 3. Используя полученную на прошлом шаге карту выполним для градиентов адаптивное отсечение по порогу. Таким образом мы восстановим непрерывность карты 4. Выполним сужение линий (Pavlidis, T. 1982. Algorithms for Graphics and Image Processing. Computer Science Press) Линии будут иметь толщину в один пиксель, но не потеряется связность 50Qing Wu, Yizhou Yu, ―Feature matching and deformation for texture synthesis‖, ACM Transactions on Graphics, 2004 ¾ ¾
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature map Примеры 51Qing Wu, Yizhou Yu, ―Feature matching and deformation for texture synthesis‖, ACM Transactions on Graphics, 2004 Originals Feature-map
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature matching  Вычислим feature map для каждого из перекрывающихся блоков  Найдем для каждой линии одного блока наилучшее соответствие среди линий другого – множество касательных к двум линиям – весовой коэффициент – множество точек двух линий Время – линейное от количества пикселей в карте (Level set method, Sethian, 1999) 52Qing Wu, Yizhou Yu, ―Feature matching and deformation for texture synthesis‖, ACM Transactions on Graphics, 2004 gdist(fi; fj) = kfi ¡ fjk2 + ¿kvi ¡ vjk2 vi;vj ¿ fi; fj
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature deformation  Преобразуем блоки так, чтобы линии совпали  Thin-plate splines (Meinguet 1979; Turk and O’Brien 1999)  Решение оптимально, но может не существовать  Shepard’s method (Hoschek and Lasser 1993) Чтобы деформации не накапливались, потребуем также неизменности противоположного пересечению угла 53Qing Wu, Yizhou Yu, ―Feature matching and deformation for texture synthesis‖, ACM Transactions on Graphics, 2004
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature map Сравнение 54 Блоки дополнительно деформировались после Graphcut Qing Wu, Yizhou Yu, ―Feature matching and deformation for texture synthesis‖, ACM Transactions on Graphics, 2004 Input Feature map Graphcut Quiltiing Texton mask
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Inpainting with third-order optimal PDE  Методы композиции блоков  Оптимизации  Свой алгоритм  Результаты тестирования 55
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Свой алгоритм 1. Разложить изображение на текстуру и структуру 2. Восстановить структуру, решив соответствующее уравнение в частных производных 3. Восстановить текстуру, используя в качестве начального приближения полученное на прошлом шаге изображение 4. Коррекция границ блоков 56
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Inpainting with third-order optimal PDE  Методы композиции блоков  Оптимизации  Свой алгоритм  Результаты тестирования 57
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  График значений PSNR 58 artificial bigbuilding bigtree bridge cathedral deer fireworks flowerfoveon hdr leaves nightshot spiderweb zoneplate BP Photoshop Exemplar-based Diffusion Msu Resynthesizer Microsoft Navier-Stokes Telea
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  График значений SSIM 59 artificial bigbuilding bigtree bridge cathedral deer fireworks flowerfoveon hdr leaves nightshot spiderweb zoneplate BP Photoshop Exemplar-based Diffusion Msu Resynthesizer Microsoft Navier-Stokes Telea
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Таблицы значений PSNR и SSIM 60 PSNR SSIM Синим и зеленым отмечены первый и второй результат по тесту
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Microsoft (smart erase) 13 61
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Telea method (OpenCV) 62 http://www.imagecompression.info/test_images/
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Diffusion (gmic) 9 63
  64. 64. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Exemplar-based (Exinpaint) 7 64
  65. 65. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. Marcello Bertalmio, Guillermo Sapiro, Vicent Caselles, Coloma Ballester, ―Image inpainting‖, siggraph 2000 2. Jean–Luc Starck, Michael Elad, David Donoho, ―Image decomposition via the combination of sparse representation and variational approach‖, IEEE transactions on image processing 2005 3. Nikos Comodakis, Georgios Tziritas, ―Image completion using efficient Belief Propagation via priority scheduling and dynamic prunning‖, IEEE transactions on image processing 2007 4. Vivek Katra, Amo Schodl, irfan Essa, Greg Turk, Aaron Bobick, ―Graphcut textures: Image and video synthesis using Graph Cut‖, siggraph 2003 5. Jianbing Shen, Xiaogang Jin, Chuan Zhou, Charlie Wang, ―Gradient–based image completion by solving the Poisson equation‖, Computers & graphics 2007 6. Qing Wu, Yizhou Yu, ―Feature matching and deformation for texture synthesis‖, ACM transactions on graphics 2004 7. Sylvain Lefebvre, Hugues Hoppe, ―Appearance–space texture synthesis‖, ACM transactions on graphics 2006 8. Marie–Flavie Auclair–Fortier, Djemel Ziou, ―Global aproach for solving evolutive heat transfer for image denoising and inpainting‖, IEEE transactions on image processing 2006 9. David Tschumperle, ―Fast Anisotropic Smoothing of Multi-Valued Images using Curvature-Preserving PDE’s‖, International journal of computer vision 2006 10. Antoni Buades, Triet Le, Jean-Michel Morel, and Luminita Vese, ―Fast Cartoon + Texture Image Filters‖, IEEE transactions on image processing 2010 65
  66. 66. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 11. Isik Baris Fidaner, ―A survey on variational image inpainting, texture synthesis and image completion‖ 2008. 12. Alexei Efros and Thomas Leung, ―Texture synthesis by non–parametrical samplings‖, seventh international conference on computer vision 1999. 13. Vivek Kwatra, Irfan Essa, Aaron Bobick, Nipun Kwatra, ―Texture optimization for example–based synthesis‖ 2005. 14. Marcelo Bertalmio, ―Strong–Continuation, Contrast–invariant Inpainting with third–order optimal PDE‖, IEEE transactions on image processing 2006 15. Marcello Bertalmio, Luminita Vesse, Guillermo Sapiro, Stanley Osher, ―Simultaneous structure and texture image inpainting‖, IEEE transactions on image processing 2003 16. Criminisi, Perez, Toyama, ―Region filling and object removal by exemplar–based image inpainting‖ IEEE transactions on image processing 2004. 17. Frederic Cao, Yann Gousseau, Simon Masnou, Patrick Perez, ―Geometrically guided exemplar–based inpainting‖, SIAM journal on imaging sciences 2011 18. Patrick Perez, Michel Gangnet, Andrew Blake, ―Poisson image editing‖, siggraph 2003 19. Sylvain Lefebvre, Hugues Hoppe, ―Parallel controllable texture synthesis‖, ACM transactions on graphics 2005 20. Alexei Efros, William Freeman, ―Image quilting for texture synthesis and transfer‖, siggraph 2001 66
  67. 67. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищено 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 67

×