Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Обзор методов
стабилизации видео
Максим Колиниченко
Video Group
CS MSU Graphics & Media Lab
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Сглаживание т...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Постановка задачи
Движение в кадре:
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Аппаратная стабилизация
Стабилизаторы...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Аппаратная стабилизация
Оптический ст...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Аппаратная стабилизация
Подвижная мат...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Около 40% пикселей на матрице
не учас...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Программная стабилизация
Основные эта...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Сглаживание т...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Сглаживание траектории
Задача:
1. Опр...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Традиционный подход

11
Y. Matsushit...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результат
12

Y. Matsushita, E. Ofek...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Выводы
Достоинства:
 Траектория стан...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Сглаживание т...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Идея алгоритма
15
M. Grundmann, V. Kw...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Задача
16

M. Grundmann, V....
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
 Вложенность. Новый кадр
должен цели...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Минимизация производных
18
M...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Параметризация
19
M. Grundma...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Линейное программирование
20...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
Весовые коэффициенты
21
M. G...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
22
M. Grundmann, V. Kwatra...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Видео
23
M. Grundmann, V. ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Реализация
24
M. Grundmann, V. Kwatra...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Сглаживание т...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Удаление motion blur
26
 Проблема: п...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Мера размытия
27

Y. Matsushita, E. ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Весовой коэффициент
28
Y. Matsushit...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результат
29
Оригинал Результат
Y. Ma...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Сглаживание т...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Восстановление ядра
31
J.-F. Cai, H. ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм
32
J.-F. Cai, H. Ji, C. Liu,...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Ограничения на ядро
33
J.-F. Cai, H. ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Метод решения
34
J.-F. Cai, H. Ji, C....
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Сглаживание т...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Задача
36
При серьезном дрожании обла...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Сглаживание т...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Motion inpainting
38

Y. Matsushita,...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Алгоритм
Начальное заполнение
39
Y....
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Алгоритм
Приоритеты кадров
40
Y. Ma...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Алгоритм
Заполнение движением
41
Y....
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Алгоритм
Весовые коэффициенты
42
Y....
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Алгоритм
Заполнение цветом
43
Y. Ma...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Вход
Результаты (1)
44
Выход Оригинал...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Вход
Результаты (2)
45
Выход Оригинал...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Достоинство:
 Универсальный. Примени...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Видео (1)
47
Оригинал Резу...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Видео (2)
48
Оригинал Резу...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Общая скорость – 2.2 fps @ Pentium4 @...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Сглаживание т...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Space-time completion
51
Y. Wexler,...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Мера согласованности
52
Y. Wexler, ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Мера похожести
53
Y. Wexler, E. She...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Заполнение
54
Y. Wexler, E. Shechtm...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Оптимизация алгоритма
55
Y. Wexler,...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (1)
56
Y. Wexler, E. Shech...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (2)
57
Y. Wexler, E. Shech...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Видео
58
Y. Wexler, E. She...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Достоинства:
 Универсальность. Можно...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Сглаживание т...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Заключение
В ходе рассмотрения этапов...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Литература
1. Y. Matsushita, E. Ofek,...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Лаборатория компьютерной
графики и му...
Upcoming SlideShare
Loading in …5
×

Обзор методов стабилизации видео

583 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Обзор методов стабилизации видео

  1. 1. Обзор методов стабилизации видео Максим Колиниченко Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Сглаживание траектории  Удаление motion blur  Video completion  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Постановка задачи Движение в кадре:  Движение объектов  Намеренное движение камеры  Случайное движение камеры (дрожание) Задача – удаление дрожания Методы:  Аппаратная стабилизация (во время съемки)  Программная стабилизация (постобработка) 3
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Аппаратная стабилизация Стабилизаторы:  Оптические  С подвижной матрицей  Цифровые Во всех случаях перемещения камеры фиксируются акселерометром 4
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Аппаратная стабилизация Оптический стабилизатор 5 Система подвижных линз. При малых колебаниях обеспечивает неподвижность проекции изображения на матрицу Единственный способ стабилизации для пленочных камер http://pz-rec.ru/userfiles/article_img/opticheskiy_stabilizator.jpg
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Аппаратная стабилизация Подвижная матрица Матрица закреплена на подвижной платформе Стабилизация работает с любой оптикой 6http://rix.com.ua/sm/site/fileslibrary/2009_rew_aut/fototechnika/ pentax_k10d_stab.jpg
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Около 40% пикселей на матрице не участвуют в формировании изображения Самый дешевый способ стабилизации Аппаратная стабилизация Цифровая стабилизация 7http://photogid.com.ua/upload-files/canon5d/matrix-Canon-EOS- 5D-Mark-II.jpg
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Программная стабилизация Основные этапы  Сглаживание траектории камеры  Удаление motion blur  Формирование новых кадров  Обрезка изображений  Заполнение пустых областей 8 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Сглаживание траектории  Традиционный подход  Optimal Camera Path  Удаление motion blur  Video completion  Заключение 9
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сглаживание траектории Задача: 1. Определить траекторию движения камеры 2. Построить новую траекторию, сохраняющую плавные намеренные движения камеры, и устранить дрожание 10
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Традиционный подход  11 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат 12  Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства:  Траектория становится более гладкой, подавляются высокочастотные колебания  Сохраняется направление намеренного движения Недостатки:  Низкочастотные колебания (шагающий человек) сохраняются  Съемка все равно отличается от профессиональной 13 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Сглаживание траектории  Традиционный подход  Optimal Camera Path  Удаление motion blur  Video completion  Заключение 14
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Идея алгоритма 15 M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011 Заменить траекторию камеры на ту, которая содержит только участки с постоянной координатой, скоростью или ускорением
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Задача 16  M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Вложенность. Новый кадр должен целиком содержаться в старом. Гарантируем корректность всех пикселей нового кадра  Приближение. Новая траектория должна сохранять основное направление оригинальной Алгоритм Ограничения 17 M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Минимизация производных 18 M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011 
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Параметризация 19 M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011 
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Линейное программирование 20 M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011 Сформулируем усиленную задачу линейного программирования Задача решается симплекс-методом
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Весовые коэффициенты 21 M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011 
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты 22 M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011  Траектория соответствует кинематографическим принципам  Гибкий алгоритм. Добавляя и убирая ограничения, можем управлять его поведением
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Видео 23 M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011 РезультатОригинал
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Реализация 24 M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011  http://youtube.com/editor – online реализация стабилизатора  Работает в реальном времени  Один параметр – размер нового кадра
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Сглаживание траектории  Удаление motion blur  Motion Deblurring  Dual-Frame Deblurring  Video completion  Заключение 25
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Удаление motion blur 26  Проблема: при стабилизации меняется траектория движения камеры. Motion blur, связанный со старым движением, смотрится неестественно  Идея: заменить размытые пиксели относительно более четкими из соседних кадров Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Мера размытия 27  Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Весовой коэффициент 28 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат 29 Оригинал Результат Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Сглаживание траектории  Удаление motion blur  Motion Deblurring  Dual-Frame Deblurring  Video completion  Заключение 30
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Восстановление ядра 31 J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based motion deblurring from an image pair", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009 
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм 32 J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based motion deblurring from an image pair", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009 
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ограничения на ядро 33 J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based motion deblurring from an image pair", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009 Природа motion blur: несколько точек реального изображения формируют пиксель Ядро размытия отражает кривую – траекторию, проходимую камерой за время выдержки Наложим ограничения, чтобы уменьшить неоднозначность решения:  Ядро – разреженная матрица  Кривая, отражаемая в ядре, должна быть неразрывной
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод решения 34 J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based motion deblurring from an image pair", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009 Авторы используют систему curvelet’ов, которая дает максимально разреженное представление ядра РезультатОригинальная пара изображений
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Сглаживание траектории  Удаление motion blur  Video completion  Заключение 35
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Задача 36 При серьезном дрожании область общего перекрытия становится маленькой Задача – качественно заполнить неизвестные области информацией из прошлых кадров
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Сглаживание траектории  Удаление motion blur  Video completion  Motion inpainting  Space-time completion  Заключение 37
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Motion inpainting 38  Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Алгоритм Начальное заполнение 39 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Алгоритм Приоритеты кадров 40 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Алгоритм Заполнение движением 41 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Алгоритм Весовые коэффициенты 42 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Алгоритм Заполнение цветом 43 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Вход Результаты (1) 44 Выход Оригинал Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Вход Результаты (2) 45 Выход Оригинал Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Достоинство:  Универсальный. Применим для удаления объектов, логотипов, надписей Недостаток:  Сильно зависит от ошибки определения движения Выводы 46 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Видео (1) 47 Оригинал Результат Заполнение Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Видео (2) 48 Оригинал Результат Заполнение Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Общая скорость – 2.2 fps @ Pentium4 @ 2.2 ГГц Разрешение видео – 720х486, k = 6 Скорость работы 49 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Сглаживание траектории  Удаление motion blur  Video completion  Motion inpainting  Space-time completion  Заключение 50
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Space-time completion 51 Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Мера согласованности 52 Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Мера похожести 53 Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Заполнение 54 Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Оптимизация алгоритма 55 Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (1) 56 Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004 Оригинал Результат
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (2) 57 Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Видео 58 Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004 ОригиналРезультат
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Достоинства:  Универсальность. Можно удалять целые кадры из последовательности  Качественное восстановление даже при быстром движении Недостатки:  Низкая скорость на больших зонах заполнения Выводы 59 Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Сглаживание траектории  Удаление motion blur  Video completion  Заключение 60
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение В ходе рассмотрения этапов программной стабилизации приводились алгоритмы:  Сглаживание траектории, удаление motion blur, motion inpainting, составляющие полноценный стабилизатор  Optimal Camera Path – элемент стабилизатора из видеоредактора YouTube  Space-time completion, потенциально – замена motion inpainting  Dual-frame Deblurring, как альтернативный вариант удаления motion blur 61
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005. 2. M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011. 3. J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based motion deblurring from an image pair", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009. 4. Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. 62
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищено 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 63

×