Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Обработка областей открытия
при распространении
карт глубины
Сергей Матюнин
CS MSU Graphics & Media Lab
Video group
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Совместный по...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Распространение глубины
Исходное виде...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Распространение глубины
Карта глубины...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Распространение глубины
Пример работы...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Распространение глубины
Основная проб...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Распространение глубины
Причина «зате...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Распространение глубины
Направления у...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Области открытия
Опорный кадр
9
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Области открытия
Текущий кадр
10
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Области открытия
Поток с областями от...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Области открытия
Обратный поток с обл...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оптический поток
В ~60 раз медленнее
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Совместный по...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Встроенное обнаружение
областей откры...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Поиск областей открытия
(1/2)
16P. Sa...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Поиск областей открытия
(2/2)
17P. Sa...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Модификация оценки OF
18P. Sand, S. T...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Фильтрация OF
19P. Sand, S. Teller, “...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Фильтрация OF
Ускорение
20P. Sand, S....
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Кадр 1
21P. Sand, S. Telle...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Кадр 2
22P. Sand, S. Telle...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Из статьи (40,53 с)
23P. S...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Наши (13,74 с)
24P. Sand, ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Тема статьи –
построение траекторий ч...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Совместный по...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Классификатор
для областей открытия
2...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Решающий лес
28
http://en.wikipedia.o...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Признак по границам
объектов
29A. Hum...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Признак по постоянству
цвета
30A. Hum...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Области открытия
Постоянство текстуры...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Области открытия
Постоянство текстуры...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Области открытия
Постоянство текстуры...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Признаки по потоку
Направление вектор...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Признаки по потоку
Длина векторов
35A...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Относительное движение
36A. Humayun, ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Другие признаки
37A. Humayun, O. M. A...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обучение
38A. Humayun, O. M. Aodha, G...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (1/2)
39A. Humayun, O. M. ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (1/2)
40A. Humayun, O. M. ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (2/2)
41A. Humayun, O. M. ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (2/2)
42A. Humayun, O. M. ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Обучение
43A. Humayun, O. M. Aodha, G...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Сокращенный набор
признаков
44A. Huma...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты сокращения
набора признако...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты сокращения
набора признако...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты сокращения
набора признако...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты сокращения
набора признако...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Совместный по...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Поиск границ объектов
Исходное изобра...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Поиск границ объектов
Желаемая карта ...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Поиск границ объектов
Разность с сосе...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Поиск границ объектов
Градиент по тек...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Поиск границ объектов
Градиент по тек...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Поиск границ объектов
Градиент по дви...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Градиент по движению
Исходный кадр
56...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Градиент по движению
Межкадровая разн...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Градиент по движению
Результат
58P. S...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Поиск границ объектов
Ключевые компон...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Использование
оптического потока (1/2...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Использование
оптического потока (2/2...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Поиск границ объектов
Итоговая формул...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Поиск границ объектов
Итоговая формул...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (1/2)
Исходное изображение...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (1/2)
Без оптического пото...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (1/2)
С оптическим потоком...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (1/2)
Сегментация объект/ф...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (2/2)
Исходное изображение...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (2/2)
Без оптического пото...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (2/2)
С оптическим потоком...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (2/2)
Сегментация объект/ф...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Совместный по...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Заключение
73
 Поиск областей открыт...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Применение
к распространению глубины
...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Литература
1. T. Brox, “From pixels t...
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Лаборатория компьютерной
графики и му...
Upcoming SlideShare
Loading in …5
×

Обработка областей открытия при распространении карт глубины

395 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Обработка областей открытия при распространении карт глубины

  1. 1. Обработка областей открытия при распространении карт глубины Сергей Матюнин CS MSU Graphics & Media Lab Video group
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Совместный поиск областей открытия и OF  Использование машинного обучения  Выделение границ объектов  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Распространение глубины Исходное видео 3
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Распространение глубины Карта глубины 4
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Распространение глубины Пример работы 5
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Распространение глубины Основная проблема – «затекания» 6 Исходное видео Полученная глубина
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Распространение глубины Причина «затеканий» 7С. Гришин, “Программная система для преобразования частоты кадров цифровых видео сигналов,” 2009
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Распространение глубины Направления улучшения 8  Двухстороннее распространение с учетом меры доверия  Обработка областей открытия  Отслеживание объектов
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Области открытия Опорный кадр 9
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Области открытия Текущий кадр 10
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Области открытия Поток с областями открытия 11
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Области открытия Обратный поток с областями открытия 12
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оптический поток В ~60 раз медленнее 13A. Ayvaci, M. Raptis and S. Soatto, “Sparse Occlusion Detection with Optical Flow,” IJCV, 2011
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Совместный поиск областей открытия и OF  Использование машинного обучения  Выделение границ объектов  Заключение 14
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Встроенное обнаружение областей открытия 15P. Sand, S. Teller, “Particle Video: Long-Range Motion Estimation using Point Trajectories,” CVPR, 2006  Стандартные подходы:  ограничение на гладкость  постобработка  Предлагаемая схема:  устойчивый OF (пирамидальный алгоритм)  поиск областей открытия (закрытия)  улучшение границ OF билатеральным сглаживанием с учетом областей открытия
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск областей открытия (1/2) 16P. Sand, S. Teller, “Particle Video: Long-Range Motion Estimation using Point Trajectories,” CVPR, 2006 Дивергенция потока: Выбираем области закрытия:
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск областей открытия (2/2) 17P. Sand, S. Teller, “Particle Video: Long-Range Motion Estimation using Point Trajectories,” CVPR, 2006 Межкадровая разность: Объединение критериев: – функция плотности нормального распределения Из экспериментов:
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Модификация оценки OF 18P. Sand, S. Teller, “Particle Video: Long-Range Motion Estimation using Point Trajectories,” CVPR, 2006 Базовый метод: T. Brox et al., “High accuracy optical flow estimation based on a theory for warping,” ECCV, 2004.
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Фильтрация OF 19P. Sand, S. Teller, “Particle Video: Long-Range Motion Estimation using Point Trajectories,” CVPR, 2006 Радиус фильтрации = 10
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Фильтрация OF Ускорение 20P. Sand, S. Teller, “Particle Video: Long-Range Motion Estimation using Point Trajectories,” CVPR, 2006  Модуль градиента потока:  Сглаживание по Гауссу,  Сглаживание потока применяется там, где усредненное значение
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Кадр 1 21P. Sand, S. Teller, “Particle Video: Long-Range Motion Estimation using Point Trajectories,” CVPR, 2006
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Кадр 2 22P. Sand, S. Teller, “Particle Video: Long-Range Motion Estimation using Point Trajectories,” CVPR, 2006
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Из статьи (40,53 с) 23P. Sand, S. Teller, “Particle Video: Long-Range Motion Estimation using Point Trajectories,” CVPR, 2006
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Наши (13,74 с) 24P. Sand, S. Teller, “Particle Video: Long-Range Motion Estimation using Point Trajectories,” CVPR, 2006
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Тема статьи – построение траекторий частиц 25P. Sand, S. Teller, “Particle Video: Long-Range Motion Estimation using Point Trajectories,” CVPR, 2006
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Совместный поиск областей открытия и OF  Использование машинного обучения  Выделение границ объектов  Заключение 26
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Классификатор для областей открытия 27A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011  Задача классификации для областей открытия – длина вектора признаков – размер обучающей базы  Random forest (решающий лес)
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Решающий лес 28 http://en.wikipedia.org/wiki/Decision_tree_learning Набор решающих деревьев Итоговое решение – результат голосования
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Признак по границам объектов 29A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011 Области открытия расположены вблизи границ объектов  Canny edge detector  – текущий пиксель – уровень разрешения изображения
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Признак по постоянству цвета 30A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011 Межкадровая разность по скомпенсированным кадрам:  – интерполяция для дробных сдвигов За границами кадра – большие значения
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Области открытия Постоянство текстуры (1/3) 31A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011 и – результат действия текстурных фильтров – среднее, – дисперсия в окрестности
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Области открытия Постоянство текстуры (2/3) 32A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011 Пример текстурных фильтров:
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Области открытия Постоянство текстуры (3/3) 33A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011 Расстояние Махаланобиса: – дисперсия по и
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Признаки по потоку Направление векторов 34A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011  и – медианы компонент потока по набору алгоритмов OF (4 алгоритма)  Дисперсия направления потока в окне
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Признаки по потоку Длина векторов 35A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011 Среднее оценивается в окне Признаки на основе дисперсии длины и направления векторов считаются также по каждому из алгоритмов
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Относительное движение 36A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011 Время «столкновения» противоположных пикселей
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Другие признаки 37A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011  Медиана потока по суперпикселям (сегментация по яркости)  LRC (Left-Right Consistency) – поток в обратном направлении  LRC по углу
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обучение 38A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011 ED – близость к границам Pb – близость к границам (другие детекторы границ) PC – межкадровая разность ST – пространственные текстуры STM – пространственные текстуры (Махалонобис) TG – градиенты медианы потока по алгоритмам AV – дисперсия угла LV – дисперсия длинны векторов SC – скорость «сближения» RC – LRC RA – LRC по углу FCi – набор метрик оптического потока FA – дисперсия угла по алгоритмам FN – дисперсия длины векторов по алгоритмам SP – градиенты потока между суперпикселями
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (1/2) 39A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (1/2) 40A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (2/2) 41A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (2/2) 42A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обучение 43A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011 ED – близость к границам Pb – близость к границам (другие детекторы границ) PC – межкадровая разность ST – пространственные текстуры STM – пространственные текстуры (Махалонобис) TG – градиенты медианы потока по алгоритмам AV – дисперсия угла LV – дисперсия длинны векторов SC – скорость «сближения» RC – LRC RA – LRC по углу FCi – набор метрик оптического потока FA – дисперсия угла по алгоритмам FN – дисперсия длины векторов по алгоритмам SP – градиенты потока между суперпикселями
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сокращенный набор признаков 44A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011  Только «быстрые» признаки (<2 минут)  Время обучения: 54  24 минуты (для 13-ти последовательностей)  Обработка: 124  1.3 минуты
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты сокращения набора признаков (1/2) 45A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты сокращения набора признаков (1/2) 46A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты сокращения набора признаков (2/2) 47A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты сокращения набора признаков (2/2) 48A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Совместный поиск областей открытия и OF  Использование машинного обучения  Выделение границ объектов  Заключение 49
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск границ объектов Исходное изображение 50P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск границ объектов Желаемая карта границ 51P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск границ объектов Разность с соседними кадрами 52P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011 t–1 t+1t
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск границ объектов Градиент по текстуре (1/2) 53P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011 
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск границ объектов Градиент по текстуре (2/2) 54P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011 
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск границ объектов Градиент по движению 55P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011 и – применение к и Удаляем повторные границы: Используем как дополнительную информацию
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Градиент по движению Исходный кадр 56P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Градиент по движению Межкадровая разность 57P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Градиент по движению Результат 58P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск границ объектов Ключевые компоненты 59P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011  Предположения о границах  пространственные  цвет  яркость  текстура  из движения  Данные оптического потока  сравнение движения по разные стороны от границ Взвешенная карта границ
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Использование оптического потока (1/2) 60P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011 – точка границы – соседняя область – область текущей точки =1, если текущая точка внутренняя (вблизи нет границ), иначе – 0
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Использование оптического потока (2/2) 61P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011 Наилучшее приближение потока: Поток по разные стороны от границы: Мера границы по оптическому потоку:
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск границ объектов Итоговая формула 62P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011 (подобран с помощью SVM) Дополнительно предлагаются:  разделение на связные объекты  сегментация объект/фон Предположения о границах Предположения о потоке
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск границ объектов Итоговая формула P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011 63 Precision Recall
  64. 64. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (1/2) Исходное изображение 64P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011
  65. 65. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (1/2) Без оптического потока 65P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011
  66. 66. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (1/2) С оптическим потоком 66P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011
  67. 67. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (1/2) Сегментация объект/фон 67P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011
  68. 68. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (2/2) Исходное изображение 68P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011
  69. 69. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (2/2) Без оптического потока 69P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011
  70. 70. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (2/2) С оптическим потоком 70P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011
  71. 71. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты (2/2) Сегментация объект/фон 71P. Sundberg et al., “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011
  72. 72. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Совместный поиск областей открытия и OF  Использование машинного обучения  Выделение границ объектов  Заключение 72
  73. 73. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение 73  Поиск областей открытия только по потоку ненадежен  Нужно  искать поток одновременно с областями открытия  учитывать пространственные признаки  использовать несколько признаков (машинное обучение?)  тестировать сегментацию объект/фон на стандартных базах  Глобальные оптимизационные методы поиска OF не такие медленные, как казалось (?)
  74. 74. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Применение к распространению глубины 74 Улучшение детектора областей открытия  Избавиться от ошибок типа False Positive Заполнять области открытия глубиной фона  Добавить пространственные признаки Заполнять приблизительные области открытия только из пространственной информации Вопросы?
  75. 75. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. T. Brox, “From pixels to regions: partial differential equations in image analysis,” PhD thesis, Faculty of Mathematics and CS, Saarland University, 2005 2. A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion Regions,” CVPR, 2011 3. P. Sand, S. Teller, “Particle Video: Long-Range Motion Estimation using Point Trajectories,” CVPR, 2006 4. T. Brox, A. Bruhn, N. Papenberg, J.Weickert, “High accuracy optical flow estimation based on a theory for warping,” ECCV, pages 25–36, 2004 5. P. Sundberg, T. Brox, M. Maire, P. Arbelaez, J. Malik, “Occlusion boundary detection and figure/ground assignment from optical flow,” CVPR, 2011 6. С. Гришин, “Программная система для преобразования частоты кадров цифровых видео сигналов,” 2009 75
  76. 76. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищены 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 76

×