Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Вычитание фона с использованием карт глубины

542 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Вычитание фона с использованием карт глубины

  1. 1. Вычитание фона с использованием карт глубины Максим Харенко Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Multi-modal background subtraction using Gaussian mixture models  Robust background subtraction for depth generation 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Multi-modal background subtraction using GMM  Описание задачи  GMM  Реализация  Сравнение результатов  Выводы 3 B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Описание задачи PMD-камера 2D/3D камера с PMD технологией, использующей ToF-принцип, выдает цветные изображения 640x480, а так же изображения с низким разрешением 64x48 глубины и амплитудной модуляции “www.duong-nguyen.webs.com/pmdtech.htm" 4 Амплитудная модуляция – изображение, показывающее сколько инфракрасного света было принято PMD-чипом
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Описание задачи Амплитудная модуляция B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 5 Исходное изображение Амплитудная модуляция
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Описание задачи Введение Требуется изолировать регионы, которые определяются движением переднего плана относительно неподвижного фона Для этого:  оценивается и сегментируется фон  сегментируются объекты переднего плана B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 6
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Описание задачи Введение Фон оценивается смесью нормальных распределений(GMM), работающей с данными из:  цветного изображения  карты глубины  амплитудной модуляции B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 7
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Описание задачи Введение Результаты, в виде отсегментированного переднего плана оцениваются по:  распознаванию и обработке теней  снижению количества блочных артефактов  верному определению движения B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 8
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Тени и шум  Блочные артефакты Описание задачи Введение B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 9
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  GMM  Все наблюдения о каждом пикселе в положении x = [x, y]T моделируются с помощью смеси гауссиан  Каждое наблюдение моделируется одной гауссианой, чьи матожидание и дисперсия адаптированы по времени  Наблюдение пикселя в момент времени t: 10 B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  11 Плотность распределения вероятности: – коэффициенты смешивания, – математическое ожидание – матрица ковариации B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 GMM
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  GMM Проблемы  Сколько нужно гауссиан для моделирования наблюдения? ограниченное количество гауссиан на пиксель  Какую гауссиану следует рассматривать в качестве фона? Минимальное число гауссиан с весами, сумма которых выше заданного порога, рассматриваются в качестве фона  Как адаптировать гауссианы с течением времени? “Multy-modal background substruction using gaussian mixture models" , Benjamin Langmann, Seyed E. Ghobadi, Klaus Hartmann, ZESS - Center for Sensor Systems, University of Siegen, Germany 12
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  GMM Адаптация гауссиан с течением времени   Сравнение происходит путем вычисления расстояния Махаланобиса на связанных гауссианах Nx - константа  Если похожие наблюдения уже были записаны, их гауссианы адаптируются с использованием данных нового наблюдения  В противном случае, новая гауссиана создается и добавляется к смеси B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 13 новое наблюдение s(х) похоже на уже моделируемое происходит из нового объекта шум
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  GMM Реализация  Наблюдение для пикселя задается как S (X) =  Разрешение глубины и амплитудной модуляции меняется в соответствии с разрешением цветного изображения, по методу ближайшего соседа  Дисперсии всех гауссиан сводятся к диагональному виду B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 14
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  GMM Обработка значений глубины Значения глубины считаются неправильными, если соответствующая амплитуда ниже заданного порога B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 15 Карта глубины
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  GMM Обработка значений глубины В таких случаях вводится мера и проверяющее условие где λz ∈ {0, 1}, λc ∈ {0, 1}, λa ∈ {0, 1} B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 16
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  GMM Связь между измерениями B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 17  Сопоставляющая функция учитывает факт, что наблюдения в трех измерениях практически являются зависимыми  Объект переднего плана отличается не только глубиной, но и цветом, и свойствами отражения  Слабое отражение объекта имеет влияние на измерения глубины  Низкий уровень освещенности ухудшает значения цветности
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  GMM Связь между измерениями B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 18 Связь между измерениями снижает:  уровень шума на маске переднего плана  количество ошибочных классификаций, связанных с тенями и блочными артефактами
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ограничения Из-за попиксельной обработки основанное на цвете GMM вычитание фона не может различить фон и передний план при схожести цветов B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 19
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Сравниваемый метод Описание GMM Стандартный метод, основанный на цвете (Stauffer and Grimson, 1999) Original GMMD Метод, основанный на цвете и глубине (Harville et al., 2001) GMMD without depth Метод авторов с параметрами λz = 0, λa = 0 GMMD Метод авторов, λz определяется зависимости от амплитудной модуляции для каждого пикселя MMGMM Метод авторов с параметрами λa =1 OpenCV GMM Метод авторов с постобработкой B. Langmann et al., "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 20
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 21
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 22
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 23
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 24
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 25
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 26
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты 27 Результаты recall/precision для первого и второго видео B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы  Достоинства  Снижена ошибочная классификация теней  Уменьшены повреждения натуральных границ переднего плана  Когда классификация по цвету не срабатывает, эти области заполняются частично  Недостатки  Блочность при использовании глубины  Проблемы при близких цветах фона и объекта B. Langmann S. E., Ghobadi, K. Hartmann, "Multi-modal background subtraction using Gaussian mixture models", IAPRS, Vol. XXXVIII, Part 3A, 2010 28
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Multi-modal background subtraction using Gaussian mixture models(GMM)  Robust background subtraction for depth generation 29
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Robust background subtraction for depth generation Два метода сегментации переднего плана основанные на background subtraction Цели:  Уменьшить вмешательство пользователя  Улучшить качество полученных карт глубин M. Schmeing, X. Jiang. Robust Background Subtraction for Depth Map Generation, Proceedings of 3D Stereo MEDIA 2009 30 Original frame
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Генерация карт глубин  При статической камере только движущиеся объекты меняют глубину  Карта глубины генерируется не для каждого кадра, а только для тех частей, где объекты меняют глубину M. Schmeing, X. Jiang. Robust Background Subtraction for Depth Map Generation, Proceedings of 3D Stereo MEDIA 2009 31 Segmented foreground
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  KLT KLT Tracker:  Автоматически выбирает особые точки на изображении  Оценивает их перемещение между кадрами http://visual.ipan.sztaki.hu/pivweb/node5.html 32
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Общий метод  KLT corner tracker распознает глобальное движения камеры  Для каждого кадра вычисляется преобразование  Кадр наносится на мозаику фона  Значение цвета каждого пикселя мозаики фона – медиана по каждому каналу M. Schmeing, X. Jiang. Robust Background Subtraction for Depth Map Generation, Proceedings of 3D Stereo MEDIA 2009 33
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Общий метод  Отделение фона от объекта: попиксельное расстояние Махаланобиса от входного кадра с фоновой мозаикой  Пиксель с цветовыми значениями (R,G,B) считается фоном если , получены из фоновой мозаики  Определяется бинарная маска M. Schmeing, X. Jiang. Robust Background Subtraction for Depth Map Generation, Proceedings of 3D Stereo MEDIA 2009 34
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Общий метод  Окончательная сегментация получается с использованием морфологических операций с n различными бинарными масками и соответствующих им n различных порогам  Связанные регионы идентифицируются и прослеживаются во всей последовательности M. Schmeing, X. Jiang. Robust Background Subtraction for Depth Map Generation, Proceedings of 3D Stereo MEDIA 2009 35
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ограничения  Алгоритм построен на следующих предположениях:  Фон занимает большую часть кадра  Движущиеся объекты отличны от фона  Движущиеся объекты статичны в <50% кадров  Максимум два объекта перекрываются одновременно  Алгоритм не рассчитан на изменения в освещении M. Schmeing, X. Jiang. Robust Background Subtraction for Depth Map Generation, Proceedings of 3D Stereo MEDIA 2009 36
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы  Достоинства  Возможность работы с движущейся камерой  Простота  Недостатки  Пользователь должен вручную определить параметр n и пороги  Проблемы при близких цветах фона и объекта 37
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод авторов  Статическая камера  Фон определяется, если он встречается во времени хотя бы раз  Один параметр: фон детализированный или грубый  Noise-free сегментация M. Schmeing, X. Jiang. Robust Background Subtraction for Depth Map Generation, Proceedings of 3D Stereo MEDIA 2009 38
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Для заданных размеров кадра, пикселя , определим сегментацию как:  Для хорошей сегментации необходимы два свойства:  E1: чем более вероятно р описывает передний план, тем больше вероятность  E2: низкий “средний локальный контраст” Метод авторов Функция энергии M. Schmeing, X. Jiang. Robust Background Subtraction for Depth Map Generation, Proceedings of 3D Stereo MEDIA 2009 39
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод авторов Функция энергии  Для каждого пикселя определяется где – значение цвета пикселя в кадре – значение цвета пикселя фона – константа  Вероятность фона в пикселе M. Schmeing, X. Jiang. Robust Background Subtraction for Depth Map Generation, Proceedings of 3D Stereo MEDIA 2009 40
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод авторов Функция энергии  Если , то  Если – передний план, то >0  Определим свойства:  где p,q соседние M. Schmeing, X. Jiang. Robust Background Subtraction for Depth Map Generation, Proceedings of 3D Stereo MEDIA 2009 41
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Для каждой сегментации определим функцию энергии  s  показывает зависимость между свойствами E1 и E2 Метод авторов Функция энергии M. Schmeing, X. Jiang. Robust Background Subtraction for Depth Map Generation, Proceedings of 3D Stereo MEDIA 2009 42
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Функция энергии минимизируется с помощью Graph cut  Для поиска минимального разреза используется maximum-flow Минимизация функции энергии M. Schmeing, X. Jiang. Robust Background Subtraction for Depth Map Generation, Proceedings of 3D Stereo MEDIA 2009 43
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты M. Schmeing, X. Jiang. Robust Background Subtraction for Depth Map Generation, Proceedings of 3D Stereo MEDIA 2009 44
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы  Достоинства  Меньше проблем при близких цветах фона и объекта  Фон строится если появляется хотя бы 1 раз  Пользователь задает только один параметр  Сегментация близка в реальном времени  Недостатки  Проблемы при близких цветах фона и объекта остаются 45
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Дальнейшая работа  При работе с видео с Kinect можно использовать сегментацию методом вычитания фона  Методы из статей могут оказаться полезными 46
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. “Multi-modal background subtraction using gaussian mixture models" , Benjamin Langmann, Seyed E. Ghobadi, Klaus Hartmann, ZESS - Center for Sensor Systems, University of Siegen, Germany 2. “Robust background subtraction for depth map generation”,Michael Schmeing and Xiaoyi Jiang, Department of Computer Science, University of M.unster, 48149 M.unster, Germany 3. S. Rothaus, K. Rothaus, and X. Jiang. Synthesizing 3D, videos by a motion-conditioned background mosaic. In International Conference on Pattern Recognition, pages 1–4. IEEE, 2008 47
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищено 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 48

×