Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Способы построения saliency map

580 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Способы построения saliency map

  1. 1. Способы построения saliency map Максим Харенко Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Методы построения  Локальные  Глобальные  Правила визуального восприятия сцены  Оценка качества 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Что привлекает человеческое внимание? 3S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Салиентность 4S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Применение карт салиентности  Сегментация  Распознавание объектов  Удаление объектов из видео 5S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010  Измерение качества 3D видео  Создание коллажей  Image thumbnailing  Image and video retargeting
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Методы построения карт салиентности Методы моделирования человеческого визуального внимания:  Временные  Локальные  Глобальные  Основанные на правилах организации сцены  Учет высокоуровневых факторов 7S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Методы построения  Временные  Локальные  Глобальные  Основанные на правилах организации сцены  Оценка качества 8
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Временные методы Временная карта салиентности(1) 9 H. Boujut, O. Hadar, J. Benois-Pineau, T. Ahmed, and P. Bonnet, “Weighted-MSE based on saliency map for assessing video,” Electronic Imaging, 2011  Для каждого пикселя кадра считается optical flow и строится поле векторов  Оценивается global motion  Остаточное движение считается как: Исходный кадр
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Временные методы Временная карта салиентности(2) 10 H. Boujut, O. Hadar, J. Benois-Pineau, T. Ahmed, and P. Bonnet, “Weighted-MSE based on saliency map for assessing video,” Electronic Imaging, 2011 Психо-визуальные ограничения:  Человеческий глаз не успевает следить за движением скорость которого превышает 80 deg./s  Визуальная салиентность достигает максимума, когда значение движения находятся между 6 deg./s и 30 deg./s Временная карта салиентности до фильтрации
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Временные методы Временная карта салиентности(3) 11 H. Boujut, O. Hadar, J. Benois-Pineau, T. Ahmed, and P. Bonnet, “Weighted-MSE based on saliency map for assessing video,” Electronic Imaging, 2011 Фильтрация: Временная карта салиентности после фильтрации
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Методы построения  Временные  Локальные  Глобальные  Правила визуального восприятия сцены  Оценка качества 12
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Локальные методы Пространственно-временной алгоритм 13 H. Boujut, O. Hadar, J. Benois-Pineau, T. Ahmed, and P. Bonnet, “Weighted-MSE based on saliency map for assessing video,” Electronic Imaging, 2011  Для каждого кадра строится пространственная карта салиентности  Строится временная карта салиентности  Путем их объединения получается финальная карта салиентности Исходный кадр
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Локальные методы Пространственная карта салиентности 14 H. Boujut, O. Hadar, J. Benois-Pineau, T. Ahmed, and P. Bonnet, “Weighted-MSE based on saliency map for assessing video,” Electronic Imaging, 2011 Суммируются 7 характеристик :  контраст насыщенности  контраст яркости  контраст оттенка  контраст противоположных цветов  контраст теплых и холодных цветов  доминирование теплых цветов  доминирование яркости и оттенка Пространственная карта салиентности
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Локальные методы Карта салиентности 15 H. Boujut, O. Hadar, J. Benois-Pineau, T. Ahmed, and P. Bonnet, “Weighted-MSE based on saliency map for assessing video,” Electronic Imaging, 2011 Перемножив пространственную и временную карту салиентности с весами 2D Gauss, получаем финальную карту салиентности Карта салиентности
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Методы построения  Временные  Локальные  Глобальные  Правила визуального восприятия сцены  Оценка качества 16
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальные методы Основные принципы  Используются соображения, основанные на частотно-фазовых характеристиках изображения  Часто встречающиеся особенности подавляются  Важные места определяются как отклонение от нормы 17S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальные методы Логарифмический спектр 18X. Hou and L. Zhang, “Saliency detection: A spectral residual Approach”, CVPR, 2007 1 – спектр фаз 1 – спектр амплитуд – преобразование Фурье
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальные методы Остаточный спектр 19X. Hou and L. Zhang, “Saliency detection: A spectral residual Approach”, CVPR, 2007 Saliency map
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальные методы SR: Результаты 20X. Hou and L. Zhang, “Saliency detection: A spectral residual Approach”, CVPR, 2007
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальные методы PFTи PQFT 21 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008  Использует только фазовые характеристики  Работает быстрее SR  Имеет временную реализация
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальные методы Реконструкция сигнала по спектру фаз 22 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальные методы Построение saliency map 23 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальные методы PFT: результаты на изображениях 24 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальные методы PFT: результаты на видео (1) 25 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальные методы PFT: результаты на видео (2) 26 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальные методы Сравнение (1) 27 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальные методы Сравнение (2) 28 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Методы построения  Временные  Локальные  Глобальные  Основанные на правилах организации сцены  Оценка качества saliency map 29
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Визуальное восприятие Основные принципы  Важны не только объекты, но и часть их окружения, передающая суть изображения  Салиентные пиксели должны быть сгруппированы вместе, а не разбросаны по всему изображению  Не салиентные области могут находится и рядом и далеко друг от друга 30S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Визуальное восприятие Local-global single-scale saliency(1)  Рассматривается патч размером r вокруг каждого пикселя i  Пиксель i – салиентен, если непохожесть его патча ко всем другим патчам изображения высока, т.е. евклидово расстояние по цвету велико  Патч салиентен, если похожие патчи располагаются близко и менее салиентен, если похожие патчи далеко  Dpozition(pipj) – евклидово расстояние между положениями и 31S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Визуальное восприятие Local-global single-scale saliency(2)  Тогда мера похожести между парой патчей:  Для каждого патча в изображении проводится поиск K самых похожих на него патчей qkk  Значение салиентности пикселя i при размере r: 32S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Визуальное восприятие Multi-scale saliency  При однородном или размытом фоне удобно использовать патчи разных размеров  Патч размера r сравнивается с патчами-кандидатами со всего изображения размером 33S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Cравнение результатов: Одиночный объект на простом фоне 34S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010 input local global context-aware
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Визуальное восприятие Добавление ближайшего фона Близкие к фокусу внимания области салиентны:  Из полученной карты салиентности извлекаются самые «привлекательные» области  Пиксель «привлекателен», если  Остальные пиксели взвешиваются с  Салиентность пересчитывается: 35S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010 – евклидово расстояние между позициями пикселей i и ближайщего «привлекательного»
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Cравнение результатов Области вокруг фокуса внимания тоже салиентны 36S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010 input local global context-aware
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Cравнение результатов Cложные сцены (1) 37S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010 input local global context-aware
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Cравнение результатов Cложные сцены (2) 38S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010 input local global context-aware
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Визуальное восприятие Создание коллажей (1) 39S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Визуальное восприятие Создание коллажей (2) 40S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010 Суммарный коллаж
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Методы построения  Временные  Локальные  Глобальные  Правила визуального восприятия сцены  Оценка качества 41
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка качества saliency map Критерии оценки и ground truth  В задачах обнаружения объектов – количество правильно распознанных объектов  В задачах сегментации – сравнение границ сегментов  Для коллажей – красота, корректность и информативность  Визуальное сравнение: группу людей просят показать «важные» регионы изображения 42
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка качества saliency map Эксперимент  Движения глаз записываются бинокулярно с частотой 250 Hz с помощью инфракрасного video-based eye tracker  Монитор: 17 дюймов, 1280x960 pixels 43 Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012 Ход эксперимента: испытуемый смотрит в экран, eye tracker записывает данные
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка качества saliency map Видеопоследовательности  Выбраны 25 динамичных сцен из боевиков длительностью по 20 секунд  Видео: 1280x720 pixels, 25 fps  Половина тестируемых просто смотрела видео, другая – оценивала качество 44 Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012 Кадр из видео с битрейтом 1237 bit/s Кадр из видео с битрейтом 209 bit/s
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Eye tracker фиксирует движения глаза, следящего за объектами  Для каждой секунды каждого видео создается общая карта фиксаций, усредняющая информацию от всех испытуемых  Значение каждой координаты – общая продолжительность фиксации глаз всех испытуемых на этой координате  20 карт фиксаций на видео  Карта фиксаций трансформируются в карту салиентности: 45 (xy) – пространственные координаты j фиксации Т – общее количество фиксаций Si(kl) – saliency map размера MxN O – дисперсия Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012 Оценка качества saliency map Построение карты
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка качества saliency map Результаты 46 Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012 Полученные карты салиентности
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Карты салиентности, построенные по видео низкого качества, схожи у большинства испытуемых: люди в первую очередь обращают внимание на артефакты  У групп людей с разным характером просмотра получаются разные карты салиентности  Результаты свободного просмотра видео высокого качества больше всего приближены к законам салиентности 47 Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012 Оценка качества saliency map Выводы
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. H. Boujut, O. Hadar, J. Benois-Pineau, T. Ahmed, and P. Bonnet, “Weighted-MSE based on saliency map for assessing video,” Electronic Imaging, 2011. 2. S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010. 3. X. Hou and L. Zhang, “Saliency detection: A spectral residual Approach”, CVPR, 2007. 4. C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008. 5. Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012. 48
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  ВОПРОСЫ? ….Или сразу в кино? 49
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищены 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 50

×