Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Способы построения и оценки карт салиентности

543 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Способы построения и оценки карт салиентности

  1. 1. Способы построения и оценки карт салиентности Максим Харенко Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Реализованные модели  A Novel Multiresolution Spatiotemporal Saliency Detection Model  Nonparametric Bottom-Up Saliency Detection by Self-Resemblance  Сравнение и оценка качества  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение  Салиентность – это термин обозначающий свойство объекта, человека, пикселя и т.д. выделяться на фоне группы других, соседних объектов того же типа  Карты салиентности – вероятность того, что при первом взгляде человек обратит внимание на конкретные пиксели 3
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Применение карт салиентности  Сегментация (im, v)  Распознавание объектов (im, v)  Удаление объектов из видео (v)  Зрение роботов (v)  Сжатие (im, v)  Auto Focus (im, v)  Image & video description (im, v) S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010 4  Создание коллажей (im)  Image thumbnailing (im)  Image and video retargeting (im, v)  Art effects (im, v)  Content-aware resize (im)  Web design (im)
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Реализованные модели  A Novel Multiresolution Spatiotemporal Saliency Detection Model  Nonparametric Bottom-Up Saliency Detection by Self-Resemblance  Сравнение и оценка качества  Заключение 6
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Реализованные модели Contex-aware saliency  Рассмотривается окрестность некоторого пикселя (квадратный патч вокруг него)  В изображении ищется k (64 в статье) наиболее похожих патчей  Оценивается уникальность этого пикселя 7 Результаты нашей реализации S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Реализованные модели Saliency from face detection 8 Результаты нашей реализации  Лица ищутся с помощью Viola/Jones Face Detector  На их месте создаются салиентные области
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Реализованные модели Saliency from motion  Оценивается global motion  Оценивается loсal motion  Салиентность в каждой точке считается как разность loсal и global motion 9 Результаты нашей реализации
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Реализованные модели Saliency from spectral residual X. Hou and L. Zhang, “Saliency detection: A spectral residual Approach,” CVPR, 2007 10 Saliency mapInput image
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Реализованные модели  A Novel Multiresolution Spatiotemporal Saliency Detection Model  Nonparametric Bottom-Up Saliency Detection by Self-Resemblance  Сравнение и оценка качества  Заключение 11
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Особенности модели  Phase Quaternion Fourier Transform  Hierarchical selectivity  Multiresolution approach  Wavelet domain foveation model Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 12
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Novel Quaternion Representation of an Image Для входного кадра F(t) рассчитываются функции: Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 13
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Novel Quaternion Representation of an Image  Цветовые каналы представляются в виде:  Каналы яркости и движения рассчитываются: t – пользовательский параметр задержки Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 14
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Novel Quaternion Representation of an Image  Кадр F(t) переводится в квантернионное изображение q(t): где mi, ш = 1, 2, такое, что:  и представляется в форме: Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 15
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Quaternion Fourier Transform QFT можно посчитать, используя два стандартных FFT: (n,m) и (u,v) – положение пикселя в пространственных и частотных координатах Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 16
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Phase QFT Обратная преобразование рассчитывается при помощи замены знака у экспоненты и индексов суммирования: Таким образом, построено представление частотного домена Q(t) для q(t): где Ф(t) – спектр фаз; м – элементарный кватернион Если установить ||Q(t)|| =1, то останется только интересующая фазовая составляющая Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 17
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  PQFT(1) Используя обратное преобразование, считается реконструкция Q(t) обозначаемая q’(t), которая может быть представлена в виде: Тогда пространственно-временная карта салиентности где g –2-D фильтр гаусса с дисперсией с Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 18
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  PQFT(2) Пусть , тогда Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 19
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск focus of attention (FoA)  Есть построенная sM(t) для кадра F(t) в момент времени t  smi(t) = sM(t) , smi(t) – i-я карта салиентности  Oma – наибольшая салиентная область в sdfsdf c координатами  i-тый object candidate area (OCA) вычисляется:  Найденная область обнуляется  Поиск не заканчивается пока для текущего i: Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 20
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск focus of attention Варьирование переменных Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 21
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Hierarchical Selectivity PQFT Алгоритм  Предположение: “there may be a hierarchy of units of attention, ranging from intraobject surfaces and parts to multiobject surfaces and perceptual groups”  Количество уровней иерархии Y задается как параметр (в статье y = 3 )  Рассчитываются карты салиентности размером 64x64, 128x128 и 256x256 Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 22 Древовидное представление изображения «sheeps»
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Hierarchical Selectivity PQFT “coarse to fine” подход Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 23
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Hierarchical Selectivity PQFT Уровни на изображении Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 24
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Multiresolution Wavelet Domain Foveation Model Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 25
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сжатие с WDFW Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 26 Compressed size = 328 Kb Original size = 628 Kb
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сжатие с HS-MWDF Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 27 Compressed size = 261 Kb Original size = 628 Kb
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сжатие видео Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 28
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение с картами фиксаций изображений Chenlei Guo and Liming Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” Trans. Img. Proc., 2010 29
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы  Достоинства:  Real-time  Временные и цветовые каналы  Устойчивость к высокотекстурированному фону  Недостатоки:  Сравнение только со схожими или слабыми моделями  Высокая чувствительность к разрешению 30
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Реализованные модели  A Novel Multiresolution Spatiotemporal Saliency Detection Model  Nonparametric Bottom-Up Saliency Detection by Self-Resemblance  Сравнение и оценка качества  Заключение 31
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Saliency Detection by Self-Resemblance 1. Расчет local steering kernels 2. Для каждого пикселя строится матрица F center+surrounding region 3. Салиентность пикселя определяется с помощью алгоритма self-resemblance Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 32 Graphical overview of saliency detection system
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  2-D Local Steering Kernel Анализируя расстояния, основанные на посчитанных градиентах, получают локальную структуру изображения Эта информация и определяет форму и размер ядра Для каждого пикселя xi моделируется Local Steering Kernel: P – матрица ковариации P – количество пикселей в локальном окне h – сглаживающий параметр Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 33
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  3-D Local Steering Kernel Local Steering Kernel для центра xi = asdasddz1z2z3z3z – первые производные по соответствующим осям Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 34
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  LSK-weights K(xl-xi) )) рассчитывается для каждого x и нормализуется весами: Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 35 Устойчивость и надежность LSK-весов
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Вероятностная модель(1) – center feature matrix для – center + surrounding region feature matrix L – количество feature vectors в N – количество feature matrix в Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 36
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Вероятностная модель(2)  Введем случайную величину  Салиентность х определяется как вероятность: Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 37
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Вероятностная модель(3)  По теореме Байеса:  Требуется оценить условную вероятность p(F|y= 1)  Для этого используется nonparametric kernel density estimation Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 38
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Когда оценивается плотность вероятности в конкретной feature point, ядро, с центром в этой точке, распространяет плотность масс поровну во всех пространственных направлениях, уделяя много внимания незначимым областям и мало внимания важным Поэтому строится нормализованная функция: ||.||F – Frobenious norm б – параметр, контролирующий стабильность весов Self-resemblanse Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 39
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Self-resemblanse Матрица похожести LSK-векторов Функция G(. переписывается в виде: где p( Fi, Fj ) – матрица похожести между Fi и Fj, определяемая как “Frobenius inner product”: Эта матрица представляется в виде взвешенной суммы похожестей p(fi,fj) между каждой парой LSK-векторов: Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 40
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Self-resemblanse Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 41 Пример на психологическом шаблоне
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Self-resemblanse Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 42 Пример на изображении
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Self-resemblanse Салиентность Салиентность в пикселе x (S = (sdfsdfsdfdfsdfsfs)) это центральное значение нормализованной весовой функции G() Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 43
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Self-resemblanse Обработка цветовых каналов 44Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение методов(1) Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 45
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение методов(2) Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 46
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Схема построения space-time saliency map Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 47
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Примеры на видео Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 48
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы  Достоинства:  Оригинальная вероятностная модель  Альтернатива ME и OF при построении SM во времени  Использование цветов  Предположительный недостаток:  Низкая скорость на HD при большом размере окна окрестностей Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009 49
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Реализованные модели  A Novel Multiresolution Spatiotemporal Saliency Detection Model  Nonparametric Bottom-Up Saliency Detection by Self-Resemblance  Сравнение и оценка качества  Заключение 50
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка качества saliency map  В задачах обнаружения объектов – количество правильно распознанных объектов  В задачах сегментации – сравнение точности границ сегментов  Визуальное сравнение: группу людей просят показать «важные» регионы изображения  Бинарная ручная разметка изображений и подсчет площади под ROC-кривой  Объективное и субъективное сравнение с результатами eye-tracking 51
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка качества saliency map Eye tracking(1)  В ходе эксперимента испытуемый смотрит в экран  Плавное последовательное движение глаза, когда наблюдатель следит за происходящим на экране, регистрируется аппаратом как фиксация  Фиксации всех зрителей объединяются в карты фиксаций Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012 52 Система слежения за глазами
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка качества saliency map Eye tracking(2)  Карты фиксаций нормализуют [0,1] с помощью весов Гаусса  Получается представление вероятности, пиксель в пиксель, что среднестатистический зритель зафиксирует конкретный пиксель Henderson, J.M.: Diem video and eye tracking database. (http://thediemproject.wordpress.com/) 53
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Базы eye-tracking видео  TUD  Eye-tracking видео от 24 человек  Разрешение 1280x720  Сцены из фильмов  DIEM  Eye-tracking видео от 30 до 100 человек  Разрешение SD,HD  Фильмы, трейлеры, новости, спорт, реклама, анимация, документалистика 54
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка качества saliency map Как же автоматически сравнивать с GT? Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012 55 motion frequencycontrast
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение метрикой SAD 56 0 10 20 30 40 50 60 70 80 90 100 Мotion Frequency Contrast 0 10 20 30 40 50 60 70 80 90 100 DIEMTUD SAD
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение метрикой NCC 57 DIEMTUD 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 Мotion Frequency Contrast NCC =
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение метрикой PSNR 58 DIEMTUD 0 2 4 6 8 10 12 14 16 18 20 0 5 10 15 20 25 30 Мotion Frequency Contrast
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение метрикой Моя метрика 59 Ground truth Saliency map Gt(i) Sm(i) LMM = Med((Abs(Gt(i)-Sm(i))) LMA = Sum((Abs(Gt(i)-Sm(i)))/N Gt – вектор значений локальных максимумов на Ground truth Sm – вектор значений соответствующих координат на Saliency map N – количество найденных максимумов
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение метрикой LMM 60 DIEMTUD 0 50 100 150 200 250 300 0 50 100 150 200 250 Мotion Frequency Contrast
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение метрикой LMA 61 DIEMTUD 0 50 100 150 200 250 Мotion Frequency Contrast 0 20 40 60 80 100 120 140 160 180 200
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение метрикой Similarity 62 DIEMTUD 0 0,05 0,1 0,15 0,2 0,25 0,3 0,35 0,4 0,45 0,5 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 Мotion Frequency Contrast Tilke Judd, Fredo Durand and Antonio Torralba, "A Benchmark of Computational Models of Saliency to Predict Human Fixations,” PAMI ,2012
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Субъективное тестирование 63 DIEMTUD 0 2 4 6 8 10 12 14 16 18 20 0 2 4 6 8 10 12 14 16 18 20 Мotion Frequency Contrast Суммарные результаты шести человек
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка метрик для DIEM 64 0 10 20 30 40 50 60 70 SAD NCC PSNR LMM LMA Similarity 0 20 40 60 80 100 120 140 160 Баллы: ABC=3 ACB=2 BAC=2 CAB=1 BCA=1 CBA =0 Баллы: ABC=9 ACB=4 BAC=4 CAB=1 BCA=1 CBA =0 Max = 30*3=90 Max = 30*9=270
  64. 64. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка метрик для TUD 65 Баллы: ABC=3 ACB=2 BAC=2 CAB=1 BCA=1 CBA =0 Баллы: ABC=9 ACB=4 BAC=4 CAB=1 BCA=1 CBA =0 Max = 20*3=60 Max = 20*9=180 0 10 20 30 40 50 60 SAD NCC PSNR LMM LMA Similarity 0 20 40 60 80 100 120 140 160
  65. 65. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Реализованные модели  A Novel Multiresolution Spatiotemporal Saliency Detection Model  Nonparametric Bottom-Up Saliency Detection by Self-Resemblance  Сравнение и оценка качества  Заключение 66
  66. 66. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение  Улучшить SR до PQFT  Saliency Detection by Self-Resemblance хорошая модель, идеи можно использовать как улучшение модели Context-aware  Для обучения классификатора на результатах eye- tracking стоит использовать метрику similarity или комбинацию similarity+LMA 67
  67. 67. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010. 2. X. Hou and L. Zhang, “Saliency detection: A spectral residual Approach”, CVPR, 2007. 3. Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012. 4. Hae Jong Seo and P. Milanfar, “Nonparametric bottom-up saliency detection by self-resemblance,” CVPR, 2009. 5. Henderson, J.M.: Diem video and eye tracking database. (http://thediemproject.wordpress.com/) 6. Tilke Judd, Fredo Durand and Antonio Torralba, “A Benchmark of Computational Models of Saliency to Predict Human Fixations,” PAMI, 2012. 68
  68. 68. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Вопросы? 69
  69. 69. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищены 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 70

×