Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Обзор методов сравнения фильмов

691 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Обзор методов сравнения фильмов

  1. 1. Обзор методов сравнения фильмов Алексей Шалпегин Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Различия в версиях фильмов  Сравнение фильмов  Fast Sequence Matching  Поиск по сценам  Иерархический метод  Предложенный метод  Детальное сравнение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Перестановка сцен без изменения содержимого 3 Различия в версиях фильмов Смена порядка сцен Кадры из м/ф «Шрек»
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Вставка новых сцен и удаление старых 4 Различия в версиях фильмов Удаление/вставка сцен Кадры из к/ф «For senses»
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Удлинение или укорачивание сцены 5 Различия в версиях фильмов Изменение длины сцены Кадры из к/ф «For senses»
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  6 Различия в версиях фильмов Кадрирование Кадр из фильма «Области тьмы» http://www.movie-censorship.com/report.php?ID=676497 До цензурирования После цензурирования
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  7 Различия в версиях фильмов Отражение Кадр из фильма «Области тьмы» http://www.movie-censorship.com/report.php?ID=676497 До редактирования После редактирования
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  8 Различия в версиях фильмов Замена кадров Кадр из фильма «Области тьмы» http://www.movie-censorship.com/report.php?ID=676497 До редактирования После редактирования
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  9 Различия в версиях фильмов Искажения конвертации 2D версия Кадр из м/ф «Шрек»
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  10 Различия в версиях фильмов Искажения конвертации 3D версия (левый ракурс) Кадр из м/ф «Шрек»
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  11 Различия в версиях фильмов Искажения конвертации 3D версия (правый ракурс) Кадр из м/ф «Шрек»
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Различия в версиях фильмов  Сравнение фильмов  Fast Sequence Matching  Поиск по сценам  Иерархический метод  Предложенный метод  Детальное сравнение 12
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение фильмов Классификация 13 Поиск дубликатов Поиск различий Что нужно? База фильмов Фильм-образец Где используется? YouTube Конвертация
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение фильмов Поиск дубликатов 14 Аналог «Угадай фильм по кадру» Кадр из к/ф «Эффект бабочки» http://www.monstersandcritics.de/downloads/downloads/articles2/ 70516/article_images/image4_1206735148.jpg
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение фильмов Поиск различий 15 Аналог «Найди 10 отличий» http://d1.endata.cx/data/games/17730/два1256732147_otlichiya1 1.jpg
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение фильмов Дескрипторы  Дескриптор кадра – характеристика, однозначно описывающая кадр  Сравнивать дескрипторы проще, чем кадры целиком, поэтому перед сравнением, вычисляются дескрипторы 16http://www.intuit.ru/department/publish/btphoto/6/2.html Пример – гистограммы по яркости
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение фильмов Некоторые виды дескрипторов  Гистограммы по:  Яркости  Цвету  Направлению градиентов  Направлению векторов движения  Местоположение самого темного участка  Продолжительность сцены 17
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Fast Sequence Matching  Поиск по сценам  Иерархический метод  Предложенный метод  Детальное сравнение 18
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Fast Sequence Matching Метод предназначен для поиска дубликатов 1. Вычисление дескрипторов 1) Разделение кадра на части 2) Построение гистограмм 2. Сравнение видео 1) Построение таблицы 2) Поиск совпадений 3) Выбор наибольшей общей подпоследовательности 19M.C. Yeh, K.T. Cheng, “Video Copy Detection by Fast Sequence Matching,” in Conference On Image And Video Retrieval, 2009
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Fast Sequence Matching Вычисление дескрипторов 1. Делим на 4 части 2. Строим гистограммы по цвету 3. Вычисляем дескрипторы 20M.C. Yeh, K.T. Cheng, “Video Copy Detection by Fast Sequence Matching,” in Conference On Image And Video Retrieval, 2009
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Fast Sequence Matching Таблица сравнений  Сравниваем дескрипторы  Создаем таблицу  Выделяем диагонали 21M.C. Yeh, K.T. Cheng, “Video Copy Detection by Fast Sequence Matching,” in Conference On Image And Video Retrieval, 2009
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Fast Sequence Matching Выделение диагоналей Используется метод сравнения ДНК a) Выделяем все диагонали b) Наиболее короткие выбрасываем c) Выделяем регионы скопления диагоналей d) Близкие части в регионе соединяем 22W. R. Pearson, and D. J. Lipman. “Improved tools for biological sequence comparison,” 1988
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Fast Sequence Matching Подведение итогов  По суммарной длине найденных достаточно длинных диагоналей определяется схожесть источников  Таким образом, находится наибольшая общая подпоследовательность кадров в видео 23M.C. Yeh, K.T. Cheng, “Video Copy Detection by Fast Sequence Matching,” in Conference On Image And Video Retrieval, 2009
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Fast Sequence Matching Выводы Достоинства:  Независимость от дескрипторов  Покадровая точность Недостатки:  Время работы зависит от произведения длин видео  Ресурсоемкость (~6 ГБ на таблицу для 2ч видео)  Неустойчивость при работе с фильмами с разными частотами кадров 24
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Fast Sequence Matching  Поиск по сценам  Иерархический метод  Предложенный метод  Детальное сравнение 25
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод поиска сцен Метод предназначен для поиска по базе 1. Вычисление дескрипторов Разбиение видео на сцены 2. Сравнение видео 1) Оценка разницы сцен 2) Выбор наилучшего совпадения 3) Обратный поиск 26
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод поиска сцен Дескриптор кадра  Разбиваем кадр на блоки 32˟32  Для каждого блока строим гистограммы по яркости где – положение блока в кадре – количество уровней яркости в гистограмме 27 ( , ) { ( , ), 1, },kН x y h x y k m  ( , )x y 64m 
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод поиска сцен Обработка дескрипторов (1) Вычисляем разность кадров 28 :)(tH :)1( tH ( 1):H t  ( , , 1) { ( , , 1) ( , , ), 1, },k kH x y t h x y t h x y t k m      , ( 1) ( ( 1)), x y Diff t S H t    1 ( ) m k k S H h   
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод поиска сцен Обработка дескрипторов (2)  Обрабатываем массив разностей высокочастотным фильтром  Строим дерево сцен путем поиска максимумов разности в массиве  Строим массив средних яркостей блоков для локального сравнения 29
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  -1000000 0 1000000 2000000 3000000 4000000 5000000 6000000 7000000 8000000 9000000 0 20 40 60 80 100 difference frames Метод GMLabVideoGroup Построение дерева сцен 1. Находим максимум разности 2. Строим вершину дерева 3. Правая и левая части становятся ветвями 4. Ветви аналогично делим дальше 5. Деление происходит до заданной глубины 30 pos = 38 diff = 1,12
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод поиска сцен Терминология  Сила смены сцен – мера разности соседних кадров в месте смены сцен  Координата – местоположение смены сцен в фильме (номер кадра) 31
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод поиска сцен Сравнение фильмов 1. Выбирается начальная точка поиска – смена сцены с наибольшей силой 2. Находятся смены-кандидаты с похожей силой в втором фильме 3. Координаты сопоставляются и выполняется оценка разницы сцен 32
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод поиска сцен Оценка разницы сцен  Для всех смен сцен фильма-запроса подбираем наиболее схожую смену во втором фильме по оценке  – локальная разница  – корреляция координат 33 ,)'()'(),'( 22 iii ttDDDDDiff   )'( iDD  )'( itt 
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод поиска сцен Выбор наилучшего совпадения  Суммируем полученные разницы сопоставленных сцен для каждого фильма базы  Выбираем наилучший (с минимальной разницей) результат из базы  Выполняем обратный поиск (сопоставляем сцены наоборот), усредняем результаты  Выдаем конечный результат 34  k ikk DDDiffDDDiff ),'(),( 1
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод поиска сцен Дескрипторы 35  Время индексации: O(l), l – длина фильма  Скорость поиска: O(mlog(m)), m = max(p,q)  p, q – количества сцен в сравниваемых фрагментах  Ограничения: корректно работает только с достаточно большими видео, не справляется с перемонтированным видео
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод поиска сцен Результаты (1) 36 Алгоритм тестировался на базе из ~900 фильмов, разбитых на 5 групп. Номер группы Размер группы (Mb) Размер индекса (Mb) Размер после сжатия (Mb) 1 7170 4,6 0,86 2 870 1,0 0,18 3 2690 0,9 0,18 4 3050 2,5 0,43 5 480 0,74 0,05 Объединенная группа 13900 9,74 1,7 Размер групп фильмов и их описаний
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод поиска сцен Результаты (2) 37 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Recall Precision Group 2 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Recall Precision Group 3 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Recall Precision Group 4 0 0.2 0.4 0.6 0.8 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Recall Precision United Group Precision – отношение правильно обнаруженых к числу обнаруженных Recall – отношение правильно обнаруженых к числу правильных Чем выше и правее – тем лучше Графики для групп последовательностей
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод поиска сцен Выводы Достоинства:  Возможность поиска части фильма  Малый размер дескрипторов (1 байт на кадр) Недостатки:  Не рассчитан на точное сравнение  Хуже работает с короткими видео 38
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Fast Sequence Matching  Поиск по сценам  Иерархический метод  Предложенный метод  Детальное сравнение 39
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Иерархический метод Метод предназначен для поиска копий 1. Выделение ключевых кадров 2. Сравнение глобальных дескрипторов 3. Предварительная оценка 4. Сравнение локальных дескрипторов (при необходимости) 40 Xiao Wu, Alexander G. Hauptmann and Chong-Wah Ngo “Practical Elimination of Near-Duplicates from Web Video Search” ACM International Conference on Multimedia, Sep. 2007
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Иерархический метод Глобальные дескрипторы  41 Xiao Wu, Alexander G. Hauptmann and Chong-Wah Ngo “Practical Elimination of Near-Duplicates from Web Video Search” ACM International Conference on Multimedia, Sep. 2007   n j ijim h n ssssVS 1 21 1 ),,...,,(
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Иерархический метод Сравнение глобальных дескрипторов Оценивается Евклидова разность полученных векторов источников Если она не превышает некоторого порога Th, можно считать видео схожими 42 Xiao Wu, Alexander G. Hauptmann and Chong-Wah Ngo “Practical Elimination of Near-Duplicates from Web Video Search” ACM International Conference on Multimedia, Sep. 2007 2 1 ( | ) ( , ) ( ) m i j i j k k k R V V d VS VS x y    
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Иерархический метод Схожесть глобальных дескрипторов 43 Xiao Wu, Alexander G. Hauptmann and Chong-Wah Ngo “Practical Elimination of Near-Duplicates from Web Video Search” ACM International Conference on Multimedia, Sep. 2007 На диаграмме показано количество видео с заданной разницей глобальных дескрипторов Схожие видео Различные видео Разница глобальных дескрипторов Количествовидеороликов
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Иерархический метод Локальные дескрипторы  Если требуется уточнение, ключевые кадры сравниваются попарно  Сравнение происходит в фиксированном «окне» w – размер окна df – разность длин i – сравниваемый кадр n – длина фильма в базе 44 Xiao Wu, Alexander G. Hauptmann and Chong-Wah Ngo “Practical Elimination of Near-Duplicates from Web Video Search” ACM International Conference on Multimedia, Sep. 2007
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Иерархический метод Результаты 45 Xiao Wu, Alexander G. Hauptmann and Chong-Wah Ngo “Practical Elimination of Near-Duplicates from Web Video Search” ACM International Conference on Multimedia, Sep. 2007 В тестах, для каждого из 24 видео, искались дубликаты в большой базе. Recall = правильно найденные / количество дубликатов Precision = правильно найденные / всего найденные
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Иерархический метод Выводы 46 Xiao Wu, Alexander G. Hauptmann and Chong-Wah Ngo “Practical Elimination of Near-Duplicates from Web Video Search” ACM International Conference on Multimedia, Sep. 2007 Достоинства:  Высокая скорость работы (без учета индексации)  Малая ресурсоемкость (дескрипторы + «окно») Недостатки:  Низкая точность сравнения  Не работает с любым перемонтажом
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Fast Sequence Matching  Поиск по сценам  Иерархический метод  Предложенный метод  Детальное сравнение 47
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод сдвигов 1. Вычислить дескрипторы 2. Проредить дескрипторы 3. Составить таблицу предобработки 4. Найти совпадения 5. Уточнить совпадения 6. Составить карту перемонтажа 48
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод сдвигов Дескрипторы видео Требования к дескрипторам видео:  Устойчивость к трансформациям  Адекватность оценки кадров  Высокая скорость подсчета  Малый размер дескрипторов На данный момент, используются 64- разрядные гистограммы по яркости 49
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод сдвигов Таблица предобработки (1)  Для каждого ключевого кадра источника 1, находим наилучшее совпадение в источнике 2  Составляем «таблицу», отмечая точки  Меняем источники местами, повторяем 50 Примеры из искусственно перемонтированного м/ф «Шрек» Кадры запроса Кадрыисточника Кадры запроса Кадрыисточника
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод сдвигов Таблица предобработки (2)  Строим конечную таблицу предобработки по двум предварительным путем логического сложения T(a,b) = X(a,b) & Y(a,b)  Как результат, получается набор точек наилучшего совпадения фильмов  Запоминаем каждый возможный сдвиг фильмов друг относительно друга 51 Примеры из искусственно перемонтированного м/ф «Шрек» Кадры запроса Кадрыисточника
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод сдвигов Определение совпадений 1. В окрестности каждого сдвига находим точку минимума разности гистограмм 2. Запоминаем набор лучших сдвигов для ключевого кадра и, отдельно, оптимальный 52
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод сдвигов Уточнение совпадений 1. Каждому кадру сопоставляется оптимальный сдвиг ближайшего ключевого кадра 2. В окрестности данного сдвига, ищется новый лучший сдвиг для конкретного кадра 3. В случае, если разница кадров превышает заданный порог, производится подбор нового оптимального сдвига 4. Производится медианная фильтрация массива сдвигов 5. Повторно выполняются пункты 2 – 3, отмечаются участки превышения порога 53
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод сдвигов Обработка остатка 1. Составляем полную таблицу сравнений из остатка и ищем диагонали 2. В случае нахождения достаточно длиной диагонали (длина больше 10), отмечаем совпадение 3. Помечаем оставшееся как нераспознанное 54
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод сдвигов Результаты Построение таблицы для фильма за минуту Визуализация смещений сцен Частичная пост-обработка (пока без визуализации) 55 Таблица для фильма “Mulholland Drive” Кадры запроса Кадрыисточника
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод сдвигов Пример сильного перемонтажа 56  Ролик взят с YouTube  Содержит сильный перемонтаж  Состоит из ускоренной нарезки четырех серий известного мультфильма Попробуем найти перемонтаж
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод сдвигов Проблема при сильном перемонтаже (1) 57 Р-С С-Р & Таблицы сравнения: ролика с сериями (Р-С) серий с роликом (С-Р) итоговая (&) Кадры запроса Кадрыисточника
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Метод сдвигов Проблема при сильном перемонтаже (2)  Проблема: Участки слишком короткие, в результате, артефакты неотличимы от реально найденных фрагментов  Решение: Применять более точную метрику сравнения кадров для устранения артефактов 58
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Fast Sequence Matching  Поиск по сценам  Иерархический метод  Предложенный метод  Детальное сравнение  Поблочное  C сегментацией 59
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Детальное сравнение Основные идеи  Кадр источника делится на блоки, например, 8х8 пикселей  Для каждого такого блока находится такой блок в изучаемом кадре, что их разница минимальна  Выделяются блоки с относительно большой разницей 60http://compression.ru/video
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поблочное сравнение Процесс поиска 61 Лекции по сжатию видео http://compression.ru/video/course/slides/ video_compression_introduction.pdf
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поблочное сравнение Сопоставление с ракурсами 62 Лекции по сжатию видео http://compression.ru/video/course/slides/ video_compression_introduction.pdf
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поблочное сравнение Выводы 63 Достоинство:  Простота реализации Недостаток:  Проблема выбора размера окна
  64. 64. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Различия в версиях фильмов  Сравнение фильмов  Поиск перемонтажа  Методы поиска  Предложенный метод  Детальное сравнение  Поблочное  С сегментацией 64
  65. 65. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Cравнение с сегментацией 65 1. Разбить изображение на сегменты 2. Итеративно составить карту разниц 3. Завершить поиском квадратной области 4. Очистить от артефактов L. Jia, M. Mandal, T. Sikora, “Efficient Disparity Estimation Using Region based Segmentation and Multistage Feedback” in World Scientific and Engineering Academy and Society Transactions on Communications, 2006
  66. 66. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Cравнение с сегментацией Сегментация изображения 66 Делим изображение на области по цвету L. Jia, M. Mandal, T. Sikora, “Efficient Disparity Estimation Using Region based Segmentation and Multistage Feedback” in World Scientific and Engineering Academy and Society Transactions on Communications, 2006
  67. 67. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Cравнение с сегментацией Итеративный поиск 67  На каждом шаге, находим сдвиг наибольших сегментов. За 2 – 3 шага, обработается 30 – 70%  Из двух конечных карт, составляем итоговую L. Jia, M. Mandal, T. Sikora, “Efficient Disparity Estimation Using Region based Segmentation and Multistage Feedback” in World Scientific and Engineering Academy and Society Transactions on Communications, 2006
  68. 68. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Cравнение с сегментацией Завершение 68  Мелкие сегменты не обрабатываем, а используем стандартный поиск окном  Из конечной карты выбрасываем сегменты с < 60 пикселями L. Jia, M. Mandal, T. Sikora, “Efficient Disparity Estimation Using Region based Segmentation and Multistage Feedback” in World Scientific and Engineering Academy and Society Transactions on Communications, 2006
  69. 69. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Cравнение с сегментацией Результаты (1) 69 L. Jia, M. Mandal, T. Sikora, “Efficient Disparity Estimation Using Region based Segmentation and Multistage Feedback” in World Scientific and Engineering Academy and Society Transactions on Communications, 2006
  70. 70. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Cравнение с сегментацией Результаты (2) 70 Сравнение с ground truth: L. Jia, M. Mandal, T. Sikora, “Efficient Disparity Estimation Using Region based Segmentation and Multistage Feedback” in World Scientific and Engineering Academy and Society Transactions on Communications, 2006 Оригинал Ground truth Результат
  71. 71. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Cравнение с сегментацией Выводы 71 Достоинства:  Произвольная область сравнения  Бóльшая точность Недостаток:  Большее время работы Картинка из “Efficient Disparity Estimation Using Region based Segmentation and Multistage Feedback”
  72. 72. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Детальное сравнение Выделение различий Обнаружить кадр с различием можно по признакам:  Вертикальный параллакс  Большая ошибка блока при поиске сразу в двух ракурсах  Относительный скачок ошибки блока 72
  73. 73. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Дальнейшие планы  Улучшить предложенный метод путем модификации дескрипторов  Переписать код в виде отдельной программы  Сделать вывод постобработки  Добавить детальное сравнение 73
  74. 74. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. M. C. Yeh and K.T. Cheng, “Video Copy Detection by Fast Sequence Matching,” in Conference On Image And Video Retrieval, 2009 2. Xiao Wu, Alexander G. Hauptmann and Chong-Wah Ngo “Practical Elimination of Near-Duplicates from Web Video Search,” in ACM International Conference on Multimedia, Sep. 2007 3. L. Jia, M. Mandal and T. Sikora, “Efficient Disparity Estimation Using Region based Segmentation and Multistage Feedback,” in World Scientific and Engineering Academy and Society Transactions on Communications, 2006 74
  75. 75. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищены 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 75

×