The paper focuses on an approach to a near-duplicate videos search. The search is based on the comparison of scene relative lengths in the space L2. The comparison is made with Gale-Church hypothesis. The concept "shot descriptor" was introduced. To speed up the performance of this method, semantic hashing was suggested, i.e. a generalization of locally sensitive hashing. В работе рассмотрен подход для поиска нечетких дубликатов видео. Поиск основан на сравнении относительных длин сцен в пространстве L2. Сравнение проводится с учетом гипотезы Гейла-Черча. Вводится понятие «дескриптора сцены». Для ускорения работы метода предложено использовать семантическое хеширование, обобщение локально чувствительного хеширования.

1. ..
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты
МОСКОВСКИЙ АВИАЦИОННЫЙ ИНСТИТУТ
(национальный исследовательский университет)
Поиск нечетких дубликатов видео
при поддержке интернет-кинотеатра Никитин Илья Константинович,
асп. каф. 806 МАИ
twitter: @w_495
почта: w@w-495.ru
nikitin.i@tvzavr.ru
22 мая 2013 г. | XXI Международная студенческая школа-семинар «Новые информационные технологии», 20-27 мая 2013 г. Крым, Судак

2. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Что это? Зачем
Что такое «нечеткие дубликаты»
оригинал естественный дубликат искусственный дубликат
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 2 из 21 | Поиск нечетких дубликатов видео

3. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Что это? Зачем
Зачем искать «нечеткие дубликаты»
...Цели
.
.
Военные
.
.
оптическая навигация
БПЛА
.
.
определение
характера
поверхности
.
.
Мирные
.
.
cоставление
каталогов
.
.
поиск
плагиата
.
.
группировка
сниппетов
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 3 из 21 | Поиск нечетких дубликатов видео

4. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Cуществующие методы поиска Предложение
Как пытаются искать
1. Сравние глобальных особенностей видео.
▷ функция яркости, функция визуального потока;
+ относительно быстро, вычислительно просто;
− легко обмануть.
2. Сравние отдельных кадров и их сумм:
▷ глобальные особенности (гистограммы, спектры, GIST);
▷ локальные особенности (PCA-SIFT, детектор Харриса);
+ точно;
− долго, затратно.
3. Сравние звукового ряда (youtube.com):
+ быстро, просто;
− много ошибок, не применимо если нет звука.
4. Поиск и сравнение «визуальных (видео) слов» (licenzero.ru):
+ точно, если достаточная база «слов»;
− долго, нужно много размеченных данных.
5. Комбинация методов.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 4 из 21 | Поиск нечетких дубликатов видео

5. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Cуществующие методы поиска Предложение
Алгоритм поиска нечетких дубликатов видео
▶ ν — новое видео;
▶ Π = {π1, π2, . . . , πn} — исходные видео:
← Π может быть пустым;
← для непустого Π вычислены дескрипторы сцен элементов.
1. Сравниваем дескриптор каждой сцены σν,i из ν с дескриптором каждой
сцены σπk,j из πk в L2.
2. Если дескрипторы совпали ν c дескрипторами πk. на некотором временном
промежутке , то считаем эту часть ν — дубликатом πk,
несовпавшие части ν помещаем в Π.
3. Если дескрипторы не совпали, то считаем ν уникальным и добавляем в Π.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 5 из 21 | Поиск нечетких дубликатов видео

6. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Виды Выделение Перемены сцен Длины сцен Выравнивания
Поиск на основе сцен (1)
.
Кадр — frame, фотографический кадр
..
.
⇐ отдельная статическая картинка;
⇐ обозначим φ.
.
Cъемка — shot, кинематографический кадр
..
.
⇐ множество фотографических кадров, единство процесса съемки;
⇐ обозначим σ, φ ∈ σ;
⇐ часто называют «сценой», далее будем рассматривать, σ, назвая сценой;
.
Сцена — scene, монтажный кадр
..
.
⇐ множество фотографических кадров, единство места и времени;
⇐ обозначим s, φ ∈ σ ⊂ s.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 6 из 21 | Поиск нечетких дубликатов видео

7. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Виды Выделение Перемены сцен Длины сцен Выравнивания
Поиск на основе сцен (2)
.
Сцена как «съемка», кинематографический кадр
..
.
— совокупность множества фотографических кадров φ внутри
временной области τ, кадры, которой φσ,i значительно отличается
от кадров соседних областей.
σ = {φσ,i|diff(φσ,i, φσ,j) < ε, φσ,i, φσ,j ∈ τ}
diff — функция разности кадров.
Аналогично можно ввести определение «звуковой сцены»,
предварительно разделив звуковой сигнал на отсчеты.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 7 из 21 | Поиск нечетких дубликатов видео

8. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Виды Выделение Перемены сцен Длины сцен Выравнивания
Выделение cцен
▶ сравнение гистограмм яркости кадров;
▶ сравнение спектров кадров;
▶ сравнение векторов движения кадров.
Первые кадры сцен некоторого видео
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 8 из 21 | Поиск нечетких дубликатов видео

9. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Виды Выделение Перемены сцен Длины сцен Выравнивания
Временные отметки перемены сцен
Временные отметки перемены сцен для видео закодированного
различными кодеками. Замеры проводились при низкой
чувствительности.
Отметки в секундах
n vp6f h264
1 0.094 0.04
2 1.654 1.6
3 6.574 6.52
4 11.654 11.6
5 14.254 14.2
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 9 из 21 | Поиск нечетких дубликатов видео

10. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Виды Выделение Перемены сцен Длины сцен Выравнивания
Относительные длины
▶ длина всех отрезков относительно всех, для видео это будет
представлять матрицу




1.0000 0.3171 0.3071 0.6000
3.1538 1.0000 0.9685 1.8923
3.2564 1.0325 1.0000 1.9538
1.6667 0.5285 0.5118 1.0000



 ;
▶ длина отрезков относительно некоторых:
— например 3 предыдущих,
— такой вариант применим для реального времени.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 10 из 21 | Поиск нечетких дубликатов видео

11. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Виды Выделение Перемены сцен Длины сцен Выравнивания
Временные отметки перемены сцен
Временные отметки перемены сцен для видео закодированного
различными кодеками. Замеры проводились при высокой
чувствительности.
Отметки в секундах
n cinepak indeo5 h264
1 0.133333 0.133333 0.133333
2 11.3333 — —
3 74 74 74
4 78.9333 — —
5 87.9333 — 87.9333
6 88.2667 88.2667 88.2667
7 88.3333 — —
8 94.5333 94.5333 94.5333
9 — 101.133 101.133
10 101.4 — 101.4
11 — — 112
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 11 из 21 | Поиск нечетких дубликатов видео

12. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Виды Выделение Перемены сцен Длины сцен Выравнивания
Выравнивания длин
Время 1 cек 2 cек 3 cек 4 cек 5 cек 6 cек 7 cек
Видео v1 σ1,1 σ1,2 σ1,3
Видео v2 σ2,1 σ2,2
Алгоритм Гейла-Черча для выравниваня длин предложений
параллельных корпусов на разных языках
▶ требуется установить, что v1 и v2, «переводы» друг друга;
▶ когда лучше выравнивать, до или после перехода
к относительным длинам:
до: перевычислять относительные длины,
после: учитывать масштаб относительных длин;
▶ вычислительные затраты.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 12 из 21 | Поиск нечетких дубликатов видео

13. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Кадры GIST Мешок слов Дескриптор сцены
При совпадени относительных длин сцен
▶ нельзя делать вывод об одинаковости сцен;
▶ сравнить начальные и конечные кадры:
• сравнивать попиксельно или на основе «знакового
представления» с разными масштабами:
+ просто;
− не устойчиво к трансформациям.
• искать особенности в каждой паре кадров, SIFT:
+ надежно, устойчиво к искажениям;
− долго, для каждой пары сцен придется перевычислять
особенности.
• вычислить GIST для нужных кадров проверяемой cцены;
• воспользоваться «мешком слов» и МОВ.
При сравнении удобно иметь набор уже сопоставленных сцен.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 13 из 21 | Поиск нечетких дубликатов видео

14. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Кадры GIST Мешок слов Дескриптор сцены
GIST
Изначально используется для поиска похожих изображений.
1. Считаем отклики детекторов краёв на 5 разных масштабах
и 6 ориентациях края.
2. Получаем 33 «канала» — цвет и 30 откликов фильтров края.
3. Разобиваем изображение сеткой 4 × 4 на 16 ячеек.
4. В каждой ячейке усредняем значения всех каналов.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 14 из 21 | Поиск нечетких дубликатов видео

15. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Кадры GIST Мешок слов Дескриптор сцены
Мешок слов
Предполагаем, что есть некоторый набор изображений, на
которых можно обучиться.
.
Обучение
..
.
▷ собираем множество фрагментов (на основе SIFT);
▷ кластеризуем и строим словарь;
▷ квантуем каждый фрагмент по словарю;
▷ считаем «мешки слов» для каждого изображения;
▷ обучаем МОВ на мешках слов.
.
Сопоставление
..
.
▷ выбираем фрагменты из изображения (на основе SIFT);
▷ квантуем каждый фрагмент по словарю;
▷ строим «мешок слов» для изображения;
▷ применяем классификатор МОВ.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 15 из 21 | Поиск нечетких дубликатов видео

16. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Кадры GIST Мешок слов Дескриптор сцены
Дескриптор сцены
1. Вектор отношений длины сцены к длинам других сцен;
▶ удобно сразу хранить, с объединениями соседних сцен;
▶ для относительных длин по трем предыдущим — 6 вариантов.
2. Xарактеристики начального и конечного кадров:
▶ или «мешки слов» начального и конечного кадров:
+ лучше соответвует предметной области,
− потенциально бесконечный размер вектора гистограммы;
▶ или GIST начального и конечного кадров;
+ не требует какого либо обучения,
− менее точен.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 16 из 21 | Поиск нечетких дубликатов видео

17. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Алгоритм Семантическое хеширование Обучаемое хеширование
Алгоритм поиска нечетких дубликатов видео
▶ ν — новое видео;
▶ Π = {π1, π2, . . . , πn} — исходные видео:
← Π может быть пустым;
← для непустого Π вычислены дескрипторы сцен элементов.
1. Сравниваем дескриптор каждой сцены σν,i из ν с дескриптором каждой
сцены σπk,j из πk в L2.
2. Если дескрипторы совпали ν c дескрипторами πk. на некотором временном
промежутке , то считаем эту часть ν — дубликатом πk,
несовпавшие части ν помещаем в Π.
3. Если дескрипторы не совпали, то считаем ν уникальным и добавляем в Π.
(−) Cравнивать дескрипторы явно — не эффективно,
можно применить семантическое хеширование.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 17 из 21 | Поиск нечетких дубликатов видео

18. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Алгоритм Семантическое хеширование Обучаемое хеширование
Семантическое хеширование
▶ Введем бинарные подписи.
▶ Подписи для близких в L2 сцен должны быть близки.
▶ Локально чувстивтельное хеширование:
1. Cлучайная проекция данных на прямую.
2. Случайно выберем порог, пометив проекции 0 или 1.
3. С увеличением числа бит подпись приближает L2-метрику в
исходных дескрипторах.
▶ Обучаемое хеширование.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 18 из 21 | Поиск нечетких дубликатов видео

19. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Алгоритм Семантическое хеширование Обучаемое хеширование
Обучаемое хеширование
.
Cтимулирование (boosting)
..
.
⇐ BoostSSC;
⇐ Расстояние между дескрипторами вычисляется, как расстояние Хемминга.
.
Ограниченная машина Больцмана
..
.
⇐ связь только между слоями;
⇐ внутри слоев связи нет;
⇐ мощность слоев понижается от размера входного вектора до размера
требуемого кода.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 19 из 21 | Поиск нечетких дубликатов видео

20. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Результаты и перспективы
Результаты и перспективы
Результаты:
▶ предложен подход:
▷ относительные длины,
▷ выравнивания,
▷ дескрипторы сцен;
▶ проведены эксперименты (17 тыс. фильмов):
▷ ложноотрицательные оценки,
▷ точность = 0.8,
▷ полнота = 0.7;
Дальнейшее развитие
▶ изменить алгоритм поиска перемены сцены,
▶ хеширование на основе машины Больцмана.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 20 из 21 | Поиск нечетких дубликатов видео

21. ....
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Результаты и перспективы
МОСКОВСКИЙ АВИАЦИОННЫЙ ИНСТИТУТ
(национальный исследовательский университет)
Поиск нечетких дубликатов видео
при поддержке интернет-кинотеатра Никитин Илья Константинович,
асп. каф. 806 МАИ
twitter: @w_495
почта: w@w-495.ru
nikitin.i@tvzavr.ru
22 мая 2013 г. | XXI Международная студенческая школа-семинар «Новые информационные технологии», 20-27 мая 2013 г. Крым, Судак