Nkp 2016

События Зачем Ряды Аномалия Пороги Средние Штрафы Итог
МОСКОВСКИЙ АВИАЦИОННЫЙ ИНСТИТУТ
(национальный исследовательский университет)
Поиск событий в видео
Никитин Илья Константинович,
асп. каф. 806 МАИ
twitter: @w_495
почта: w@w-495.ru
nikitin.i@tvzavr.ru
w495@yandex-team.ru
15 марта 2016 года. «Поиск событий в видео» XIV Всероссийская научная конференция «Нейрокомпьютеры и их применение»

Cодержание
События
Что такое видео
Зачем искать события
Видео-аналитика
Видео-поиск
Приложения
Почему видео-поиск это важно
Временные ряды
Начальные условия
Признаки
Одномерный случай
Сведение к одномерному
Как свести
Аномалия
Сигнал
Пороги
Статический
SAD
FFMPEG
Адаптивный
Сравнение средних
Штрафы
Итог
15 марта 2016 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 2 из (31) | «Поиск событий в видео»

События Зачем Ряды Аномалия Пороги Средние Штрафы Итог Что такое видео
Что такое видео? — Последовательность ...
Видео — последовательность фактов или событий
▶ События развиваются во времени.
▶ Свойства событий — пространственная характеристика видео,
▶ продолжительность и порядок фактов — временная.
Пример:
; ; .
(Кадры событий из начала мультфильма «Дядя Стёпа — милиционер»)

События Зачем Ряды Аномалия Пороги Средние Штрафы Итог Видео-аналитика Видео-поиск
Зачем искать события: видео-аналитика
Полуавтоматическое наблюдение
⇐ Пульт видео-наблюдения:
▶ много камер;
→ система видео-наблюдения банка ≈ 200 камер.
▶ просматривает человек;
▶ не всегда понятно на какой из камер «тревога»;
⇒ Нужно оповещение — на что обратить внимание оператору.
Быстрая навигация по видео
⇐ Много видео c камер:
▶ просматривают только когда «что-то случается»;
▶ невозможно среагировать до того, как случилось.
⇒ Нужны метки когда происходило что-то необычное.

Зачем искать события: видео-поиск
Поиск внутри видео
▶ поиск известного фрагмента;
▶ поиск неизвестного фрагмента по шаблону;
▶ поиск видео с заданными характеристиками;
Поиск похожих видео (поиск нечетких дубликатов)
▶ системы рекомендаций;
▶ ранжирование в поисковых системах;
▶ группировка новостей и других материалов;

Российский рынок онлайн-видео в 2012—2018 годах
2012 2013 2014 2015 2016 2017 2018
0
100
200
300
53 59
67
76
85
95
105
166 167
179
191
204
218
233
106
118
144
174
209
248
292
Среднее число зрителей в месяц (в миллионах)
Среднее число просмотров в месяц для одного зрителя
Общее число просмотров видео в год (в миллиардах)

События Зачем Ряды Аномалия Пороги Средние Штрафы Итог Начальные условия Признаки Можно 1D Нужно 1D Как 1D
Поиск событий: временные ряды
Изначально имеем
▶ последовательность изображений;
▶ и последовательность аудио-отчетов.
Хотим получить
▶ временной ряд;
▶ описание ситуации в видео.
последовательность изображений
tзвук
0 1 2 3 t
0.05
0.10
0.15
0.20
0.25
L1

..Признаки.
Кадры
.
Цвет
. Текстура.
Контуры
.
Края
.
Объекты
.
Цвет
.
Текстура
.
Размер
.
Движение
.
Камеры
.
Объектов
.
Звук
.
Средняя
частота
.
Шумы
.
Музыка
.
Речь
.Признаки.
Кадры
.
Цвет
. Текстура
.
Контуры
.
Края
.
Объекты
.
Цвет
.
Текстура
.
Размер
.
Движение
.
Камеры
.
Объектов
.
Звук
.
Средняя
частота
.
Шумы
.
Музыка
.
Речь

Можно свести к одномерному случаю
..Признаки.
Кадры
.
Цвет
. Текстура.
Контуры
.
Края
.
Объекты
.
Цвет
.
Текстура
.
Размер
.
Движение
.
Камеры
.
Объектов
.
Звук
.
Средняя
частота
.
Шумы
.
Музыка
.
Речь
.Признаки.
Кадры
.
Цвет
. Текстура
.
Контуры
.
Края
.
Объекты
.
Цвет
.
Текстура
.
Размер
.
Движение
.
Камеры
.
Объектов
.
Звук
.
Средняя
частота
.
Шумы
.
Музыка
.
Речь
0 1 2 3 t
0.05
0.10
0.15
0.20
0.25
L1
0 1 2 3 t
0.05
0.10
0.15
0.20
0.25
L1

Сведение к одномерному случаю
Зачем сводить к одномерному случаю
Сможем в явном виде применить:
▶ методы экономического анализа;
▶ методы обработки временных рядов из радиотехники;
▶ методы поиска разладок.
Почему сведение корректно
▶ можем свести из n-мерного:
▶ нужны только весовые коэффициенты;
▶ пример: YY′PrPb
= 0.299 · R + 0.587 · G + 0.114 · B;
▶ сможем обобщить до n-мерного:
▶ для визуальной информации n может быть > 3;
▶ очень актуально для трехмерных камер.

Как свести к одномерному случаю
Дана последовательность кадров
F(t) = Frgb,t
Frgb,t =


x1,1, · · · x1,m
· · · · · · · · ·
xn,1, · · · xn,m


t
xi,j = {ri,j; gi,j; bi,j} ∈ R3
[0,1];
Работаем только с визуальным рядом
▶ может быть видео без звука;
▶ звука без картинки в видео не бывает.
Для каждого кадра
Значение по выбранной норме
∥Ft∥L1
=
1
n · m
n∑
i=0
m∑
j=0
S(xi,j), где
S : R3
[0,1] −→ R[0,1]
Например, S(x) = |YY′PrPb
|
Далее, строим ряд
FL1 (t) = ∥Ft∥L1
и пытаемся найти в нем «аномалии».

События Зачем Ряды Аномалия Пороги Средние Штрафы Итог Сигнал
«Дядя Стёпа — милиционер», внешний вид сигнала FL1
0 20 40 60 80 100
t [c ]
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
L1
FL1 =|Ft|L1

События Зачем Ряды Аномалия Пороги Средние Штрафы Итог Сигнал
Что считаем аномалией
Аномалия
▶ резкое изменение свойств наблюдаемого ряда
▶ в заранее неизвестный момент времени.
Иногда явление называют «разладкой».
Как связано с событиями
▶ Моменты аномалий — моменты событий.
▶ В художественном видео:
▶ монтажные склейки или «сцены»;
▶ собственные события сюжета.

События Зачем Ряды Аномалия Пороги Средние Штрафы Итог Статический Адаптивный
«Дядя Стёпа — милиционер», простой порог
0 20 40 60 80 100
t [c ]
0.0
0.2
0.4
0.6
0.8
1.0
L1
FL1 =|Ft|L1
Dt >Tconst
Dt =|Ft − Ft− 1|L1
Tconst =0.08∈ (0;1)

«Дядя Стёпа — милиционер», определение «сцен» в FFMPEG
0 20 40 60 80 100
t [c ]
0.0
0.2
0.4
0.6
0.8
1.0
L1
FL1 =|Ft|L1
Dffmpeg
t >Tconst
Dffmpeg
t =min(Dt,Dt − Dt− 1)
Tconst =0.08∈ (0;1)

«Дядя Стёпа — милиционер», сравнение порогов
0 20 40 60 80 100
t [c ]
0.0
0.2
0.4
0.6
0.8
1.0
L1
FL1 =|Ft|L1
Dt >Tconst
Dffmpeg
t >Tconst
Dt =|Ft − Ft− 1|L1
Dffmpeg
t =min(Dt,Dt − Dt− 1)
Tconst =0.08∈ (0;1)

Съёмка с БПЛА над побережьем Тулума (Мексика)
0 20 40 60 80 100
t [c ]
0.0
0.1
0.2
0.3
0.4
0.5
0.6
L1
FL1 =|Ft|L1
Dt >Tconst
Dt =|Ft − Ft− 1|L1
Tconst =0.08∈ (0;1)

Пороговые методы cо статическим порогом
Как устроены
▶ разница соседних величин (по некоторой норме);
▶ превышения порога — «аномалия».
Плюсы
▶ просты в реализации, втч аппаратной;
▶ не требовательны к ресурсам.
Минусы
▶ требуется заранее знать порог;
▶ не применимо для разных типов видео;
▶ чувствительны к случайным всплескам;
▶ ловят только краткосрочные события.

«Дядя Стёпа — милиционер»,
адаптивный порог Dt > ˆµk + A · ˆσk
0 20 40 60 80 100
t [c ]
0.0
0.2
0.4
0.6
0.8
1.0
L1
Dt > ˆµ25 +A· ˆσ25
Dt > ˆµ50 +A· ˆσ50
Dt > ˆµ100 +A· ˆσ100
Dt > ˆµ200 +A· ˆσ200
FL1 =|Ft|L1

Съёмка с БПЛА над побережьем Тулума,
адаптивный порог Dt > ˆµk + A · ˆσk
0 20 40 60 80 100
t [c ]
0.0
0.2
0.4
0.6
0.8
1.0
L1
Dt > ˆµ25 +A· ˆσ25
Dt > ˆµ50 +A· ˆσ50
Dt > ˆµ100 +A· ˆσ100
Dt > ˆµ200 +A· ˆσ200
FL1 =|Ft|L1

«Дядя Стёпа — милиционер», адаптивный порог Dt > ˆµk + A · ˆσk
(не нашли плавный переход)
80 90 100 110 120 130
t [c ]
0.2
0.4
0.6
0.8
1.0
L1
Dt > ˆµ25 +A· ˆσ25
Dt > ˆµ50 +A· ˆσ50
Dt > ˆµ100 +A· ˆσ100
Dt > ˆµ200 +A· ˆσ200
FL1 =|Ft|L1

Пороговые методы адаптивным порогом
▶ разница соседних величин (по некоторой норме);
▶ превышения порога — «аномалия».
▶ порог вычисляется динамически (критерий Смирного-Граббса).
Плюсы
▶ не требовательны к ресурсам.
Минусы
▶ требуется заранее подобрать размер скользящего окна;
▶ не применимо для разных типов видео;
▶ чувствительны к случайным всплескам;
▶ ловят только краткосрочные события;

«Дядя Стёпа — милиционер», разницы средних
0 20 40 60 80 100
t [c ]
0.0
0.2
0.4
0.6
0.8
1.0L1
FL1 =|Ft|L1
M50 =|ˆµ50(FL1 )|
M100 =|ˆµ100(FL1 )|
M200 =|ˆµ200(FL1 )|
|M100 − M50|→±0
|M200 − M50|→±0
|M200 − M100|→±0

«Дядя Стёпа — милиционер», разницы средних
(нашли центральную точку перехода)
90 95 100 105 110 115 120 125
t [c ]
0.0
0.2
0.4
0.6
0.8
1.0
L1
FL1 =|Ft|L1
M50 =|ˆµ50(FL1 )|
M100 =|ˆµ100(FL1 )|
M200 =|ˆµ200(FL1 )|
|M100 − M50|→±0
|M200 − M50|→±0
|M200 − M100|→±0

Съёмка с БПЛА над побережьем Тулума, разницы средних
0 20 40 60 80 100
t [c ]
0.0
0.2
0.4
0.6
0.8
1.0L1
FL1 =|Ft|L1
M50 =|ˆµ50(FL1 )|
M100 =|ˆµ100(FL1 )|
M200 =|ˆµ200(FL1 )|
|M100 − M50|→±0
|M200 − M50|→±0
|M200 − M100|→±0

Сравнение средних
▶ разница двух оценок сигнала;
▶ сигнал оцениваем через средние.
Плюсы
▶ не очень требовательны к ресурсам.
▶ могут ловить и резкие и плавные переходы
Минусы
▶ требуется заранее подобрать размеры скользящих окон;
▶ при малом размере ловят шум;
▶ при большом — могут пропустить событие;
▶ требуется хранить скользящее окно.

Что предлагаем
Штрафы по производной средней оценки
▶ оценим сигнал кусочно-постоянной функцией DTRw,d(t):
▶ используем решающее дерево регрессии глубины d;
▶ по скользящему окну размера w;
▶ размножение оценок:
▶ усредненная оценка по k регрессиям SDTR,d(t) =
1
k
k∑
i=1
DTRi·s,d(t);
▶ окна разного размера w = i · s, s — шаг размера окна;
▶ разница соседних точек:
▶ S′
DTR(t) =
d SDTR(t)
d t
= SDTR(t) − SDTR(t − 1);
▶ штраф за отклонение:
▶ Bx(t) = (|S′
DTR(t)| > |ˆµx(S′
DTR(t)) + A · ˆσx(S′
DTR(t))|) ∈ {0, 1},
▶ x — размер скользящего окна
▶ еще раз размножение оценок (голосование):
▶ V(t) =
1
n
n∑
j=1
Bj·z(t); z — шаг размера окна;

«Дядя Стёпа — милиционер», штрафы по дискретной производной
усредненной кусочно-постоянной аппроксимации
V =
1
k
k∑
j=1
Bill SDTR =
1
k
k∑
j=1
(|S′
DTR| > |ˆµj(S′
DTR) + A · ˆσj(S′
DTR)|)
0 20 40 60 80 100
t [c ]
0.0
0.2
0.4
0.6
0.8
1.0
L1
FL1 =|Ft|L1
DTR300,2
SDTR =1
k
k
j=1
DTRi· 25,2
1
k
k
j=1
BillsSDTR

Съёмка с БПЛА над побережьем Тулума, штрафы по дискретной производной
усредненной кусочно-постоянной аппроксимации
V =
1
k
k∑
j=1
Bill SDTR =
1
k
k∑
j=1
(|S′
DTR| > |ˆµj(S′
DTR) + A · ˆσj(S′
DTR)|)
0 20 40 60 80 100
t [c ]
0.0
0.2
0.4
0.6
0.8
1.0
L1
FL1 =|Ft|L1
DTR300,2
SDTR =1
k
k
j=1
DTRi· 25,2
1
k
k
j=1
BillsSDTR

Что предлагаем
Плюсы
▶ интуитивный поиск аномалий;
▶ ловит и резкие и плавные переходы;
▶ относительный порог аномалии можно выбрать после вычислений
(в пределах).
Минусы
▶ требования вычислительным к ресурсам;
▶ пока плохо изучен, нужно исследовать свойства.

Итог
Чего достигли
▶ предложен и реализован алгоритм поиска аномалий видео;
▶ по аномалия — определяем, что в видео произошло событие
▶ проведены эксперименты;
▶ результаты совпадают с тем, как разметил человек.
Куда двигаться дальше
▶ получить размеченную выборку видео-событий;
▶ сравнить различные методы по этой выборке;
▶ получить коэффициенты доверия для конкретных методов;
▶ получить комбинированный метод.

Nkp 2016

Recommended

Recommended

More Related Content

Featured

Featured (20)

Nkp 2016