На сервисе Яндекс.Видео очень остро стояла проблема поиска и удаления пиратского видео. В докладе описывается принцип работы недорогой, но эффективной системы, позволяющей находить все копии нелегально загруженного ролика, а также ролики, содержащие любые его части.

1. Поиск одинаковых
видеороликов по
содержимому
Анатолий Борисов
Я.Субботник, Нижний Новгород, 13.12.2014

2. Хотим научиться искать копии видео-роликов

3. Простота. Скорость. Эффективность.

4. Как искать? Идеи?

5. Попробуем свести задачу к поиску похожего
текста

6. ● Подавляющее большинство видео (в особенности
защищенных авт правом - мультфильмы, фильмы,
передачи) разбито на сцены.

7. ● Подавляющее большинство видео (в особенности
защищенных авт правом - мультфильмы, фильмы,
передачи) разбито на сцены.
Используем ffmpeg!
ffmpeg -i input.mp4 -vf 'select=gt(scene,0.3)' -vsync 0 -an
scr%05d.png

8. Что дальше?
● Для каждой картинки можно попытаться построить хеш,
который будет устойчив к небольшим изменениям.
0x1feff41c1c66807730180

9. habrahabr.ru/post/120562/

10. Хеширование кадров

11. Хеширование кадров

12. Хеширование кадров

13. Хеширование кадров

14. Хеширование кадров
0x1feff41c1c66807730180

15. Получилось!

16. Складываем все в полно-текстовый поиск
Elasticsearch

17. «Тривиальные» хеши

18. «Тривиальные» хеши

19. «Тривиальные» хеши

20. Случай из жизни

21. Результаты
● После года работы система нашла и удалила столько же
нелегальных роликов, сколько было заблокировано всеми
сотрудники службы поддержки
● За все время работы была только одна жалоба на
ошибочно удаленный ролик.

22. Вопросы?

23. Контакты
Борисов Анатолий
tobo@yandex-team.ru