Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Распознавание лиц в реальном
времени по базам фотографий
глобального масштаба
Артем Кухаренко
N-Tech.Lab
Основан в 2015 году;
Наш алгоритм занял 1е место на соревновании Megaface;
Сервис Findface:
250М фотографий в п...
Схема работы алгоритмов
распознавания лиц
Построение вектора признаков:
Варианты использования:
?
?
?
Идентификация Верифи...
Deep Learning
* Source: devblogs.nvidia.com
Source: Rémi Lebret et. al. Phrase-based Image Captioning. ICML 2015.
Image ca...
Deep Learning. Обучение нейронной сети
AlexNet architecture Функции потерь
Forward
propagation
Backward
propagation
• Mult...
Получение
вектора
признаков
Устойчивость к условиям съемки (ракурс, освещение,
возраст, эмоции..);
Компактное представлени...
Верификация на базе LFW
Примеры ошибок:
False negative: False positive:
● Изображения взяты из Интернета;
● 13K фотографий...
Соревнование Megaface
Осень 2015;
1M людей в базе;
Принимало участие более 100 команд:
Identification Results
NtechLAB - facenx_large
Google - FaceNet v8
Beijing Faceall Co. - FaceAll_Norm_1600
Beijing Faceall...
Neural Net vs Human
FaceN;
Humans;
LBP.

FindFace.ru
Поиск по фотографиям профилей социальной сети Вконтакте;
250M+ фотографий в поисковом индексе;
90M пользовател...
FindFace.ru
FindFace.ru
Точность поиска
Количество
фото
Точность
1 M 73 %
250 M 60 %
Точность Rank-1
Количество людей в базе
Устойчивость к перекрытиям
Время работы отдельных компонент
GPU
Nvidia GTX TITAN Black
CPU
Intel Core i7-5930K
Обучение нейронной сети 514 hours x 3 ...
FindFace в реальной жизни
Сервис уже используется в неофициальном порядке
представителями полиции для поиска людей из
розы...
FindFace
в реальной жизни
В одном из районов Санкт-Петербурга двое подростков
устроили поджог в новостройке, однако их лиц...
Направления деятельности N-Tech.Lab
FindFace.pro — облачный сервис
разпознавания лиц
Возможность загрузки до 1 миллиарда фотографий;
Сценарии поиска и верифик...
Распознавание лиц для предприятий
(частное облачное хранилище)
Частное решение
Все данные остаются

на стороне заказчика. ...
Зоны применения технологии

Ntechlab в области безопасности
Программа для мобильных устройств линейных патрулей, сотрудник...
Узнайте
своих клиентов
Почасовая, дневная, ежемесячная статистика;
Пол, возраст;
Новые и вернувшиеся посетители;
Паттерны ...
Каждый посетитель — VIP
Нет лимитов: гораздо больше, чем может
запомнить человек.
Отслеживайте каждого посетителя
Частые п...
ОНЛАЙН-

ПРИМЕНЕНИЕ
Революционный формат
онлайн-рекламы:
оффлайн-ретаргетинг
Ретаргетинг в социальных сетях

(онлайн-реклама)
Сбор данных в оф...
Прорывные возможности

для онлайн-сервисов
Видео 

Использование алгоритма для распознавания эмоций людей в видеозвонках
C...
Прорывные возможности

для онлайн-сервисов
Добавление в друзья по фотографии
Теперь для добавления человека в друзья в соц...
Контакты
info@ntechlab.ru
+7 (499) 110-22-54
Python backend-разработчик;
Специалист по машинному обучению.
Наши вакансии:
Распознавание лиц в реальном времени по базам фотографий глобального масштаба / Кухаренко А., Кабаков А. (N-Tech.Lab)
Распознавание лиц в реальном времени по базам фотографий глобального масштаба / Кухаренко А., Кабаков А. (N-Tech.Lab)
Upcoming SlideShare
Loading in …5
×

Распознавание лиц в реальном времени по базам фотографий глобального масштаба / Кухаренко А., Кабаков А. (N-Tech.Lab)

1,287 views

Published on

Наш алгоритм по распознаванию лиц может осуществлять поиск по миллиардам фотографий за доли секунды с высокой точностью. Уже сейчас работает решение, которое осуществляет поиск по базе в 300 млн. фотографий меньше чем за секунду и держит нагрузку 50 запросов в секунду на 5 амазоновских серверах.

Published in: Engineering

Распознавание лиц в реальном времени по базам фотографий глобального масштаба / Кухаренко А., Кабаков А. (N-Tech.Lab)

  1. 1. Распознавание лиц в реальном времени по базам фотографий глобального масштаба Артем Кухаренко
  2. 2. N-Tech.Lab Основан в 2015 году; Наш алгоритм занял 1е место на соревновании Megaface; Сервис Findface: 250М фотографий в поисковом индексе; время поиска: 0.5 сек.; точность распознавания 70%; 50 RPS на 5 AWS серверах.
  3. 3. Схема работы алгоритмов распознавания лиц Построение вектора признаков: Варианты использования: ? ? ? Идентификация Верификация Детектор Нормализация - 2D/3D выравнивание - Выравнивание освещенности Вектор признаков magic goes here...
  4. 4. Deep Learning * Source: devblogs.nvidia.com Source: Rémi Lebret et. al. Phrase-based Image Captioning. ICML 2015. Image captioning Image recognition Speech recognition Text analysis * Source: Microsoft’s speech group Source: T.Mikolov. Efficient Estimation of Word Representations in Vector Space
  5. 5. Deep Learning. Обучение нейронной сети AlexNet architecture Функции потерь Forward propagation Backward propagation • Multinomial logistic
 regression • Triplet loss • Contrastive loss
 
 20M фотографий для обучения; 3 недели обучения на 3 GPUs NVidia Titan Black.
  6. 6. Получение вектора признаков Устойчивость к условиям съемки (ракурс, освещение, возраст, эмоции..); Компактное представление (до 32 floats); Векторпризнаков Можно использовать для обучения дополнительных классификаторов: например, пол, раса. Deep Learning. Построение вектора признаков AlexNet architecture
  7. 7. Верификация на базе LFW Примеры ошибок: False negative: False positive: ● Изображения взяты из Интернета; ● 13K фотографий, 5K человек; ● Точность: 99%.
  8. 8. Соревнование Megaface Осень 2015; 1M людей в базе; Принимало участие более 100 команд:
  9. 9. Identification Results NtechLAB - facenx_large Google - FaceNet v8 Beijing Faceall Co. - FaceAll_Norm_1600 Beijing Faceall Co. - FaceAll_1600 Barebones_FR - cnn NTechLAB - facenx_small 3DiVi Company - tdvm6 Joint Bayes LBP 0,00 % 20,00 % 40,00 % 60,00 % 80,00 % 2,326 % 3,021 % 33,705 % 58,218 % 59,363 % 63,977 % 64,803 % 70,496 % 73,300 %
  10. 10. Neural Net vs Human FaceN; Humans; LBP.

  11. 11. FindFace.ru Поиск по фотографиям профилей социальной сети Вконтакте; 250M+ фотографий в поисковом индексе; 90M пользователей в индексе; Время поиска 0.5сек; 50 RPS на 5 AWS
 серверах.
  12. 12. FindFace.ru
  13. 13. FindFace.ru
  14. 14. Точность поиска Количество фото Точность 1 M 73 % 250 M 60 % Точность Rank-1 Количество людей в базе
  15. 15. Устойчивость к перекрытиям
  16. 16. Время работы отдельных компонент GPU Nvidia GTX TITAN Black CPU Intel Core i7-5930K Обучение нейронной сети 514 hours x 3 GPUs - Детекция лиц - 150 ms Получение вектора признаков 8.96 ms 143 ms Время поиска - 130 ms
  17. 17. FindFace в реальной жизни Сервис уже используется в неофициальном порядке представителями полиции для поиска людей из розыска.
  18. 18. FindFace в реальной жизни В одном из районов Санкт-Петербурга двое подростков устроили поджог в новостройке, однако их лица оказались запечатлены на камеру в лифте; После того, как видео появилось в сети, пользователи с помощью Findface быстро нашли аккаунты хулиганов в социальной сети Вконтакте со всей дополнительной информацией: где они живут, в какую школу ходят итп. Вся найденная информация была передана в Полицию.
  19. 19. Направления деятельности N-Tech.Lab
  20. 20. FindFace.pro — облачный сервис разпознавания лиц Возможность загрузки до 1 миллиарда фотографий; Сценарии поиска и верификации; Возможность масштабирования под любую нагрузку.
  21. 21. Распознавание лиц для предприятий (частное облачное хранилище) Частное решение Все данные остаются
 на стороне заказчика. 
 Архитектурная диаграмма Возможность настройки под запросы клиента Частное облачное решение для заказчика Программное
 обеспечение Сервера
 заказчика Хранение
 данных Камеры
 (сбор данных) В отличие от больших компаний, мы тесно взаимодействуем с заказчиком, чтобы реализовать все необходимые уникальные особенности решения. Объединяя распознавание лиц и обработку больших данных.
  22. 22. Зоны применения технологии
 Ntechlab в области безопасности Программа для мобильных устройств линейных патрулей, сотрудников полиции; Стационарные камеры наблюдения, интегрированные в городские системы (в т.ч. система видеонаблюдения Департамента Информационных Технологий Москвы, камеры, подключенные к системе АПК «Безопасный город», и т.д.); Камеры на объектах транспортной инфраструктуры (метро, аэропорты, вокзалы); Камеры государственных ведомств, отделений полиции, режимных объектов и т.д. Поиск
 и идентификация людей в потоковом видео Ограничение доступа на объекты и проверка по базам данных Проверка документов соответствия личности Контроль передвижения конкретных людей
 на инфраструктурных объектах и по городуВ т. ч. камеры наблюдения в общественных местах Например, болельщиков из «черных списков»
 на стадионы В т.ч. пропускные пункты режимных объектов, линейные патрули полиции
  23. 23. Узнайте своих клиентов Почасовая, дневная, ежемесячная статистика; Пол, возраст; Новые и вернувшиеся посетители; Паттерны привлечения и удержания клиентов, тепловые карты, среднее время посещений. Полная статистика по вашим посетителям: Частота и история посещений; Любимые игры / товары; Время в магазине / за игровым столом; Привычки пользователя. Профайл каждого посетителя:
  24. 24. Каждый посетитель — VIP Нет лимитов: гораздо больше, чем может запомнить человек. Отслеживайте каждого посетителя Частые посетители; Посетители, тратящие больше среднего; Условия, основанные на их привычках и предпочтениях. Узнавайте и предлагайте специальные условия тысячам посетителей: Даже если они не пользуются картами лояльности и не говорят свое имя. Определяйте и следите за частыми посетителями и покупателем с большим чеком:
  25. 25. ОНЛАЙН-
 ПРИМЕНЕНИЕ
  26. 26. Революционный формат онлайн-рекламы: оффлайн-ретаргетинг Ретаргетинг в социальных сетях
 (онлайн-реклама) Сбор данных в оффлайн Облачный сервис как для крупного ритейла, так и среднего и малого бизнеса, подключенный к системам видеонаблюдения магазинов, ресторанов, кинотеатров, позволит в оффлайне идентифицировать пользователей, находить их в социальных сетях и откручивать персонализированные рекламные предложения с помощью онлайн-рекламы.
  27. 27. Прорывные возможности
 для онлайн-сервисов Видео 
 Использование алгоритма для распознавания эмоций людей в видеозвонках Cloud-сервисы 
 Систематизация фотодокументов по персонам (например, из контакт-листа) с определением людей и возможностью шаринга документов для них. Dating 
 Функционал сервиса знакомств Findface можно интегрировать в существующий проект.
  28. 28. Прорывные возможности
 для онлайн-сервисов Добавление в друзья по фотографии Теперь для добавления человека в друзья в социальной сети нет необходимости долго искать его имя, достаточно сфотографировать его или сделать с ним селфи. Автоматические метки друзей на фотографии При загрузке фотографий алгоритм может автоматически отмечать имена друзей пользователя. Верификация фотографий пользователя и автоматическое удаление дубликатов С помощью эталонного селфи пользователь может автоматически верифицировать все свои фотографии и отправить на автоматическую блокировку дубликаты фотографий
 и фейковые анкеты, что может сильно сократить работу службы поддержки.
  29. 29. Контакты info@ntechlab.ru +7 (499) 110-22-54 Python backend-разработчик; Специалист по машинному обучению. Наши вакансии:

×