Документ описывает проект avitonet, сервис компьютерного зрения, используемый для распознавания марки и модели автомобилей, а также категорий объявлений на платформе Avito с высокой точностью. Он затрагивает методы классификации, генерации заголовков и требования к модерации контента, в том числе фотографий. Также упоминаются размеры обучающего датасета и архитектура нейросети, используемой в проекте.

1. AvitoNet:
сервис компьютерного зрения в Avito
Artur Kuzin
aakuzin@avito.ru

2. Предыстория
Конкурсы Avito-2016:
Распознавание марки и
модели автомашин на
изображениях
Распознавание категории
объявления
96+ %
top1 accuracy
83+ %
avito score
~top5 accuracy

3. Модерация в Avito
Правила
Ок

4. Облегченная подача
Заголовок:
iPhone
Микрокатегория:
Бытовая электроника
Телефоны
iPhone#398

5. Straightforward подход
Классификация
(Микрокатегория = класс)
Определение
категории
Генерация
заголовка
Image Captioning
(NeuralTalk, im2txt)
Соблюдение
правил
Бинарная классификация

6. NeuralTalk and Walk
https://vimeo.com/146492001

7. Инфомодель
Личные вещи | Аксессуары
Хобби и отдых | Спорт и отдых |
Зимние виды спорта
чемодан, кепка, кошелек,
очки, рюкзак, спортивная
сумка, зонт и т.д.
беговые лыжи, сноуборд,
горные лыжи, хоккейная
форма, ледянки, коньки,
снегокаты и т.д.

8. Класстеризация

9. Общий подход
Определение
категории
Генерация
заголовка
Соблюдение
правил
Классификация

10. Avitonet-1k
969 классов
(621 машин, 339 general, 9 запрещенных товаров)
1M изображений для обучения
100к изображений для валидации
Я сделаю свой Imagenet -
c Газелями и Соболями!

11. На сколько оправданно собирать свой датасет?

12. Качество ремонта
Score: 0.029 Score: 0.611

13. Фото не является собственным
Отсутствуют люди
на фотографиях

14. Отсутствие людей на фото
Отсутствуют
фотографии с видом
внутри квартир

15. Дополнительные требования модерации
Резюме
(отсутствие людей на
фотографии)
Порнография
Недвижимость
(фото внутри квартиры)
Недвижимость
(качество ремонта)
Open NSFW
Face detector
Avitonet

16. Avitonet-4k
4000+ классов
8M+ изображений

17. Архитектура нейросети
https://arxiv.org/abs/1611.05431
https://github.com/apache/incubator-mxnet/tree/master/example/image-classification
ResNeXt+

18. Обучение
● Finetune (from imagenet 1k)
● Conv freeze, FC only, ~3 epoch
● SGD (LR 1e-2 -> 1e-3 -> 1e-4)
● SGD, 1e-4, augs off
● 3 Cycle

19. Model Importance (kaggle Amazon from space)
@albu
@alno
@kostia
@n01z3
@nizhib
@romul
@ternaus

20. Точность определения микрокатегорий general

21. Спасибо за внимание!
Вопросы?
aakuzin@avito.ru