Миша рассказал, зачем мы организовали конкурс на построение рекомендательной модели, какие результаты мы ожидали получить по итогам соревнования, что из этого удалось получить, а что нет.

1. Strictly ConfidentialStrictly Confidential
Avito Recommendations
Contest

2. Strictly ConfidentialStrictly Confidential
• Посмотреть с другой стороны на наши задачи
• Найти новые идеи для рекомендательного сервиса
• Поиск талантливых людей в команду
2
Цели проведения конкурса

3. Strictly ConfidentialStrictly Confidential
Данные и задача конкурса
3
• 35.000.000 действий пользователей за 6 дней
• 600.000 пользователей
• 5.000.000 объявлений
• Заголовки и описания объявлений
• Поисковые запросы пользователей

4. Strictly ConfidentialStrictly Confidential
Выбор метрики
• Метрика - взвешенная сумма правильно угаданных действий
пользователей
• Большинство действий - просмотры
• Метрика не учитывает ранжирование
4

5. Strictly ConfidentialStrictly Confidential
Baseline решение
• Запускается даже на слабом железе
• Демонстрирует алгоритм коллаборативной фильтрации
• Можно улучшить
5

6. Strictly ConfidentialStrictly Confidential
• 144 человека зарегистрировались в конкурсе
• 20 участников, отправивших хотя бы 1 решение
• 17 участников, побивших baseline скор
• 4 участника, преодолевших призовой baseline
• 76 отправок решений в сумме
• Победители не использовали самую большую часть датасета (описания
объявлений)
Немного статистики
6

7. Strictly ConfidentialStrictly Confidential
• Пользователи ищут что-то конкретное
• Фильтровать по локации / микрокатегории
• Простые модели в силу большого объема данных
• Модели, использующие матричную факторизацию трудно настраивать и
обучать
Подходы к решениям
7

8. Strictly ConfidentialStrictly Confidential
• Много данных - не всегда хорошо для конкурса
• Сложность выбора оффлайн метрики для рекомендательной системы
• Content-based подход хорошо показал себя в задаче
Выводы
8

9. Strictly ConfidentialStrictly Confidential
Место Имя участника Рейтинг
1 Unfaint 64 543
2 VasiliyRubtsov 60 452
3 Dmytro 46 991
4 Papanya 44 321
- Prize Benchmark 44 000
5 Dofollow 41 124
6 Viking 37 958
7 AleVar 37 821
8 Sswt 33 265
9 Rumbok 31 065
10 Sysoev2009 24 195
Место Имя участника Рейтинг
11 Nanopony 23 075
12 shallow_learning 21 636
13 pershinmr 17 642
14 Dilim 12 720
15 Ololo 7 678
16 Aelita 4 360
17 Lsinev 2 244
- Sample Benchmark 2 163
18 plexyglaz 2 054
19 Gensac 4
20 Ptica 1
Финальный рейтинг
9

10. White Gardens Business Center, 7 Lesnaya street, Moscow, 125047, www.avito.ruWhite Gardens Business Center, 7 Lesnaya street, Moscow, 125047, www.avito.ru
Спасибо за внимание!
White Gardens Business Center, 7 Lesnaya street, Moscow, 125047, www.avito.ru