Как устроена рекомендательная система? Лекция Антона Малькова "Потроха рекомендательных систем" в рамках курса "СПЕЦИАЛИСТ ПО БОЛЬШИМ ДАННЫМ", проходящего в Digital October

1. Рекомендательные системы.
Люди против машин.
Где?
Зачем?
Как?

2. Данные. Типы рекомендаций
Сессии
Источник трафика
Просмотренные
товары
Поисковые
запросы
Время на сайте
Страницы сайта
Профиль
Гео
Персонализующие
данные (размеры
и т. п.)
Каталог
Категории
Характеристики
Цены
Маржа
Доступность
Действия
Покупка
Добавление в
корзину
Добавление в
wish-list

3. А большие ли данные?
Магазин из ТОП 100
• 100хN тыс. уникальных посетителей в день
• 10хN тыс. оформленных заказов в день
• 50000 – 1000000 товаров в БД
• 6 - Среднее кол-во просмотренных одним посетителем страниц
• 10 – примерное кол-во данных собираемых при посещении
пользователем каждой страницы
Трафик
Каталог/ = ?

4. Проблема свежести данных

5. Проблема скорости выдачи
Инстанс 1
Crossss DB
r
Приложение Crossss
Load Balancer
WS
Amazon
SES
Backup
and long-
term data
Amazon
S3
Инстанс 0
Crossss DB
Приложение CrossssWS
Инстанс N
Crossss DB
Приложение CrossssWS



БД Статистики
Cluster
Сервер ЛК
Приложение Crossss ЛКWS
Сервер статистики и
заданий
Задания
Сервер визуальных
рекомендаций
Приложение
визуальных
рекомендаций
Visual DB
Преднасчитанные
рекомендации
NOSQL DB

6. Дополнительные данные для анализа

7. Персонализация контента (сортировка
поисковой выдачи)
Типичная выдача каталога
с произвольной сортировкой
Или с сортировкой по цене
Каталог, отсортированный
по интересам
пользователя

8. Персонализации писем и других каналов
взаимодействия
По магазинам со стандартными почтовыми
сериями crossss (октябрь):
• Open Rate 50.1%±2.5% (среднее отклонение)
• CTR в открытые письма 43.6%±8.5% (среднее
отклонение)
• Конверсия по каналу почтового ретаргетинга
колеблется от 4% до 65% (без учета
многоканальной атрибуции, first cookie wins)

9. Несколько секретов
Секрет 1. Как определить, что искал пользователь без поискового
запроса
Приземлились на каталог
Приземлились на товар

10. Секрет 2. Отсутствующие товары – источник прибыли

11. Секрет 3. Использование информации о том, как пользователи
взаимодействуют с рекомендациями.

12. Секрет 4. Цикл покупки. Конвертация покупателя в подписчика
осознание
проблемы
поиск
информации
сравнение
решений
покупка
поведение
после
покупки
• Определить с помощью BigData, купит
или нет в текущей сессии посетитель
• Если все равно не купит, то постараться
конвертировать его в email

13. Секрет 5. Метаалгоритм
Выборалгоритмов-кандидатов
помагазинуикуки(система
постоянногоA/B/N
тестирования)
Алгоритм 1
Алгоритм 2
Алгоритм 3
Алгоритм
N
Алгоритм
…
●
●
●
Бизнес-логикаранжированияи
фильтрациирекомендаций

14. Сильно ли алгоритмы влияют на
эффективность рекомендаций
Текст заголовка Размещениеблока на странице
А/Б тест:
CTR Заголовок
0,0298 недавно купленных товаров
0,031Вам рекомендуют
0,0328 товаров, которые вам понадобятся в этом месяце
0,0368 похожих товаров
0,036Смотревшие этот товар купили:
0,0388 товаров, которые тоже понадобятся
0,0398 товаров для сравнения
0,0408 товаров, которые вас заинтересуют
0,054Что может понадобиться во время кризиса?
0,0698 товаров, без которых у вас могут появиться проблемы
Вас также может заинтересовать Обратите внимание на С этим товаром часто покупают
Возможно, Вас заинтересует Покупатели рекомендуют С этими товарами покупают
Выгодные предложения Популярные товары
Смотревшие этот товар
интересуются
Дополнительные рекомендации
Похожие более дешевые
товары Смотревшие этот товар купили
Купите прямо сейчас Похожие товары в наличии Сравните еще с
Лидер продаж Похожие товары Товары в корзине
Лидеры продаж Рекомендаций не найдено Товары которые подешевели
Мы рекомендуем Рекомендуем Товары которые подорожали
Недавно в этой категории
покупали Рекомендуемые товары Товары нашего магазина
Недавно просмотренные товары С этим товаром покупают Хиты продаж

15. АБ и ААБ тестирование

16. «Чистая математика» против «Грязных рук»
маркетологов

17. antonym2001
malkov@crossss.com
Антон
Мальков