Speech on recommendations product management at Product camp Russia Nsk 2019

1. Как запускать и развивать
рекомендательные продукты
на примере Яндекс.Эфира
Мирошников Григорий, менеджер продукта

2. 2
Обо мне
Опыт работы
› Продакт менеджер Я.Эфира/Я.Видео
@Яндекс
› BigData продакт менеджер @oneFactor
› Старший аналитик @Lamoda
Образование
› Математика – МГУ ВМК
› Менеджмент – МГУ ФГУ

3. 3
Яндекс.Эфир
› Рекомендательный сервис, с
помощью которого миллионы
людей смотрят видео в интернете
› В прямом эфире или в записи
можно посмотреть десятки
телеканалов, отдельные
спортивные и культурные события
› Контент ведущих блогеров
› Больше 5 тысяч лицензированных
фильмов и сериалов
› В 2019 году запущен персональный
канал – «Мой Эфир»

4. Основной сценарий
потребления
контента:
через рекомендации
* O+K Research, 2018 4
› В основе всех крупнейших мировых
контентых продуктов: фид/лента
› Этот тренд будет продолжаться
Дети до 15 лет практически не пользуются поиском при
просмотре видео, а смотрят рекомендованное*
› Нужно уметь реализовывать
сценарий продолжения просмотра
(залипаемость): рекомендации
связаных объектов

5. Основной сценарий
потребления
контента:
через рекомендации
* O+K Research, 2018 5
› В основе всех крупнейших мировых
контентых продуктов: фид/лента
› Этот тренд будет продолжаться
Дети до 15 лет практически не пользуются поиском при
просмотре видео, а смотрят рекомендованное*
› Нужно уметь реализовывать
сценарий продолжения просмотра
(залипаемость): рекомендации
связаных объектов

6. Успешность рекомендации:
релевантность +
аттрактивность

7. Алгоритмические
рекомендации видео –
уже классическая задача
7
▎ Netflix Prize award 2009
▎ Нужно уметь рекомендовать
› doc2doc
› doc2user
› category2category
› category2user
› …

8. Ранжирование: данные + модели + метрики
8
▎ Данные
логи, профиль пользователя
▎ Модели
SVD, DSSM,
Matrixnet/Catboost, др
▎ Метрики
› Оффлайн
метрика для оценки формулы ранжирования
без проверки в ab эксперименте
› Онлайн: TVT, CTR

9. 9
Аттрактивность:
помочь
пользователю
сделать выбор
▎ Ключевая информация о
ролике
тайтл, картинка, постер
▎ Сценарий довыбора
видеопревью
▎ Дополнительная информация
о ролике
дата/год выхода, жанр, продолжительность
▎ Reason to believe
рейтинг, кол-во лайков, кол-во просмотров,
качество

10. Рекомендации в Эфире

11. yandex.ru/efir
Рекомендательные продукты в Эфире
Смешаные рекомендации
видеороликов
Персональное
ранжирование каруселей
тематик, фильмов,
сериалов, паблишеров

12. yandex.ru/efir
Рекомендательные продукты в Эфире
Смешаные рекомендации
видеороликов
Персональное
ранжирование каруселей
тематик, фильмов,
сериалов, паблишеров

13. yandex.ru/efir
Рекомендательные продукты в Эфире
Богатый навигационный
саджест
Рекомендации связаных
видео

14. Рекомендательные продукты в Эфире
yandex.ru/efir
Рекомендованные каналы Персональный канал

15. 4 кейса Эфира:
Как запускать и развивать
рекомендации

16. 4 кейса Эфира:
Как запускать и развивать рекомендации
16
› Смотрите «глазами» на холодный старт и принимайте
персонализацию против холодного старта
› Адаптируйте оффлайн метрику под свой продукт и
придумайте для нее критерий для запуска
› Собирайте фидбек пользователя на рекомендации, но не
ждите профита сразу
› Придумывайте новые форматы, вдохновляясь
«соседними» сервисами
1
4
2
3
Запуск
Развитие

17. Кейс 1: запуск блока
рекомендаций фильмов
17
› «глазами» проверять холодный
старт
› персонализация должна
выигрывать у холодного старта
› учитывать diversity: добавочный
value каждой карусели
https://medium.com/netflix-techblog/learning-a-
personalized-homepage-aa8ec670359a

18. Кейс 2: запуск блока
«Смотрите также»
18
› doc2doc блок: нельзя отсмотреть
глазами -> нужна оффлайн
метрика
› переиспользовать опыт,
реализацию и метрики (!) похожих
продуктов
› Учитывать разницу в полноте
кандидатов для ранжирования
› Критерий: в 90% случаев 1 из
топ4 рекомендаций связаных
роликов релевантен текущему

19. Кейс 3: развитие
рекомендаций через
фидбек пользователя
19
› Цель: улучшить ранжирование, но
пользователь может воспринимать
как оценка ролика/фильма
› На старте не ждать профита от
выкатки
› Не путать с фичами
интерактивного смотрения - эмодзи
› Не забыть проверить гипотезу
ценности….

20. Кейс 3: развитие
рекомендаций через
фидбек пользователя
20
› Цель: улучшить ранжирование, но
пользователь может воспринимать
как оценка ролика/фильма
› На старте не ждать профита от
выкатки
› Не путать с фичами
интерактивного смотрения - эмодзи
› Не забыть проверить гипотезу
ценности….
А если проверили: бустить число
собираемых оценок

21. Кейс 3: развитие
рекомендаций через
фидбек пользователя
21
› Цель: улучшить ранжирование, но
пользователь может воспринимать
как оценка ролика/фильма
› На старте не ждать профита от
выкатки
› Не путать с фичами
интерактивного смотрения - эмодзи
› Не забыть проверить гипотезу
ценности….
А если проверили: бустить число
собираемых оценок

22. Кейс 4: развивать
рекомендации через
новые форматы –
персональный канал
22
› использовать уже существующие
разработки - персональный фид
рекомендаций
› смотрите похожие форматы в
других типах контента:
персональное телевидение как
персональное радио…
› и смотрите лучшие практики в
этих продуктах:
возможность настройки
расписания через like/dislike/skip

23. 4 кейса Эфира:
Как запускать и развивать рекомендации
23
› Смотрите «глазами» на холодный старт и принимайте
персонализацию против холодного старта
› Адаптируйте оффлайн метрику под свой продукт и
придумайте для нее критерий для запуска
› Собирайте фидбек пользователя на рекомендации, но не
ждите профита сразу
› Придумывайте новые форматы, вдохновляясь
«соседними» сервисами
1
4
2
3
Запуск
Развитие

24. В чем роль продакта?
24

25. В чем роль продакта? Во всем
25

26. В чем роль продакта? Во всем
26
Но в первую очередь:
› Продуктовые
требования
› Метрики
› Приемка

27. В чем роль продакта? Во всем
27
Но в первую очередь:
› Продуктовые
требования
› Метрики
› Приемка

28. Мирошников Григорий
Менеджер продукта
Спасибо
gvmiroshnikov@yandex-team.ru
@mirgrigory