Понимание того, что в продукте нужно что-то измерять, пришло сейчас практически ко всем компаниям. И продуктовыми метриками мало кого удивишь. Все знают, что нужно иметь 2-3 основные метрики, на которые нужно смотреть. Как правило, ими становятся: деньги, количество пользователей и что-нибудь еще в зависимости от рынка, на котором существует продукт. Но может ли количество денег, сгенерированное продуктом, стать реальным показателем эффективности работы менеджера продукта? А если нет, то на что смотреть в этом случае? И как тогда метрики можно использовать для приоритизации задач, которые попадают в релиз? Об этом мне и хотелось бы поговорить.

1. ПОЧЕМУ $ НИКОГДА НЕ СТАНЕТ ПРОДУКТОВОЙ
МЕТРИКОЙ, ИЛИ КАК ПОДРУЖИТЬ KPI БИЗНЕСА С
МЕТРИКАМИ ПРОДУКТА
Рыжкова Даша

2. Рыжкова Даша
Пару слов о себе

3. Команды регулярно
поставляют продукт
на рынок, но не
достигают желаемых
бизнес-показателей.
Поставка налажена

4. Если все в порядке с процессом,
значит, все дело в людях.

5. Как оценить, кто из PM хороший?

6. Наблюдать, достигают ли они KPI

7. KPI для руководителя
➢ амбициозные бизнес-цели
➢ способ контроля ситуации
➢ система мотивации

8. KPI для сотрудника
➢ непосредственный фокус
➢ препятствие на пути к премии
Так KPI становится продуктовой
метрикой.

9. Что такое продуктовая метрика?

10. Помогают оценить, достигли ли мы успеха нашими
изменениями

11. Помогают принимать решения о дальнейшем
развитии продукта

12. Какие метрики больше всего любит
бизнес?

13. Какие метрики больше всего любит
бизнес?
Охват

14. Какие метрики больше всего любит
бизнес?
Охват Установки

15. Какие метрики больше всего любит
бизнес?
Охват Установки
Просмотры

16. Какие метрики больше всего любит
бизнес?
Охват Установки
Просмотры
Транзакции

17. Какие метрики больше всего любит
бизнес?
Охват Установки
Просмотры
Транзакции
$$$$

18. Может ли product manager
изменениями в продукте влиять на
выручку?

19. Может ли product manager
измерять эффективность
изменений в продукте показателем
revenue?

20. Релизы продукта происходят
каждый месяц
Задача - $
В мае были добавлены
функции социализации.
Менеджер продукта
молодец?

21. Когорты по уникам
new_visitors 1.2015 2.2015 3.2015 4.2015 5.2015 6.2015 7.2015 8.2015 9.2015 10.2015
1.2015 800 800 750 720 700 690 470 460 400 350 310
2.2015 880 880 860 820 580 475 460 430 420 400
3.2015 950 950 930 680 640 590 550 520 480
4.2015 1 000 1000 980 740 600 580 550 510
5.2015 1 450 1450 1320 420 200 210 190
6.2015 1 680 1680 1560 300 290 250
7.2015 1 870 1870 1690 450 390
8.2015 1 910 1910 1850 610
9.2015 2 610 2610 2540
10.2015 2 680 2680
800 1630 2530 3450 4380 5325 5960 6060 7250 8360

22. Когорты по уникам
new_visitors 1.2015 2.2015 3.2015 4.2015 5.2015 6.2015 7.2015 8.2015 9.2015 10.2015
1.2015 800 800 750 720 700 690 470 460 400 350 310
2.2015 880 880 860 820 580 475 460 430 420 400
3.2015 950 950 930 680 640 590 550 520 480
4.2015 1 000 1000 980 740 600 580 550 510
5.2015 1 450 1450 1320 420 200 210 190
6.2015 1 680 1680 1560 300 290 250
7.2015 1 870 1870 1690 450 390
8.2015 1 910 1910 1850 610
9.2015 2 610 2610 2540
10.2015 2 680 2680
800 1630 2530 3450 4380 5325 5960 6060 7250 8360
Лояльная аудитория -
резко падает в июне

23. Когорты по уникам
new_visitors 1.2015 2.2015 3.2015 4.2015 5.2015 6.2015 7.2015 8.2015 9.2015 10.2015
1.2015 800 800 750 720 700 690 470 460 400 350 310
2.2015 880 880 860 820 580 475 460 430 420 400
3.2015 950 950 930 680 640 590 550 520 480
4.2015 1 000 1000 980 740 600 580 550 510
5.2015 1 450 1450 1320 420 200 210 190
6.2015 1 680 1680 1560 300 290 250
7.2015 1 870 1870 1690 450 390
8.2015 1 910 1910 1850 610
9.2015 2 610 2610 2540
10.2015 2 680 2680
800 1630 2530 3450 4380 5325 5960 6060 7250 8360
Лояльная аудитория -
резко падает в июне
Выживаемость после
второго месяца низкая

24. Когорты по уникам
new_visitors 0 1 2 3 4 5 6 7 8 9
1.2015 800 800 750 720 700 690 470 460 400 350 310
2.2015 880 880 860 820 580 475 460 430 420 400
3.2015 950 950 930 680 640 590 550 520 480
4.2015 1 000 1000 980 740 600 580 550 510
5.2015 1 450 1450 1320 420 200 210 190
6.2015 1 680 1680 1560 300 290 250
7.2015 1 870 1870 1690 450 390
8.2015 1 910 1910 1850 610
9.2015 2 610 2610 2540
10.2015 2 680 2680
Выживаемость новых когорт стала резко падать с внедрением новых фич и
привлечением трафика.

25. Когорты по выручке
1.2015
2.2015
3.2015
4.2015
5.2015
6.2015
7.2015
8.2015
9.2015
10.2015
А платить наши лояльные пользователи перестали нам практически сразу после
внедрения изменений.

26. Когорты по выручке
1.2015
2.2015
3.2015
4.2015
5.2015
6.2015
7.2015
8.2015
9.2015
10.2015
Новые обеспечивали вал в первые два месяца, который потом сходил на нет.

27. Когорты по выручке
0 1 2 3 4 5 6 7 8 9
Старые когорты давали стабильный и регулярный доход до изменений.

28. Retention
0 1 2 3 4 5 6 7 8 9
1.2015 800 100,00% 93,75% 90,00% 87,50% 86,25% 58,75% 57,50% 50,00% 43,75% 38,75%
2.2015 880 100,00% 97,73% 93,18% 65,91% 53,98% 52,27% 48,86% 47,73% 45,45%
3.2015 950 100,00% 97,89% 71,58% 67,37% 62,11% 57,89% 54,74% 50,53%
4.2015 1 000 100,00% 98,00% 74,00% 60,00% 58,00% 55,00% 51,00%
5.2015 1 450 100,00% 91,03% 28,97% 13,79% 14,48% 13,10%
6.2015 1 680 100,00% 92,86% 17,86% 17,26% 14,88%
7.2015 1 870 100,00% 90,37% 24,06% 20,86%
8.2015 1 910 100,00% 96,86% 31,94%
9.2015 2 610 100,00% 97,32%
10.2015 2 680 100,00%
100,00% 94,90% 44,97% 39,40% 41,35% 43,70% 52,89% 49,43% 44,64% 38,75%

29. Revenue вернувшихся к revenue когорты в начале
1 2 3 4 5 6 7 8 9
95.99% 92.14% 88.93% 62.11% 48.15% 44.30% 42.89% 42.72% 40.02%
96.24% 90.54% 62.57% 47.45% 44.93% 43.55% 41.17% 38.29%
96.35% 50.66% 38.65% 39.33% 36.30% 34.13% 33.44%
78.60% 41.71% 38.54% 31.62% 34.26% 30.50%
68.78% 13.83% 10.00% 9.26% 6.96%
79.02% 15.33% 15.11% 12.45%
83.85% 15.42% 16.15%
89.26% 12.83%
85.25%

30. Средний чек
Трафик РК дает вал сначала, но не дает такой же средний чек
0 1 2 3 4 5 6 7 8 9
Среднее
значение
981.38 ₽ 1,004.80 ₽ 1,004.72 ₽ 997.43 ₽ 706.67 ₽ 804.26 ₽ 756.09 ₽ 841.75 ₽ 958.29 ₽ 1,013.55 ₽ 906.89
907.73 ₽ 893.95 ₽ 881.95 ₽ 861.72 ₽ 797.89 ₽ 780.22 ₽ 809.07 ₽ 783.10 ₽ 764.75 ₽ 831.15
972.00 ₽ 956.67 ₽ 687.94 ₽ 557.66 ₽ 615.59 ₽ 609.45 ₽ 606.15 ₽ 643.33 ₽ 706.10
1,012.30 ₽ 811.94 ₽ 570.54 ₽ 650.17 ₽ 551.90 ₽ 630.55 ₽ 605.49 ₽ 690.41
1,157.79 ₽ 874.70 ₽ 552.62 ₽ 839.00 ₽ 740.48 ₽ 614.74 ₽ 796.55
945.00 ₽ 804.23 ₽ 811.00 ₽ 827.24 ₽ 790.40 ₽ 835.57
813.48 ₽ 754.79 ₽ 521.11 ₽ 629.74 ₽ 679.78
774.29 ₽ 713.57 ₽ 310.98 ₽ 599.61
583.75 ₽ 511.34 ₽ 547.55
526.83 ₽ 526.83

31. Что это было?
➢ Изменения в продукте действовали в две
стороны:
○ практически полностью убили лояльное
ядро наших пользователей
○ привлекали новых пользователей в
большом количестве, которые давали
большой прирост по охвату и $ в первые
месяцы, но быстро уходили.
Но заметили мы это только, когда метрика $ стала немного проседать...

32. Выводы
➢ смотрите глубже метрик тщеславия
➢ используйте метрики, которые показывают
ситуацию с разных сторон
➢ используйте метрики, которые дадут
возможность оценить влияние именно
продуктовых изменений
➢ Фокусируйтесь на том, что имеет значение

33. Как устроен продукт?

34. Продукт
Очень кратко
Пользователи Наша прибыль

35. Чуть глубже
Пользователи Наша прибыль
Adoption
Engagement
Paid conversion

36. Чуть глубже
Пользователи Наша прибыль
Adoption
Engagement
Paid conversion
CAC
стоимость привлечения
пользователя

37. Чуть глубже
Пользователи Наша прибыль
Adoption
Engagement
Paid conversion
CAC
стоимость привлечения
пользователя
CLV,LTV
чистая выручка на одного
пользователя

38. Чуть глубже
Пользователи Наша прибыль
Adoption
Engagement
Paid conversion
CAC
стоимость привлечения
пользователя
CLV,LTV
чистая выручка на одного
пользователя

39. Чуть глубже
Пользователи Наша прибыль
Adoption
Engagement
Paid conversion
CAC
стоимость привлечения
пользователя
CLV,LTV
чистая выручка на одного
пользователя
Churn rate
Доля оттекаемых пользователей

40. Что выбрать?

41. На каком этапе развития ваш продукт?

42. На каком этапе развития ваш продукт?
Эмпатия

43. На каком этапе развития ваш продукт?
Эмпатия
Вовлеченность

44. На каком этапе развития ваш продукт?
Эмпатия
Вовлеченность
Виральность

45. На каком этапе развития ваш продукт?
Эмпатия
Вовлеченность
Виральность Монетизация

46. На каком этапе развития ваш продукт?
Эмпатия
Вовлеченность
Виральность Монетизация
Масштабируемость

47. Что важно для вас, если вы E-commerce
E-commerce
Эмпатия Интервью, глубинные исследования, опросы
Вовлеченность Лояльность, конверсии
Виральность CAC, воронки активации
Монетизация воронки продаж, CLV
Масштабируемость Эффективность аффилятов

48. Что важно для вас, если вы 2-side market
2-side
Эмпатия Интервью, глубинные исследования, опросы
Вовлеченность Инвентарь, списки
Виральность SEM, конверсии и возвраты по шарам
Монетизация воронки продаж, комиссии
Масштабируемость Другие вертикали

49. Что важно для вас, если вы SaaS
SaaS
Эмпатия Интервью, глубинные исследования, опросы
Вовлеченность Вовлеченность, отток
Виральность Источники трафика, CAC
Монетизация Допродажи, CAC, CLV
Масштабируемость API

50. Что важно для вас, если вы mobile
Mobile
Эмпатия Интервью, глубинные исследования, опросы
Вовлеченность Воронки активации, отток
Виральность WoM, рейтинг приложения, CAC
Монетизация CLV, ARPDAU
Масштабируемость Spinoffs

51. Что важно для вас, если вы UGC
UGC
Эмпатия Интервью, глубинные исследования, опросы
Вовлеченность Метрики качества контента
Виральность Эффективность работы инвайтов и шар
Монетизация Эффективность рекламы и вознаграждений
Масштабируемость За счет БД

52. Что важно для вас, если вы media-сервис
Media
Эмпатия Интервью, глубинные исследования, опросы
Вовлеченность Поведение, отток
Виральность Распространяемость контента
Монетизация CPE
Масштабируемость Объединение, выход на новые рынки

53. Что важно для вас
E-commerce 2-side SaaS Mobile UGC Media
Эмпатия Интервью, глубинные исследования, опросы
Вовлеченность
Лояльность,
конверсии
Инвентарь,
списки
Вовлеченность,
отток
Воронки
активации,
отток
Метрики
качества
контента Поведение, отток
Виральность
CAC, воронки
активации
SEM,
конверсии и
возвраты по
шарам
Источники
трафика, CAC
WoM,
рейтинг
приложения,
CAC
Эффективность
работы
инвайтов и шар
Распространяемост
ь контента
Монетизация
воронки продаж,
CLV
воронки
продаж,
комиссии
Допродажи,
CAC, CLV CLV, ARPDAU
Эффективность
рекламы и
вознаграждени
й CPE
Масштабируемость
Эффективность
аффилятов
Другие
вертикали API Spinoffs За счет БД
Объединение,
выход на новые
рынки

54. Выводы

55. Что в итоге?
➢ KPI задают фокус. Выбирайте фокус, который не собьет с
пути
➢ используйте метрики, которые помогут принимать
решения и анализировать уже принятые
➢ серебряные пули у каждого продукта разные
➢ постоянно наблюдайте за динамикой не только метрик
тщеславия

56. dryzhkova@octoberry.ru
Skype: daria.ryzhkova
daria.ryzhkova.5
Вопросы?