(Analyst days2012) Как мы готовим продукты - вклад аналитиков
Upcoming SlideShare
Loading in...5
×
 

(Analyst days2012) Как мы готовим продукты - вклад аналитиков

on

  • 2,532 views

О том как живётся аналитикам в продуктовой разработке в Яндексе - про их задачи на различных этапах жизни ...

О том как живётся аналитикам в продуктовой разработке в Яндексе - про их задачи на различных этапах жизни сервиса.

Statistics

Views

Total Views
2,532
Views on SlideShare
778
Embed Views
1,754

Actions

Likes
1
Downloads
2
Comments
0

37 Embeds 1,754

http://pmrussia.blogspot.com 978
http://pmrussia.blogspot.ru 539
http://pmrussia.blogspot.de 27
http://pmrussia.blogspot.co.uk 21
http://pmrussia.blogspot.in 19
http://pmrussia.blogspot.com.br 19
http://pmrussia.blogspot.co.il 16
http://pmrussia.blogspot.fi 16
http://pmrussia.blogspot.com.es 15
http://pmrussia.blogspot.fr 14
http://pmrussia.blogspot.nl 13
http://pmrussia.blogspot.ca 11
http://pmrussia.blogspot.mx 8
http://pmrussia.blogspot.it 6
http://feeds.feedburner.com 5
http://pmrussia.blogspot.be 5
http://pmrussia.blogspot.ie 4
http://pmrussia.blogspot.kr 4
http://pmrussia.blogspot.dk 4
http://pmrussia.blogspot.hu 4
http://pmrussia.blogspot.sg 3
http://pmrussia.blogspot.se 3
http://www.linkedin.com 2
http://pmrussia.blogspot.gr 2
http://pmrussia.blogspot.com.au 2
http://pmrussia.blogspot.tw 2
http://pmrussia.blogspot.cz 2
http://pmrussia.blogspot.ch 1
http://pmrussia.blogspot.jp 1
http://pmrussia.blogspot.com.ar 1
http://pmrussia.blogspot.hk 1
http://pmrussia.blogspot.no 1
http://pmrussia.blogspot.sk 1
http://www.pmrussia.blogspot.ru 1
http://pmrussia.blogspot.ro 1
http://pmrussia.blogspot.co.nz 1
https://www.linkedin.com 1
More...

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment
  • Нет внешнего заказчика Есть конкуренты Веб О том как мы пытаемся быстрее сделать продукт, который понравится пользователям.
  • Аналитики у нас бывают всякие разные. Всех обсудить не сможем, поэтому, поговорим про основную группу – «продуктовых аналитиков» (аналитиков сервиса) и немного обсудим исследователей интерфейсов (юзабилистов, занимающихся проектированием взаимодействия пользователей с сервисом) и информационных архитекторов (занимающихся анализом предметной области).
  • Таким образом основные задачи аналитиков получаются такими… Эти задачи распределяются у нас между тремя типами аналитиков…
  • Про Яндекс: Продуктовая разработка – делаем продукты, основная цель – ответить на вопросы пользователей Берем кейс Яндекс.Работы (агрегатор вакансий с работных сайтов). Поиск работы – это длительный процесс, продолжительный вопрос пользователя. Особенность – часто меняется состав пользователей.
  • Про Яндекс: Продуктовая разработка – делаем продукты, основная цель – ответить на вопросы пользователей Берем кейс Яндекс.Работы (агрегатор вакансий с работных сайтов). Поиск работы – это длительный процесс, продолжительный вопрос пользователя. Особенность – часто меняется состав пользователей.
  • Значит, придумали мы «зафигачить» сайт на котором будут все объявления о работе с России, Украины, Белоруси и Казахстана. То есть собрать объявления с ведущих сайтов ( hh, superjob,.. ) и показать их в едином интерфейсе. Прикинули, что запросы про работу это примерно 1% от всех запросов в Яндекс (то есть действительно оочень много), решили делать. Нужно было понять состояние работного рынка, поэтому мы пошли к нашей группе информационных архитекторов.
  • Для Яндекс.Работы, анализ предметной области инфархи разложили по следующим основам-осям.
  • В результате – получили, например, такой артефакт. Ещё есть артефакты с обзором конкурентов и с фичами для пользователей. По вертикали –ти пы пользователей, по горизонтали – этапы поиска работы, которые они проходят. Итого к «Истории 1»: Получаем общий анализ предметной области. Понимаем с чего начать – важнейшие группы пользователей и базовые фичи для них. Получаем долгострочную стратегию, понимаем куда двигаться дальше.
  • Собираем фидбэк и «оцениваем волну» Сравниваем с плановыми показателями Сравниваем с рынком (лететь не медленнее)
  • Нужны не только ключевые показатели, но и понимание как используется запущенная функциональность. Насколько то, что мы сделали заметно, используется (по доле людей например) Насколько то, для чего мы что-то делали так и используется (мы ожидали одного поведения, оказалось ли оно таким?) Не нашли ли люди дополнительного профита, который мы не предполагали Как запуск помог окружению – если это новый функционал в сервисе, то как он помог сервису (вот тут как раз возвращаемость и пр)
  • Поскольку залезть в голову мы не можем, то мы проводим юзабилити-исследования. Есть гипотезы и вопросы, которые мы не можем проверить релизом или не всегда можем их быстро понять, или просто их так много, что не понятно какую из них стоит проверять рассчётами. Поэтому делаем не только количественную проверку, но и качественную. Например, выкатывали новый элемент функциональности в Яндекс-Поиске – а люди не кликали, - это, видимо, говорило, о том, что они не видят – надобы сделать заметнее, побольше. Ан нет – оказалось, что пользователи просто не доверяли самой функциональности, принимая её за рекламу и спам.
  • Собираем фидбэк и «оцениваем волну» Сравниваем с плановыми показателями Сравниваем с рынком (лететь не медленнее)
  • Про Яндекс: Продуктовая разработка – делаем продукты, основная цель – ответить на вопросы пользователей Берем кейс Яндекс.Работы (агрегатор вакансий с работных сайтов). Поиск работы – это длительный процесс, продолжительный вопрос пользователя. Особенность – часто меняется состав пользователей.
  • Мы сидим на огромной груде информации и время от времени выпускаем исследования, построенные на этой информации. Само собой эту информацию надо уметь правильно и грамотно подсчитывать.
  • Задача – найти аналитика для решения задач уже готового сервиса. Тут уже несколько другие задачи и требования.
  • Оценивать запуски, «кнопки докручивать». Сервис растёт, фич становиться всё больше и со временем он уже начинает походить на склад. Фич много, не всем пользователям они нужны, и большая часть пользователей можно спокойно не знать про какую-то полезную функциональность на сервисе. А хочется, чтобы сервис больше походил на музей.
  • Хочется знать о пользователях больше, чтобы, в иделе, сделать для каждого из них (или хотя бы для каждой из групп) свой персональный гид. Истории: про поведение бухгалтеров и водителей про мультирегиональность По результатам - можем изменять поведение сервиса в зависимости от определяемой группы пользователя Инструменты / что считаем – используемость фич, характер запросов, возвращаемость
  • Собираем фидбэк и «оцениваем волну» Сравниваем с плановыми показателями Сравниваем с рынком (лететь не медленнее)
  • Требованиями занимается проектный менеджер, являющийся и продуктовым
  • CTR и клики невсегда помогают оценить «счастье» пользователей (!! Пример !!), поэтому пробуем найти другие метрики. Оценить получил ли пользователь ответ на свой вопрос в нашем случае достаточно сложно – не ясно как это проверить. Я бы с радостью в кулуарах с кем-нибудь подискутировал на эту тему.
  • В каких-то случаях можем посчитать дали ли мы ответ, а в каких-то – это проблематично. Кейс 1: например, сделали сниппеты более информативными, - что должно было измениться, должны ли стать по ним чаще кликать? А ничего не изменилось, хотя с продуктовой стороны – это полезная выкатка. Кейс 2: изменили релевантность – тоже не ясно должны дольше листать или нет?
  • CTR и клики невсегда помогают оценить «счастье» пользователей (!! Пример !!), поэтому пробуем найти другие метрики. Оценить получил ли пользователь ответ на свой вопрос в нашем случае достаточно сложно – не ясно как это проверить. Я бы с радостью в кулуарах с кем-нибудь подискутировал на эту тему. Это действительно сложная задача, которую мы до сих пор пытаемся решить.
  • Собираем фидбэк и «оцениваем волну» Сравниваем с плановыми показателями Сравниваем с рынком (лететь не медленнее)

(Analyst days2012) Как мы готовим продукты - вклад аналитиков (Analyst days2012) Как мы готовим продукты - вклад аналитиков Presentation Transcript

  • Как мы готовим продукты – вклад аналитиков Михаил Карпов
  • Михаил Карпов 2
  • Разные аналитики• Аналитик-стратег• Аналитик-математик• Региональный аналитик• Аналитик сервиса• Информационный архитектор• Исследователь интерфейсов• Аналитик-программист• Менеджер-аналитик 3
  • Основные задачи аналитиков сервиса• Подготовка запуска• Регулярная аналитическая поддержка сервиса (через отчеты)• Сопровождение и анализ крупных РК на всех этапах• Отслеживание рынка• Ответы на почти любые разовые аналитические вопросы 4
  • • Решение длительной задачи пользователя• Неидентичность пользователей• Часто новые 5
  • История №1: «Старт» 6
  • «Карта мира» й се рвис Новы 7
  • Что внутри• Создаётся отделом информационных архитекторов: – Группа пользователей – Цели, задачи, проблемы – Этапы использования 8
  • ИнструментыЦель: расставить приоритеты группампользователей и их задачам•открытые источники (исследования, Госкомстат),•внешние заказные исследования (TNS),•логи наших сервисов (wordstat, Поиск),•внешние статистики (LiveInternet,упоминания, Comscore),•анализ конкурентов 9
  • 10
  • История №1, итоги:• Оценить группы и задачи пользователей• Составить анализ предметной области• Предложить долгострочную стратегию 11
  • История №2: «Запуск» 12
  • KPI?Сильно отличаются в зависимости от задачи:•охват поисковых запросов•качество ответа на Поиске,•аудитория (доля рынка),•возвращаемость,•узнаваемость,•деньги 13
  • Что оцениваем• Насколько заметно (по доле людей, например)• Так ли используется (логи и Метрика)• Не нашли ли люди дополнительного профита, который мы не предполагали• Как запуск помог окружению (возвращаемость и пр.) 14
  • ЮзабилитиПроверяем: – гипотезы – пользовательские сценарии 15
  • История №2, итоги:• Получить приборы и гипотезы• Сделать вывод о запуске• Выдать рекоммендации 16
  • История №3: «Жизнь» 17
  • СМИДаша (СМИ)•Как правильно считать (выбросы и прочее)•[Как?] 18
  • МаркетингОлег (маркетинг)•Веб-аналитика (конвертация пользователей, ..)•Какие эксперименты нужны•[Что?] 19
  • Менеджер• Склад • Музей – есть гид – понятен порядок – изучают поведение – убирают непросматриваемое
  • «Карточки персонажей»• Описание характеристик человека• Как проводит день• Какие основные ценности 21
  • История №3, итоги:• Обсчёт запусков фич и рекламы• Обработка данных для СМИ• Анализ поведения пользователей 22
  • Подводя итоги• Аналитик - это НЕ про анализ требований• Аналитик это тот, кто поможет: – формализовать ожидания от запуска и оценить его на разных этапах, – найти узкие и проблемные места, – расставить приоритеты, указать на возможности – креатив, новые подходы 23
  • ! Хол иварИстория №4: «Счастье» 24
  • Как посчитать счастье пользователей?• Количество просмотренных страниц• Густота кликов• Используемость фич• Длина сессии• Количество уникальных посетителей• Время между кликами• … Решил ли он свою задачу? Получил ли он ответ? 25
  • 26
  • Сложности• Посчитать • надо считать по каждой из групп • сессии до и после прихода не сервис • поведение на сервисе и на других сайтах • составить кучу поведенческих случаев• Очень «дорого» • сотни кейсов • посчитать-то можем, но вот использовать на продакшене – не сможем 27
  • История №4, итоги:• Не знаем что такое «счастье пользователей»• Не знаем что должно происходить, когда оно случается• Много/долго/сложно считать 28
  • Спасибо за внимание! Вопросы?Карпов Михаил (michail.karpov@ya.ru) pmrussia.blogspot.com @michailkarpov 29