• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Продуктовая Аналитика — Карго Культ в современных компаниях
 

Продуктовая Аналитика — Карго Культ в современных компаниях

on

  • 33,402 views

В условиях быстрой разработки становится более важным и более сложным такой вопрос: если мы можем менять ...

В условиях быстрой разработки становится более важным и более сложным такой вопрос: если мы можем менять вектор развития продукта очень часто и умеем жить с изменяющимися требованиями, то как понять что мы рационально используем эту возможность, не прыгаем вперёд-назад, а остаемся сфокусированными в своём развитии продукта?

Тут, разумеется, есть куча инструментов и практик lean практики get out of the building, традиционная продуктовая аналитика и, конечно, всеми любимые A/B тесты.

Но многие бросившись использовать всё это внезапно понимают, что получившиеся процессы больше напоминают карго культы: A/B тестирование красных против зеленых кнопок на страницах где 100 человек в день с конверсией в 5% делают какой-то экшн. Или обвешивание счётчиками Google Analytics всех элементов интерфейса, который используют 3 человека в день. Или мы идем в гости к своим друзьям, чтобы узнать их мнение о новом дизайне, забывая о том что наши друзья совсем не репрезентативны.

С какими проблемами мы сталкивались, как мы разочаровались в этих практиках, успели их возненавидеть и как обратно поверили и полюбили эти и другие подходы развития и эволюции продук

Statistics

Views

Total Views
33,402
Views on SlideShare
17,673
Embed Views
15,729

Actions

Likes
226
Downloads
487
Comments
13

37 Embeds 15,729

http://habrahabr.ru 11308
http://www.jvetrau.com 2104
http://www.cossa.ru 915
http://l.lj-toys.com 562
http://www.nooke.ru 157
http://surfingbird.ru 157
http://feedly.com 157
http://m.habrahabr.ru 128
https://twitter.com 84
http://www.scoop.it 19
http://savepearlharbor.com 17
http://geekple.com 15
http://yara.at.yandex-team.ru 15
http://www.inoreader.com 12
http://itxpert45.ru 9
http://digg.com 8
http://feeds.feedburner.com 7
http://my.at.yandex-team.ru 6
https://www.linkedin.com 6
http://nooke.ru 6
http://webcache.googleusercontent.com 5
http://www.linkedin.com 5
http://try.soup.io 5
http://reader.aol.com 4
http://translate.googleusercontent.com 3
http://gigamir.net 2
http://inoreader.com 2
http://surfingbird.com 2
http://www.pinterest.com 1
http://sohabr.ru 1
http://gate.ulan.local 1
http://newsblur.com 1
http://mycu4ka.livejournal.com 1
http://flyffrus.dyndns.org 1
http://huifikator.ru 1
http://www.google.ru 1
http://www.slideee.com 1
More...

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel

110 of 13 previous next Post a comment

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…

110 of 13 previous next

Post Comment
Edit your comment

    Продуктовая Аналитика — Карго Культ в современных компаниях Продуктовая Аналитика — Карго Культ в современных компаниях Presentation Transcript

    • Продуктовая аналитика Евгений Курышев Островок.ру Карго культ в современных компаниях
    • ЧТО ТАКОЕ 
 ПРОДУКТОВАЯ АНАЛИТИКА?
    • BUILD MEASURELEARN
    • BUILD MEASURELEARN
    • Дата поинты Воронки Сегменты Когорты Атрибуция Поведенческий анализ A/B тесты Кластеризация CLTV Анализ RFM Анализ
    • Analysis Services
    • ЧТО ТАКОЕ КУЛЬТ КАРГО?
    • ПОЧЕМУ 
 ПРОДУКТОВАЯ АНАЛИТИКА — ЭТО СЕГОДНЯШНИЙ КУЛЬТ КАРГО?
    • ПРОЦЕССЫ люди имитируют процессы, приводящие к результату
    • ИНСТРУМЕНТЫ компании создают инструменты, похожие на то, что нужно для решения задач
    • ДАННЫЕ мы собираем и храним их 
 почти как “настоящие сварщики”
    • ЖДЁМ ГУЛА САМОЛЁТОВ несущих недополученную выручку и квартальные бонусы
    • А ОНИ ВСЁ НЕ ЛЕТЯТ
    • ПРИМЕРЫ
    • ВЕБ-АНАЛИТИКА 
 И ВОРОНКИ
    • КАК ВЫГЛЯДИТ ПЛАН?
    • 1. поставим Google Analytics 2. построим воронки 3. найдем и исправим узкие места 4. … 5. PROFIT!!!!
    • КАК ПОЛУЧАЕТСЯ НА САМОМ ДЕЛЕ?
    • Посетители лэндинг форма регистрации письмо с подтверждением финиш 2 500 20 102 35 340 96 242
    • Посетители лэндинг форма регистрации письмо с подтверждением финиш 2 500 20 102 35 340 96 242
    • Посетители лэндинг форма регистрации письмо с подтверждением финиш 2 227 18 499 66 404 96 242
    • ЗАСАДА №1 ИЗМЕНЕНИЯ НА ОДНОМ ШАГЕ ВОРОНКИ МЕНЯЮТ ПОВЕДЕНИЕ И НА ПОСЛЕДУЮЩИХ
    • ВНЕЗАПНО ИЗМЕНИЛАСЬ ФОРМА ВОРОНКИ, НО ПРОДУКТ НЕ ИЗМЕНЯЛСЯ? вчера Посетители сегодня
    • ВОЗМОЖНО ИЗМЕНИЛСЯ МИКС МАРКЕТИНГОВЫХ КАНАЛОВ вчера SMM 12 % Direct 13 % SEM 34 % SEO 41 % сегодня SMM 7 % Direct 26 % SEM 40 % SEO 26 %
    • ВОЗМОЖНО ИЗМЕНИЛСЯ ИНВЕНТАРЬ И ПРОДАЖИ ПЕРЕРАСПРЕДЕЛИЛИСЬ вчера Ботинки 12 % Носки 13 % Колготки 34 % Трусы 41 % сегодня Сумки 23 % Ботинки 11 % Носки 37 % Колготки 17 % Трусы 13 %
    • ЗАСАДА №2 ИЗМЕНЕНИЕ ВОРОНКИ 
 НЕ ГОВОРИТ 
 ОБ ИЗМЕНЕНИИ ПРОДУКТА
    • Посетители лэндинг форма регистрации письмо с подтверждением финиш 14 120 220 550 ДЛЯ ХОРОШИХ ВЫВОДОВ ЧАСТО НЕ ХВАТАЕТ ДАННЫХ
    • РАЗМЕР ИМЕЕТ ЗНАЧЕНИЕ ЗАСАДА №3
    • КАК НАДО?
    • 1. ИЩИТЕ УЗКИЕ МЕСТА Посетители Лэндинг СЕРП Страница отеля Страница бронирования Ваучер 1 776 22 412 50 102 82 340 96 242 

    • 2. ДОБАВЛЯЙТЕ НОВЫЕ ШАГИ Посетители Страница отеля Страница бронирования Ваучер Посетители Страница отеля Страница бронирования Логин или создание аккаунта Ввод кредитной карты Ваучер
    • 3. ОТСЛЕЖИВАЙТЕ ДИНАМИКУ ВОРОНОК 
 С ИЗМЕНЕНИЕМ ПРОДУКТА до релиза Посетители после релиза
    • Воронка здорового человека Воронка курильщика 4. СОБИРАЙТЕ ВСЮ ИНФОРМАЦИЮ О ПРОТЕЧКАХ
    • 4. СОБИРАЙТЕ ВСЮ ИНФОРМАЦИЮ О ПРОТЕЧКАХ Посетители Страница отеля Страница бронирования Ваучер 

    • Нажимают "Back" Закрывают вкладку Нажимают на лого Нажимают "Справка" Остальное
    • 5. СЕГМЕНТИРУЙТЕ! Общая воронка Посетители Лэндинг Форма регистрации Письмо подтверждения Финиш 1 776 22 412 50 102 82 340
    • ATV 0…80 $ Посетители ATV 81…250 $ ATV 251…600 $ ATV 601+ $ Воронки по среднему чеку 5. СЕГМЕНТИРУЙТЕ!
    • • по маркетинговому каналу • по среднему чеку • по когортам • по демографии • по повторным продажам 5. СЕГМЕНТИРУЙТЕ!
    • 6. БУДЬТЕ ОСТОРОЖНЕЕ 
 В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ Посетители Лэндинг Страница регистрации Отправка письма Создание аккаунта 45 740 4 312 10 690
    • 
 6. БУДЬТЕ ОСТОРОЖНЕЕ 
 В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ Посетители Лэндинг Страница регистрации Отправка письма Создание аккаунта 45 740 4 312 10 690
    • 6. БУДЬТЕ ОСТОРОЖНЕЕ 
 В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ Посетители Лэндинг Страница регистрации Отправка письма Создание аккаунта 45 740 4 312 10 690
    • 7. ПОСТОЯННО СЛЕДИТЕ ЗА СОСТОЯНИЕМ ВОРОНОК Воронка регистрации Посетители Лэндинг Страница регистрации Отправка письма Создание аккаунта 00 6 711 11 020
    • A/B ТЕСТИРОВАНИЕ
    • КАК ВЫГЛЯДИТ ПЛАН?
    • 1. интегрируем инструмент для A/B тестирования 2. будем тестировать по 5 маленьких изменений в день 3. если каждый A/B тест покажет пусть 5% прироста конверсии 4. через полгода конверсия достигнет 146% 5. … 6. PROFIT!!!!
    • КАК ПОЛУЧАЕТСЯ НА САМОМ ДЕЛЕ?
    • ПЕРВЫМ ДЕЛОМ, РАЗУМЕЕТСЯ, ПОИГРАЕМ ШРИФТАМИ
    • Визиты 671 556 Контрольная группа Тестовая группа Бронирования 69 50 Конверсия 10,3 %9,0 %
    • Визиты 671 556 Контрольная группа Тестовая группа Бронирования 69 50 Конверсия 10,3 %9,0 %
    • Визиты 671 556 Контрольная группа Тестовая группа Бронирования 69 50 Конверсия 10,3 %9,0 % 

    • ТЕПЕРЬ ТЕ ЖЕ САМЫЕ ДАННЫЕ ВЫГЛЯДЯТ НЕ ТАК ХОРОШО – СТАТИСТИЧЕСКОЙ РАЗНИЦЫ МЕЖДУ ГРУППАМИ НЕТ
    • ЗАСАДА №1
 НЕ ВСЕГДА ОЧЕВИДНО,
 КАКОЙ ВАРИАНТ ВЫИГРЫВАЕТ
    • ОСТАВЛЯЕМ ЭКСПЕРИМЕНТ ЕЩЕ НА ПАРУ ДНЕЙ COMIC SANS ДОЛЖЕН ПОБЕДИТЬ!
    • 
 Визиты 1 1501 020 Контрольная группа Тестовая группа Бронирования 121101 Конверсия 10,5 % 9,9 %
    • Визиты 1 1501 020 Контрольная группа Тестовая группа Бронирования 121101 Конверсия 10,5 % 9,9 %
    • ЗАСАДА №2
 СЛОЖНО ПОНЯТЬ, 
 КОГДА ЭКСПЕРИМЕНТ МОЖНО ЗАВЕРШИТЬ
    • ПРОВЕРИМ ЛУЧШЕ ВЛИЯНИЕ ОТЗЫВОВ ОТЕЛЕЙ НА КОНВЕРСИЮ
    • У КОНТРОЛЬНОЙ ГРУППЫ ОСТАВИМ ВСЁ КАК ЕСТЬ У ТЕСТОВОЙ ГРУППЫ ОТКЛЮЧИМ ОТОБРАЖЕНИЕ ОТЗЫВОВ НА СТРАНИЦЕ ОТЕЛЯ
    • ДА ПОЧЕМУ ОПЯТЬ ВСЁ ПОЧТИ ОДИНАКОВО? Визиты 10 540 10 000 Отзывы у отелей показываются Отзывы у отелей скрываются Бронирования 200 220 Конверсия 1,9 % 2,2 %
    • НА САМОМ ДЕЛЕ У ЗНАЧИТЕЛЬНОГО ЧИСЛА ОТЕЛЕЙ 
 И РАНЬШЕ НЕ БЫЛО ОТЗЫВОВ ! МЫ НЕПРАВИЛЬНО ЗАСЕТАПИЛИ ЭКСПЕРИМЕНТ И ПОЛУЧИЛИ OMITTEDVARIABLE BIAS
    • ЗАСАДА №3
 СЕТАП ЭКСПЕРИМЕНТОВ — ДЕЛО ТОНКОЕ
    • ЛАДНО, ЕЩЕ ПРИМЕР
    • МЫ РЕШИЛИ СДЕЛАТЬ НЕСКОЛЬКО ЭКСПЕРИМЕНТОВ С ТЕКСТАМИ CALLTO ACTION КНОПОК 
 НА КАЖДОЙ СТРАНИЦЕ 
 В ОСНОВНОЙ ВОРОНКЕ
    • НА СТРАНИЦЕ ГОРОДА БУДЕТ ТЕСТ VS A НА СТРАНИЦЕ ОТЕЛЯ ПРОТЕСТИРУЕМ VS
    • Конверсия 2,1 % 2,0 % “Выбрать” “19 000 руб. за 2 ночи” Конверсия 2,1 % 2,0 % “Забронировать” “19 000 рублей” страница города страница отеля ВТОРЫЕ ВАРИАНТЫ ПОБЕДИЛИ С ХОРОШИМ CONFIDENCE
    • НО НА САМОМ ДЕЛЕ БЫЛО НЕ 2, А 4 ЭКСПЕРИМЕНТА
    • СТРАНИЦА ГОРОДА СТРАНИЦА
 ОТЕЛЯ + + + +
    • И ПОЛУЧЕННЫЕ ДАННЫЕ СИЛЬНО ИСКАЖЕНЫ И ИМ НЕЛЬЗЯ ДОВЕРЯТЬ
    • ЗАСАДА №4 ЭКСПЕРИМЕНТЫ СИЛЬНО ВЛИЯЮТ ДРУГ НА ДРУГА
    • КАК НАДО 
 НА САМОМ ДЕЛЕ?
    • 1. НЕ ТЕСТИРУЙТЕ МЕЛОЧИ
    • ПО НАШИМ (И НЕ ТОЛЬКО НАШИМ) ПРИКИДКАМ – 8 ИЗ 10 ТЕСТОВ НЕ ПОКАЗЫВАЮТ ЗНАЧИМЫХ РЕЗУЛЬТАТОВ
    • 2. НЕ ТЕСТИРУЙТЕ ТО ЧТО НЕ ВЛИЯЕТ НА ПОВЕДЕНИЕ ПОЛЬЗОВАТЕЛЕЙ
    • ВОТ ТУТ РЕБЯТА СДЕЛАЛИ ДВА СОВЕРШЕННО РАЗНЫХ ДИЗАЙНА ДЛЯ ЛЕНДИНГА
    • СТАТИСТИЧЕСКИ ЗНАЧИМОЙ РАЗНИЦЫ ОБНАРУЖИТЬ НЕ УДАЛОСЬ
    • 3. НЕ ТЕСТИРУЙТЕ ТАМ ГДЕ НЕТ ДАННЫХ
    • ВОЗМОЖНО ЛУЧШЕ ПОДНЯТЬСЯ ЧУТЬ ВЫШЕ ПО ВОРОНКЕ
    • 4. ПОМНИТЕ 
 О КОРРЕЛЯЦИИ ЭКСПЕРИМЕНТОВ
    • ИСКЛЮЧАЙТЕ ПОЛЬЗОВАТЕЛЯ, УЧАСТВУЮЩЕГО В ОДНОМ ЭКСПЕРИМЕНТЕ, ИЗ УЧАСТИЯ 
 В ДРУГИХ
    • ЛИБО ВООБЩЕ 
 НЕ ПРОВОДИТЕ ОДНОВРЕМЕННО НЕСКОЛЬКО ЭКСПЕРИМЕНТОВ
    • 5. ТЕСТИРУЙТЕ НЕ ТОЛЬКО НА КОНВЕРСИЮ. ТЕСТИРУЙТЕ НА ВЫРУЧКУ, СРЕДНИЙ ЧЕК, ПРИБЫЛЬ, ЧТО УГОДНО ЕЩЕ
    • Конверсия 2,1 % 2,0 % Средний чек 300 $ 330 $ выигрыш на 5% потеря на 10% ТЕСТ РАЗНЫХ АЛГОРИТМОВ СОРТИРОВКИ
    • 6. ТЩАТЕЛЬНО ПРОВЕРЯЙТЕ СЕТАП ЭКСПЕРИМЕНТА
    • ДУМАЮ, МЫ ПОТЕРЯЛИ МЕСЯЦЫ ВРЕМЕНИ, СОБИРАЯ БЕССМЫСЛЕННЫЕ ДАННЫЕ
    • 7. ВВЕДИТЕ ПОНЯТИЕ ОПТИМАЛЬНОГО РАЗМЕРА ВЫБОРКИ
    • СМЫСЛ В ТОМ, ЧТО ДАННЫХ ВСЕГДА НЕ ХВАТАЕТ, НО НАДО УМЕТЬ ПОЛЬЗОВАТЬСЯ ТЕМ, 
 ЧТО ЕСТЬ
    • МОЖНО ОСТАНАВЛИВАТЬ ЭКСПЕРИМЕНТ И РАНЬШЕ, НО НУЖНО ВНИМАТЕЛЬНО ОЦЕНИВАТЬ СВОИ ШАНСЫ
    • 7. СЧИТАЙТЕ ДОВЕРИТЕЛЬНЫЙ ИНТЕРВАЛ ДЛЯ КАЖДОЙ ГРУППЫ
    • 8. ИСПОЛЬЗУЙТЕ A/B ТЕСТЫ ДЛЯ КОНТРОЛИРУЕМОЙ РАСКАТКИ 
 И ДЛЯ БЫСТРОГО ОТКЛЮЧЕНИЯ ОПАСНЫХ ФИЧ
    • ВЫВОДЫ
    • ПОДХОД К СНАРЯДУ 
 “В ЛОБ” ПРЕВРАТИТ ВАС В КУЛЬТИСТОВ КАРГО
    • ОБЛАЖАТЬСЯ В АНАЛИТИКЕ ВЕСЬМА ПРОСТО
    • ВСПОМИНАЙТЕ СТАТИСТИКУ
    • ПОДВЕРГАЙТЕ СОМНЕНИЮ ВСЁ, ЧТО ВЫ ВИДИТЕ
    • ИСПОЛЬЗУЙТЕ КАЖДЫЙ ИНСТРУМЕНТ ДЛЯ СВОЕЙ ЦЕЛИ
    • И ИТЕРИРУЙТЕСЬ ОЧЕНЬ БЫСТРО
    • ТАК ПОБЕДИМ!
    • ВОПРОСЫ?
    • ПОЛЕЗНЫЕ ССЫЛОЧКИ The GA funnel survival guide – https://blog.kissmetrics.com/conversion-funnel-survival-guide/ The fallacy of funnels – http://insideintercom.io/the-fallacy-of-funnels/ The guide to optimizing funnels – http://blog.kissmetrics.com/guide-to-optimizing-funnels/ Most AB tests will fail –http://www.jitbit.com/news/185-most-of-your-abtests-will-fail/ On determining sample sizes –https://signalvnoise.com/posts/3004-ab-testing-tech-note-determining-sample-size How not to do AB tests – http://www.evanmiller.org/how-not-to-run-an-ab-test.html Speed vs Certainty in AB – http://20bits.com/article/speed-vs-certainty-in-ab-testing