Running Lean: Практика
Игорь Акимов, product manager, ABBYY
Основная проблема
ABBYY Mobile OCR apps
Business Card Reader FineScanner TextGrabber
Сканер визиток и
менеджер контактов
Сканер документов с
крутым онлайн-
распознаванием
Сканер текстов с
распознаванием на
устройстве +
переводчик
А в чём, собственно, проблема?
RUNNING LEAN

BY AUSH MARYA
• Customer Development (выходим из
офиса)
• Lean Startup (короткие итерации
для тестирования гипотез, MVP)
• Bootstrapping (не тратим деньги, а
включаем голову)
1. Составить план(ы)
2. Дёшево их проверять
Подтверждение проблемы
• Интервью
• Опросы, обратная связь
• Лендинг
Интервью
• Попросили друзей рекомендовать
подходящих знакомых
• Написали подходящим по профилю
людям в Facebook или LinkedIn,
описали суть решаемой вами
проблемы.
• Если у них есть, они ищут решение
и готовы тратить деньги на это -
пригласили в кафе, ничего не
предлагаем(!), интересуемся и
слушаем.
Опросы, обратная связь
• Если есть аудитория - запускаем по ней
опрос или тщательно фильтруем то, что
пишут в техподдержку или в отзывы в
стор.
• Если нет - анализируем приложения
конкурентов или ищем аудиторию.
• Быстро и дешево: crowdflower.com
($0,05-$0,50)
• Качественно, оптимально по цене:
www.surveymokey.com ($0.8-$1.5)
• Быстро и качественно, но дорого:
www.aytm.com ($1-$2.5)
Лендинг
• Делаем совсем новый продукт -
сначала лендинг со сбором email
• Каждая бизнес-модель - отдельный
сайт, и не упоминать бренд
• Новая фича - описали на сайте как
«soon» и собираем email
• Гоним трафик из поисковиков и
соцсетей (fb, vk, my.com)
Подтверждение решения
• Прототип
• Интервью
• A/B-тесты
Прототипы
• Могут быть разного качества: от
бумажных до Invision. В Invision уже
достаточный интерактив для
наблюдения за пользовательским
поведением.
• Если совсем тяжело и есть
конкурент - берите на интервью его.
• Можно проводить лично, можно
удаленно: для поиска reddit,
craigslist в помощь. Но людям надо
заплатить.

От $10 до $100
Интервью
• Приносите прототип и просите
воспользоваться. Слушайте!
• Дёшево и сердите идите в
подходящие места, где тасует ваша
аудитория и показывайте.
• Интроверт? Просите друзей и
коллег порекомендовать вам
знакомых с нужной проблемой.
• Что ещё пробовали: TestKitches.com
- но дорого, очень дорого (скрин
справа от них)
A/B-тесты
• В готовом продукте делайте
минимальную реализацию или вообще
имитацию действия функции на 1-5%
пользователях и смотрите на ключевые
метрики.
• Пример: ABBYY BCR - просьбы
добавить визитки с QR-кодами. Делать
долго, потому что нужно делать
сравнение и модификацию полей.
• Сделали MVP - содержимое
сохраняется в заметку. В итоге все
счастливы :)
Подтверждение продукта
• MVP
• Аналитика
• A/B-тесты
• Интервью
MVP
• Ищите бета-тестеров на reddit.com,
craigslist.com, betali.st, Hacker
News, User Testing
• Не всегда пользователи могут
назвать то, что хотят. Делайте
минимальную реализацию и
смотрите, как пользователи
используют продукт
• Смотрите на ключевые метрики
(ARPU, Retention)
Аналитика
• В продукте должна быть запланирована с первого дня
• Для мобильных приложений норм Google Analytics (бесплатно) для
внутренней аналитики и AppsFlyer (недорого) для трекинга инсталлов.
Настраивайте дашборды (Google Analytics Spreadsheets Add-on), меряйте
когортами СAC, ARPU, Retention, LTV
Что мы меряем в

Google Analytics
• поток пользователей или потенц.
клиентов
• конверсия в 1-ю покупку
• число платящих
• в среднем клиент платит
• издержки на каждой продаже
• число покупок на 1-го платящего
• стоимость привлечения пользователя
• доход с привлечённого пользователя
• прибыль с пользователя
• Прибыль с потока пользователей
• Доход с потока пользователей
• Расходы на привлечение
пользователей, в том числе зп
продажников
• Ограниченные сверху расходы в месяц
на зарплаты, аренду офиса, сервера
Заранее прогнозируем результат от фичи
Версия
Что планируете сделать (гипотеза)
Почему гипотеза актуальна прямо сейчас
Метрика, на которую влияем
Как планируете быстро и дёшево проверить гипотезу
Какой % от всех пользователей узнает о фиче
Какой % пользователей воспользуется фичей
Количество пользователей, на которых влияем
Ожидаемый эффект
Ожидаемый эффект, $/Users
% прибыли в мес
Вероятность успеха %
Сложность реализации (1-5)
К-т Акимова
Дата запуска теста
Дата завершения теста
Дней тестировали
Кол-во пользователей в тесте
Результат по всем пользователям
Кол-во новых пользователей в тесте
Результат по новым пользователям
Результат в руб.
Какой вариант оставили
Выводы, Комментарии
A/B-тесты
• На название, иконку, скриншоты,
описание. Splitmetrics и Google Play
Developer console
• На онбоардинг, продающие тексты,
ключевые этапы воронки. Мы
используем Taplytics
• На пуш, email-сообщения.
Pushwoosh, SendGrid
• На новый функционал
Результаты скриншотов
Интервью
• Продолжаем беседовать с
пользователями
• Используем бета-тестеров
• Списываемся и общаемся с теми,
кто пишет в поддержку или в стор
Итого: выходите из офиса и принимайте
решения, основываясь на данных
Спасибо за внимание!
Заходите в гости: fb.com/akimov.pro

Running Lean (Игорь Акимов, ABBYY)

  • 1.
    Running Lean: Практика ИгорьАкимов, product manager, ABBYY
  • 2.
  • 3.
    ABBYY Mobile OCRapps Business Card Reader FineScanner TextGrabber Сканер визиток и менеджер контактов Сканер документов с крутым онлайн- распознаванием Сканер текстов с распознаванием на устройстве + переводчик
  • 4.
    А в чём,собственно, проблема?
  • 5.
    RUNNING LEAN
 BY AUSHMARYA • Customer Development (выходим из офиса) • Lean Startup (короткие итерации для тестирования гипотез, MVP) • Bootstrapping (не тратим деньги, а включаем голову)
  • 6.
  • 7.
    2. Дёшево ихпроверять
  • 8.
    Подтверждение проблемы • Интервью •Опросы, обратная связь • Лендинг
  • 9.
    Интервью • Попросили друзейрекомендовать подходящих знакомых • Написали подходящим по профилю людям в Facebook или LinkedIn, описали суть решаемой вами проблемы. • Если у них есть, они ищут решение и готовы тратить деньги на это - пригласили в кафе, ничего не предлагаем(!), интересуемся и слушаем.
  • 10.
    Опросы, обратная связь •Если есть аудитория - запускаем по ней опрос или тщательно фильтруем то, что пишут в техподдержку или в отзывы в стор. • Если нет - анализируем приложения конкурентов или ищем аудиторию. • Быстро и дешево: crowdflower.com ($0,05-$0,50) • Качественно, оптимально по цене: www.surveymokey.com ($0.8-$1.5) • Быстро и качественно, но дорого: www.aytm.com ($1-$2.5)
  • 11.
    Лендинг • Делаем совсемновый продукт - сначала лендинг со сбором email • Каждая бизнес-модель - отдельный сайт, и не упоминать бренд • Новая фича - описали на сайте как «soon» и собираем email • Гоним трафик из поисковиков и соцсетей (fb, vk, my.com)
  • 12.
  • 13.
    Прототипы • Могут бытьразного качества: от бумажных до Invision. В Invision уже достаточный интерактив для наблюдения за пользовательским поведением. • Если совсем тяжело и есть конкурент - берите на интервью его. • Можно проводить лично, можно удаленно: для поиска reddit, craigslist в помощь. Но людям надо заплатить.
 От $10 до $100
  • 14.
    Интервью • Приносите прототипи просите воспользоваться. Слушайте! • Дёшево и сердите идите в подходящие места, где тасует ваша аудитория и показывайте. • Интроверт? Просите друзей и коллег порекомендовать вам знакомых с нужной проблемой. • Что ещё пробовали: TestKitches.com - но дорого, очень дорого (скрин справа от них)
  • 15.
    A/B-тесты • В готовомпродукте делайте минимальную реализацию или вообще имитацию действия функции на 1-5% пользователях и смотрите на ключевые метрики. • Пример: ABBYY BCR - просьбы добавить визитки с QR-кодами. Делать долго, потому что нужно делать сравнение и модификацию полей. • Сделали MVP - содержимое сохраняется в заметку. В итоге все счастливы :)
  • 16.
    Подтверждение продукта • MVP •Аналитика • A/B-тесты • Интервью
  • 17.
    MVP • Ищите бета-тестеровна reddit.com, craigslist.com, betali.st, Hacker News, User Testing • Не всегда пользователи могут назвать то, что хотят. Делайте минимальную реализацию и смотрите, как пользователи используют продукт • Смотрите на ключевые метрики (ARPU, Retention)
  • 18.
    Аналитика • В продуктедолжна быть запланирована с первого дня • Для мобильных приложений норм Google Analytics (бесплатно) для внутренней аналитики и AppsFlyer (недорого) для трекинга инсталлов. Настраивайте дашборды (Google Analytics Spreadsheets Add-on), меряйте когортами СAC, ARPU, Retention, LTV
  • 19.
    Что мы меряемв
 Google Analytics • поток пользователей или потенц. клиентов • конверсия в 1-ю покупку • число платящих • в среднем клиент платит • издержки на каждой продаже • число покупок на 1-го платящего • стоимость привлечения пользователя • доход с привлечённого пользователя • прибыль с пользователя • Прибыль с потока пользователей • Доход с потока пользователей • Расходы на привлечение пользователей, в том числе зп продажников • Ограниченные сверху расходы в месяц на зарплаты, аренду офиса, сервера
  • 20.
    Заранее прогнозируем результатот фичи Версия Что планируете сделать (гипотеза) Почему гипотеза актуальна прямо сейчас Метрика, на которую влияем Как планируете быстро и дёшево проверить гипотезу Какой % от всех пользователей узнает о фиче Какой % пользователей воспользуется фичей Количество пользователей, на которых влияем Ожидаемый эффект Ожидаемый эффект, $/Users % прибыли в мес Вероятность успеха % Сложность реализации (1-5) К-т Акимова Дата запуска теста Дата завершения теста Дней тестировали Кол-во пользователей в тесте Результат по всем пользователям Кол-во новых пользователей в тесте Результат по новым пользователям Результат в руб. Какой вариант оставили Выводы, Комментарии
  • 21.
    A/B-тесты • На название,иконку, скриншоты, описание. Splitmetrics и Google Play Developer console • На онбоардинг, продающие тексты, ключевые этапы воронки. Мы используем Taplytics • На пуш, email-сообщения. Pushwoosh, SendGrid • На новый функционал
  • 22.
  • 23.
    Интервью • Продолжаем беседоватьс пользователями • Используем бета-тестеров • Списываемся и общаемся с теми, кто пишет в поддержку или в стор
  • 24.
    Итого: выходите изофиса и принимайте решения, основываясь на данных
  • 25.