Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
A/B-
тесты

как получать
пользу
A/B-
тесты

как получать
пользу
A/B-
тесты

как получать
пользу
A/B-
тесты

как получать
п...
Интерес к A/B-тестам растёт
2008 2012 2015
a/b test
trends.google.com
2017
Успех Amazon — это функция
от количества тестов,
проведенных в год, месяц,
неделю и день..
Джефф Безос
Amazon CEO
source: ...
статистика 102 клиентов mindbox
Но никто не делает А/B-тесты
Делают
Не делают
10%
90%
Делают
Сомневаются
10%
50%
Не

заинтересованы

в росте бизнеса
(неинтересная для нас группа)
40%
статистика 102 клиентов m...
Сомнения обоснованы
Раньше
сравнивали

плохое и хорошее
Волшебный прирост
Конверсия выросла на 24%
Разве это

не очевидно?!
Сомнения обоснованы
Сплошной успех
Преувеличение
Умалчивают
неудачи
На целых 200%,

а не с 0,5 до 1%
Раньше
сравнивали

пл...
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о то...
НеопределенностьОпределенность
ЭкспертыКнигиПлохой vs Хороший
A/B
тесты
Тестирование
Зона применимости A/B-тестов -
неопре...
Не быстро
Маленький рост
Зона неопределенности
Как с этим жить?
A/B-тесты - это (часто)
тесты
мы сейчас
хотим быть
t в годах
Хаотичные тесты обычно не ведут к конечной цели
Нужна
система
Делают тесты системно
тесты
t в годах
мы сейчас
хотим быть
Система
t в годах
мы сейчас
0. Метрика
1. KPI на тесты
2. Регулярность
3. Свобода
4. Матчасть
5. База знаний
хотим быть
0. Что растим — метрика
Например,
конверсия

в первую покупку
1. Должны быть KPI
например, 5 тестов
Z тестов
в месяцTest Meter
1 раз в месяц смотреть,

что запустили, как это
повлияло на важные
метрики
2. Регулярность
Быстро – это
медленно, но
регулярно
японская мудрость
✦ Уберите согласования

простых деталей
темы в письмах, цвета, картинки и
т.д.
✦ Согласовывайте

сложные вещи
нарушение to...
4. Матчасть
✦ Формулы с доверительными
интервалами
✦ Не больше 1 теста за раз
✦ Правильная гипотеза
✦ АА-тесты
5. База знаний
Гипотеза Успешность Аудитория Варианты Новая
гипотеза
Эмодзи
повышают
open rate
письма Нет 18 — 25
лет
с эм...
Тесты успешны, а метрика не растет 

— Ошибка в математике

— Больше АА-тестов
Тесты не запущены, не знаете, что
тестирова...
Крупный производитель с кучей
подрядчиков часто не понимал, 

что случилось и кто виноват
Кейс
1. Появились комфортная среда
2. Ушли согласования и появился креатив
3. Появилась прозрачность
Что дала система
И вот результат
1. KPI
введите количество
кампаний и тестов
2. Регулярность
1 раз в месяц анализировать,
что запустили и как
повлияло
3. С...
В науке нет финишной черты. Когда
находишь ответ на один вопрос, тут же
возникает другой. Я никогда не считал, что
ответил...
Что почитать по матчасти
1. Чарльз Уилан. Голая статистика - про статистику на пальцах

2. Глантц. Медико-биологическая ст...
Светлана Шулова
shulova@mindbox.ru
www.mindbox.ru
Upcoming SlideShare
Loading in …5
×

Как получать пользу от A/B тестирования?

3,314 views

Published on

Системный подход к проведению A/B тестов. Рекомендация от Mindbox

Published in: Marketing
  • Dating for everyone is here: ♥♥♥ http://bit.ly/2ZDZFYj ♥♥♥
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Sex in your area is here: ❤❤❤ http://bit.ly/2ZDZFYj ❤❤❤
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Как получать пользу от A/B тестирования?

  1. 1. A/B- тесты
 как получать пользу A/B- тесты
 как получать пользу A/B- тесты
 как получать пользу A/B- тесты
 как получать пользу mindbox
  2. 2. Интерес к A/B-тестам растёт 2008 2012 2015 a/b test trends.google.com 2017
  3. 3. Успех Amazon — это функция от количества тестов, проведенных в год, месяц, неделю и день.. Джефф Безос Amazon CEO source: Huffington Post
  4. 4. статистика 102 клиентов mindbox Но никто не делает А/B-тесты Делают Не делают 10% 90%
  5. 5. Делают Сомневаются 10% 50% Не
 заинтересованы
 в росте бизнеса (неинтересная для нас группа) 40% статистика 102 клиентов mindbox Но никто не делает А/B-тесты
  6. 6. Сомнения обоснованы Раньше сравнивали
 плохое и хорошее Волшебный прирост
  7. 7. Конверсия выросла на 24% Разве это
 не очевидно?!
  8. 8. Сомнения обоснованы Сплошной успех Преувеличение Умалчивают неудачи На целых 200%,
 а не с 0,5 до 1% Раньше сравнивали
 плохое и хорошее Волшебный прирост
  9. 9. A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения
  10. 10. НеопределенностьОпределенность ЭкспертыКнигиПлохой vs Хороший A/B тесты Тестирование Зона применимости A/B-тестов - неопределенность
  11. 11. Не быстро Маленький рост Зона неопределенности Как с этим жить? A/B-тесты - это (часто)
  12. 12. тесты мы сейчас хотим быть t в годах Хаотичные тесты обычно не ведут к конечной цели
  13. 13. Нужна система
  14. 14. Делают тесты системно
  15. 15. тесты t в годах мы сейчас хотим быть
  16. 16. Система t в годах мы сейчас 0. Метрика 1. KPI на тесты 2. Регулярность 3. Свобода 4. Матчасть 5. База знаний хотим быть
  17. 17. 0. Что растим — метрика Например, конверсия
 в первую покупку
  18. 18. 1. Должны быть KPI например, 5 тестов Z тестов в месяцTest Meter
  19. 19. 1 раз в месяц смотреть,
 что запустили, как это повлияло на важные метрики 2. Регулярность
  20. 20. Быстро – это медленно, но регулярно японская мудрость
  21. 21. ✦ Уберите согласования
 простых деталей темы в письмах, цвета, картинки и т.д. ✦ Согласовывайте
 сложные вещи нарушение tone of voice, затрагивает смежные отделы или даются обязательства "всем покупателям подарим 1 миллион рублей" 3. Свобода
  22. 22. 4. Матчасть ✦ Формулы с доверительными интервалами ✦ Не больше 1 теста за раз ✦ Правильная гипотеза ✦ АА-тесты
  23. 23. 5. База знаний Гипотеза Успешность Аудитория Варианты Новая гипотеза Эмодзи повышают open rate письма Нет 18 — 25 лет с эмодзи
 и без эмодзи Не любой эмодзи работает. Нужен эмодзи розового цвета
  24. 24. Тесты успешны, а метрика не растет 
 — Ошибка в математике
 — Больше АА-тестов Тесты не запущены, не знаете, что тестировать?
 — Повторять уже запущенное ранее - это ок
 — Тестировать "слишком мелкое изменение", "глупо эмоциональное" ,"слишком сухое",... - это тоже ок
 — Абстрагироваться от "самого адекватного" варианта
 — Устроить брейншторм
 
 
 Все тесты неуспешны
 — У всех тестов есть гипотезы, которыми объясняется
 неуспешность?
 — По всем этим гипотезам запущены новые тесты? Что может пойти не так
  25. 25. Крупный производитель с кучей подрядчиков часто не понимал, 
 что случилось и кто виноват Кейс
  26. 26. 1. Появились комфортная среда 2. Ушли согласования и появился креатив 3. Появилась прозрачность Что дала система
  27. 27. И вот результат
  28. 28. 1. KPI введите количество кампаний и тестов 2. Регулярность 1 раз в месяц анализировать, что запустили и как повлияло 3. Свобода уберите согласования простых и мало-рискованных тестов 5. База знаний копить базу знаний, постоянно смотреть, что уже запускали 4. Матчасть формулы с доверительными интервалами и правильные гипотезы Делайте A/B-тесты системно
  29. 29. В науке нет финишной черты. Когда находишь ответ на один вопрос, тут же возникает другой. Я никогда не считал, что ответил на все вопросы. Потому-то
 и продолжаю спрашивать у дрожжей. ЁСИНОРИ ОСУМИ Нобелевский лауреат 2016
  30. 30. Что почитать по матчасти 1. Чарльз Уилан. Голая статистика - про статистику на пальцах
 2. Глантц. Медико-биологическая статистика (1999) — базовые методы объясняются на простых примерах
 3. Kanji. 100 statistical tests (2006) - большой удобный справочник, какие статистики в каких случаях применять для проверки гипотез
 3. http://www.evanmiller.org/ab-testing/sample-size.html - калькулятор
  31. 31. Светлана Шулова shulova@mindbox.ru www.mindbox.ru

×