Email marketing: что не так с его измерением?

E-mail marketing:
что не так с его измерением?
Иван Боровиков
Главный по тарелочкам
(на самом деле практически все)

Идеальный мир, версия 2017
100% выручки
интернет-магазина
выручка по
email каналу: 20%-60%Триггеры:
40-70% от e-mail
Вполне воспроизводимый результат, но нужно много работать и улучшать кампании (в первую очередь триггеры)
Чтобы улучшать, а не заниматься фигне - надо правильно измерять, что мы там понаулучшали

Метрики e-mail рассылок
Delivery rate Open rate Click rate Action funnel Target action Unsubscription
Маркетинговые метрики Бизнес-метрики

Метрики e-mail рассылок
• Delivery rate - показатель чистоты БД, качества письма, настройки почтовых
правил и т.п.
• Выбирать платформу, т.к. одни пообещали 98% доставки, а другие 99% -
нельзя, это буллшит
• Open / ClickRate - считаются от успешно отправленных писем, уникальные
для 1 пользователя:
• 5 кликов по ссылке из конкретного e-mail = 1 поинт в ClickRate
• Если это не так - скорее всего, кто-то пытается манипулировать цифрами
• Достижение целевого действия - нужно считать каждый случай
• 5 продаж по переходу из одного и того же письма - это таки пять продаж!

Как все привыкли измерять сейчас?
Open / Click rateDelivery rate Conversion rate> > > Сумма заказов
Google AnalyticsПлатформа рассылок

Есть ли с этим какая-нибудь проблема?

5%
Отправили e-mail рассылку, вроде все круто
Рекламные рассылки
Во, 5% конверсия в заказ, клево

?%
А если бы не рассылка, этих покупок бы не было?
Действительно ли выручка выросла?
Правда ли, что она выросла из-за рассылки?
Или может еще по какой-то причине?

Случай второй: купили сервис триггерных рассылок
Была одна рекламная рассылка
5%

5%
триггер «Брошенная корзина»
триггер «Вы давно не покупали»
триггер «Брошенный просмотр»
5%
7%
3%
, стало много: рекламные + триггеры: выглядит круто

Стало несомненно круто
• Только что-то кратный рост конверсий в Google Analytics не очень
совпадает с ростом выручки - выручка выросла всего на 3-5%
• Зато сервис триггерных рассылок просит %% от цены каждого заказа,
который Google Analytics «засчитал» сервису
• Не факт, что экономика «сошлась»

Случай третий: давайте улучшим триггер
Добавим скидку, промокод или автоматические товарные рекомендации
9%
5%
7%
3%
Сумма заказов - 110 р.
Процент выкупа - хз
Маржинальность - хз

3%
9%
2% 2%
Сумма заказов - 112 р.
Процент выкупа - хз
Маржинальность - хз
Улучшили! Улучшили… Улучшили?
Или эти наши скидки с бигдатой тут вообще ни при чем?

Самое плохое, что можно сделать с рассылками -
считать их по lastclick / GA

Проблема номер один:
Впоследствии - не значит вследствие
9%
Конверсия по «Ласт Клик» не отражает реальный добавленный эффект, а только последний переход
Цифра из Google Analytics (конверсия по последнему непрямому переходу в оформленный заказ)

Проблема номер один:
Впоследствии - не значит вследствие
9% 7%
(поэтому не надо покупать триггеры по CPO, который считается по GA / lastclick)
реальный добавленный эффект
контрольная группа
Конверсия по «Ласт Клик» не отражает реальный добавленный эффект, а только последний переход
Цифра из Google Analytics (конверсия по последнему непрямому переходу в оформленный заказ)

Проблема номер два:
9%
5%
7%
3%
3%
9%
2% 2%
Не можем достоверно выделить эффект от наших изменений
Если не можем померять = не можем улучшить
VS

Какая реальная добавленная выручка с учетом %% выкупа?
Проблема номер три:
Метрики не отражают эффект на бизнес
Как поменялась маржинальность после изменений триггера?
Сколько справедливо будет платить за триггерные рассылки?

Иногда доходит до смешного (иногда грустного)

История из жизни: ювелирный онлайн-магазин
Покупал триггер
«брошенный просмотр» с
рекомендательным блоком
по CPO (3% конверсия)
Контрольных групп не было
Тестов не делал
А/Б тест без товарного блока
+1,5% к конверсии
Магазин платил %% от выручки
за уменьшение конверсии

Мебельный ритейлер
Покупал триггер
«брошенная корзина»
по CPO (10% конверсия)
Выкуп не считал
Контрольных групп не было
~500-900 «брошенных корзин» в
день
выглядели, как 50-90 «спасенных»
заказов
Платил за это Х00 тыс рублей в месяц
Контрольная группа
Дотянули до «выкупа»
Х00 000 рублей в месяц
за ~20 заказов

Не все метрики одинаково полезны

• Выручка, % прироста выручки
• Кол-во первых покупок
• % выручки с канала

Слишком много 
факторов

• OR, CR с охватом и без
• % повторных 
покупок, с новыми
факторов

факторов
Не прямая связь
с деньгами

• LTV
• NPS
факторов
с деньгами

• LTV
• NPS
факторов
с деньгами
Долго
реагируют

Что мы хотим от отчетности?
1. Действительная добавленная выручка (не «попугаи»)
2.В динамике (стало лучше или хуже?)
3.Инструмент для принятия решений «здесь и сейчас»
4.Возможность точно посчитать выгоду от сервиса

0
2 0
4 0
6 0
8 0
10 0
12 0
0 ,0 %
5 ,0 %
1 0 ,0 %
1 5 ,0 %
2 0 ,0 %
2 5 ,0 %
3 0 ,0 %
3 5 ,0 %
Jul Aug Sep Oct Nov Dec Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec Jan Feb Mar Apr May Jun
2014 2015 2016 2017
Самое простое - конверсия в динамике!
! важно: количественная метрика для просмотра
Посетители сайта
2014 2015 2016 2017

0
2 0
4 0
6 0
8 0
10 0
12 0
0 ,0 %
5 ,0 %
1 0 ,0 %
1 5 ,0 %
2 0 ,0 %
2 5 ,0 %
3 0 ,0 %
3 5 ,0 %
2014 2015 2016 2017
0
2 0
4 0
6 0
8 0
10 0
12 0
0 ,0 %
5 ,0 %
1 0 ,0 %
1 5 ,0 %
2 0 ,0 %
2 5 ,0 %
3 0 ,0 %
3 5 ,0 %
2014 2015 2016 2017
Конверсия
2014 2015 2016 2017

0
2 0
4 0
6 0
8 0
10 0
12 0
0 ,0 %
5 ,0 %
1 0 ,0 %
1 5 ,0 %
2 0 ,0 %
2 5 ,0 %
3 0 ,0 %
3 5 ,0 %
2014 2015 2016 2017
0
2 0
4 0
6 0
8 0
10 0
12 0
0 ,0 %
5 ,0 %
1 0 ,0 %
1 5 ,0 %
2 0 ,0 %
2 5 ,0 %
3 0 ,0 %
3 5 ,0 %
2014 2015 2016 2017
Конверсия
2014 2015 2016 2017
Welcoming
messages are
applied to all
brands

0
2 0
4 0
6 0
8 0
10 0
12 0
0 ,0 %
5 ,0 %
1 0 ,0 %
1 5 ,0 %
2 0 ,0 %
2 5 ,0 %
3 0 ,0 %
3 5 ,0 %
2014 2015 2016 2017
0
2 0
4 0
6 0
8 0
10 0
12 0
0 ,0 %
5 ,0 %
1 0 ,0 %
1 5 ,0 %
2 0 ,0 %
2 5 ,0 %
3 0 ,0 %
3 5 ,0 %
2014 2015 2016 2017
Конверсия
2014 2015 2016 2017
Welcoming
messages are
applied to all
brands
XXX CRM
program start

0
2 0
4 0
6 0
8 0
10 0
12 0
0 ,0 %
5 ,0 %
1 0 ,0 %
1 5 ,0 %
2 0 ,0 %
2 5 ,0 %
3 0 ,0 %
3 5 ,0 %
2014 2015 2016 2017
0
2 0
4 0
6 0
8 0
10 0
12 0
0 ,0 %
5 ,0 %
1 0 ,0 %
1 5 ,0 %
2 0 ,0 %
2 5 ,0 %
3 0 ,0 %
3 5 ,0 %
2014 2015 2016 2017
Конверсия
2014 2015 2016 2017
Welcoming
messages are
applied to all
brands
XXX CRM
program start
FRAUD !

Контрольная группа — 
научный способ измерения
причинно-следственной связи

! но: не измеряет
длительные эффекты
Прямой маркетинг — 
идеальный кандидат 
для ежемесячной 
контрольной группы

5%

5%
основная группа
98%
2% 4%
1%
контрольная
(не шлем) покупают и без письма
реальный эффект
100% тех, кто бросил корзину
(шлем письмо)

5%
Что изменит контрольная группа?
Во, 5% конверсия в заказ, клево
3%
Основная группа Контрольная группа
добавленный эффект 2%
Не 5%, а 2%

5%
триггер «Брошенный просмотр»5%
7%
3%
, стало много: рекламные + триггеры: выглядит круто
контрольная группа
4% упс, похоже проблемки

Уже измеряют через КГ

Но у меня же интуиция, опыт!
истеричный всхлип из зала :-)

У Стива тоже
была интуиция

Важные особенности

1) Доверительный интервал
• Вы опросили 10 покупателей,
есть ли у них мобильный
телефон
• 1 ответил, что у него его нет
• Значит ли это, что у 10%
покупателей нет мобильников?

Что это значит?
Сравнивать результаты теста или рассылок по
абсолютным цифрам из Google Analytics - НЕЛЬЗЯ

2) Одна гипотеза - один тест
Если это не так - значит видим или грубую ошибку или хуже: попытку манипулировать данными
Автоматические товарные рекомендации вырастили конверсию:
с 14% до 17%:

Здесь это правило нарушено
Письма в тесте отличаются сразу
двумя «фишками»:
• Есть товарный блок
• Товары в блоке подобраны
специальным образом (сами
рекомендации)

Как должен выглядеть правильный тест?

Результаты правильного теста

3) Считать деньги в кассе, а не «попугаев»
• Наличие товарного блока со случайными товарами (бесплатно)
добавило 1,2% конверсии
• Автоматические товарные рекомендации добавили 0,8%
конверсии
• Это не более 2 заказов в месяц, абонентская плата за сервис = 20
тыс рублей.
• Т.е. каждый такой заказ обходится не менее, чем в 10 тыс
рублей = НЕЦЕЛЕСООБРАЗНО

С чем придется столкнуться

Централизация данных
Отчетность? Are you f**king serious?

Готовые дашборды для e-commerce?
неее, не слышали

(хотя мы скоро это исправим)

Что можно улучшить здесь и сейчас:
1) Конверсия в динамике
2) Общая контрольная группа, относительно которой сравнивать каналы и кампании
3) Обновлять ее раз в месяц
4) Обязательно считать деньги, а не «попугаи»:
выкуп и возвраты, хотя бы на уровне канала
5) NPS

Набор полезных ссылок:
Про правильное измерение, доверительный интервал и т.п.:
http://blog.mindbox.ru/tri-oshibki-v-ab-testah/
Типовые кампании, стратегия, остальные вопросы: ibg@mindbox.ru

www.mindbox.ru
Иван Боровиков
+7 903 724 08 88
ibg@mindbox.ru
СПАСИБО!
основатель

Email marketing: что не так с его измерением?

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Email marketing: что не так с его измерением?

Similar to Email marketing: что не так с его измерением? (20)

More from Mindbox

More from Mindbox (8)

Email marketing: что не так с его измерением?