Рано или поздно в команде начинаются разногласия: споры о новом дизайне, более интуитивном пользовательском интерфейсе. А как насчет традиций, культуры и мировоззрения других народов? Например, Азия? :) И тут приходит к нам на помощь A/B тестирование. А работает ли оно вообще? :) В своей презентации я хочу поделиться идеями и реальными примерами как нам помогло A/B тестирование в решении проблем на проекте, как мы подготавливались и настраивали процесс, а также проводили анализ результатов. Рассмотрим реальные примеры A/B тестирования и вспомним нашумевшую ленту новостей в Facebook ;) Презентация будет интересна как тем, кто никогда не слышал про такой вид тестирования, так и тем, кто слышал, но на практике никогда не применял и, возможно, захочет попробовать у себя на проекте.

1. Киев 2017
Первый в Украине фестиваль тестирования
Работает ли A/B
тестирование?
Шкуда Надежда
vs

2. Киев 2017
О СЕБЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
Шкуда Надежда
Senior/Lead QA Engineer
в тестировании с 2012 г.
Специализация:
- Ручное тестировнаие
- Автоматизированное тестирование

3. Киев 2017
ПРОЕКТ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
>> 100000 visitors

4. Киев 2017
ИДЕЯ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?

5. Киев 2017
ПРОБЛЕМА
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?

6. Киев 2017
ПРОБЛЕМА
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?

7. Киев 2017
ПРОБЛЕМА
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?

8. Киев 2017
ПРОБЛЕМА
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
СПОР
МЕНЕДЖЕР

9. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
A/B тестирование – метод сравнения двух
версий веб-страницы или приложения друг
против друга, для определения какой из
них работает лучше.

10. Киев 2017
ЦЕЛЬ ПРОВЕДЕНИЯ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
• Цели проекта
• Конверсия
• Экономические метрики
• Поведенческие факторы

11. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
Почему A/B тестирование важно?
• Интернет-магазины хотят, чтобы их товары покупали
• SaaS проекты стремятся подписать на свои продукты как
можно больше пользователей
• Онлайн СМИ хотят, чтобы их статьи привлекали как можно
больше людей, которые будут кликать на рекламу или
покупать платную подписку
• И так далее...

12. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
Какие страницы обычно тестируют?
Чаще всего исследуют:
• главную страницу
• страницу регистрации/авторизации
• страницу воронки продаж
Прежде всего стоит исследовать:
• самые посещаемые страницы сайта
• страницы с дорогими визитами
• страницы с высоким показателем отказов

13. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
Какие элементы можно тестировать?
• Заголовки и подзаголовки
• Тексты
• Кнопки призыва к действию (CTA-buttons)
• Текст на кнопках призыва к действию
• Баннеры
• Изображения
• Формы для регистрации
• Логотипы
• И другое...

14. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
Анализ поведения аудитории
Разработка гипотез на основе
проанализированных данных

15. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
Создание тестовых версий страниц

16. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
• Количество совершенных покупок
• Количество кликов на кнопку Download
• Количество переходов пользователей на детальную
страницу
• Количество оплаченных броней отеля
• Количество движений пользователя по карте навигации
сайта
• …
Определение измеряемых метрик:

17. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?

18. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
ИНСТРУМЕНТЫ

19. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
ТЕХНИЧЕСКИЙ ПРОЦЕСС
1. Подготовка макетов и различных вариантов
2. Выставление целей
3. Таргетирование
4. Распределение трафика
5. Кросс-браузерное и кросс-платформенное тестирование

20. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
ОТСЛЕЖИВАНИЕ РЕЗУЛЬТАТОВ

21. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
ОТСЛЕЖИВАНИЕ РЕЗУЛЬТАТОВ

22. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
АНАЛИЗ РЕЗУЛЬТАТОВ

23. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
ВНЕДРЕНИЕ НАИЛУЧШЕГО ВАРИАНТА
ПОВТОРЕНИЕ ЭКСПЕРИМЕНТА С ДРУГИМИ ЭЛЕМЕНТАМИ
АНАЛИЗ РЕЗУЛЬТАТОВ

24. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?

25. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?

26. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?

27. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
ДИСКАУНТ

28. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
ДИСКАУНТ

29. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?

30. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?

31. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?

32. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?

33. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?

34. Киев 2017
A/B ТЕСТИРОВАНИЕ
РАБОТАЕТ ЛИ A/B ТЕСТИРОВАНИЕ?
СПАСИБО ЗА
ВНИМАНИЕ!