Презентация Максима Букея с выступления на Открытом семинаре. Видео тут http://it-eburg.com/text/article/26_ijunja_veb_analitika_kak_zachem_i_pochemu/

1. Ошибки и грабли в организации
A/B и MV тестов
Обзор доступных инструментов тестирования
Особенности их практического использования
Что учитывать при самостоятельной организации
тестирования

3. Что такое A/B тестирование

4. Основные вопросы которые
возникают при тестировании?

5. Основные вопросы которые
возникают при тестировании?
1. Для чего и когда использовать
тестирование
2. При каких условиях тестирование (не)
проходит успешно
3. Какие элементы интерфейсов
тестировать
4. Чем тестировать
5. Как интерпретировать результаты
6. Где возникают ошибки

6. Когда тестирование помогает?
Если тестирование - это процесс:
1. Установили цели (бизнес-цели > цели на
сайте > KPI > целевые метрики)
2. Произвели начальные измерения и
выделили приоритеты в тестировании
3. Протестировали
4. Оценили результаты и внедрили
5. Повторили опять (на других страницах)

7. Необходимые условия
● Статистическая достоверность
результатов
● Четкие, явные, количественно измеримые
цели
● Достаточные: посещаемость тестируемых
страниц, количество конверсионных
действий и однородность аудитории
● Проверенные и отлаженные инструменты
тестирования
● Ну, и отдельно поговорим об элементах
которые тестируются

8. Продолжительность эксперимента
Зависит от трафика, конверсии, различий в
тестируемых вариантах.
Считается на калькуляторах
Лучше больше чем меньше, многие сервисы
определяют сами
Желательно минимум 100 конверсионных
действий на вариант
Обычно 2-3 недели

10. Как на самом деле выбрать
страницу для тестирования?
Смотрим статистику и выбираем:
● Самые посещаемые страницы
● Самые посещаемые посадочные
страницы
● Страницы с дорогими визитами
● Страницы с отказами
● Страницы в воронке продаж (если она
настроена) с отказами

11. Таблица для приоритизации
тестирования
Страница Потенциал Важность Легкость
изменения
Среднее
значение
Насколько
можно
увеличить
конверсию, от
1 до 10
Сколько
посетителей
приходит на
эту страницу и
какова
стоимость этих
посетителей,
от 1 до 10
Насколько легко
тестировать эту
страницу
(технически и с
точки зрения
пользовательского
взаимодействия),
от 1 до 10

14. Как на самом деле выбрать
элементы для тестирования?
Все просто:
1. Выдвините гипотезу, которая объясняет
поведение пользователей
2. Предложите решение, за счет изменений
элементов (тестируемые элементы
должны напрямую влиять на конверсию)
3. Не тестируйте сразу много элементов (1-2
вполне достаточно)
4. Не берите для тестирования
незначительные изменения

15. Кратко - идеи для тестирования
● Добавьте слово «Бесплатно»
● Создайте видео с объяснением
● Приклейте кнопку регистрации к верхней части
страницы
● Сократите форму заявки
● Покажите товар «лицом»
● Демо-версия vs Денежный возврат
● Длительность бесплатной версии
● Предложите бонусы, ограниченные по времени
● Добавьте денежную ценность бесплатным
предложениям
● Поменяйте цвета кнопок

16. Хотите ещё больше кейсов?
● http://lpgenerator.ru/blog/2013/04/05/24-
gipotezy-split-testirovanij/
● http://whichtestwon.com/
● http://www.abtests.com/
● http://visualwebsiteoptimizer.com/split-
testing-blog/

17. Попробуем угадать какой вариант
работает лучше!
Практическая работа
30 вариантов для 15 страниц

18. Инструменты тестирования
1. Эксперименты в Google Analytics
2. Яндекс.Метрика
3. Visual Website Optimizer
4. Optimizely
5. ABtest.ru
и еще много других на http://whichMVT.com

19. Google Analytics
Бесплатно и обычно уже используется на сайте
Можно проводить только A/B тесты на разных URI
Программисты нужны, но не сильно (создать
дополнительный вариант страницы, установить
полученный код)
Расчёт происходит только по одной цели, но для
анализа результатов можно потом применять
расширенные сегменты и другие интересные "фичи" GA
Нет сегментации по посетителям и % трафика на
каждую из групп
GA используют "жадный" алгоритм ("многорукий
бандит") https://support.google.
com/analytics/answer/2844870?hl=ru

25. Яндекс Метрика
Параметры визитов http://help.yandex.
ru/metrika/content/visit-params.xml
Бесплатно и скорее всего уже стоит у многих на сайте
Только A/B тестирование (но на произвольных
страницах)
Необходимо привлекать программистов
(распределение пользователей по группам - алгоритм
тестирования, установка cookie, установка кодов,
возможно обсчёт результатов)
Для обработки результатов необходимо использовать
статистические калькуляторы

27. Статистические калькуляторы
● http://www.artmetod.ru/a-b-testing/230
● http://www.measuringusability.com/calc.php
● http://visualwebsiteoptimizer.com/ab-split-
test-duration/
● http://visualwebsiteoptimizer.
com/downloads/ab_testing_significance_cal
culator.xls

28. Visual Website Optimizer
Платный
A/B тестирование
Мультивариантное тестирование
Персонализация сайта на основе поведения
посетителя и геотаргетинга
Тепловая карта кликов (для каждого из вариантов
отдельно)
Юзабилити тестирование и тестирование цен
Визуальный редактор
Интеграция с различными сервисами (Аналитика:
Google Analytics, Adobe SiteCatalyst, Clicky, CMS:
WordPress, Joomla, Drupal)

29. Optimizely
Платный инструмент
Умеет проводить A/B и мультивариантные
тестирования
Так же, как и в VWO, есть визуальный
редактор
Умеет сегментировать участников
экспериментов
Тоже умеет распределять трафик между
вариантами страниц
Скрипты - расположены на cdn сервиса

30. ABtest.ru
С недавнего времени бесплатный !
Русскоязычный
Только A/B тесты
Визуальный редактор
Скрипты - расположены на cdn сервиса
Есть простая сегментация пользователей

31. Блок для "продвинутых"
● Большинство (70-80%) ваших тестов провалятся
● Делайте A/A тесты (если инструмент которым вы
пользуетесь нов для вас, потом можно отказаться от
этого или сразу проводить A/B/A тесты)
● Макро- конверсии лучше, чем микро-. Смотрите
конечную конверсию — например продажу
● Высокая конверсия не равна большему заработку.
● Понедельник — это не вторник. Тестируйте
неделями

32. Продолжение
● Не бойтесь показателя отказов
● Разделяйте тесты. Для мобильных отдельно
● Уродцы тоже могут зарабатывать.
Это сайты сосредоточившиеся на функционале
http://blog.kissmetrics.com/ugly-websites/
● Уменьшайте сопротивление. Не заставляйте
пользователей делать вещи, которые им делать не
нужно.
● Не думайте, что надо измерять только один
коэффициент, влияющий на конверсию - смотрите
на картинку в целом

33. Локальный максимум и лучший
дизайн

34. Существует ли негативное
влияние A/B тестов на SEO?
1. нет, не существует, пруф от Google
2. что бы снизить это негативное влияние )))
a. используем rel="canonical" на
страницах вариаций
b. если пользователя надо
перенаправить на страницу вариации
используем 302 редирект

35. Перспективы развития
тестирования
1. Автоматизация, автоматизация и автом...
2. Персонализация
какие знания о пользователях есть в
минимальном варианте:
Geo IP
День недели
Время суток
Язык клиента
Браузер
Операционная система
Тип клиента (например, оптовый или розничный, новый или постоянный)

36. Чем можно пользоваться для
мегакрутой персонализации
1. Facebook или ВКонтакте. Через API или
просто составляя рекламные кампании и
пересылая пользователей через
промежуточные страницы
2. Самостоятельный сбор информации о
пользователях
3. Внешние системы. Система IonIntercative
персонализирует посетителя сайта по 33
параметрам

38. Доклад про персонализацию под
пользователя
http://events.yandex.ru/events/yac/m/talks/823/

40. Спасибо за внимание!
Вопросы?
Букей Максим
Юзабилити эксперт на 66.ru
Skype: maxgabba
Twitter: maxgabba
E-mail: maxgabba@gmail.com