тестирование и грабли

471 views
419 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
471
On SlideShare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
19
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

тестирование и грабли

  1. 1. Ошибки и грабли в организации A/B и MV тестов Обзор доступных инструментов тестирования Особенности их практического использования Что учитывать при самостоятельной организации тестирования
  2. 2. Что такое A/B тестирование
  3. 3. Основные вопросы которые возникают при тестировании?
  4. 4. Основные вопросы которые возникают при тестировании? 1. Для чего и когда использовать тестирование 2. При каких условиях тестирование (не) проходит успешно 3. Какие элементы интерфейсов тестировать 4. Чем тестировать 5. Как интерпретировать результаты 6. Где возникают ошибки
  5. 5. Когда тестирование помогает? Если тестирование - это процесс: 1. Установили цели (бизнес-цели > цели на сайте > KPI > целевые метрики) 2. Произвели начальные измерения и выделили приоритеты в тестировании 3. Протестировали 4. Оценили результаты и внедрили 5. Повторили опять (на других страницах)
  6. 6. Необходимые условия ● Статистическая достоверность результатов ● Четкие, явные, количественно измеримые цели ● Достаточные: посещаемость тестируемых страниц, количество конверсионных действий и однородность аудитории ● Проверенные и отлаженные инструменты тестирования ● Ну, и отдельно поговорим об элементах которые тестируются
  7. 7. Продолжительность эксперимента Зависит от трафика, конверсии, различий в тестируемых вариантах. Считается на калькуляторах Лучше больше чем меньше, многие сервисы определяют сами Желательно минимум 100 конверсионных действий на вариант Обычно 2-3 недели
  8. 8. Как на самом деле выбрать страницу для тестирования? Смотрим статистику и выбираем: ● Самые посещаемые страницы ● Самые посещаемые посадочные страницы ● Страницы с дорогими визитами ● Страницы с отказами ● Страницы в воронке продаж (если она настроена) с отказами
  9. 9. Таблица для приоритизации тестирования Страница Потенциал Важность Легкость изменения Среднее значение Насколько можно увеличить конверсию, от 1 до 10 Сколько посетителей приходит на эту страницу и какова стоимость этих посетителей, от 1 до 10 Насколько легко тестировать эту страницу (технически и с точки зрения пользовательского взаимодействия), от 1 до 10
  10. 10. Как на самом деле выбрать элементы для тестирования? Все просто: 1. Выдвините гипотезу, которая объясняет поведение пользователей 2. Предложите решение, за счет изменений элементов (тестируемые элементы должны напрямую влиять на конверсию) 3. Не тестируйте сразу много элементов (1-2 вполне достаточно) 4. Не берите для тестирования незначительные изменения
  11. 11. Кратко - идеи для тестирования ● Добавьте слово «Бесплатно» ● Создайте видео с объяснением ● Приклейте кнопку регистрации к верхней части страницы ● Сократите форму заявки ● Покажите товар «лицом» ● Демо-версия vs Денежный возврат ● Длительность бесплатной версии ● Предложите бонусы, ограниченные по времени ● Добавьте денежную ценность бесплатным предложениям ● Поменяйте цвета кнопок
  12. 12. Хотите ещё больше кейсов? ● http://lpgenerator.ru/blog/2013/04/05/24- gipotezy-split-testirovanij/ ● http://whichtestwon.com/ ● http://www.abtests.com/ ● http://visualwebsiteoptimizer.com/split- testing-blog/
  13. 13. Попробуем угадать какой вариант работает лучше! Практическая работа 30 вариантов для 15 страниц
  14. 14. Инструменты тестирования 1. Эксперименты в Google Analytics 2. Яндекс.Метрика 3. Visual Website Optimizer 4. Optimizely 5. ABtest.ru и еще много других на http://whichMVT.com
  15. 15. Google Analytics Бесплатно и обычно уже используется на сайте Можно проводить только A/B тесты на разных URI Программисты нужны, но не сильно (создать дополнительный вариант страницы, установить полученный код) Расчёт происходит только по одной цели, но для анализа результатов можно потом применять расширенные сегменты и другие интересные "фичи" GA Нет сегментации по посетителям и % трафика на каждую из групп GA используют "жадный" алгоритм ("многорукий бандит") https://support.google. com/analytics/answer/2844870?hl=ru
  16. 16. Яндекс Метрика Параметры визитов http://help.yandex. ru/metrika/content/visit-params.xml Бесплатно и скорее всего уже стоит у многих на сайте Только A/B тестирование (но на произвольных страницах) Необходимо привлекать программистов (распределение пользователей по группам - алгоритм тестирования, установка cookie, установка кодов, возможно обсчёт результатов) Для обработки результатов необходимо использовать статистические калькуляторы
  17. 17. Статистические калькуляторы ● http://www.artmetod.ru/a-b-testing/230 ● http://www.measuringusability.com/calc.php ● http://visualwebsiteoptimizer.com/ab-split- test-duration/ ● http://visualwebsiteoptimizer. com/downloads/ab_testing_significance_cal culator.xls
  18. 18. Visual Website Optimizer Платный A/B тестирование Мультивариантное тестирование Персонализация сайта на основе поведения посетителя и геотаргетинга Тепловая карта кликов (для каждого из вариантов отдельно) Юзабилити тестирование и тестирование цен Визуальный редактор Интеграция с различными сервисами (Аналитика: Google Analytics, Adobe SiteCatalyst, Clicky, CMS: WordPress, Joomla, Drupal)
  19. 19. Optimizely Платный инструмент Умеет проводить A/B и мультивариантные тестирования Так же, как и в VWO, есть визуальный редактор Умеет сегментировать участников экспериментов Тоже умеет распределять трафик между вариантами страниц Скрипты - расположены на cdn сервиса
  20. 20. ABtest.ru С недавнего времени бесплатный ! Русскоязычный Только A/B тесты Визуальный редактор Скрипты - расположены на cdn сервиса Есть простая сегментация пользователей
  21. 21. Блок для "продвинутых" ● Большинство (70-80%) ваших тестов провалятся ● Делайте A/A тесты (если инструмент которым вы пользуетесь нов для вас, потом можно отказаться от этого или сразу проводить A/B/A тесты) ● Макро- конверсии лучше, чем микро-. Смотрите конечную конверсию — например продажу ● Высокая конверсия не равна большему заработку. ● Понедельник — это не вторник. Тестируйте неделями
  22. 22. Продолжение ● Не бойтесь показателя отказов ● Разделяйте тесты. Для мобильных отдельно ● Уродцы тоже могут зарабатывать. Это сайты сосредоточившиеся на функционале http://blog.kissmetrics.com/ugly-websites/ ● Уменьшайте сопротивление. Не заставляйте пользователей делать вещи, которые им делать не нужно. ● Не думайте, что надо измерять только один коэффициент, влияющий на конверсию - смотрите на картинку в целом
  23. 23. Локальный максимум и лучший дизайн
  24. 24. Существует ли негативное влияние A/B тестов на SEO? 1. нет, не существует, пруф от Google 2. что бы снизить это негативное влияние ))) a. используем rel="canonical" на страницах вариаций b. если пользователя надо перенаправить на страницу вариации используем 302 редирект
  25. 25. Перспективы развития тестирования 1. Автоматизация, автоматизация и автом... 2. Персонализация какие знания о пользователях есть в минимальном варианте: Geo IP День недели Время суток Язык клиента Браузер Операционная система Тип клиента (например, оптовый или розничный, новый или постоянный)
  26. 26. Чем можно пользоваться для мегакрутой персонализации 1. Facebook или ВКонтакте. Через API или просто составляя рекламные кампании и пересылая пользователей через промежуточные страницы 2. Самостоятельный сбор информации о пользователях 3. Внешние системы. Система IonIntercative персонализирует посетителя сайта по 33 параметрам
  27. 27. Доклад про персонализацию под пользователя http://events.yandex.ru/events/yac/m/talks/823/
  28. 28. Спасибо за внимание! Вопросы? Букей Максим Юзабилити эксперт на 66.ru Skype: maxgabba Twitter: maxgabba E-mail: maxgabba@gmail.com

×