тестирование и грабли
Upcoming SlideShare
Loading in...5
×
 

тестирование и грабли

on

  • 354 views

 

Statistics

Views

Total Views
354
Views on SlideShare
354
Embed Views
0

Actions

Likes
0
Downloads
4
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

тестирование и грабли тестирование и грабли Presentation Transcript

  • Ошибки и грабли в организации A/B и MV тестов Обзор доступных инструментов тестирования Особенности их практического использования Что учитывать при самостоятельной организации тестирования
  • Что такое A/B тестирование
  • Основные вопросы которые возникают при тестировании?
  • Основные вопросы которые возникают при тестировании? 1. Для чего и когда использовать тестирование 2. При каких условиях тестирование (не) проходит успешно 3. Какие элементы интерфейсов тестировать 4. Чем тестировать 5. Как интерпретировать результаты 6. Где возникают ошибки
  • Когда тестирование помогает? Если тестирование - это процесс: 1. Установили цели (бизнес-цели > цели на сайте > KPI > целевые метрики) 2. Произвели начальные измерения и выделили приоритеты в тестировании 3. Протестировали 4. Оценили результаты и внедрили 5. Повторили опять (на других страницах)
  • Необходимые условия ● Статистическая достоверность результатов ● Четкие, явные, количественно измеримые цели ● Достаточные: посещаемость тестируемых страниц, количество конверсионных действий и однородность аудитории ● Проверенные и отлаженные инструменты тестирования ● Ну, и отдельно поговорим об элементах которые тестируются
  • Продолжительность эксперимента Зависит от трафика, конверсии, различий в тестируемых вариантах. Считается на калькуляторах Лучше больше чем меньше, многие сервисы определяют сами Желательно минимум 100 конверсионных действий на вариант Обычно 2-3 недели
  • Как на самом деле выбрать страницу для тестирования? Смотрим статистику и выбираем: ● Самые посещаемые страницы ● Самые посещаемые посадочные страницы ● Страницы с дорогими визитами ● Страницы с отказами ● Страницы в воронке продаж (если она настроена) с отказами
  • Таблица для приоритизации тестирования Страница Потенциал Важность Легкость изменения Среднее значение Насколько можно увеличить конверсию, от 1 до 10 Сколько посетителей приходит на эту страницу и какова стоимость этих посетителей, от 1 до 10 Насколько легко тестировать эту страницу (технически и с точки зрения пользовательского взаимодействия), от 1 до 10
  • Как на самом деле выбрать элементы для тестирования? Все просто: 1. Выдвините гипотезу, которая объясняет поведение пользователей 2. Предложите решение, за счет изменений элементов (тестируемые элементы должны напрямую влиять на конверсию) 3. Не тестируйте сразу много элементов (1-2 вполне достаточно) 4. Не берите для тестирования незначительные изменения
  • Кратко - идеи для тестирования ● Добавьте слово «Бесплатно» ● Создайте видео с объяснением ● Приклейте кнопку регистрации к верхней части страницы ● Сократите форму заявки ● Покажите товар «лицом» ● Демо-версия vs Денежный возврат ● Длительность бесплатной версии ● Предложите бонусы, ограниченные по времени ● Добавьте денежную ценность бесплатным предложениям ● Поменяйте цвета кнопок
  • Хотите ещё больше кейсов? ● http://lpgenerator.ru/blog/2013/04/05/24- gipotezy-split-testirovanij/ ● http://whichtestwon.com/ ● http://www.abtests.com/ ● http://visualwebsiteoptimizer.com/split- testing-blog/
  • Попробуем угадать какой вариант работает лучше! Практическая работа 30 вариантов для 15 страниц
  • Инструменты тестирования 1. Эксперименты в Google Analytics 2. Яндекс.Метрика 3. Visual Website Optimizer 4. Optimizely 5. ABtest.ru и еще много других на http://whichMVT.com
  • Google Analytics Бесплатно и обычно уже используется на сайте Можно проводить только A/B тесты на разных URI Программисты нужны, но не сильно (создать дополнительный вариант страницы, установить полученный код) Расчёт происходит только по одной цели, но для анализа результатов можно потом применять расширенные сегменты и другие интересные "фичи" GA Нет сегментации по посетителям и % трафика на каждую из групп GA используют "жадный" алгоритм ("многорукий бандит") https://support.google. com/analytics/answer/2844870?hl=ru
  • Яндекс Метрика Параметры визитов http://help.yandex. ru/metrika/content/visit-params.xml Бесплатно и скорее всего уже стоит у многих на сайте Только A/B тестирование (но на произвольных страницах) Необходимо привлекать программистов (распределение пользователей по группам - алгоритм тестирования, установка cookie, установка кодов, возможно обсчёт результатов) Для обработки результатов необходимо использовать статистические калькуляторы
  • Статистические калькуляторы ● http://www.artmetod.ru/a-b-testing/230 ● http://www.measuringusability.com/calc.php ● http://visualwebsiteoptimizer.com/ab-split- test-duration/ ● http://visualwebsiteoptimizer. com/downloads/ab_testing_significance_cal culator.xls
  • Visual Website Optimizer Платный A/B тестирование Мультивариантное тестирование Персонализация сайта на основе поведения посетителя и геотаргетинга Тепловая карта кликов (для каждого из вариантов отдельно) Юзабилити тестирование и тестирование цен Визуальный редактор Интеграция с различными сервисами (Аналитика: Google Analytics, Adobe SiteCatalyst, Clicky, CMS: WordPress, Joomla, Drupal)
  • Optimizely Платный инструмент Умеет проводить A/B и мультивариантные тестирования Так же, как и в VWO, есть визуальный редактор Умеет сегментировать участников экспериментов Тоже умеет распределять трафик между вариантами страниц Скрипты - расположены на cdn сервиса
  • ABtest.ru С недавнего времени бесплатный ! Русскоязычный Только A/B тесты Визуальный редактор Скрипты - расположены на cdn сервиса Есть простая сегментация пользователей
  • Блок для "продвинутых" ● Большинство (70-80%) ваших тестов провалятся ● Делайте A/A тесты (если инструмент которым вы пользуетесь нов для вас, потом можно отказаться от этого или сразу проводить A/B/A тесты) ● Макро- конверсии лучше, чем микро-. Смотрите конечную конверсию — например продажу ● Высокая конверсия не равна большему заработку. ● Понедельник — это не вторник. Тестируйте неделями
  • Продолжение ● Не бойтесь показателя отказов ● Разделяйте тесты. Для мобильных отдельно ● Уродцы тоже могут зарабатывать. Это сайты сосредоточившиеся на функционале http://blog.kissmetrics.com/ugly-websites/ ● Уменьшайте сопротивление. Не заставляйте пользователей делать вещи, которые им делать не нужно. ● Не думайте, что надо измерять только один коэффициент, влияющий на конверсию - смотрите на картинку в целом
  • Локальный максимум и лучший дизайн
  • Существует ли негативное влияние A/B тестов на SEO? 1. нет, не существует, пруф от Google 2. что бы снизить это негативное влияние ))) a. используем rel="canonical" на страницах вариаций b. если пользователя надо перенаправить на страницу вариации используем 302 редирект
  • Перспективы развития тестирования 1. Автоматизация, автоматизация и автом... 2. Персонализация какие знания о пользователях есть в минимальном варианте: Geo IP День недели Время суток Язык клиента Браузер Операционная система Тип клиента (например, оптовый или розничный, новый или постоянный)
  • Чем можно пользоваться для мегакрутой персонализации 1. Facebook или ВКонтакте. Через API или просто составляя рекламные кампании и пересылая пользователей через промежуточные страницы 2. Самостоятельный сбор информации о пользователях 3. Внешние системы. Система IonIntercative персонализирует посетителя сайта по 33 параметрам
  • Доклад про персонализацию под пользователя http://events.yandex.ru/events/yac/m/talks/823/
  • Спасибо за внимание! Вопросы? Букей Максим Юзабилити эксперт на 66.ru Skype: maxgabba Twitter: maxgabba E-mail: maxgabba@gmail.com