Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Главные принципы A/B тестирования (Александр Шуркаев)

3,665 views

Published on

  • Be the first to comment

Главные принципы A/B тестирования (Александр Шуркаев)

  1. 1. Главные принципыA/B-тестирования(с картинками)Александр Шуркаев (www.alshur.ru)РИТ++ 2012
  2. 2. Где больше кликов на жёлтойкнопке? (A)
  3. 3. Где больше кликов на жёлтойкнопке? (B)
  4. 4. And the winner is... A ? B
  5. 5. Победил вариант A(CTR: +400%) http://www.abtests.com/test/201001/other-for-icoupon-blog
  6. 6. Методы улучшения веб-продуктов A/B Юзабилити Радикальные тестирование тестирование инновацииСтоимость Низкая Низкая/средняя Высокая (если вообще повезёт)Выгода 1-10% 10-100% 100-1000%Риск Никакого Низкий ВысокийКто может Каждый Каждый Генииделать http://www.useit.com/alertbox/innovation.html
  7. 7. Определения● A/B/(N)-тестирование (сплит) A B 50% 50%● Мультивариативное тестирование (MVT) A1+B1 A1+B2 A2+B1 A2+B2 25% 25% 25% 25%
  8. 8. Немного о статистике Есть Нет победитель (α) победителя (β) Действительно + + Случайно - - Статистическая значимость: 90%, 95%, 99,9%
  9. 9. Кому нужно сплит-тестирование● Маркетологам● Веб-аналитикам● UX-аналитикам● Менеджерам продуктов● Копирайтерам● Разработчикам● Владельцам веб-проектов
  10. 10. Зачем нужно сплит-тестированиеПримеры целей улучшений:● CRO = Conversion Rate Optimization● BRO = Bounce Rate Optimization● Увеличение просмотров страниц● Определение оптимальной цены товара● Увеличение CTR рекламы (у реклов и партнёров)
  11. 11. Что обычно тестируют● Call-to-action элементы: размер, цвет, расположение, текст● Изображения (визуал, размер, качество, расположение и т. д.)● Кол-во текста или длину веб-формы● Цветовую гамму и layout страниц● Цену товара и спецпредложения● Элементы рекламных блоков● Пункты меню
  12. 12. Циклический процесс A/B-тестирования1. Генерация идеи2. Выбор инструмента3. Определение целей и KPIs4. Создание альтернативных вариантов5. Случайное распределение вариантов между посетителями6. Наблюдение за тестом7. Определение победителя8. GOTO label1
  13. 13. Классические примеры A/B-тестовCTR ссылки: +173% http://www.dustincurtis.com/you_should_follow_me_on_twitter.html
  14. 14. Классические примеры A/B-тестовCTR кнопки: +28% http://visualwebsiteoptimizer.com/split-testing-blog/ab-test-case-study-how-two-magical-words- increased-conversion-rate-by-28/
  15. 15. Классические примеры A/B-тестовCTR кнопки: +34% http://dmix.ca/2010/05/how-we-increased-our-conversion-rate-by-72/
  16. 16. Примеры из практики (РСЯ)Ad CTR: +80%
  17. 17. Примеры из практики(Бегун, layout)Ad CTR: (no winner)
  18. 18. Примеры из практики(Бегун, отключение)Ad CTR: -10%
  19. 19. Ещё примеры A/B-тестов● www.whichtestwon.com● www.abtests.com● www.abtest.ru/tour.php?type=case
  20. 20. Инструменты A/B-тестирования● Готовые сервисы ○ Бесплатные и платные ○ Работают на клиенте ○ Могут тормозить на больших нагрузках● Программные решения ○ Бесплатные (+ интеграция) ○ Работают на сервере ○ Должна быть защита от ботов, прежде всего поисковых
  21. 21. Готовые сервисы A/B-тестирования● Google Website Optimizer (free)● Google Analytics / Яндекс.Метрика (free)● Visual Website Optimizer / Optimizely (visual & pricy)● Unbounce (LP)● abtest.ru :-(
  22. 22. Программные решения для A/B-тестирования● phpA/B (php)● python-ab (python)● A/Bingo (ruby on rails)● genetify (js)● что-то своё
  23. 23. Калькуляторыдля A/B-тестированияСтатистическая значимость:● http://elem.com/~btilly/effective-ab-testing/g- test-calculator.html● http://visualwebsiteoptimizer.com/ab-split- significance-calculator/ (+ Excel)● http://www.usereffect.com/split-test- calculatorДлительность теста:● http://visualwebsiteoptimizer.com/ab-split- test-duration/
  24. 24. Ошибки в проведении A/B-тестовЭтапы процесса:● Подготовка к тесту● Проведение эксперимента● Завершение и интерпретация результатов
  25. 25. NB: подготовка к тесту● Тестируем версии A и B только одновременно! Трафик всегда разный.● Если боитесь отпугнуть постоянных посетителей — тестируйте на новеньких● Меняться должна только одна сущность● Проверяйте чужие тесты, у вас могут быть другие результаты (контекст!)
  26. 26. NB: проведение теста● Если Вася Пупкин увидел вариант B, то он должен и при следующем заходе видеть вариант B● ...и должен увидеть вариант B на всех страницах сайта● ...и в идеале — на всех своих устройствах
  27. 27. NB: окончание тестирования● Победитель должен определяться статистически, а не «на глазок»● Не останавливайте тест слишком рано● Если проверяете на разных страницах — делайте потом редиректы на победителя (привет, GWO)
  28. 28. Внедрение процесса A/B-тестированияГлавные роли:● Идеолог● «Пытливый исследователь»● Разработчики
  29. 29. Внедрение: идеолог● «Чемпион» для продвижения data-driven культуры● Правила игры и роли — в отдельном регламенте, доступном для всех участников процесса
  30. 30. Внедрение: «пытливыйисследователь»● Возможность быстро стартовать и быстро завершать тесты● Качественный dashboard для быстрого принятия решений● Автоматизированные отчёты
  31. 31. Внедрение: разработчики● Unit-тесты на код A/B-тестов● Переключалка альтернатив (типа, хочу сейчас посмотреть вариант B) — GET- параметр● Повторное использование A/B-тестов и/или целей — норма
  32. 32. A/B-тестирование: главныевыводы● Тестируйте часто и разнообразно● Автоматизируйте рутинные операции● Полагайтесь на статистические выкладки● Не впадайте в крайности ;-)
  33. 33. Перегибы на местахDoug Bowman on Design at Google:“Yes, it’s true that a team at Google couldnt decidebetween two blues, so they’re testing 41 shades betweeneach blue to see which one performs better. I had a recentdebate over whether a border should be 3, 4 or 5 pixelswide, and was asked to prove my case. I can’t operate inan environment like that. http://stopdesign.com/archive/2009/03/20/goodbye-google.html
  34. 34. Спасибо! Вопросы?Александр Шуркаев — руководитель веб-проектов, аналитикalshur@ya.ruwww.alshur.ruРИТ++ 2012

×