Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

А/Б тесты или как выстрелить себе в ногу

412 views

Published on

Основа А/Б тестов, базовые термины статистики, сколько трафика заливать в каждую ветку, советы по проведению А/Б

Published in: Data & Analytics
  • Be the first to comment

А/Б тесты или как выстрелить себе в ногу

  1. 1. A/B ТЕСТЫ или как выстрелить себе в ногу Тимур Козьменко twitter:Timrael
  2. 2. ПЛАН • Базовая статистика • Основные вопросы про А/Б • Советы по проведению тестов • Разбор А/Б тестов каждой команды
  3. 3. Состояние борща на самом деле Свеж Протух
  4. 4. Состояние борща на самом деле Свеж Протух Оценка Пистонского Думает что свеж Верно Травится протухшим борщом. Ошибка II рода Думает что протух Выбрасывает свежий борщ. Ошибка I рода Верно
  5. 5. На самом деле скругление call-to-action кнопок прибыль Не увеличивает Увеличивает Что показывает А/Б тест Не увеличивает Верно Пропустили победу. Ошибка II рода Увеличивает Увидели победу там, где ее нет. Ошибка I рода Верно
  6. 6. Ошибка I рода - это шанс подтвердить неверную гипотезу. Принято брать значение в максимум 5%.
  7. 7. Ошибка I рода - это шанс подтвердить неверную гипотезу. Принято брать значение в максимум 5%. Статистическая значимость = 100% - (ошибка I рода)
  8. 8. Ошибка I рода - это шанс подтвердить неверную гипотезу. Принято брать значение в максимум 5%. Статистическая значимость = 100% - (ошибка I рода) Чем больше разница в вариантах или чем дольше сохраняется разница в вариантах, тем больше мы уверены, что это не погрешность, и тем выше стат. значимость
  9. 9. Самая критическая и распространенная ошибка в A/B-тестировании — останавливать тест, как только становится заметно, что один из вариантов побеждает с существенным отрывом.
  10. 10. Увеличит ли прибыль скругление call-to-action кнопок Не увеличивает Увеличивает Что показывает А/Б тест Не увеличивает Верно Пропустили победу. Ошибка II рода Увеличивает Уведели победу там, где ее нет. Ошибка I рода Верно
  11. 11. Ошибка II рода - это шанс не заметить верную гипотезу. Принято брать значение в 10% - 20%.
  12. 12. Ошибка II рода - это шанс не заметить верную гипотезу. Принято брать значение в 10% - 20%. Статистическая мощность = 100% - (ошибка II рода)
  13. 13. Какой же размер выборки считать достаточным?
  14. 14. Как определить минимальный размер выборки?
  15. 15. Как определить минимальный размер выборки?
  16. 16. Conversion = X / Y На какую конверсию смотреть?
  17. 17. Conversion = Clicks / Searches На какую конверсию смотреть?
  18. 18. Conversion = PBC / Clicks На какую конверсию смотреть?
  19. 19. Conversion = Profit / Y На какую конверсию смотреть?
  20. 20. Conversion = Profit / Users На какую конверсию смотреть?
  21. 21. Conversion = PBC / Users На какую конверсию смотреть?
  22. 22. Используйте сегментирование
  23. 23. Забудьте про А/Б если у вас нету трафика
  24. 24. Забудьте про А/Б если у вас нету трафика
  25. 25. Проводите тесты только на основе гипотез
  26. 26. Не проводите A/B/C... тестирования
  27. 27. Учитывайте все каналы дохода
  28. 28. Делайте срезы данных Вариант Б достоверно победил на 30%
  29. 29. Делайте срезы данных Вариант Б достоверно победил на 30% +70% выигрыш
  30. 30. Делайте срезы данных Вариант Б достоверно победил на 30% +70% выигрыш -40% проигрыш
  31. 31. Не забывайте про повторные заходы
  32. 32. Пример 1: aviasales
  33. 33. Пример 1: aviasales
  34. 34. Пример 1: aviasales
  35. 35. Пример 1: aviasales
  36. 36. Пример 1: aviasales
  37. 37. Пример 2: hotellook
  38. 38. Пример 2: hotellook
  39. 39. Пример 2: hotellook
  40. 40. Пример 3: JetRadar
  41. 41. Пример 3: JetRadar
  42. 42. Пример 4: TravelPayouts
  43. 43. ВОПРОСЫ?

×