1.
Малоизвестные
грабли А/Б-тестинга
Роман Поборчий
v1.1

2.
График целевой метрики

3.
График целевой метрики

4.
Миллион раз по сто попыток
0 1 2 3 4 5 6 7 8 9
366K 369K
185K
61K
15K 2.8K 456 54 4 1

5.
Всё бесполезно?..

6.
A/B тестинг в одном слайде
Разбить
юзеров
Показать
каждому
своё
Обсчитать
результат

7.
Разбить юзеров

8.
Система бакетов

9.
??
Система бакетов
??
?? ?? K
?? ?? ??

10.
Легенда: exp vs. prod
Хуже
Не отличается
Лучше
Хуже Лучше

11.
Система бакетов
??
K
?? ?? ??

12.
??
Система бакетов
?? ?? K

13.
??
Вред от обиженного бакета
??
?? ?? K
?? ??

14.
??
Вред от обиженного бакета
??
?? ?? K
?? ??

15.
??
Вред от обиженного бакета
??
?? ?? ??
K ?? ??

16.
Вред от обиженного бакета
K

17.
Память поколений
Источник: http://www.exp-platform.com/documents/puzzlingoutcomesincontrolledexperiments.pdf

18.
Помешивайте кашу

19.
Помешивайте кашу

20.
Помешивайте кашу

21.
Помешивайте кашу

22.
Помешивайте кашу

23.
Все животные равны…

24.
Показать каждому своё

25.
Юзеры
Два ДЦ

26.
Амазон:
100мс стоят 1% продаж

27.
Обсчитать результат

28.
Распределение цвета глаз

29.
Зависимые действия в жизни
автомат калашникова купить
автомат калашникова настоящий купить
автомат калашникова не макет купить

30.
Зависимые действия в жизни
автомат калашникова купить
автомат калашникова настоящий купить
автомат калашникова не макет купить
нанять киллера

31.
Teh drama
K

32.
50 оттенков серого
K

33.
Оффлайновый А/А тест

34.
Оффлайновый А/А тест

35.
Оффлайновый А/А тест

36.
Так делать не надо
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X

37.
Так делать не надо
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X

38.
Так делать не надо
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X

39.
В реальности будет иначе
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X

40.
В реальности будет иначе
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X

41.
Silver bullet…
…it is not

42.
Проводите A/A тесты, следите за
Целевой метрикой
Количеством пользователей
Временем ответа (хотя бы на сервере)
Долей несовпадающих метрик
Количеством успешных экспериментов

43.
Ну вы держи́тесь там
Роман Поборчий
prs@poborchy.ru
http://poborchy.ru/
https://www.facebook.com/roman.poborchy