Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Малоизвестные
грабли А/Б-тестинга
Роман Поборчий
v1.1
График целевой метрики
График целевой метрики
Миллион раз по сто попыток
0 1 2 3 4 5 6 7 8 9
366K 369K
185K
61K
15K 2.8K 456 54 4 1
Всё бесполезно?..
A/B тестинг в одном слайде
Разбить
юзеров
Показать
каждому
своё
Обсчитать
результат
Разбить юзеров
Система бакетов
??
Система бакетов
??
?? ?? K
?? ?? ??
Легенда: exp vs. prod
Хуже
Не отличается
Лучше
Хуже Лучше
Система бакетов
??
K
?? ?? ??
??
Система бакетов
?? ?? K
??
Вред от обиженного бакета
??
?? ?? K
?? ??
??
Вред от обиженного бакета
??
?? ?? K
?? ??
??
Вред от обиженного бакета
??
?? ?? ??
K ?? ??
Вред от обиженного бакета
K
Память поколений
Источник: http://www.exp-platform.com/documents/puzzlingoutcomesincontrolledexperiments.pdf
Помешивайте кашу
Помешивайте кашу
Помешивайте кашу
Помешивайте кашу
Помешивайте кашу
Все животные равны…
Показать каждому своё
Юзеры
Два ДЦ
Амазон:
100мс стоят 1% продаж
Обсчитать результат
Распределение цвета глаз
Зависимые действия в жизни
автомат калашникова купить
автомат калашникова настоящий купить
автомат калашникова не макет ку...
Зависимые действия в жизни
автомат калашникова купить
автомат калашникова настоящий купить
автомат калашникова не макет ку...
Teh drama
K
50 оттенков серого
K
Оффлайновый А/А тест
Оффлайновый А/А тест
Оффлайновый А/А тест
Так делать не надо
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X
Так делать не надо
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X
Так делать не надо
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X
В реальности будет иначе
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X
В реальности будет иначе
Бакет # 1 2 3 4 5 6 7 8 9 10
1 X
2 X
3 X
4 X
5 X
6 X
7 X
8 X
9 X
10 X
Silver bullet…
…it is not
Проводите A/A тесты, следите за
Целевой метрикой
Количеством пользователей
Временем ответа (хотя бы на сервере)
Долей несо...
Ну вы держи́тесь там
Роман Поборчий
prs@poborchy.ru
http://poborchy.ru/
https://www.facebook.com/roman.poborchy
Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)
Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)
Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)
Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)
Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)
Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)
Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)
Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)
Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)
Upcoming SlideShare
Loading in …5
×

Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)

219 views

Published on

Многие считают, что провести A/B эксперимент просто, тем более, что уже есть инструменты, которые позволяют автоматизировать этот процесс. При этом почти никто не задумывается о допущениях, на которых основана работа этих инструментов. По-настоящему случайное распределение пользователей, независимость измеряемых событий — либо всё это кажется само собой разумеющимся, либо об этом вовсе не задумываются.

Между тем систему проведения экспериментов на пользователях очень легко сломать, поставив её в неподходящие условия, и потом принимать по результатам экспериментов решения, не отличающиеся от случайных. В докладе мы рассмотрим несколько примеров из мировой индустрии и из практики Яндекса. Если вы делаете у себя A/B тестирование, то хотя бы одна из этих проблем у вас почти гарантированно есть.

Как одно из средств мониторинга здоровья системы экспериментов предлагается проведение постоянного A/A эксперимента, то есть такого, у которого контрольная и экспериментальная группы пользователей видят одно и то же. Есть довольно много классов проблем, которые можно выявить с помощью этого мониторинга. Единственно, делать его довольно накладно, если у вас мало пользователей, но и на этот случай есть пара лайфхаков, которые мы тоже рассмотрим.

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)

  1. 1. Малоизвестные грабли А/Б-тестинга Роман Поборчий v1.1
  2. 2. График целевой метрики
  3. 3. График целевой метрики
  4. 4. Миллион раз по сто попыток 0 1 2 3 4 5 6 7 8 9 366K 369K 185K 61K 15K 2.8K 456 54 4 1
  5. 5. Всё бесполезно?..
  6. 6. A/B тестинг в одном слайде Разбить юзеров Показать каждому своё Обсчитать результат
  7. 7. Разбить юзеров
  8. 8. Система бакетов
  9. 9. ?? Система бакетов ?? ?? ?? K ?? ?? ??
  10. 10. Легенда: exp vs. prod Хуже Не отличается Лучше Хуже Лучше
  11. 11. Система бакетов ?? K ?? ?? ??
  12. 12. ?? Система бакетов ?? ?? K
  13. 13. ?? Вред от обиженного бакета ?? ?? ?? K ?? ??
  14. 14. ?? Вред от обиженного бакета ?? ?? ?? K ?? ??
  15. 15. ?? Вред от обиженного бакета ?? ?? ?? ?? K ?? ??
  16. 16. Вред от обиженного бакета K
  17. 17. Память поколений Источник: http://www.exp-platform.com/documents/puzzlingoutcomesincontrolledexperiments.pdf
  18. 18. Помешивайте кашу
  19. 19. Помешивайте кашу
  20. 20. Помешивайте кашу
  21. 21. Помешивайте кашу
  22. 22. Помешивайте кашу
  23. 23. Все животные равны…
  24. 24. Показать каждому своё
  25. 25. Юзеры Два ДЦ
  26. 26. Амазон: 100мс стоят 1% продаж
  27. 27. Обсчитать результат
  28. 28. Распределение цвета глаз
  29. 29. Зависимые действия в жизни автомат калашникова купить автомат калашникова настоящий купить автомат калашникова не макет купить
  30. 30. Зависимые действия в жизни автомат калашникова купить автомат калашникова настоящий купить автомат калашникова не макет купить нанять киллера
  31. 31. Teh drama K
  32. 32. 50 оттенков серого K
  33. 33. Оффлайновый А/А тест
  34. 34. Оффлайновый А/А тест
  35. 35. Оффлайновый А/А тест
  36. 36. Так делать не надо Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
  37. 37. Так делать не надо Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
  38. 38. Так делать не надо Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
  39. 39. В реальности будет иначе Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
  40. 40. В реальности будет иначе Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
  41. 41. Silver bullet… …it is not
  42. 42. Проводите A/A тесты, следите за Целевой метрикой Количеством пользователей Временем ответа (хотя бы на сервере) Долей несовпадающих метрик Количеством успешных экспериментов
  43. 43. Ну вы держи́тесь там Роман Поборчий prs@poborchy.ru http://poborchy.ru/ https://www.facebook.com/roman.poborchy

×