Download to read offline
Uploaded byOntico
Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)
Документ описывает особенности и сложности A/B-тестирования, включая недостатки системы бакетов и влияние на целевую метрику. Приводятся примеры неправильного подхода к проведению тестов, а также рекомендуемые методы для отслеживания эффективности. Основное внимание уделяется важности корректной интерпретации результатов и вниманию к деталям в ходе экспериментов.
Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)
- 1.
- 2.
- 3.
- 4. Миллион раз посто попыток 0 1 2 3 4 5 6 7 8 9 366K 369K 185K 61K 15K 2.8K 456 54 4 1
- 5.
- 6. A/B тестинг водном слайде Разбить юзеров Показать каждому своё Обсчитать результат
- 7.
- 8.
- 10. ?? Система бакетов ?? ?? ??K ?? ?? ??
- 11. Легенда: exp vs.prod Хуже Не отличается Лучше Хуже Лучше
- 12.
- 13.
- 17. ?? Вред от обиженногобакета ?? ?? ?? K ?? ??
- 18. ?? Вред от обиженногобакета ?? ?? ?? K ?? ??
- 19. ?? Вред от обиженногобакета ?? ?? ?? ?? K ?? ??
- 20. Вред от обиженногобакета K
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30. Амазон: 100мс стоят 1%продаж
- 31.
- 33.
- 37. Зависимые действия вжизни автомат калашникова купить автомат калашникова настоящий купить автомат калашникова не макет купить
- 39. Зависимые действия вжизни автомат калашникова купить автомат калашникова настоящий купить автомат калашникова не макет купить нанять киллера
- 40.
- 41.
- 42.
- 43.
- 44.
- 45. Так делать ненадо Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
- 46. Так делать ненадо Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
- 47. Так делать ненадо Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
- 48. В реальности будетиначе Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
- 49. В реальности будетиначе Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
- 50.
- 51. Проводите A/A тесты,следите за Целевой метрикой Количеством пользователей Временем ответа (хотя бы на сервере) Долей несовпадающих метрик Количеством успешных экспериментов
- 52. Ну вы держи́тесьтам Роман Поборчий prs@poborchy.ru http://poborchy.ru/ https://www.facebook.com/roman.poborchy