In my last six years working at Globo.com I made many mistakes working with A/B experimentation. In this presentation I cataloged some of those mistakes as advice to avoid made them again in the future.

1. Experimentation
Anti-Patterns

2. Comparação temporal

3. Comparação temporal
Nova
funcionalidade

4. Comparação temporal
http://www.tylervigen.com/spurious-correlations

5. Comparação temporal

6. Comparação temporal da alavancagem

7. Comparação temporal da alavancagem
50%⬆
60%⬆

8. Comparação temporal da alavancagem

9. Comparação temporal da alavancagem

10. Comparação temporal da alavancagem
60%⬆
40%⬇

11. Longo ciclo de desenvolvimento

12. Longo ciclo de desenvolvimento
$ A/B
Sucesso!
Ufa
:(

13. Longo ciclo de desenvolvimento
https://ai.stanford.edu/~ronnyk/ExPThinkWeek2009Public.pdf
1/3

14. Longo ciclo de desenvolvimento
75%

15. O experimento que vira funcionalidade

16. O experimento que vira funcionalidade
Mínimo
necessário
para validar
hipótese
Experimento
foi um
sucesso
Produção

17. O experimento que vira funcionalidade

18. O experimento que vira funcionalidade
Mínimo
necessário
para validar
hipótese
Experimento
foi um
sucesso
Produção
Implementar
corretamente

19. Métrica incorreta

20. Métrica incorreta
$

21. Métrica incorreta
ℹ

22. Métrica não acionável

23. Métrica não acionável
Churn
Lifetime
Value
Ads
Revenue
- Muito tempo para
comparar
- Muitas influências
externas
- Dificilmente separável
em A/B

24. Métrica não acionável
Churn
Lifetime
Value
Ads
Revenue
Média de
tempo
Frequência
Assertiveness

25. Alvo populacional errado

26. Alvo populacional errado
Acidental
Moderado
Heavy

27. Desconsiderar mudança populacional

28. Desconsiderar mudança populacional
Acidental Heavy
Inicio do
teste A/B
Fim do
teste A/B

29. Desconsiderar mudança populacional
Resultado do AB para heavys: Número de heavys:

30. A segmentação infinita

31. A segmentação infinita
Amostra de usuários do
experimento

32. A segmentação infinita
Moderados

33. A segmentação infinita
Nas quarta-feiras

34. A segmentação infinita
Em uma faixa de
horário

35. A segmentação temporal

36. A segmentação temporal

37. Observações não independentes

38. Observações não independentes
Por
impressão
Por
usuárioX

39. Observações não independentes
http://ewulczyn.github.io/ab_testing_and_independence/
https://medium.com/convoy-tech/cracking-correlated-
observations-in-a-b-tests-with-mixed-effect-models-
80a63027444e

40. Experimentation Anti-Patterns
- Comparação temporal
- Comparação temporal da alavancagem
- Longo ciclo de desenvolvimento
- O experimento que vira funcionalidade
- Métrica incorreta
- Métrica não acionável
- Alvo populacional errado
- Segmentação infinita
- Segmentação temporal
- Observações não independentes

41. Desculpa

42. @timotta