[Product Camp 2020] - Not Managing Stakeholders and How to have a relationshi...
[Product Camp 2020] - O que aprendemos sobre Testes A/B em um ano de experimentação - João Cunha & Fernanda Monsó - Nubank
1. PRODUCT CAMP 2020
O que aprendemos
sobre Testes A/B em um
ano de experimentação
no Nubank
30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Fernanda Monsó
Business Analyst
@nubank
João Cunha
Product Manager
@nubank
Happy Dance GIF By Kochstrasse™
2. Rode o experimento por,
pelo menos, 7 dias
30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANKPRODUCT CAMP 2020
3. conversionrate
days
0 1 2 3 4 5 6
Evolução dos
resultados original (A)
variante (B)
30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANKPRODUCT CAMP 2020
4. conversionrate
days
0 1 2 3 4 5 6
Evolução dos
resultados original (A)
variante (B)
30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANKPRODUCT CAMP 2020
5. conversionrate
days
0 1 2 3 4 5 6
Evolução dos
resultados original (A)
variante (B)
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
6. conversionrate
days
0 1 2 3 4 5 6
Evolução dos
resultados original (A)
variante (B)
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
7. conversionrate
days
0 1 2 3 4 5 6
Evolução dos
resultados original (A)
variante (B)
+12.5%
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
8. conversionrate
days
0 1 2 3 4 5 6
Evolução dos
resultados original (A)
variante (B)
+12.5%
+0.8%
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
9. conversionrate
days
0 1 2 3 4 5 6
"Estamos com o teste no
ar e os resultados até o
momento são incríveis:
+10% em CR"
Comunicação para
stakeholders
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
10. conversionrate
days
0 1 2 3 4 5 6
"Estamos com o teste no
ar e os resultados até o
momento são incríveis:
+10% em CR"
"Finalizamos o
experimento e não há
diferença significativa
entre as duas variantes"
Comunicação para
stakeholders
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
11. Acompanhe os resultados
do seu teste diariamente
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
12. Variante Visitantes Conversões CR ∆ CR
0 129,532 12,912 9.97% -
1 129,478 13,548 10.46% +4.95%
Controle diário
do teste
Distribuição de
tráfego entre as
variantes
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
13. Variante Visitantes Conversões CR ∆ CR
0 129,532 12,912 9.97% -
1 129,478 13,548 10.46% +4.95%
Controle diário
do teste
Distribuição de
tráfego entre as
variantes
Acompanhamento
de CR's e diferença
entre elas
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
14. Variante Visitantes Conversões CR ∆ CR
0 129,532 12,912 9.97% -
1 129,478 10,816 8.35% -16.25%
Controle diário
do teste
Disparo de alarmes
e, eventualmente,
pausar o teste
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
15. Uma forma de análise que permite parar o experimento antes de atingir o sample size
mínimo, caso um vencedor claro seja identificado.
1. Escolha um sample size N (50% de N veem o controle, os outros 50% veem o teste)
2. Acompanhe o número de sucessos (conversões) do grupo de controle e chame de A.
3. Acompanhe o número de sucessos (conversões) do grupo de teste e chame de B
Se B-A atingir 2√N, pare o teste e declare B como vencedor
Se B+A atingir N, pare o teste e Declare que não há vencedor
Simple sequential
testing
https://www.evanmiller.org/sequential-ab-testing.html
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
16. Esforço tende a ser mais
importante que impacto
na priorização de
experimentos
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
17. Impacto
Esforço
1 2
3 4
Quick wins Big bets
Nice to have HALP!
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
19. Esforço
A
D
B
C
E
1 2
3 4
v
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
0 Quick Wins
Big Bets > Nice to Have
Impacto
22. ➔ Em experimentos, é muito mais fácil
de medir esforço que impacto
➔ Experimentos têm alto grau de
imprevisibilidade
➔ Facilita a construção de cadência
➔ Mais hipóteses testadas = mais
conhecimento
Razões para priorizar com base em esforço:
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
23. 1 2
3 4
Antes
1 3
2 4
Depois
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
24. Esforço
A
D
B
C
E
1 2
3 4
1 3
2 4
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Impacto
25. Impacto
Esforço
A DB C E
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
26. Reach × Impact × Confidence
Effort
= RICE SCORE
PRODUCT CAMP 2020 30.11.2020
➔ Impacto é difícil
➔ Confiança é sempre baixa
➔ Esforço logarítmico
O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
27. Procure engajar o time no
trabalho de CRO
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
29. Q1 Q2 Q3 Q4
CRO – Experimentation Lane
Bet 1 Bet 2
Roadmap 2021
Bet 4Bet 3
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
30. Experimentação nem
sempre remove a fricção,
mas a empurra para frente
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
31. Conversão
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Fluxo
34. Calculadoras online são
muitas vezes suficientes
para a análise de resultados
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
38. PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
39. PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
40. PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
41. Baseie seus experimentos
em hipóteses
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
42. ➔ Teste o que acredita, e não tudo
➔ Sem hipótese é fácil fugir do foco do
experimento
➔ Se é óbvio, não é um experimento
(vício em experimentação)
➔ Tenha um documento de testes
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Baseie seus experimentos em
hipóteses
43. Hypothesis
What should be tested and why? Include images if it helps explain your point.
Evidence
Is there any evidence that this experiment could improve anything? Cite articles, studies, etc.
Placement
At which URLs/screens should this experiment run?
Target user segments
Any specific user segments that need to be targeted?
Methodology
How should it be tested?
Target metrics
Which metrics are expected to be moved by this experiment?
Sample size
How many people should this experiment impact?
Duration
For how long should this experiment be live? This may be coupled with the sample size.
Success criteria
What does success for this experiment look like?
PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Potential risks
Restrictive metrics, cancellations, customer service, etc. Add a mitigation plan if relevant.
Results
What was the outcome of the experiment?
Learnings
What did you learn from this experiment?
Recommendation
Based on the experiment results, what is the suggested course of action?
bit.ly/cro-experiment-template
44. PRODUCT CAMP 2020 30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Experimentos nunca falham;
ou você ganha ou você
aprende
45. PRODUCT CAMP 2020
Muchas
gracias!
30.11.2020O QUE APRENDEMOS SOBRE TESTES A/B EM UM ANO DE EXPERIMENTAÇÃO NO NUBANK
Fernanda Monsó João Cunha
Happy Dance GIF By Kochstrasse™
joao@joaocunha.net
IN joaocunha86
fernanda.monso@outlook.com
IN fernandamonso