En esta plática se dará una guía práctica con base en experiencias vividas al aplicar pruebas A/B en distintos dominios.

1. Pruebas A/B sin temor: una
guía práctica
Blanca A. Vargas Govea
https://sg.com.mx/dataday
#DataDayMx

2. ¿Por qué sin temor?
¿Hay razones para temer la realización de una
prueba A/B?
2

3. El equipo
3
Tobi
Científico de datos
Mila
Científica de datos
Rex
Ingeniero de datos

4. Offline
￮ Prototipo.
￮ No hay
garantía.
Tipos de evaluación
Online
￮ En vivo.
￮ Pruebas
A/B.
4
¿98%?
ajá

5. Pruebas A/B
¿En qué consisten?
5

6. 6
Contesta
preguntas como
￮ ¿Es el nuevo algoritmo
mejor que el que está
actualmente?
￮ ¿Qué versión de correo
tendrá más aperturas?
Con eso
decido

7. 7
50%
50%
A
B
25%
10%
conversión
conversión

8. Nula
No hay
cambio.
Prueba de hipótesis
Alternativa
Hay cambio.
8
La nula es
el mundo
default
¿El nuevo modelo lleva a un cambio significativo en
la métrica clave?

9. Pasos
￮ Definir métrica.
￮ Dividir el tráfico.
￮ Registrar comportamiento.
￮ Aplicar pruebas
estadísticas.
￮ Calcular el valor-p.
9

10. 10
El concepto es simple
¿Qué puede salir mal?

11. 11
Nuestro primer
A/B
￮ No hay referencias.
￮ Interpretación de
métricas.
￮ Separación por
IDs/sesiones.
No sabía si lo
estaba
haciendo bien

12. Prueba A/A
￮ Se aplican los pasos pero
sin agregar un nuevo
modelo.
￮ Se esperaría que no
existiera diferencia en los
grupos.
12
Esto nos
salvaría
Lo que aprendimos

13. Nuestro segundo A/B
13
￮ La prueba A/A salió mal.
￮ Revisión de la prueba.
￮ Revisión de los datos.
Aquí
sufrimos

14. Canales
Problema: los datos venían
del mismo algoritmo pero
de distinto canal.
¿Qué habría pasado si no
hubiéramos hecho la
prueba A/A? 14
Asegúrate de
que la fuente
sea del
mismo canal
Lo que aprendimos

15. No hacer cambios
15
No.
Nunca.
Jamás.
￮ Ni al algoritmo.
￮ Ni a la prueba.
Lo que aprendimos

16. ¿y qué tal con la
nueva página?
16
￮ Variables de confusión:
tiempo de carga.
￮ Eventos paralelos que tienen
efectos.
Por si
pensaban
que no
había más

17. Tiempos y eventos
17
Es importante
que A y B tengan
las mismas
condiciones
￮ Los tiempos de carga o
respuesta deben ser iguales.
￮ Verificar eventos:
mantenimiento, populares.
Lo que aprendimos

18. Y para todos los casos
Puntos importantes
18

19. Tráfico
￮ Empezar con un pequeño
porcentaje.
￮ Incrementar
gradualmente.
19
Si algo falla,
expusiste a
todo el
tráfico

20. Efecto novedad
￮ Primer semana: picos
altos.
￮ Es normal que baje.
20
No te
emociones,
no son
reales

21. No
sobre-complicarse
￮ Pruebas A/A/B/C/D.
￮ Si algo empieza a crecer
en sofisticación, regrésate
a revisar la definición de
la prueba.
21
Empieza
simple

22. Espera lo inesperado
Al usuario puede no gustarle
tu modelo. Si ese es el caso
hay que aceptarlo y no
forzar resultados.
22
Pero mi modelo
era muy bueno

23. 23
￮ Prueba A/A.
￮ Usuarios únicos en los grupos.
￮ Los datos de la prueba deben venir del mismo canal.
￮ No hagas cambios ni a la prueba ni al modelo.
￮ Identificar variables de confusión y eventos externos.
￮ No te emociones con los resultados iniciales.
￮ Si los resultados no son lo que tu quieres, acéptalo y
aprende.
Lo que aprendimos

24. “
Una prueba A/B nos
permite aprender del
usuario, no debemos
desaprovecharla.
24
Rex, Mila y Tobi

25. 25
¡Gracias!
¿preguntas?
Me puedes encontrar en
￮ @blancavg
￮ bvargas@occ.com.mx