Profundizaremos en 7 aspectos clave muy comunes que podemos encontrar cuando practicamos experimentación online. Veremos aspectos relacionados con la estadística, sesgos, errores procedimentales, errores de implementación, entre otros. Además, Ubaldo presentará Best Practices para resolver estos problemas y crear impacto y valor para el negocio a través de la experimentación online.
2. Siete aspectos prácticos
2
1. Aspectos procedimentales
2. Aspectos de implementación
3. Sesgos en interpretación de datos
4. Leyes y efectos para impulsar la conversión
5. Aspectos de estadística
6. Aspectos de tecnología
7. Bonus track
8. Conclusión
5. APPA Framework by LIN3S
5
Contexto de
negocio
Evaluar datos
disponibles
Research +
EDA
Priorización de
oportunidades
y puntos de
mejora
Presentación
oportunidades
y puntos de
mejora
Investigación y presentación
de soluciones priorizadas
Testing soluciones
Presentación periódica de
resultados y recomendación
Lanzamiento a producción,
follow-up y re-start
Análisis de CRO
Plan de CRO
Práctica y Acción de CRO
9. Aspectos procedimentales
9
Aspecto clave #001:
Entender la variabilidad estacional y de consumo te permitirá
interpretar de forma más fidedigna los datos. Para ello, establecer
procesos y frameworks de toma de decisiones es recomendable.
12. Setup con GTM: GA4 y VWO
12
1r paso
Creamos una variable (DL
variable) con este valor
“vwo_exp_variant_string”
13. 13
2º paso
Creamos un trigger
(custom event) con este
valor
“vwo-data-push-ga4”
Setup con GTM: GA4 y VWO
14. 14
3r paso
Creamos un tag (GA4
event) con:
Event Name:
experience_impression
Event parameter:
exp_variant_string
Value parameter: la
variable hecha en el paso
1
Setup con GTM: GA4 y VWO
15. Gracias a esto:
15
Las audiencias
Podrán recibir datos de los
usuarios. Sin esta
configuración, aunque
tengas el experimento
rodando y capturando datos
en VWO, no se trasladarán a
GA4, lo cual es vital para
monitorizar métricas
terciarias.
16. Gracias a esto:
16
Las audiencias
Y así, a través de
comparaciones o
segmentos, evaluar si de
verdad nuestra variante es
más efectiva que el grupo
de control más allá de las
métricas objetivo que
establezcamos con VWO.
22. Number of Users ARPU
Control (50%) 15.752 €14.30
Variant (50%) 15.257 €16.52
SRM: Ejemplo real
¿Todo bien, no?
23. SRM: Ejemplo real
Warning. Possible sample ratio
mismatch detected with p =
0.0049. The observed sample
size in treatment does not match
the expected proportion of the
total sample size. This is an
indicator for randomisation
failure or missing data issues.
Comparative statistics may be
invalid as a result.
25. Aspectos de implementación
25
Aspecto clave #002:
Entender la implementación técnica de VWO, de su integración con
herramientas de analítica y el stack tecnológico del proyecto general
te servirá para aumentar el win rate de tus experimentos.
27. Engagement Bias
27
'Engagement Bias' sucede cuando no
generas el mismo efecto en los
'unengaged users' que en los 'engaged
users'.
¿Cómo mitigar este sesgo?
1. Alargar el tiempo de ejecución de
los experimentos.
2. Otro método es segmentar el
experimento en función del grado
de engagement del usuario.
30. Falacia McNamara
30
“Alberto tiene mucho dinero. Mucho dinero hace que
la gente sea feliz. Alberto dice que está deprimido. Lo
que Alberto dice no indica necesariamente cómo se
siente. La depresión no se puede demostrar. Por
tanto, Alberto es feliz.”
32. Sesgos en interpretación de datos
32
Aspecto clave #003:
Abraza el sano escepticismo ante datos extremos, tanto positivos
como negativos. Para prevenir invierte en procesos y personas.
34. Ley de Fitts
34
Un elemento (un botón por ejemplo) será más fácil de seleccionar si es grande y no requiere mucho desplazamiento del cursor
(o el dedo en dispositivos móviles).
36. Ley de Hick
36
El tiempo que hay que invertir para tomar una decisión se
incrementa con el número de opciones y la complejidad
disponibles.
37. Ley de Hick
37
Si no tenemos opción de limitar opciones, destacar la que más interesa al negocio puede ser la mejor alternativa.
38. Busy effect
38
CRO, a menudo, no consiste en eliminar campos.
● Se otorga una diferente jerarquía al nombre del
producto y a datos secundarios como las millas o
el modelo del vehículo.
● Se destaca el parámetro "time left" para generar
un efecto de urgencia o escasez.
● Se destaca el parámetro Highest Bid y se añade
un ⬆ para ayudar al usuario a ver rápidamente
la información más relevante (probablemente,
haya sido el 3r elemento que has visto de la
imagen)
● Se unifica como un único bloque el resumen del
vehículo con el color gris de fondo eliminando la
tabla (muy difíciles de gestionar).
https://uxmovement.com/
39. Zeigarnik Effect
39
Recordamos mejor las tareas en las
que nos han interrumpido o que no
hemos podido completar que aquellas
que sí hemos podido completar.
41. 41
Aspecto clave #004:
Áreas de conocimiento como psicología y/o economía del
comportamiento son un buen recurso para impulsar acciones de
forma ágil en base a heurísticos.
Efectos y leyes para impulsar las conversiones
43. 43
MDE: Minimum detectable effect
Es el efecto mínimo que
necesitamos percibir en un
experimento para considerar
que realmente existe una
significancia estadística.
44. 44
Errores de tipo I y II
En un test AB, un falso positivo (Type I error)
sucede cuando los datos del experimento
indican una diferencia significativa entre grupo
de control (A) y variante (B), pero en realidad
no hay tal diferencia.
En un test AB, un falso negativo (Type II error)
sucede cuando los datos del experimento no
indican una diferencia significativa entre grupo
de control (A) y variante (B), cuando en
realidad sí hay tal diferencia.
47. Tecnología
Tasa de clicks en anuncios de
Bing en función del hardware: El
dispositivo que usan los usuarios.
https://www.goodreads.com/book/show/51635906-trustworthy-online-controlled-experiments
55. 55
Siete Aspectos Clave
● Aspecto clave #001: Entender la variabilidad estacional y de consumo te permitirá interpretar de
forma más fidedigna los datos. Para ello, establecer procesos y frameworks de toma de
decisiones es recomendable.
● Aspecto clave #002: Entender la implementación técnica de VWO, de su integración con
herramientas de analítica y el stack tecnológico del proyecto general te servirá para aumentar el
win rate de tus experimentos.
● Aspecto clave #003: Abraza el sano escepticismo ante datos extremos, tanto positivos como
negativos. Para prevenir invierte en procesos y personas.
● Aspecto clave #004: Áreas de conocimiento como psicología y/o economía del comportamiento
son un buen recurso para impulsar acciones de forma ágil en base a heurísticos.
● Aspecto clave #005: Debemos servir al negocio y no al purismo metodológico y a la academia.
● Aspecto clave #006: No todo está relacionado con tu experimento. Acepta que puede haber fallas
tecnológicas y de medición.
● Aspecto clave #007: Atrévete a lanzar pequeños experimentos. Nunca sabes el impacto que
puede tener.