AdWorld Experience - Markov Chains: when Stochastic Processes meet Attribution Models

#adwexp
Markov Unchained
andrea@boosterboxdigital.com
@andrepugni
Booster Box
Andrea Pugnana

#adwexp
2
Chi sono
andrea@boosterboxdigital.com @andrepugni
● Senior Data Analyst @Booster Box
from 2018
● Bocconi University: where everything
started
● Data Nerd: in love with data analysis,
algorithms for bidding models and
causal inferences
● Also in love with cats

#adwexp
3
Agenda
● Case study: Taboola
● Dietro alle quinte
● Pro & Cons

#adwexp
Il cliente: Taboola
Elevato budget
B2B
Cliente internazionale
5

#adwexp
Modello di attribuzione per Taboola
Markov wearing his famous chain
Come sfruttare un modello di
attribuzione “data-driven”
capace di andare oltre i modelli
euristici e ottimizzare l’account
del cliente?

#adwexp
La sﬁda
● Attribution dilemma: ancora + grande per grossi clienti
B2B
● valutare l’impatto reale di ogni canale e kw
● Google Analytics 360: not an option

#adwexp
L’approccio
1. Costruzione di un modello di attribuzione basato sulle
catene di Markov
2. Bid adjustments
3. Esperimento su Canada (treated group) e UK (control
group)

#adwexp
I risultati
1. Le kw “upper funnel” contano!
2. Maggiori conversioni a un CPA ridotto.

#adwexp
I risultati
-37%
Cost per
Acquisition in
Canada
-30%
Cost per
Acquisition in
India
-25%
Cost per
Acquisition in
Brazil

#adwexp
Dietro alle quinte:
cap. 1, il dilemma dell’Attribuzione
11

#adwexp
Anche se non lo sai, hai probabilmente un
problema di attribuzione.
Questo è fratello Brittle.

#adwexp
Ma chi sono tutti i responsabili per la morte
di fratello Brittle?

#adwexp
Tre tipi di campagne
Converting
Assisting
Non-Converting

#adwexp
Converting
Assisting
Non-Converting
Quasi tutti ignorano l’impatto delle campagne
che assistono la performance

#adwexp
Uccidiamo il last-click

#adwexp
Dietro alle quinte:
cap. 2, i modelli di attribuzione tradizionali
17

#adwexp
La stessa slide sui pro e cons di ogni modello

#adwexp
Si può fare di meglio...

#adwexp
Dietro alle quinte:
cap. 3, il modello di Attribuzione di Markov
20

#adwexp
Un rapido ripasso su alcuni termini
● Una variabile aleatoria è una variabile i cui valori dipendono su un evento
casuale.
● Un processo stocastico è una collezione di variabili aleatorie,
generalmente osservate lungo un periodo temporale. Solitamente un
processo stocastico è descritto da una legge che determina il passaggio da
una variabile all’altra.

#adwexp
Markov Chains
● Le Markov Chains (catene Markoviane) sono un particolare tipo di
processo stocastico
● In particolare, una catena di Markov di ordine K descrive un
fenomeno la cui probabilità in T+1 dipende dai risultati occorsi ﬁno a
T-(k+1).

#adwexp
INIZIO
King
Schultz
Cacciatore di
Taglie
CONVERSIONE
Scopo del gioco

#adwexp
PATH CONVERSIONI
INIZIO > King Schultz> King Schultz > CONVERSIONE 1
INIZIO > King Schultz> Cacciatore di Taglie > Cacciatore
di Taglie > King Schultz > CONVERSIONE
1
di Taglie > King Schultz > Cacciatore di Taglie >
Cacciatore di Taglie > King Schultz > CONVERSIONE
1
totale 3
Come funziona?

#adwexp
edge Numero di edge Transition probability
INIZIO > King Schultz 3 3/3
INIZIO > Cacciatore di Taglie 0 0
TOT INIZIO 3
King Schultz > King Schultz 2 2/8
King Schultz > Cacciatore di
Taglie 3 3/8
King Schultz > CONVERSIONE 3 3/8
TOT A 8
Cacciatore di Taglie > King
Schultz 3 3/5
Cacciatore di Taglie > Cacciatore
di Taglie 2 2/5
Cacciatore di Taglie >
CONVERSIONE 0 0
TOT B 5

#adwexp
INIZIO
King
Schultz
Cacciatore di
Taglie
CONVERSIONE
100%
25%
60%
37.5%
40%
37.5%

#adwexp
Come valutare il valore di una singola keyword?
● Con il modello di Markov valutiamo questa importanza chiedendoci
come cambierebbe il conversion rate del nostro grafo se rimuovessimo
una di queste keyword da esso.
● NULL state

#adwexp
Se King Schultz diventasse uno stato
NULL, cosa succederebbe al
conversion rate del nostro grafo?
INIZIO NULL
Cacciatore di
Taglie
CONVERSIONE
100%
25%
60%
37.5%
40%
37.5%

#adwexp
Il grafo si sempliﬁcherebbe in questo modo:
Quindi il calo nel conversion rate sarebbe: 100% nel grafo originale - 0% nel grafo senza
King Schultz= 100%
Di conseguenza, l’importanza della keyword King Schultz è 100%=1
INIZIO
NULL
100%

#adwexp
Allo stesso modo si può fare per la keyword Cacciatore di Taglie.
INIZIO
KING
SCHULTZ
NULL
CONVERSIONE
100%
25%
37.5%
37.5%

#adwexp
Il grafo in questo caso si sempliﬁcherebbe così
INIZIO
KING
SCHULTZ NULL
CONVERSIONE
100%
50%
50%
● Le probabilità di
convertire quindi, in
questo grafo sono del
50%.
● Quindi il cambiamento
nel conversion rate
sarebbe:
100% grafo originale -
50% grafo senza
Cacciatore di Taglie =
50%
● Per cui l’importanza
della keyword
Cacciatore di Taglie è
50% = .5

#adwexp
PATH CONVERSIONI
INIZIO > King Schultz> King Schultz > CONVERSIONE 1
di Taglie > King Schultz > CONVERSIONE
1
di Taglie > King Schultz > Cacciatore di Taglie >
Cacciatore di Taglie > King Schultz > CONVERSIONE
1
totale 3
A step back

#adwexp
● Una volta calcolata l’importanza di ogni keyword, possiamo usare i cambiamenti nel
conversion rate come pesi per attribuire le conversioni generate.
● Nel nostro caso il totale dei pesi è 1 + 0.5 = 1.5
● Quindi per King Schultz e Cacciatore di taglie avremo rispettivamente:
Conversioni
A
Conversioni
B
Ultimo step

#adwexp
I maggiori vantaggi di questo modello di
attribuzione
● Interamente basato sulla struttura dei nostri dati
● Permette di usare un approccio interamente cross-channel
● Ci consente di valutare propriamente le campagne che assistono le
conversioni
● Non richiede GA 360

#adwexp
I maggiori svantaggi di questo modello
● Richiede un tracking completamente funzionante
● Non utilizzabile direttamente nelle classiche interfacce delle piattaforme
(ad es. Google Ads, Facebook, ecc.)
● Non considera le views

#adwexp
Possibili utilizzi
1. Bidding Model
2. Budget Allocation

#adwexp
38
andrea@boosterboxdigital.com
@andrepugni
Thanks :)

AdWorld Experience - Markov Chains: when Stochastic Processes meet Attribution Models

Recommended

Recommended

More Related Content

More from Booster Box

More from Booster Box (20)

AdWorld Experience - Markov Chains: when Stochastic Processes meet Attribution Models