Prezentace z Cloud Talks vol. 4. Zvlášť v marketingu většinou nemůžeme dělat experimenty "ceteris paribus" - vliv má sezóna, další aktivity, které ve stejnou dobu dělají další oddělení, nebo konkurence. Jak tedy změny a kampaně vyhodnocovat? CausalImpact není silver bullet, ale výrazně nám s tím může pomoci. Příklady, kdy a jak jsme s ním pracovali, na co se hodí a na co si dát pozor.

1. Jak vyhodnocovat změnu
/ kampaně
Cloud Talks vol. 4
Adam Šilhan

2. Jak správně
vyhodnocovat?
kvalita dat sběr dat
interpretace predikce
hloubka
pohledu
úroveň
pohledu

3. Atribuce

4. What does last click attribution actually mean?
30-Day User
Conversion Path
(Clicks)
Generic Paid Search Organic SearchDisplay Network

5. What does last click attribution actually mean?
30-Day User
Conversion Path
(Clicks)
Tracking tools use their own attribution logic for crediting conversions (based on data scope)
Generic Paid Search Organic SearchDisplay Network
Facebook Ads
Criteo
GA360 - Google
Analytics & Attribution
Google Ads
Display Network Generic Paid Search
Display Network Generic Paid Search Organic Search

6. Jak správně
vyhodnocovat?
kvalita dat sběr dat
interpretace predikce
hloubka
pohledu
úroveň
pohledu

7. Cookie based
- cross-device, cross-browser, cross-profile
- privacy, anti-tracking: browsers

8. Inkrementalita

10. Causal Impact

11. Time series experiments help assess what
performance would have been without the
intervention (e.g., bid increase)
Choose an Advertising Intervention:
example: Increased or Decreased Ad Spend
Chose a Time Series:
example: Conversions or Clicks
Use a Model to Infer Causality:
Use R package to analyze how a “time series” could have evolved after
the intervention if it hadn’t taken place
Captures impact of multiple channels (Search, Display, Video)
http://google.github.io/CausalImpact
Google offers a free package to enable time-series experiments

12. Causal Impact: jednoduchý příklad
Response
Control

13. Causal Impact: jednoduchý příklad
Response
Control
Začátek
experimentu

14. Causal Impact: výstup
The black line is the observed response
metric. The dashed blue line is the predicted
response metric. The banding is the
confidence interval of the prediction.
Intervention

15. Causal Impact: výstup
The black line is the observed response
metric. The dashed blue line is the predicted
response metric. The banding is the
confidence interval of the prediction.
This panel simply plots the observed response
minus the model prediction. (the residuals)
Here we plot cumulative residuals—the total
effect of the intervention
Intervention

16. Prediktor
- zpřesňuje odhad efektu
- funguje jako kontrolní skupina
- nesmí být ovlivněn experimentem
- čím více koreluje s testovanou metrikou, tím lépe

17. Příklady

18. Videokampaň CZ trh
- metrika: celkové tržby
- prediktor: srovnávače, SK
- takeaways: příliš malá kampaň pro vyhodnocení

19. Vstup na nový trh
- metrika: celkové tržby
- prediktor: okolní země, konkurenční data
- takeaways: pozor na zásahy, které mohou ovlivnit
prediktor během kampaně

20. Causal Impact materiály
- Causal Impact R package
- návod na spuštění v Pythonu
- návod na spuštění R skriptů v GCP
- návod na spuštění R skriptů v Jupyter notebooku v
rámci GCP

21. Další materiály
- Prophet - forecasting tool od Facebooku
- interní “googlí” nástroj na time series forecasting
- současný stav a výhled přístupu prohlížečů ke
cookies

22. igloonet.cz/blog
linkedin.com/in/adamsilhan/
adam@igloonet.cz