![Výsledek – Causal Impact v RStudiu
Analysis report {CausalImpact}
During the post-intervention period, the response variable had an average value of approx. 1.98K. By contrast, in the absence of an
intervention, we would have expected an average response of 1.51K. The 95% interval of this counterfactual prediction is [1.36K, 1.66K].
Subtracting this prediction from the observed response yields an estimate of the causal effect the intervention had on the response variable.
This effect is 0.47K with a 95% interval of [0.32K, 0.62K]. For a discussion of the significance of this effect, see below.
Summing up the individual data points during the post-intervention period (which can only sometimes be meaningfully interpreted), the
response variable had an overall value of 93.19K. By contrast, had the intervention not taken place, we would have expected a sum of
70.88K. The 95% interval of this prediction is [63.92K, 78.01K].
The above results are given in terms of absolute numbers. In relative terms, the response variable showed an increase of +31%. The 95%
interval of this percentage is [+21%, +41%].
This means that the positive effect observed during the intervention period is statistically significant and unlikely to be due to random
fluctuations. It should be noted, however, that the question of whether this increase also bears substantive significance can only be answered
by comparing the absolute effect (0.47K) to the original goal of the underlying intervention.
The probability of obtaining this effect by chance is very small (Bayesian one-sided tail-area probability p = 0.001). This means the causal
effect can be considered statistically significant.
https://github.com/zatkoma/split-testing-app](https://image.slidesharecdn.com/brenner-testovanivseo-190619213025/75/testovn-v-seo-tipy-a-praxe-pro-vechny-28-2048.jpg?cb=1668960941)
Testování v SEO, tipy a praxe pro všechny
•0 likes•417 views
Download to read offline
Report
David Brenner na konferenci SEO Restart 2019. SEO testy – ty přece děláme všichni. Jak na jejich přípravu a vyhodnocování, abychom z nich dostali maximum?
Recommended
More Related Content
Similar to Testování v SEO, tipy a praxe pro všechny
Similar to Testování v SEO, tipy a praxe pro všechny(11)
More from Taste Medio
More from Taste Medio(20)
Testování v SEO, tipy a praxe pro všechny
- 1. Testování v SEO David Brenner
- 2. Indexují vyhledávače obsah pole Meta Description?
- 4. Proč testy v SEO děláme? Co a jak testujeme Příprava testu Nasazení testu Vyhodnocení testu O čem budu mluvit
- 8. Proč testovat s referenčním vzorkem Sezónnost Trendovost Životní cyklus produktu Celkový růst / propad Aktivity konkurence Změny algoritmů
- 9. UX vs SEO
- 10. Co budeme sledovat a měřit Hlavní metriky Návštěvnost vstupních stránek Pozice na klíčová slova (pro konkrétní vstupní stránku) Imprese vstupních stránek Změna vstupní stránky Další: Míra prokliku (CTR) Míra konverze Tržby na návštěvu Bounce rate Doba trvání návštěvy
- 11. Nástroje Měření Interní měření GA GSC Collabim Marketing Miner Vyhodnocování Google Data Studio Power BI RStudio Další Google Trends
- 12. Výběr datasetu, na kterém budeme testovat Podmínky • Dostatečně velký • Dostatečně velké metriky • Jedna položka není součástí více testů • Minimální vliv sezónnosti a trendovosti • Podobné fáze životního cyklu produktu Referenční vzorek by měl mít podobné parametry jako testovací.
- 13. Rozdělení datasetu na dva podobné https://github.com/dejfnn/rozdeleni-datasetu
- 16. Nasazení testu Podmínky Realizace Mám přístup ke zdrojovému kódu nebo CMS Nasadím si sám Web spravuje webmaster Podrobné zadání pro webmastera Ke zdrojovému kódu ani k obsahu nemám přístup, web mi spravuje externí firma Nástroje třetích stran
- 18. Cloudflare workers Změna šablon titulků a metapopisků Další onpage změny Strukturovaná data Editace robots.txt Přesměrování (self)kanonizace Hreflangs Stavové kódy
- 19. Cloudflare workers - ukázka
- 22. Dávkově odeslat do indexů Google Inspection tool automatization https://www.searchenginejournal.com/automate-url- inspection-tool-python-javascript/301639/ Seznam Indexer https://jakdelatseo.cz/seonastroje/seznamindexer/
- 24. Collabim – historie klíčových slov
- 26. Vizualizace – Causal Impact v RStudiu https://github.com/zatkoma/split-testing-app • Knihovna od Google • Zjišťování míry dopadu provedených změn
- 27. Vizualizace – Causal Impact v RStudiu https://github.com/zatkoma/split-testing-app
- 28. Výsledek – Causal Impact v RStudiu Analysis report {CausalImpact} During the post-intervention period, the response variable had an average value of approx. 1.98K. By contrast, in the absence of an intervention, we would have expected an average response of 1.51K. The 95% interval of this counterfactual prediction is [1.36K, 1.66K]. Subtracting this prediction from the observed response yields an estimate of the causal effect the intervention had on the response variable. This effect is 0.47K with a 95% interval of [0.32K, 0.62K]. For a discussion of the significance of this effect, see below. Summing up the individual data points during the post-intervention period (which can only sometimes be meaningfully interpreted), the response variable had an overall value of 93.19K. By contrast, had the intervention not taken place, we would have expected a sum of 70.88K. The 95% interval of this prediction is [63.92K, 78.01K]. The above results are given in terms of absolute numbers. In relative terms, the response variable showed an increase of +31%. The 95% interval of this percentage is [+21%, +41%]. This means that the positive effect observed during the intervention period is statistically significant and unlikely to be due to random fluctuations. It should be noted, however, that the question of whether this increase also bears substantive significance can only be answered by comparing the absolute effect (0.47K) to the original goal of the underlying intervention. The probability of obtaining this effect by chance is very small (Bayesian one-sided tail-area probability p = 0.001). This means the causal effect can be considered statistically significant. https://github.com/zatkoma/split-testing-app
- 29. Další doporučení • Sledujte nejen průběh metriky před a po testu, ale srovnávejte i meziročně. Pokud to dává smysl. • Sledujte výsledky i kvalitativně. Jak se změnily metriky konkrétních položek. • Kontrolujte nejen absolutní růst / propad jedné měřené skupiny oproti druhé, ale také kolik položek rostlo a kolik se propadlo. • Odebírejte jednotlivé extrémy, které nepřiměřeně ovlivňují výsledky pro celou skupinu.
- 30. Komplikace - proměnlivé podmínky • Změny v algoritmech • Aktivity konkurence • Změny na vzorku během testování (zánik stránek, obsah generovaný uživateli) Jak tomu předcházet? Dělat testy opakovaně a na různých datasetech.
- 31. Komplikace - špatně nastavené měření testů • Malý vzorek dat • Metriky na hranici měřitelnosti • Pozdní měření (pozice, vstupní stránky) • GSC poskytuje užitečné údaje hlavně pro první stránku v SERPu
- 32. Shrnutí 1) Testujte! Nástroje: • Seznam Indexer • Rozdělení datasetu na dva podobné • RStudio Causal Impact pro SEO testování
- 33. We are hiring!
- 34. David Brenner SEO Specialista E-mail: david.brenner@firma.seznam.cz Tel.: 724 443 619 Twitter: @dejfnn Kontakt