Pojďte se seznámit s Dataformem a jeho místem v Google Cloud Platform. Povíme vám, co Dataform je a jak s ním pracovat. Kromě teoretického zakotvení se společně podíváme na praktické využítí Dataformu pro zpracování Google Analytics 4 e-commerce dat z BigQuery.

1. Chuan
Jakub Kříž
DATAFORM & GA4
ECOMMERCE DATA

2. Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice info@optimics.cz
Speakers
Chuan
Web Analyst
Jakub Kříž
Cloud Architect

3. 1.Krátké intro do Dataformu
2. Co je Dataform?
3. Jaký problém řeší?
4. Proč ho chce každý mít?
5.Ecom Report Transform package
6. Co umí?
7. Jak nainstalovat?
8. Co plánujeme s packagem dál?
info@optimics.cz
Co dneska probereme?

4. Co je Dataform?

5. Co je Dataform?
info@optimics.cz
Dataform je open source služba pro data
inženýry určená pro vývoj, verzování
a spouštění komplexních SQL transformací.
Je plně integrovaná v Google Cloud Platform
Big Query.

6. Co Dataform řeší?

7. Tvorba SQL Pipelines -Tenkrát
info@optimics.cz
Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice

8. Tvorba SQL Pipelines -Dnes
info@optimics.cz
Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice

9. ETL -> ELT
info@optimics.cz
Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice

10. SQLX
info@optimics.cz
Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice
Programovatelná nadstavba nad SQL rozšiřující
funkcionalitu o JavaScriptové proměnné a makra.
*SQLX is open source

11. Version Control Code
info@optimics.cz
Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice

12. Proč ho chce každý mít?

13. Proč chceme Dataform?
info@optimics.cz
Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice
❏ Přímo v BigQuery.
❏ Rostoucí komunita.
❏ Používání je zdarma.
❏ Lze je postupně integrovat.
❏ Řeší největší problémy při budování data pipelines.
❏ Může jej využívat data inženýr, programátor i marketér.

14. Alternativa Dataformu

15. ❏ Kombinace SQL a Pythonu
❏ Podobné jako Dataform
❏ Hype v data komunitě
❏ Placený SaaS (Free 1 User)
dbt
info@optimics.cz
Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice

16. Jsme v tom
spolu
ECOM-REPORT-TRANSFORM
PACKAGE

17. ECOM REPORT TRANSFORM
info@optimics.cz
Co dělá package?
❏ Dělá z GA4 ecommerce událostí flat table, která může sloužit pro reporting dat z BQ
❏ Umí napočítat historická data a inkrementem přidávat další dny
❏ Pro instalaci package vám stačí 15 minut
Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice

18. Nejlepší nápady přicházejí u piva
info@optimics.cz
„Chuane, udělej z toho open-source package,
protože se na tom naučíš nesmysl věcí.”
Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice

19. Dlouhá cesta
Část první -současný stav

20. Současný stav
info@optimics.cz
❏ Máme hotový npm package s jednoduchým
nápočtem e-commerce dat
❏ Překonali jsme základní obavu z tvorby
package - už můžeme dělat lepší package
❏ Začínáme definovat dlouhodobou vizi
package, protože to chceme dělat pro
komunitu a bavit se u toho.
Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice

21. info@optimics.cz
PRAKTICKÁ UKÁZKA
IMPLEMENTACE PACKAGE

22. Založení Dataformu

23. Instalace package

24. Spuštění nápočtu

25. Dlouhá cesta
Část druhá -co plánujeme?

26. Co plánujeme do budoucna?
info@optimics.cz
❏ Vylepšit současnou query, aby poskytovala lepší
dataset pro reporting e-commerce dat
❏ Tvorba GTM kontejneru, který dokáže zpracovat
GA4 Ecommerce data dle dokumentace
❏ Zapracování query, která bude zpracovávat
základní GA4 eventy
❏ session_start
❏ first_visit
❏ page_view
❏ Jednoduchý report v Looker Studio, na který by
stačilo napojit tabulku vygenerovanou
Dataformem
Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice

27. Jak si můžeš vylepšit package?
info@optimics.cz
Daily export dat do BQ nemá SLA.
Pokud umíš pracovat (nebo jsi ochotný se to naučit) s
Cloud Routerem, Pub/Subem, Workflows, pak jsi
schopný triggerovat Dataform, aby okamžitě po
vytvoření daily tabulky nebo updatu tabulky napočítal
aktuální data.
No a nebo přijdeš na něco dalšího, všechno je na
githubu.
Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice

28. Kde najdeš package?
info@optimics.cz
Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice

29. Rekapitulace
info@optimics.cz
Optimics s.r.o., U Garáží 1611/1, 170 00 Praha 7 - Holešovice
❏ Plná integrace do BigQuery
❏ Programování nad SQL
❏ Spolupráce
❏ Verzování
❏ Pořádek
❏ Dokumentování
❏ Testování data kvality
❏ Znovuopakovatelnost kódu
❏ Může jej využívat data inženýr, programátor i marketér

30. Díky!
Chuan & Kuba