Jakub Štěch a Eliška Králová na konferenci Data Restart 2019. Co se skrývá pod buzzwordem “machine learning” a jak nám může pomoci zvýšit výkon kampaní? Na případu České spořitelny ukážeme, jak jsme optimalizovali nákup RTB a online data začala pomáhat i ve světě CRM kampaní.

1. Jak pomocí
machine learningu
vytěžovat data
z RTB i v CRM?

2. Prezentující
Eliška Králová
• Digital Data Manager v České spořitelně
• Vedení týmu zaměřeného na zpracování a aktivaci online dat

3. Prezentující
Eliška Králová
• Digital Data Manager v České spořitelně
• Vedení týmu zaměřeného na zpracování a aktivaci online dat
Jakub Štěch
• Seniorní Data Scientist v DataSentics​
• PhD student FJFI ČVUT v Praze (Matematika ​statistika)

4. NEVYUŽITÝ POTENCIÁL.

5. DETERMINISTICKÁ
BYZNYSOVÁ PRAVIDLA.
RUČNÍ
ZPRACOVÁNÍ.
HLEDÁNÍ
SOUVISLOSTÍ.

6. ZDLOUHAVOST.
TĚŽKOPÁDNOST.

7. BARIÉRA.

8. REKLAMA WEB INTERNETOVÉ BANKOVNICTVÍ DALŠÍ ZDROJE
ONLINE
SVĚT
OFFLINE
SVĚT
POBOČKY TRANSAKCE MAIL/SMS/PUSH CALLCENTRA
3rd party

9. PROPOJENÍ.

10. FLEXIBILITA.

11. AUTOMATIZACE.
UMĚLÁ
INTELIGENCE.

12. REKLAMA WEB INTERNETOVÉ BANKOVNICTVÍ DALŠÍ ZDROJE
ONLINE
SVĚT
OFFLINE
SVĚT
POBOČKY TRANSAKCE MAIL/SMS/PUSH CALLCENTRA
3rd party

13. NÁVRH ŘEŠENÍ.
SPECIALISTÉ.

18. REKLAMA WEB INTERNETOVÉ BANKOVNICTVÍ DALŠÍ ZDROJE
Uživatelský online profil
ONLINE
SVĚT
CLOUDOVÉ
PROSTŘEDÍ
OFFLINE
SVĚT
POBOČKY TRANSAKCE MAIL/SMS/PUSH CALLCENTRA
3rd party

19. REKLAMA WEB INTERNETOVÉ BANKOVNICTVÍ DALŠÍ ZDROJE
Uživatelský online profil
ONLINE
SVĚT
CLOUDOVÉ
PROSTŘEDÍ
OFFLINE
SVĚT
POBOČKY TRANSAKCE MAIL/SMS/PUSH CALLCENTRA
3rd party

20. REKLAMA WEB INTERNETOVÉ BANKOVNICTVÍ DALŠÍ ZDROJE
Uživatelský online profil
Klientský profil (CRM)
ONLINE
SVĚT
CLOUDOVÉ
PROSTŘEDÍ
OFFLINE
SVĚT
POBOČKY TRANSAKCE MAIL/SMS/PUSH CALLCENTRA
3rd party
ON-PREM
PROSTŘEDÍ

21. REKLAMA WEB INTERNETOVÉ BANKOVNICTVÍ DALŠÍ ZDROJE
Uživatelský online profil
Klientský profil (CRM)
ONLINE
SVĚT
CLOUDOVÉ
PROSTŘEDÍ
OFFLINE
SVĚT
POBOČKY TRANSAKCE MAIL/SMS/PUSH CALLCENTRA
NÁSTROJE
PRO SPRÁVU
ONLINE
REKLAMY
3rd party
NÁSTROJE
PRO SPRÁVU
KLASICKÝCH
KAMPANÍ
ON-PREM
PROSTŘEDÍ

22. POSTUPNĚ.
AGILNĚ.
END-TO-END.

23. Optimalizace nákupu reklamy
1.CÍL = Navýšení online konverzí

24. REKLAMA WEB INTERNETOVÉ BANKOVNICTVÍ DALŠÍ ZDROJE
Uživatelský online profil
Klientský profil (CRM)
ONLINE
SVĚT
CLOUDOVÉ
PROSTŘEDÍ
OFFLINE
SVĚT
POBOČKY TRANSAKCE MAIL/SMS/PUSH CALLCENTRA
NÁSTROJE
PRO SPRÁVU
ONLINE
REKLAMY
3rd party
NÁSTROJE
PRO SPRÁVU
KLASICKÝCH
KAMPANÍ
ON-PREM
PROSTŘEDÍ

25. REKLAMA WEB INTERNETOVÉ BANKOVNICTVÍ DALŠÍ ZDROJE
Uživatelský online profil
Klientský profil (CRM)
ONLINE
SVĚT
CLOUDOVÉ
PROSTŘEDÍ
OFFLINE
SVĚT
POBOČKY TRANSAKCE MAIL/SMS/PUSH CALLCENTRA
NÁSTROJE
PRO SPRÁVU
ONLINE
REKLAMY
3rd party
NÁSTROJE
PRO SPRÁVU
KLASICKÝCH
KAMPANÍ
ON-PREM
PROSTŘEDÍ

26. Optimalizace nákupu online reklamy
CÍL
Získat více
angažovaných
návštěv

27. Optimalizace nákupu online reklamy
Vstupní data pro optimalizační model
NAVŠTÍVENÉ WEBY
S REKLAMOU ČS
KLIK
ANGAŽOVANÁ
NÁVŠTĚVA WEBU
1.imprese 2.imprese 3.imprese
seznam sauto sauto 1 1
finance babiš - 1 1
finance seznam finance 0 1
lidl seznam seznam 0 1
idnes rohlik 0 0
idnes 0 0
CÍL
Získat více
angažovaných
návštěv

28. Optimalizace nákupu online reklamy
Vstupní data pro optimalizační model
VYSVĚTLUJÍCÍ PROMĚNNÉ
CÍL
Získat více
angažovaných
návštěv
NAVŠTÍVENÉ WEBY
S REKLAMOU ČS
KLIK
ANGAŽOVANÁ
NÁVŠTĚVA WEBU
1.imprese 2.imprese 3.imprese
seznam sauto sauto 1 1
finance babiš - 1 1
finance seznam finance 0 1
lidl seznam seznam 0 1
idnes rohlik 0 0
idnes 0 0

29. Optimalizace nákupu online reklamy
Vstupní data pro optimalizační model
NAVŠTÍVENÉ WEBY
S REKLAMOU ČS
KLIK
ANGAŽOVANÁ
NÁVŠTĚVA WEBU
1.imprese 2.imprese 3.imprese
seznam sauto sauto 1 1
finance babiš - 1 1
finance seznam finance 0 1
lidl seznam seznam 0 1
idnes rohlik 0 0
idnes 0 0
VYSVĚTLUJÍCÍ PROMĚNNÉ CÍL
CÍL
Získat více
angažovaných
návštěv

30. Optimalizace nákupu online reklamy
Nalezení signifikantních proměnných
NAVŠTÍVENÉ WEBY
S REKLAMOU ČS
KLIK
ANGAŽOVANÁ
NÁVŠTĚVA WEBU
1.imprese 2.imprese 3.imprese
seznam sauto sauto 1 1
finance babiš - 1 1
finance seznam finance 0 1
lidl seznam seznam 0 1
idnes rohlik 0 0
idnes 0 0
VYSVĚTLUJÍCÍ PROMĚNNÉ
CÍL
Získat více
angažovaných
návštěv
CÍL

31. Optimalizace nákupu online reklamy
Nalezení signifikantních proměnných
VYSVĚTLUJÍCÍ PROMĚNNÉ
CÍL
Získat více
angažovaných
návštěv
CÍL
NAVŠTÍVENÉ WEBY
S REKLAMOU ČS
KLIK
ANGAŽOVANÁ
NÁVŠTĚVA WEBU
1.imprese 2.imprese 3.imprese
seznam sauto sauto 1 1
finance babiš - 1 1
finance seznam finance 0 1
lidl seznam seznam 0 1
idnes rohlik 0 0
idnes 0 0

32. Optimalizace nákupu online reklamy
Nalezení signifikantních proměnných
VYSVĚTLUJÍCÍ PROMĚNNÉ
CÍL
Získat více
angažovaných
návštěv
CÍL
NAVŠTÍVENÉ WEBY
S REKLAMOU ČS
KLIK
ANGAŽOVANÁ
NÁVŠTĚVA WEBU
1.imprese 2.imprese 3.imprese
seznam sauto sauto 1 1
finance babiš - 1 1
finance seznam finance 0 1
lidl seznam seznam 0 1
idnes rohlik 0 0
idnes 0 0

33. Vstupní data = uživatelem navštívené URL adresy

34. Optimalizace nákupu online reklamy
Příprava machine learning modelu
1.Extrakce proměnných pomocí term frequency inverse document frequency
ze spojených URL
2.Obohacení URL o popis navštívených webů
3.Nalezení kontextu pomocí embedovacích technik word2vec

35. Upravená vstupní data = prediktory z klíčových slov v URL

36. Optimalizace nákupu online reklamy
Machine learning model
1.Extrakce proměnných pomocí term frequency inverse document frequency
ze spojených URL
2.Obohacení URL o popis navštívených webů
3.Nalezení kontextu pomocí embedovacích technik word2vec
4.Machine learning model (glm, xgboost) pro predikci pravděpodobností
angažované návštěvy na základě featur z URL adres z Adform Master Data

37. Optimalizace nákupu online reklamy
Machine learning model nepotřebuje expertní pravidla
handmade_hardcoded_model.py​
if url in [‘babis’, ‘sauto’, ‘finance’]:
return ‘click’
elif url in [‘blesk’, ‘seznam’] and clicks > 3:
return ‘click’
else
return ‘impression’
MACHINE LEARNING
MODEL

38. Optimalizace nákupu online reklamy
Automatické získání pravidel z historie
MACHINE LEARNING
MODEL

39. Evaluace modelu pro navýšení počtu angažovaných návštěv
TOP 10 % uživatelů
s největší pravděpodobností
ang. návštěvy CSAS.cz
Skutečné
navýšení
počtu
návštěv

40. MÍRA NÁVŠTĚVY PRO MODELEM VYBRANÉ SKUPINY UŽIVATELŮ
Optimalizace nákupu online reklamy
Přínos ML modelu pro predikci angažované návštěvy
2 000 000 000
záznamů

41. 2 000 000 000
záznamů
Optimalizace nákupu online reklamy
Přínos ML modelu pro predikci angažované návštěvy
2x více návštěv
za stejnou cenu
MÍRA NÁVŠTĚVY PRO MODELEM VYBRANÉ SKUPINY UŽIVATELŮ

42. Optimalizace péče o klienta
2.CÍL = Navýšení offline konverzí (např. sjednání půjčky)

43. REKLAMA WEB INTERNETOVÉ BANKOVNICTVÍ DALŠÍ ZDROJE
Uživatelský online profil
Klientský profil (CRM)
ONLINE
SVĚT
CLOUDOVÉ
PROSTŘEDÍ
OFFLINE
SVĚT
POBOČKY TRANSAKCE MAIL/SMS/PUSH CALLCENTRA
NÁSTROJE
PRO SPRÁVU
ONLINE
REKLAMY
3rd party
NÁSTROJE
PRO SPRÁVU
KLASICKÝCH
KAMPANÍ

44. Optimalizace péče o klienta CÍL
Predikce
sjednání
půjčky

45. Optimalizace péče o klienta
Vstupní data pro optimalizační model
NAVŠTÍVENÉ WEBY
S REKLAMOU ČS
WEB ČS
1.imprese 2.imprese 3.imprese Kalkulačka FAQ BLOG
finance sauto sauto 1 1 0
finance babiš - 0 1 0
seznam seznam finance 1 0 1
lidl seznam seznam 0 0 1
idnes rohlik 0 0 0
idnes 0 0 0
CÍL
Predikce
sjednání
půjčky

46. Optimalizace péče o klienta
Vstupní data pro optimalizační model
NAVŠTÍVENÉ WEBY
S REKLAMOU ČS
WEB ČS
1.imprese 2.imprese 3.imprese Kalkulačka FAQ BLOG
finance sauto sauto 1 1 0
finance babiš - 0 1 0
seznam seznam finance 1 0 1
lidl seznam seznam 0 0 1
idnes rohlik 0 0 0
idnes 0 0 0
VYSVĚTLUJÍCÍ PROMĚNNÉ
z online světa
CÍL
Predikce
sjednání
půjčky

47. Optimalizace péče o klienta
Vstupní data pro optimalizační model
NAVŠTÍVENÉ WEBY
S REKLAMOU ČS
WEB ČS
OFFLINE
SKÓRE
1.imprese 2.imprese 3.imprese Kalkulačka FAQ BLOG
finance sauto sauto 1 1 0 0,79
finance babiš - 0 1 0 0,31
seznam seznam finance 1 0 1 0,34
lidl seznam seznam 0 0 1 0,01
idnes rohlik 0 0 0 0,07
idnes 0 0 0 0,08
VYSVĚTLUJÍCÍ PROMĚNNÉ
z online světa
VYSVĚTLUJÍCÍ PROMĚNNÉ
z offline světa
CÍL
Predikce
sjednání
půjčky

48. Optimalizace péče o klienta
Predikce offline konverze pro obohacení klientského profilu
NAVŠTÍVENÉ WEBY
S REKLAMOU ČS
WEB ČS
OFFLINE
SKÓRE
OFFLINE
KONVERZE
1.imprese 2.imprese 3.imprese Kalkulačka FAQ BLOG
finance sauto sauto 1 1 0 0,79 1
finance babiš - 0 1 0 0,31 0
seznam seznam finance 1 0 1 0,34 0
lidl seznam seznam 0 0 1 0,01 0
idnes rohlik 0 0 0 0,07 0
idnes 0 0 0 0,08 0
VYSVĚTLUJÍCÍ PROMĚNNÉ
z online světa CÍL
VYSVĚTLUJÍCÍ PROMĚNNÉ
z offline světa

49. Optimalizace péče o klienta
Příprava machine learning modelu
1.Extrakce proměnných pomocí term frequency inverse document frequency
ze spojených URL
2.Obohacení URL o popis navštívených webů
3.Nalezení kontextu pomocí embedovacích technik word2vec
4.Machine learning model (glm, xgboost) pro predikci pravděpodobností
offline konverze

50. Evaluace modelu pro predikci sjednání půjčky

51. REKLAMA WEB INTERNETOVÉ BANKOVNICTVÍ DALŠÍ ZDROJE
Uživatelský online profil
Klientský profil (CRM)
ONLINE
SVĚT
CLOUDOVÉ
PROSTŘEDÍ
OFFLINE
SVĚT
POBOČKY TRANSAKCE MAIL/SMS/PUSH CALLCENTRA
NÁSTROJE
PRO SPRÁVU
ONLINE
REKLAMY
3rd party
NÁSTROJE
PRO SPRÁVU
KLASICKÝCH
KAMPANÍ

52. Příprava machine learning modelu
1.Extrakce proměnných pomocí term frequency inverse document frequency
ze spojených URL
2.Obohacení URL o popis navštívených webů
3.Nalezení kontextu pomocí embedovacích technik word2vec
4.Machine learning model (glm, xgboost) pro predikci pravděpodobností
offline konverze
5.Vysvětlení koeficientů a signifikantních proměnných modelu

53. Obohacení klientského profilu o online signály
Generování doporučení pro zákazníky na pobočce
byty
idnes
půjčka
chalupy
hypotéka
finance
seznam
twitter
instagram
wikipedia
seznam
seznam
jágr
wikipedia
wikipedia
babiš
wikipedia
bezrealitky

54. Obohacení klientského profilu o online signály
Generování doporučení pro zákazníky na pobočce
byty
idnes
půjčka
chalupy
hypotéka
finance
seznam
twitter
instagram
wikipedia
seznam
seznam
jágr
wikipedia
wikipedia
bezrealitky
babiš
wikipedia

55. Obohacení klientského profilu o online signály
Generování témat komunikace
byty
idnes
půjčka
chalupy
hypotéka
finance
seznam
twitter
instagram
wikipedia
seznam
seznam
jágr
wikipedia
wikipedia
bezrealitky
babiš
wikipedia

56. byty
idnes
půjčka
chalupy
hypotéka
finance
seznam
twitter
instagram
wikipedia
seznam
seznam
jágr
wikipedia
wikipedia
babiš
wikipedia
Klient řeší
půjčku/hypotéku
(80%)
bezrealitky

57. byty
idnes
půjčka
chalupy
hypotéka
finance
seznam
twitter
instagram
wikipedia
seznam
seznam
jágr
wikipedia
wikipedia
babiš
wikipedia
Klient řeší:
bydlení (60%)
půjčku/hypotéku
(30%)
bezrealitky

58. SPOLUPRÁCE.
PŘÍLEŽITOSTI.
BUDOUCNOST.

59. DĚKUJEME!
Jakub Štěch
DataSentics s.r.o.
jakub.stech@datasentics.com
Eliška Králová
Česká spořitelna a.s.
ekralova@csas.cz