De ontwikkeling en inzet van modellen
voor marketing campagnes vanuit het
datalake
Amsterdam, 21 september 2017
Confidentiality code – None (C1) • Versie 1.0 Definitief
Elinevan den Boogert Annelies Vermeij
Confidentiality code – None (C1) • Versie 1.0 Definitief2222
Even voorstellen…..
Nuon, onderdeel van Vattenfall
• Vattenfall is 100% eigendom
van de Zweedse staat
• Vattenfall is een van de grootste
elektriciteitsproducenten en de
grootste warmteproducent van
Europa
• Klimaatneutraal in 2050
3333 Confidentiality code – None (C1) • Versie 1.0 Definitief
4444
Bedient circa 2 miljoen consumenten,
bedrijven en organisaties in NL
Duurzaamheid is een integraal onderdeel
van de strategie van Nuon
Nuon
We bieden verschillende energieoplossingen voor
onze klanten
5555 Confidentiality code – None (C1) • Versie 1.0 Definitief
6666
Wij willen de meest aanbevolen energieleverancier van Nederland
worden
Confidentiality code – None (C1) • Versie 1.0 Definitief7777
Dat vereist een andere manier van werken
Minder van binnen naar buiten Maar van buiten naar binnen
• Wat wil Nuon?
• Via welke kanalen zullen we communiceren?
• Welke producten willen we verkopen?
• Welke behoeften hebben onze klanten?
• Welke product maken onze klanten blij?
• Hoe kunnen wij de klant het beste bereiken
Wat vinden onze klanten belangrijk?
Confidentialitycode – None (C1) • Versie 1.0 Definitief8888
Met als resultaat 3 pijlers voor onze strategie
9999 Confidentiality code – None (C1) • Versie 1.0 Definitief
Persoonlijk relevantPersoonlijk relevantPersoonlijk relevantPersoonlijk relevant
Service die is afgestemd op
uw persoonlijke situatie
WaarderenWaarderenWaarderenWaarderen
Hoe langer klant u bent,
hoe meer voordeel u krijgt
DuurzaamDuurzaamDuurzaamDuurzaam
Moeiteloos kosten
besparen en duurzamer
omgaan met uw energie
NBA = Next Best Action
Next best Action = Framework van business rules en algoritmes
om te bepalen wat relevant is voor welke klant op welk moment
5 uitgangspunten
1. Commerciële en service communicatie geënt op NBA model
2. NBA’s 1 plek gecreëerd, 1 centrale waarheid
3. NBA’s waar mogelijk gebaseerd op voorspelmodellen
4. NBA’s consistent in alle kanalen
5. NBA’s kunnen overruled worden indien noodzakelijk
10101010 Confidentiality code – None (C1) • Versie 1.0 Definitief
Next best Action = Framework van business rules en algoritmes
om te bepalen wat relevant is voor welke klant op welk moment
ZonneZonneZonneZonne----
panelenpanelenpanelenpanelen
VasteVasteVasteVaste prijsprijsprijsprijs GroeneGroeneGroeneGroene
stroomstroomstroomstroom
ServiceServiceServiceService
callcallcallcall
5 1 30 45
10 80 1 5
70 23 20 40
2 4 60 20
Algoritmes en business rules gebaseerd op
relevantie voor de klant en waarde voor Nuon
Customer
feedback
OnlineOnlineOnlineOnline
triggerstriggerstriggerstriggers
CRM dataCRM dataCRM dataCRM data
HoogsteHoogsteHoogsteHoogste waardewaardewaardewaarde = Next best action= Next best action= Next best action= Next best action
Confidentiality code – None (C1) • Versie 1.0 Definitief11111111
Wat was er nodig om
schaalbare NBA modellen en
triggers te kunnen
ontwikkelen?
Confidentiality code – None (C1) • Versie 1.0 Definitief12121212
Techniek: Hadoop omgeving noodzakelijk
Confidentiality code – None (C1) • Versie 1.0 Definitief13131313
Hadoop datalakeOracle datawarehouse
2017
Skills: Traject ism GoDataDriven
Confidentiality code – None (C1) • Versie 1.0 Definitief14141414
2016
Wat zijn onze deliverables?
Confidentiality code – None (C1) • Versie 1.0 Definitief15151515
VoorspelmodellenVoorspelmodellenVoorspelmodellenVoorspelmodellen TriggersTriggersTriggersTriggers
Confidentiality code None (C1) • Versie 1.0 Definitief16161616
Onze eerste modellen en triggers staan live
General feature tabellen als basis voor NBA-modellen
KlantKlantKlantKlant
Contract
inflow
features
Klantnummer
Relatie
features:
Klantnummer
Contactadres
Aansluitadres
Klantcontact
features
Klantnummer
Switch
features
Klantnummer
Contract
features
Klantnummer
Campagne
features
Klantnummer
Order
features
Klantnummer
Klantfeedbac
k features
Klantnummer
Factuur
features
Klantnummer
Confidentiality code – None (C1) • Versie 1.0 Definitief17171717
Van data naar een geautomatiseerd model
Confidentiality code – None (C1) • Versie 1.0 Definitief18181818
Dataset
creëren
Dataset
creëren
Data
exploratie
Data
exploratie
Modelkeuze:
Logit model
Modelkeuze:
Logit model
Testen met
variabelen
Testen met
variabelen
Productiecode
schrijven
Productiecode
schrijven
Schedulen in
Airflow
Schedulen in
Airflow
• Model maakt betere
selectie mogelijk
• Gain chart maakt
kosten-baten
inzichtelijk (ROI)
19191919
Performance model
Confidentiality code – None (C1) • Versie 1.0 Definitief
• Door de top 70% te
selecteren, behalen we een
31% hogere conversie
Confidentiality code – None (C1) • Versie 1.0 Definitief20202020
Conversiestijging van 31% door targeting
9
29
41
53
58
101
115
144
179
2701
Ø 100
Conversie per deciel (geïndexeerd)
10
9
7
2
3
4
6
5
8
131
+31%
Continue monitoring performance
• Gemiddelde conversie
per responsdeciel
• Relaties variabelen
met respons
Confidentiality code – None (C1) • Versie 1.0 Definitief21212121
Monitoring van triggers en modellen in airflow
Confidentiality code – None (C1) • Versie 1.0 Definitief22222222
Hoe we verder gaan
Confidentiality code – None (C1) • Versie 1.0 Definitief23232323
Richting zelflerende algoritmes
H2H2H2H2----2017201720172017
• Meer NBAMeer NBAMeer NBAMeer NBA
modellenmodellenmodellenmodellen
ontwikkelenontwikkelenontwikkelenontwikkelen
H1 2018H1 2018H1 2018H1 2018
• ImplementatieImplementatieImplementatieImplementatie
modellen in allemodellen in allemodellen in allemodellen in alle
campagnescampagnescampagnescampagnes
H2 2018H2 2018H2 2018H2 2018
• Voorbereiding voorVoorbereiding voorVoorbereiding voorVoorbereiding voor
zelflerendezelflerendezelflerendezelflerende
algoritmesalgoritmesalgoritmesalgoritmes
H1 2019H1 2019H1 2019H1 2019
• NBANBANBANBA obvobvobvobv
zelflerendezelflerendezelflerendezelflerende
algoritmesalgoritmesalgoritmesalgoritmes
Confidentiality code – None (C1) • Versie 1.0 Definitief24242424
2019: Op grote schaal kleine campagnes
• Continue flows
• Zeer kleine oplages
• Volledig geautomatiseerd
• Superrelevant
Confidentiality code – None (C1) • Versie 1.0 Definitief25252525

NUON Big Data Expo

  • 1.
    De ontwikkeling eninzet van modellen voor marketing campagnes vanuit het datalake Amsterdam, 21 september 2017 Confidentiality code – None (C1) • Versie 1.0 Definitief
  • 2.
    Elinevan den BoogertAnnelies Vermeij Confidentiality code – None (C1) • Versie 1.0 Definitief2222 Even voorstellen…..
  • 3.
    Nuon, onderdeel vanVattenfall • Vattenfall is 100% eigendom van de Zweedse staat • Vattenfall is een van de grootste elektriciteitsproducenten en de grootste warmteproducent van Europa • Klimaatneutraal in 2050 3333 Confidentiality code – None (C1) • Versie 1.0 Definitief
  • 4.
    4444 Bedient circa 2miljoen consumenten, bedrijven en organisaties in NL Duurzaamheid is een integraal onderdeel van de strategie van Nuon Nuon
  • 5.
    We bieden verschillendeenergieoplossingen voor onze klanten 5555 Confidentiality code – None (C1) • Versie 1.0 Definitief
  • 6.
    6666 Wij willen demeest aanbevolen energieleverancier van Nederland worden
  • 7.
    Confidentiality code –None (C1) • Versie 1.0 Definitief7777 Dat vereist een andere manier van werken Minder van binnen naar buiten Maar van buiten naar binnen • Wat wil Nuon? • Via welke kanalen zullen we communiceren? • Welke producten willen we verkopen? • Welke behoeften hebben onze klanten? • Welke product maken onze klanten blij? • Hoe kunnen wij de klant het beste bereiken
  • 8.
    Wat vinden onzeklanten belangrijk? Confidentialitycode – None (C1) • Versie 1.0 Definitief8888
  • 9.
    Met als resultaat3 pijlers voor onze strategie 9999 Confidentiality code – None (C1) • Versie 1.0 Definitief Persoonlijk relevantPersoonlijk relevantPersoonlijk relevantPersoonlijk relevant Service die is afgestemd op uw persoonlijke situatie WaarderenWaarderenWaarderenWaarderen Hoe langer klant u bent, hoe meer voordeel u krijgt DuurzaamDuurzaamDuurzaamDuurzaam Moeiteloos kosten besparen en duurzamer omgaan met uw energie NBA = Next Best Action
  • 10.
    Next best Action= Framework van business rules en algoritmes om te bepalen wat relevant is voor welke klant op welk moment 5 uitgangspunten 1. Commerciële en service communicatie geënt op NBA model 2. NBA’s 1 plek gecreëerd, 1 centrale waarheid 3. NBA’s waar mogelijk gebaseerd op voorspelmodellen 4. NBA’s consistent in alle kanalen 5. NBA’s kunnen overruled worden indien noodzakelijk 10101010 Confidentiality code – None (C1) • Versie 1.0 Definitief
  • 11.
    Next best Action= Framework van business rules en algoritmes om te bepalen wat relevant is voor welke klant op welk moment ZonneZonneZonneZonne---- panelenpanelenpanelenpanelen VasteVasteVasteVaste prijsprijsprijsprijs GroeneGroeneGroeneGroene stroomstroomstroomstroom ServiceServiceServiceService callcallcallcall 5 1 30 45 10 80 1 5 70 23 20 40 2 4 60 20 Algoritmes en business rules gebaseerd op relevantie voor de klant en waarde voor Nuon Customer feedback OnlineOnlineOnlineOnline triggerstriggerstriggerstriggers CRM dataCRM dataCRM dataCRM data HoogsteHoogsteHoogsteHoogste waardewaardewaardewaarde = Next best action= Next best action= Next best action= Next best action Confidentiality code – None (C1) • Versie 1.0 Definitief11111111
  • 12.
    Wat was ernodig om schaalbare NBA modellen en triggers te kunnen ontwikkelen? Confidentiality code – None (C1) • Versie 1.0 Definitief12121212
  • 13.
    Techniek: Hadoop omgevingnoodzakelijk Confidentiality code – None (C1) • Versie 1.0 Definitief13131313 Hadoop datalakeOracle datawarehouse
  • 14.
    2017 Skills: Traject ismGoDataDriven Confidentiality code – None (C1) • Versie 1.0 Definitief14141414 2016
  • 15.
    Wat zijn onzedeliverables? Confidentiality code – None (C1) • Versie 1.0 Definitief15151515
  • 16.
    VoorspelmodellenVoorspelmodellenVoorspelmodellenVoorspelmodellen TriggersTriggersTriggersTriggers Confidentiality codeNone (C1) • Versie 1.0 Definitief16161616 Onze eerste modellen en triggers staan live
  • 17.
    General feature tabellenals basis voor NBA-modellen KlantKlantKlantKlant Contract inflow features Klantnummer Relatie features: Klantnummer Contactadres Aansluitadres Klantcontact features Klantnummer Switch features Klantnummer Contract features Klantnummer Campagne features Klantnummer Order features Klantnummer Klantfeedbac k features Klantnummer Factuur features Klantnummer Confidentiality code – None (C1) • Versie 1.0 Definitief17171717
  • 18.
    Van data naareen geautomatiseerd model Confidentiality code – None (C1) • Versie 1.0 Definitief18181818 Dataset creëren Dataset creëren Data exploratie Data exploratie Modelkeuze: Logit model Modelkeuze: Logit model Testen met variabelen Testen met variabelen Productiecode schrijven Productiecode schrijven Schedulen in Airflow Schedulen in Airflow
  • 19.
    • Model maaktbetere selectie mogelijk • Gain chart maakt kosten-baten inzichtelijk (ROI) 19191919 Performance model Confidentiality code – None (C1) • Versie 1.0 Definitief
  • 20.
    • Door detop 70% te selecteren, behalen we een 31% hogere conversie Confidentiality code – None (C1) • Versie 1.0 Definitief20202020 Conversiestijging van 31% door targeting 9 29 41 53 58 101 115 144 179 2701 Ø 100 Conversie per deciel (geïndexeerd) 10 9 7 2 3 4 6 5 8 131 +31%
  • 21.
    Continue monitoring performance •Gemiddelde conversie per responsdeciel • Relaties variabelen met respons Confidentiality code – None (C1) • Versie 1.0 Definitief21212121
  • 22.
    Monitoring van triggersen modellen in airflow Confidentiality code – None (C1) • Versie 1.0 Definitief22222222
  • 23.
    Hoe we verdergaan Confidentiality code – None (C1) • Versie 1.0 Definitief23232323
  • 24.
    Richting zelflerende algoritmes H2H2H2H2----2017201720172017 •Meer NBAMeer NBAMeer NBAMeer NBA modellenmodellenmodellenmodellen ontwikkelenontwikkelenontwikkelenontwikkelen H1 2018H1 2018H1 2018H1 2018 • ImplementatieImplementatieImplementatieImplementatie modellen in allemodellen in allemodellen in allemodellen in alle campagnescampagnescampagnescampagnes H2 2018H2 2018H2 2018H2 2018 • Voorbereiding voorVoorbereiding voorVoorbereiding voorVoorbereiding voor zelflerendezelflerendezelflerendezelflerende algoritmesalgoritmesalgoritmesalgoritmes H1 2019H1 2019H1 2019H1 2019 • NBANBANBANBA obvobvobvobv zelflerendezelflerendezelflerendezelflerende algoritmesalgoritmesalgoritmesalgoritmes Confidentiality code – None (C1) • Versie 1.0 Definitief24242424
  • 25.
    2019: Op groteschaal kleine campagnes • Continue flows • Zeer kleine oplages • Volledig geautomatiseerd • Superrelevant Confidentiality code – None (C1) • Versie 1.0 Definitief25252525