Ik ben achter de tekentafel gaan zitten om een plaat te maken die de plekken van samenwerking tussen de ‘drukke, rumoerige’ research kant en de ‘rustig zoemende’ dataproductie kant weergeeft. Deze afbeelding wordt in deze blog nader toegelicht.
Big Data heeft ruimte nodig, meer ruimte dan je gewend bent in je 'normale' BI-omgeving. Met ruimte bedoel ik eerder ademruimte dan opslagruimte. Het gaat bij Big data niet om hoe groot jouw Hadoop-cluster wel niet is ten opzichte van je concurrenten, maar om de manier waarop je met die Big data omgaat. Let me explain.
In vervolg op mijn blog van afgelopen week duiken we nog wat dieper in de strijd die lijkt op te laaien tussen aanhangers van Big Data en aanhangers van data warehouses. Als je dat nog niet gedaan hebt, is het raadzaam om het eerste deel van deze blog eerst even te lezen voordat je aan dit tweede deel begint.
Stand van zaken, positie en de NORA discussie over metainformatie en metadata bij de e-overheid
Emile van der Maas Stelselarchitect, Kenniscentrum e-overheid
19-09-07
In deze blog ga ik wat dieper in op de status van de Big Data inspanningen van de multinationals, wat daar de voor- en nadelen van zijn en wat je daar als MKB-bedrijf van kunt leren.
Big Data heeft ruimte nodig, meer ruimte dan je gewend bent in je 'normale' BI-omgeving. Met ruimte bedoel ik eerder ademruimte dan opslagruimte. Het gaat bij Big data niet om hoe groot jouw Hadoop-cluster wel niet is ten opzichte van je concurrenten, maar om de manier waarop je met die Big data omgaat. Let me explain.
In vervolg op mijn blog van afgelopen week duiken we nog wat dieper in de strijd die lijkt op te laaien tussen aanhangers van Big Data en aanhangers van data warehouses. Als je dat nog niet gedaan hebt, is het raadzaam om het eerste deel van deze blog eerst even te lezen voordat je aan dit tweede deel begint.
Stand van zaken, positie en de NORA discussie over metainformatie en metadata bij de e-overheid
Emile van der Maas Stelselarchitect, Kenniscentrum e-overheid
19-09-07
In deze blog ga ik wat dieper in op de status van de Big Data inspanningen van de multinationals, wat daar de voor- en nadelen van zijn en wat je daar als MKB-bedrijf van kunt leren.
Big Data is nog steeds een big issue. Ik heb er dan ook redelijk wat aandacht aan besteed in eerdere blogs (bijvoorbeeld: welke data kan interessant zijn en Big Data voor het MKB). Toch is er in de essentie van de zinvolheid van Big Data een zekere verschuiving te onderkennen. Het lijkt me goed om daar in deze blog wat dieper op in te gaan.
Als vervolg op de introductie blog over Data Science binnen Marketing heb ik het deze keer over de functie van data scientist. Wat typeert een data scientist binnen het vakgebied marketing? Welke kwaliteiten heeft hij?
Wat zou jij er van vinden om in een gebouw te werken als deze? Waarschijnlijk niet zo prettig! Laten we dit beeld even in ons achterhoofd houden en het over Master Data hebben.
Marketing en data science worden steeds vaker in één adem genoemd. Daarom lijkt het mij goed om het onderwerp data science - bekeken vanuit de marketing-discipline - eens wat nader te beschrijven in deze no-nonsense blogreeks over Marketing Intelligence. Ik begin daarom maar met een introductie van het begrip zelf.
Om de hele organisatie te kunnen voorzien van goede managementinformatie heb je inmiddels een zeer uitgebreide en uiterst professionele BI-omgeving opgezet: het ‘Enterprise Data Warehouse (EDW)’. Hierin heb je alle BI-omgevingen en hun data warehouses geïntegreerd. Alles in één enkel data warehouse in één enkele BI-omgeving. Alle bedrijfsdata binnen jouw organisatie wordt realtime als brondata in jouw EDW geladen. Er is geen enkele verwarring over terminologie, want het Enterprise Datamodel (EDM) definieert alle begrippen en relateert alle data aan elkaar. Je kunt makkelijk nieuwe dashboards maken, want alle bedrijfsdata is toch al beschikbaar gemaakt in het EDW. Wat kan hier nog misgaan?
Wat voor activiteiten gaat de data scientist - zoals ik die vorige week heb beschreven - nu eigenlijk uitvoeren? Welke proces wordt er typisch binnen data science uitgevoerd?
Om de hele organisatie te kunnen voorzien van goede managementinformatie heb je gekozen voor een ‘centrale’ aanpak. Dat wil zeggen, je hebt alle BI-omgevingen en hun data warehouses geïntegreerd in één enkel data warehouse in één enkele BI-omgeving. Daarmee heb je alle brondata op één plek en kan de interpretatie van die brondata weinig verschillen. Een streefwaardige situatie, maar toch kan deze situatie signalen vertonen die aangeven dat een nieuwe groeistap nodig is.
In twee eerdere blogs (“Wat is Big Data?”) zijn we ingegaan op de vraag wat Big Data is en of je er als manager al iets mee zou moeten. Als je besluit om ook in jouw bedrijf iets te gaan doen met Big Data, dan kom je gelijk bij de vraag: “Moet ik dan ook iets met Data Science?”. Daarom ga ik in deze blog iets dieper in op de relatie tussen Big Data en Data Science.
Data-science, een kwestie van goed samenwerkenJulia Lebedeva
User-System Interaction designers and Software technology PDEngs from Eindhoven University of Technology helped Océ in the development of predictive maintenance software.
Data-science, een kwestie van goed samenwerkenMirabeau
User-system interaction designers and Software technology PDEngs from Eindhoven University of Technology helped Océ in the development of predictive maintenance software.
Dit artikel beschrijft de signalen waaraan je als manager merkt dat een volgende stap in je BI-oplossing nodig is, bijv. als BI met Excel wordt gedaan.
“Ik dacht dat het af was! Nu moet ik nóg €20.000 investeren om het netjes te maken?”
Wie bovenstaande uitspraak herkent, kan misschien wel een lesje ‘verwachtingsmanagement’ gebruiken. Blijkbaar was het voor de opdrachtgever niet helemaal duidelijk wat hij als eindproduct zou krijgen. Bovendien valt het eindproduct tegen, want hij moet flink extra investeren. De Definition of Done (D.o.D.) kan helpen om de transparantie in een ontwikkelproces te bevorderen. Hoe dat werkt en hoe je een D.o.D. opstelt, vertel ik in deze blog.
In een eerdere blog (“Wat is Big Data?”) stond ik uitgebreid stil bij de term Big Data, zijn oorsprong en huidige interpretatie. Rond de vraag “of we er iets mee moeten” is inmiddels flink wat rijpingstijd verstreken, waardoor een update nodig is.
More Related Content
Similar to Marketing Intelligence voor Managers – Het Marketing Data Lake (2)
Big Data is nog steeds een big issue. Ik heb er dan ook redelijk wat aandacht aan besteed in eerdere blogs (bijvoorbeeld: welke data kan interessant zijn en Big Data voor het MKB). Toch is er in de essentie van de zinvolheid van Big Data een zekere verschuiving te onderkennen. Het lijkt me goed om daar in deze blog wat dieper op in te gaan.
Als vervolg op de introductie blog over Data Science binnen Marketing heb ik het deze keer over de functie van data scientist. Wat typeert een data scientist binnen het vakgebied marketing? Welke kwaliteiten heeft hij?
Wat zou jij er van vinden om in een gebouw te werken als deze? Waarschijnlijk niet zo prettig! Laten we dit beeld even in ons achterhoofd houden en het over Master Data hebben.
Marketing en data science worden steeds vaker in één adem genoemd. Daarom lijkt het mij goed om het onderwerp data science - bekeken vanuit de marketing-discipline - eens wat nader te beschrijven in deze no-nonsense blogreeks over Marketing Intelligence. Ik begin daarom maar met een introductie van het begrip zelf.
Om de hele organisatie te kunnen voorzien van goede managementinformatie heb je inmiddels een zeer uitgebreide en uiterst professionele BI-omgeving opgezet: het ‘Enterprise Data Warehouse (EDW)’. Hierin heb je alle BI-omgevingen en hun data warehouses geïntegreerd. Alles in één enkel data warehouse in één enkele BI-omgeving. Alle bedrijfsdata binnen jouw organisatie wordt realtime als brondata in jouw EDW geladen. Er is geen enkele verwarring over terminologie, want het Enterprise Datamodel (EDM) definieert alle begrippen en relateert alle data aan elkaar. Je kunt makkelijk nieuwe dashboards maken, want alle bedrijfsdata is toch al beschikbaar gemaakt in het EDW. Wat kan hier nog misgaan?
Wat voor activiteiten gaat de data scientist - zoals ik die vorige week heb beschreven - nu eigenlijk uitvoeren? Welke proces wordt er typisch binnen data science uitgevoerd?
Om de hele organisatie te kunnen voorzien van goede managementinformatie heb je gekozen voor een ‘centrale’ aanpak. Dat wil zeggen, je hebt alle BI-omgevingen en hun data warehouses geïntegreerd in één enkel data warehouse in één enkele BI-omgeving. Daarmee heb je alle brondata op één plek en kan de interpretatie van die brondata weinig verschillen. Een streefwaardige situatie, maar toch kan deze situatie signalen vertonen die aangeven dat een nieuwe groeistap nodig is.
In twee eerdere blogs (“Wat is Big Data?”) zijn we ingegaan op de vraag wat Big Data is en of je er als manager al iets mee zou moeten. Als je besluit om ook in jouw bedrijf iets te gaan doen met Big Data, dan kom je gelijk bij de vraag: “Moet ik dan ook iets met Data Science?”. Daarom ga ik in deze blog iets dieper in op de relatie tussen Big Data en Data Science.
Data-science, een kwestie van goed samenwerkenJulia Lebedeva
User-System Interaction designers and Software technology PDEngs from Eindhoven University of Technology helped Océ in the development of predictive maintenance software.
Data-science, een kwestie van goed samenwerkenMirabeau
User-system interaction designers and Software technology PDEngs from Eindhoven University of Technology helped Océ in the development of predictive maintenance software.
Dit artikel beschrijft de signalen waaraan je als manager merkt dat een volgende stap in je BI-oplossing nodig is, bijv. als BI met Excel wordt gedaan.
“Ik dacht dat het af was! Nu moet ik nóg €20.000 investeren om het netjes te maken?”
Wie bovenstaande uitspraak herkent, kan misschien wel een lesje ‘verwachtingsmanagement’ gebruiken. Blijkbaar was het voor de opdrachtgever niet helemaal duidelijk wat hij als eindproduct zou krijgen. Bovendien valt het eindproduct tegen, want hij moet flink extra investeren. De Definition of Done (D.o.D.) kan helpen om de transparantie in een ontwikkelproces te bevorderen. Hoe dat werkt en hoe je een D.o.D. opstelt, vertel ik in deze blog.
In een eerdere blog (“Wat is Big Data?”) stond ik uitgebreid stil bij de term Big Data, zijn oorsprong en huidige interpretatie. Rond de vraag “of we er iets mee moeten” is inmiddels flink wat rijpingstijd verstreken, waardoor een update nodig is.
Er is nog geen uitsluitsel binnen de architectuur gemeenschap over het gebruik van de termen Business Architecture (Bedrijfsarchitectuur) en Enterprise Architecture. Is dit hetzelfde? Is het één onderdeel van het ander?d
Er zijn tegenwoordig al aardig wat Marketing Automation tools (MA-tools) op de markt. In deze blog ga ik de MA-tools voor de ‘niet multinationals’ bekijken.
In vorige blogs heb ik nader toegelicht wat data science is en hoe het voor marketing waardevol kan zijn. Ook heb ik de rol van de data scientist, het proces van data science en de databronnen voor data science wat nader beschreven.
Moderne marketing heeft steeds snellere ICT nodig. Maar dat geldt gelukkig niet voor alle processen. Vaak maak ik hiervoor onderscheid tussen de real-time marketing cyclus en de periodieke cyclus. In deze blog ga ik dieper in op deze twee cycli en hun functies.
Klantgegevens zijn waardevol voor Marketing. Des te meer kennis je krijgt over jouw klanten en prospects, des te beter kun je hun wensen en gedrag voorspellen. Maar klantgegevens zijn ook vluchtig, moeilijk te vangen. In dit blog meer uitleg hierover.
Moderne marketing, met kenmerken als ‘customer-centric’, ‘inbound’, ‘content’ en ‘multi-channel’, lijkt vaak direct gekoppeld te worden aan Big Data. Maar is dat wel zo?
Het implementeren van de technologie voor Inbound Marketing lijkt een ‘mer à boire’ met snel uit de hand lopende kosten. Zeker voor kleine en middelgrote bedrijven (typisch tussen de 20 en 2.500 medewerkers). Dat hoeft echter niet zo te zijn. Met de huidige mogelijkheden in de cloud (software as a service, SaaS) zijn ook voor het MKB goed functionerende en goed schaalbare oplossingen beschikbaar. In deze blog ga ik hier wat verder op in en laat wat voorbeelden zien.
Duidelijkheid over wat er aan de processen en verantwoordelijkheden binnen de marketingfunctie moet veranderen, voorkomt desinvesteringen door het falen van aangekochte moderne en soms dure marketingsoftware. Daarom starten we deze blogreeks aan de basis, met het meest heikele punt: de organisatie.
Een modern bedrijf speelt in op de ‘customer journey’ door rekening te houden met het bezoekersgedrag. Maar dat kan Marketing niet alleen. Er moet een goede samenwerking tussen Kanalen, Verkoop en Marketing tot stand komen. Niet alleen technisch, maar ook organisatorisch. In deze blog geef ik de hoofdlijnen voor de technische samenwerking. In een volgend blog zal ik de organisatorische samenwerking bespreken.
Als een klant op eigen initiatief contact opneemt met jouw organisatie moeten alle disciplines samenwerken om de klant of prospect dit contact als prettig en behulpzaam te laten beleven. Daarbij moet die beleving zo consistent mogelijk zijn over de kanalen heen. Om die consistentie te bevorderen is het handig om een soort ‘standaard klantcontact model’ te hanteren. Hiermee maken we de onderdelen van een klantcontact zo kanaal-onafhankelijk mogelijk en kan het marketing- en verkoopproces (en dus de klantbeleving) consistenter worden over alle kanalen.
Net als voor zoveel ICT geldt, is het ook voor Marketing Intelligence belangrijk om een gedegen toolkeuze uit te voeren. Spring niet gelijk met de eerste de beste softwareleverancier in bed, maar overweeg verschillende opties. Behalve dat elke tool bepaalde sterktes en zwaktes kent, moet je er vooral op letten dat een tool past binnen jouw bedrijf en in je bestaande applicatielandschap. Zoals eerder gezegd moeten de systemen voor kanalen, sales en marketing naadloos met elkaar communiceren om een goed commercieel inbound proces te faciliteren.
Moderne marketing met kenmerken als ‘customer-centric’, ‘inbound’, ‘content’ en ‘multi-channel’, is niet zomaar geïmplementeerd. In deze blog zet ik de belangrijkste uitdagingen die moderne marketers tegenkomen even achter elkaar. Dus, in één simpel rijtje, de vijf belangrijkste aandachtsgebieden bij het veranderen van jouw marketingdiscipline naar de moderne leest. Drie voor business en twee voor IT. En hoe ze aan te pakken, natuurlijk.
2. Marketing Intelligence voor Managers – Het Marketing Data Lake (2)
Pg, 2
Deze blog is onderdeel van de themareeks ‘Management & BI’. De themareeks is bedoeld voor
managers die wat meer willen weten over Business Intelligence, maar dan alleen de essentie, in
begrijpelijke taal en zonder alle technische termen en hypes.
Op onze vorige blog zijn veel vragen binnen gekomen over de mogelijke synergie tussen het
Marketing Data Lake en het Marketing Data Warehouse. Begrijpelijk, want dat is een interessante
vraag in het licht van dataconsistentie, kostenefficiëntie en toekomstvastheid. Daarom ben ik
achter de tekentafel gaan zitten om een plaat te maken die de plekken van samenwerking tussen
de ‘drukke, rumoerige’ research kant en de ‘rustig zoemende’ dataproductie kant weergeeft. Deze
afbeelding wordt in deze blog nader toegelicht.
Data Science en Data Productie in samenhang
Hieronder staat een ontwerpschets van een BI-omgeving voor Marketing, met daarin de centrale
positie van het Marketing Data Lake als voedingsbodem voor zowel Marketing Data Science als
Marketing Data Warehousing.
4. Marketing Intelligence voor Managers – Het Marketing Data Lake (2)
Pg, 4
1.1 Databronnen voor het Marketing Data Lake
In de afbeelding heb ik een wat omvangrijker lijst van mogelijke databronnen opgenomen.
Daarmee wil ik laten zien dat het tijdperk waarin alle managementinformatie uit standaard interne
bronnen komt, wel zo’n beetje voorbij is. Het Data Lake is bij uitstek geschikt om allerlei data uit de
meest uiteenlopende bronnen op te nemen. De variëteit van deze data neemt sterk toe door de
steeds toenemende beschikbaarheid van open data, sensordata (IoT) en dark data. Dat laatste
heeft betrekking op data die achter de schermen (bijvoorbeeld logs) in de interne systemen en in
de infrastructuurtechniek (bijvoorbeeld messages en proces statussen) zijn ‘verborgen’. Als een
soort interne sensor-data. Het is weliswaar meestal hoog-volume data, maar de tegenwoordige
techniek maakt het makkelijker om deze te verwerken. Dark data bevat nu eenmaal veel
basiswaarnemingen (vastgelegde events binnen de bedrijfprocessen) en heeft daardoor veel
potentie als stuurinformatie.
Het Marketing Data Lake als centrale bron
Het data lake is gekoppeld met zowel de data science kant (marketing research) als de reguliere,
geborgde data warehousing kant. Beide omgevingen voeden ruwe (raw) data en geschoonde (tidy)
5. Marketing Intelligence voor Managers – Het Marketing Data Lake (2)
Pg, 5
data in het data lake. Ook het reguliere marketing data warehouse wordt via ‘mappings’
(transformatie- en integratielogica) gevoed vanuit het lake. Dit werkt consistentie en synergie in de
hand.
Samenhang tussen research en productie
Alle nieuw ontgonnen data zal eerst door de research kant heen lopen om te worden onderzocht op
waarde. Hier wordt de betekenis van de data, de kwaliteit en de syntax duidelijk. De data engineer
(of bij kleinere bedrijven; de data scientist zelf) zal de data ophalen, bekijken en opschonen
(cleaning data). Als hij dit een beetje netjes doet, zal hij een code book opstellen waarin precies
staat hoe hij de ruwe data ophaalt, interpreteert en bewerkt tot schone data.
De tidy data wordt door exploratory data analysis bekeken op potentiële waarde en relevantie voor
Marketing. Dit geeft een soort eerste leidraad voor verder onderzoek. Explanatory data analysis –
gericht op beantwoording van de onderzoeksvraag – is het hart van data science en bedoeld om de
meest-verklarende variabelen te vinden. Daarmee kun je onder andere adequaat voorspellende
modellen maken. Hiermee wil ik natuurlijk niet zeggen dat alle research altijd verklarend van aard
is, we kennen immers bijvoorbeeld ook beschrijvend onderzoek.
6. Marketing Intelligence voor Managers – Het Marketing Data Lake (2)
Pg, 6
Als uit het onderzoek blijkt dat de data inderdaad een hoge marketingwaarde heeft, is het mogelijk
om deze data regulier op te nemen in de geborgde dataverwerking in het data warehouse. Het
verklarend onderzoek heeft ons inmiddels voldoende begrip over de data gegeven in de vorm van
syntax, semantiek, relaties en structuren. Deze informatie uit het onderzoek, kan door de
ontwikkelaars van de reguliere data warehouse tak worden gebruikt om:
de informatie op het dashboard of rapport in begrijpelijke vorm te tonen
de datamodellering uit te voeren voor het data warehouse
de mappings te maken om van tidy data, via het data warehouse, betekenisvolle informatie op de
dashboards of in de data marts te kunnen genereren
de extractie en cleansing van de ruwe data in nette productieprocedures te kunnen vormgeven
(op basis van het code book)
De rollen rond het Marketing Data Lake en Warehouse
Bij non-multinationals (zeg MKB en National Enterprises) zal al het werk voor data science door
de Data Scientist worden uitgevoerd. Hij is getraind om data uit bronnen te halen en op te schonen.
Bij multinationals zien we tegenwoordig echter steeds meer een splitsing tussen getting & cleaning
7. Marketing Intelligence voor Managers – Het Marketing Data Lake (2)
Pg, 7
data en de onderzoeksmatige data-analyse zelf. Het eerste wordt dan opgepakt door een
gespecialiseerde data engineer en het tweede door de data scientist. De data engineer lijkt ook
steeds meer de geëigende term voor de back-end BI-professional binnen de data warehouse
omgeving. Het is functioneel gelijk werk, alleen de tools en databases kunnen wat verschillen. Het
feit dat het Data Lake alleen niet-geïntegreerde data bevat, maakt het leven van de professionele
data engineer er alleen maar makkelijker op, omdat hij bij het vullen van het data lake (nog) geen
gegevens hoeft te integreren.
Als het zover is dat de data engineer voor het onderzoek ook de integratie van gegevens in een
samenhangend datamodel moet gaan doen, dan zijn de functies vergelijkbaar en zullen de termen
in elkaar overgaan. Zoals wellicht bekend is de plek van data integratie het belangrijkste
onderscheid tussen data science en data warehousing:
Voor data warehousing geldt de volgorde: 1. extraction, 2. cleansing, 3.
transformation/integration, en 4. storing. Dit heet in vaktermen ‘ETL’ (Extraction, Transformation,
Loading) of ‘schema on write’ (we integreren de data in een model vóórdat we het wegschrijven in
de database).
8. Marketing Intelligence voor Managers – Het Marketing Data Lake (2)
Pg, 8
Voor data science (of big data) geldt de volgorde: 1. getting, 2. cleaning, 3. storing en daarna pas
4. transformation/integration. Dit heet ‘ELT’ (Extraction, Loading, Transformation) of ‘schema on
read’ (we gaan de data pas integreren als we de data gaan gebruiken, dus de opslag zelf - het
data lake - bevat nog niet-geïntegreerde data).
De data scientist heeft – op basis van zijn onderzoeksvraag – ook allerlei data nodig die hij
zelfstandig uit het data lake haalt. Zijn de benodigde data nog niet aanwezig dan stopt hij die er
zelf in - eventueel met hulp van de data engineer.
De front-end BI-professional maakt management dashboards en reports, gebaseerd op de
behoeften van de managers. Nieuwe data die binnenkomt vanuit marketingonderzoek (de data
science kant) is altijd een antwoord op een onderzoeksvraag. De plaatjes die daarbij horen
(meestal plots) zijn bedoeld om het antwoord inzichtelijk te maken. Als blijkt dat dat antwoord een
continu karakter heeft (als je bijvoorbeeld de trend in de gaten wil blijven houden) dan kan een
dergelijke visualisatie (plot) goed hergebruikt worden in een management dashboard. Ook hier
werken de resultaten uit het voorafgaande onderzoek als mooie input voor de front-end BI-
professional.
9. Marketing Intelligence voor Managers – Het Marketing Data Lake (2)
Pg, 9
Conclusie
Er is veel samenhang en synergie te bereiken door de koppeling van data science en big data met
data warehousing, waarbij het marketing data lake een centrale voedingsbodem kan zijn voor beide
takken van sport. Ook is het zo dat de resultaten van een onderzoek in de marketing research kant
vaak goed gebruikt kunnen worden bij de ontwikkeling en borging van de MI-levering in de data
warehouse kant. Het is te verwachten dat deze omgevingen dichter naar elkaar toe kruipen en dat
ook de rollen van de betrokken professionals gaan overlappen. Waar je je ook bevindt in de
groeifasen van Marketing Intelligence; een plekje reserveren voor je Marketing Data Lake kan dus
geen kwaad.
Ben je nieuwsgierig naar de komende blogs over Marketing Intelligence? Abonneer je via
onderstaande knop dan op het thema ‘Management & BI’. Zodra er een nieuwe blog in de reeks
verschijnt, krijg je automatisch een seintje (per e-mail) met een link.
10. Marketing Intelligence voor Managers – Het Marketing Data Lake (2)
Pg, 10
Laat hieronder een opmerking achter als je een bepaald onderwerp rond Marketing Intelligence wilt
aandragen. Dan kan het zomaar voorkomen dat jouw situatie of vraag in een dedicated blog binnen
de reeks wordt besproken.