Wehkamp Mark van Gool

1. Data architectuur
ontmoet
Software architectuur
Beste van twee werelden
Mark van Gool
Product owner Data Platform & Data Infra
wehkamp

2. 30% van de Nederlandse huishoudens shopt bij wehkamp
en we blijven groeien
400.000
verschillende
producten
>500.000
bezoekers elke dag
614 miljoen
klant-sales 16/17
10 million
verzonden pakketten
900
werknemers
30%
van Nederlandse
huishoudens shopt bij
wehkamp
70%
van bezoekers is vrouw
Meer dan 2.000 merken
• C&A
• Hunkemöller
• Mango
• Tommy Hilfiger
• River Island
• Hugo Boss
• Scotch & Soda
• HK Living
• Bloomingville
Online marktpositie
• Fashion #1
• Home & Garden #1/2
• Electronics #3
• Entertainment #3
• Home Appliances #3
• Sports & Leisure #1
• Beauty & Wellness #1

3. Strong brand / we are part of the family since 1952
✓96% Brand Awareness
1952
Herman Wehkamp
Starts selling mattresses
through advertising
1985
1st mail order company
with a telephone order
service
1995 -
1st steps online
Twice a year a
385 page catalogue
2008 - 12 times a year
>1000 pages magalogue
2017: Mobile first
Mobile first customer
experience2010 - Focus online
App, e-magazine, youtube
channel, mobile first and adaptive
design

4. data storage
flexible
secure
data provisioning
data science
real-time
external parties
micro-service architecture
scalable
data driven
intelligence
data exchange
Als we het over data hebben…

5. De ‘Customer Journey’ als voorbeeld van consument en producent van data

6. Klanten als consument én producent van data
Klanten
product prijs voorraad
wensenlijst
winkelmand bestelling leveringbetaling
account
retour
email social sea
clickstream
data geconsumeerd
data geproduceerd
accounting orderafhandeling
beoordeling klantcontactsessie account
beoordeling
profiel
profiel
analytics
leveropties
reparatie

7. Wehkamp werknemers
product prijs voorraad
data geproduceerd
boekhouding inkooporder content foto’s betaling
analytics assortimentsinfo
data geconsumeerd
leveranciersprijzen voorraaddata weer(bericht)
e-mails feeds sea

8. Klanten
product prijs voorraad
wensenlijst
winkelmand bestelling leveringbetaling
account
retour
email social sea
clickstream
data geconsumeerd
data geproduceerd
accounting orderafhandeling
beoordeling klantcontactsessie account
beoordeling
profiel
profiel
analytics
leveropties
reparatie
Wehkamp werknemers
product prijs voorraad
data geproduceerd
boekhouding inkooporder content foto’s betaling
analytics assortimentsinfo
data geconsumeerd
leveranciersprijzen voorraaddata weer(bericht)
e-mails feeds sea

9. product
prijs
voorraad
wensenlijs
winkelmand
bestelling levering
betaling
account
retour
email
social
sea
clickstream
boekhouding
orderafhandeling
beoordeling
klantcontactsessie
profiel
accounting inkooporder
content foto betaling
analytics
leveropties
assortimentsinfo
suppliersinkoopprijs
voorraaddata
reparatie
We zijn ook een data-bedrijf! (naast e-commerce-, tech-, etc.)

10. Hoe gaat data rond @Wehkamp
Disclaimer: versimpelde weergave van de werkelijkheid

11. Oude situatie: data van en naar iedereen…
Business Intelligence
Web Analytics
Analytics
Campagne
Management
batch
Externe partijen
Back-end
website
Front-end
Data warehouses
Batch
BatchBatch
Batch

12. data van ‘gisteren’  real-time
handmatig  geautomatiseerd
nog slimmer
meer data maar wel
gestructureerd
meer inzicht met juiste tools
Operatio
nal
efficiency
Meer
relevant
voor
klant
Verhoog
klant-
tevreden
heid

13. Enter-
prise
Service
Bus
send
Data
warehouse
Service
receive
send
send
receive
call
receive
receive
receive
• Service-to-service communicatie – anti-
pattern.
• Nieuwe berichten hebben implementatie op
verzender, ontvanger en ESB.
• ESB is duur en zwaar.
• Data via ETL processen naar datawarehouse.
• Verzenders en ontvangers ‘kennen
elkaar’
• Orchestratie is nodig
Monoliet
Service
Monoliet
LoadTransformExtract
send
Wacht! ESB, SOA en DWH’s zijn de oplossing, toch?

14. Nieuw (of eigenlijk oud) patroon: publish/subscribe & microservices
publish
data
lake
publish
publish
publish
subscribe
subscribe
subscribe
subscribe
subscribe
subscribe
subscribe
subscribe
subscribe
publisher ‘weet’ niet wie de subscribers zijn subscribers ‘weten’ niet wie de publisher is

15. Apache Kafka
publish
data
lake
publish
publish
subscribe
subscribe
subscribe
subscribe
subscribe
subscribe
subscribe
• Pub-Sub – data kan worden geconsumeerd door
iedereen!
• Consumers zijn verantwoordelijk voor het zelf
bijhouden waar ze zijn met lezen van Kafka
• Producers kunnen ook consumers (van
andere topics) zijn.
• Nieuw soort bericht? Nieuw topic!
TOPIC
PRODUCER
CONSUMER PRODUCER &
CONSUMER
TOPIC
CONSUMER
CONSUMER
CONSUMER GROUP
CONSUMER
TOPIC
PRODUCER
CONSUMER
• snel
• schaalbaar
• lichtgewicht
• gedistribueerd
• persistent

16. Hoe het werkt in de praktijk
web site apps
zoeken
product
fetcher
navi
gatie
content
account
recom
mender
product
zoeksugg
esties
recom
mender
winkel
mand
wensen
lijst
big data &
data warehousesdata science, intelligence, analytics
click
stream
Email marketing
systeem
Klant- en
ordersysteem
Prijssysteem
Voorraadsysteem
Productsysteem
Klantenservice-
systeem

17. Batch
Data WarehouseBronsysteem
Analytics
Data Warehouse
Bronsysteem
Bronsysteem
ETL Processen
ETL Processes
Campaign Mgmt
Web Analytics
Visualisatietools
2-24 hrs
Website Google Tag Mgr Google Analytics
Big
Query
Web Analytics
Hoe zit het dan met data warehouses, BI and web analytics?

18. Data lake
Microservice
data entiteit
subscribe
subscribe
Bronsysteem
Bronsysteem
Bronsysteem
Website clickstream
data entiteit
data entiteit
Systeem
subscribe
Streaming
data
verwerking
Analytics
Campaign Mgmt
Web Analytics
Visualisatietools
Web Analytics
Real-time data
producten
Apache Kafka & Data Lake
streams

19. Microservices
Opslag (ruw& gestructureerd)
Externe partijen
Website/apps
Front-end
Real-timeDataBus(Kafka)
Data Integratie
Data
Warehouse
Data Lake (BIG DATA)
DBBack-end
Data Producten Visualisatie
Ingest
Data
Warehouse
DBBack-end
Self Service BI
Analytics
Campagne-
management
Data Science
Ingest
Het complete plaatje…
Microservices

20. web site apps
zoek-
suggesties
big data &
data warehouses
data science, intelligence, analytics
click
stream
dataverwerking
winter
zomer
Voorbeeld: Datagedreven zoeksuggesties

21. Voorbeeld: Actuele voorraad en prijs naar e-mailteam
producten feed folder e-mail systeem
import feed
klant
klante-mail systeem
API
e-maildata platform Kafka consumer
nieuwe situatie
oude situatie
enkele seconden
enkele uren
e-mail

22. web site apps
recommendation
gateway
big data &
data warehouses
click
stream
dataverwerking
realtime
product
data
item
item
rec
toplist
rec
categ. /
item
rec
clickstream data
Recommendations

23. Logo bingo: dit gebruiken we

24. Trends en toekomst in het datalandschap
• Meer ‘streaming’ – Kafka Streams, Spark Streaming, andere streaming
engines
• Big data – schema on read, steeds meer tools, niet alleen maar Hadoop
• NoSql databases – Redis, Mongo, Cassandra, Riak, Kudu
• Big Data  SQL mogelijkheden
• Cloud, cloud, cloud
• Meer aandacht voor privacy (GDPR!)
• Meer aandacht voor beheer van data, ‘governance’ (GDPR!)
• Architecturen niet alleen bedoeld voor big data
• Andere dataformaten zoals AVRO, ORC en Parquet
• Niet alleen streamen van data, maar ook events

25. Join Us!
www.werkenbijwehkamp.nl
https://medium.com/wehkamp-techblog
mvgool@wehkamp.nl