1. Datawarehouse automation
in de praktijk
Johannes van den Bosch
@johannesvdb
#bid14

2. De oude situatie
HR
Finance
Projecten

3. De uitdagingen
Silo’s
Spaghetti
Informatiesilo’s per
afdeling/systeem; business vraagt
om integraal bedrijfsbeeld
Allerlei koppelingen om toch wat
informatie te integreren

4. De uitdagingen
Beheersbaarheid
Leveranciersafhankelijk
Vraag en aanbod complexer
Door complexiteit stijgen
beheerlasten exponentieel,
daardoor druk op
ontwikkeling
Onze business logica in
gesloten black box,
hergebruik niet zomaar
mogelijk

5. BI architectuur 2.0
src 1
sta 1
sDV 1
Aanbod gedreven
Volgt bronsystemen
Daardoor te genereren
sDV
srcModeltransformatie (reversibel)2
2
sta 2
Ambachtelijk
DM b
Massaproductie
src 3
src 4
Repetitief
sta 3
Foutgevoelig
Saai
sta 4
Aanbod (push)
Vraag gestuurd
bDV
Volgt informatiebehoefte
DM a
Handwerk
Business transformatie
sDV 3
Intelligent
Waarde toevoegend
Interessant
DM c
sDV 4
Vraag (pull)

6. Ontwikkelaanpak
inspanning
push
Staging en data
vaults genereren
Rapportages
ontwikkelen
pull
Data marts en
Informatie analyse
bDV bouwen
starten
tijd

7. Tools & techniek
Fundament open source
• Modellen en laadroutines genereren
– Quipu
www.datawarehousemanagement.org
• Data verplaatsen en transformeren
– Pentaho Data Integration
www.pentaho.com/product/data-integration
• Integratie (templates en scripts) vrij beschikbaar gesteld
http://johannesvdb.blogspot.nl/
• Documentatie
– MediaWiki
• Frontend
– Microsoft (vrije keus!)
– Nu: project mobile BI en dashboards

8. Organisatie
• Product eigenaar: Manager Planning & Control
• Stuurgroep
– Sturend
– Bepaalt planning
– Eigenaar business rules
• Werkgroep
– Applicatiebeheerders bronsystemen
– Adviserend

9. Cijfers
• Bijna 2 jaar in productie
– overgangsfase
– oude omgeving geleidelijk ontmanteld
• Contract in 2013 opgezegd
• 85% besparing op BI exploitatie
• Tijd en geld
– Investering € 0,– 4 maanden tot eerste niet-technische iteratie
– GO na pilot
– Totale ontwikkeltijd ca. 1 manjaar
• Tijd die anders ook nodig was
• Door automation ca. 70% minder tijd nodig

10. Omvang
Bron (staging)
Data vault
4 bronsystemen
420 brontabellen
11.000 attributen
27 mln records
660 tabellen
157 mln records
ETL
3.000 gegenereerde laadroutines
40 handgeschreven routines
Data mart
30 dimensies
20 feiten
4 mln records

11. Do’s & Dont’s
Bepaal je eigen eisen aan architectuur en stem
ontwerp daarop af

12. Do’s & Dont’s
Niet alles te automatiseren, het “echte werk”
moet nog altijd gebeuren

13. Do’s & Dont’s
Vergeet het organiseren van vraagkant niet
maar overdrijf niet in het begin

14. Do’s & Dont’s
Denk groot, begin klein, maar begin
PoC, PoC, PoC… het kan!

15. Meer informatie
johannesvdb.blogspot.nl
@johannesvdb
linkedin.com/in/jvdbosch