Datawarehouse automation
in de praktijk
Johannes van den Bosch
@johannesvdb
#bid14
De oude situatie

HR

Finance

Projecten
De uitdagingen

Silo’s

Spaghetti

Informatiesilo’s per
afdeling/systeem; business vraagt
om integraal bedrijfsbeeld

Alle...
De uitdagingen

Beheersbaarheid

Leveranciersafhankelijk

Vraag en aanbod complexer
Door complexiteit stijgen
beheerlasten...
BI architectuur 2.0

src 1

sta 1

sDV 1

Aanbod gedreven
Volgt bronsystemen
Daardoor te genereren
sDV
srcModeltransformat...
Ontwikkelaanpak
inspanning

push

Staging en data
vaults genereren

Rapportages
ontwikkelen

pull

Data marts en
Informati...
Tools & techniek
Fundament open source
• Modellen en laadroutines genereren
– Quipu
www.datawarehousemanagement.org

• Dat...
Organisatie

• Product eigenaar: Manager Planning & Control
• Stuurgroep
– Sturend
– Bepaalt planning
– Eigenaar business ...
Cijfers
• Bijna 2 jaar in productie
– overgangsfase
– oude omgeving geleidelijk ontmanteld
• Contract in 2013 opgezegd
• 8...
Omvang

Bron (staging)
Data vault

4 bronsystemen
420 brontabellen
11.000 attributen
27 mln records

660 tabellen
157 mln ...
Do’s & Dont’s

Bepaal je eigen eisen aan architectuur en stem
ontwerp daarop af
Do’s & Dont’s

Niet alles te automatiseren, het “echte werk”
moet nog altijd gebeuren
Do’s & Dont’s

Vergeet het organiseren van vraagkant niet
maar overdrijf niet in het begin
Do’s & Dont’s

Denk groot, begin klein, maar begin
PoC, PoC, PoC… het kan!
Meer informatie

johannesvdb.blogspot.nl
@johannesvdb
linkedin.com/in/jvdbosch
Upcoming SlideShare
Loading in …5
×

Data Warehouse automation in de praktijk (Heliview 30 1-2014)

1,476 views

Published on

Published in: Technology, Business
  • Be the first to comment

  • Be the first to like this

Data Warehouse automation in de praktijk (Heliview 30 1-2014)

  1. 1. Datawarehouse automation in de praktijk Johannes van den Bosch @johannesvdb #bid14
  2. 2. De oude situatie HR Finance Projecten
  3. 3. De uitdagingen Silo’s Spaghetti Informatiesilo’s per afdeling/systeem; business vraagt om integraal bedrijfsbeeld Allerlei koppelingen om toch wat informatie te integreren
  4. 4. De uitdagingen Beheersbaarheid Leveranciersafhankelijk Vraag en aanbod complexer Door complexiteit stijgen beheerlasten exponentieel, daardoor druk op ontwikkeling Onze business logica in gesloten black box, hergebruik niet zomaar mogelijk
  5. 5. BI architectuur 2.0 src 1 sta 1 sDV 1 Aanbod gedreven Volgt bronsystemen Daardoor te genereren sDV srcModeltransformatie (reversibel)2 2 sta 2 Ambachtelijk DM b Massaproductie src 3 src 4 Repetitief sta 3 Foutgevoelig Saai sta 4 Aanbod (push) Vraag gestuurd bDV Volgt informatiebehoefte DM a Handwerk Business transformatie sDV 3 Intelligent Waarde toevoegend Interessant DM c sDV 4 Vraag (pull)
  6. 6. Ontwikkelaanpak inspanning push Staging en data vaults genereren Rapportages ontwikkelen pull Data marts en Informatie analyse bDV bouwen starten tijd
  7. 7. Tools & techniek Fundament open source • Modellen en laadroutines genereren – Quipu www.datawarehousemanagement.org • Data verplaatsen en transformeren – Pentaho Data Integration www.pentaho.com/product/data-integration • Integratie (templates en scripts) vrij beschikbaar gesteld http://johannesvdb.blogspot.nl/ • Documentatie – MediaWiki • Frontend – Microsoft (vrije keus!) – Nu: project mobile BI en dashboards
  8. 8. Organisatie • Product eigenaar: Manager Planning & Control • Stuurgroep – Sturend – Bepaalt planning – Eigenaar business rules • Werkgroep – Applicatiebeheerders bronsystemen – Adviserend
  9. 9. Cijfers • Bijna 2 jaar in productie – overgangsfase – oude omgeving geleidelijk ontmanteld • Contract in 2013 opgezegd • 85% besparing op BI exploitatie • Tijd en geld – Investering € 0,– 4 maanden tot eerste niet-technische iteratie – GO na pilot – Totale ontwikkeltijd ca. 1 manjaar • Tijd die anders ook nodig was • Door automation ca. 70% minder tijd nodig
  10. 10. Omvang Bron (staging) Data vault 4 bronsystemen 420 brontabellen 11.000 attributen 27 mln records 660 tabellen 157 mln records ETL 3.000 gegenereerde laadroutines 40 handgeschreven routines Data mart 30 dimensies 20 feiten 4 mln records
  11. 11. Do’s & Dont’s Bepaal je eigen eisen aan architectuur en stem ontwerp daarop af
  12. 12. Do’s & Dont’s Niet alles te automatiseren, het “echte werk” moet nog altijd gebeuren
  13. 13. Do’s & Dont’s Vergeet het organiseren van vraagkant niet maar overdrijf niet in het begin
  14. 14. Do’s & Dont’s Denk groot, begin klein, maar begin PoC, PoC, PoC… het kan!
  15. 15. Meer informatie johannesvdb.blogspot.nl @johannesvdb linkedin.com/in/jvdbosch

×