More Related Content
Similar to Brondata als enabler van agile bi
Similar to Brondata als enabler van agile bi (20)
Brondata als enabler van agile bi
- 1. IT Consultancy Group bv Friesestraatweg 215 9743 AD Groningen Harald Kikkers ha.kikkers@itcg.nl IT C G Brondata als enabler van Agile BI
- 2. BI, altijd lastig?! IT C G Big ENTERPRISE Big LOGIC Big DATA Brondata als enabler van Agile BI 2
- 3. Big ENTERPRISE IT C G • Vertrager… – Te hoge kosten (?) – Te lange doorlooptijd (?) – Te hoge risico’s (?) • Versneller… – Big ENTERPRISE AGILE! • Big LOGIC (?) Kennis, technologie • Big DATA (?) Volume, semantiek, kwaliteit, veiligheid Brondata als enabler van Agile BI 3
- 4. AGILE! IT C G • Doel – Sneller, beter, goedkoper,… – Opheffen nadelen conventionele aanpakken • ‘waterval’ gaat uit van ‘fixed target’, volledige spec • Agile ‘specifying by doing’ • Een continuproces – Kleine teams, multidisciplinair, betrokkenheid gebruikers – Korte iteraties (‘Sprints’) snelle feedback bijsturen – Nauwe samenwerking business en ICT Organisatie! Brondata als enabler van Agile BI 4
- 5. Kennis en ervaring… • • • • • • • • • • • • • • IT C G BI SQL Databases Data analyse Data kwaliteit Data modellering Informatie analyse Performance tuning Project management Materie-deskundigheid Informatie management Technische infrastructuren Modellering datalogistieke processen Etc, etc, etc, etc, etc, etc, etc, etc, etc, etc, … Brondata als enabler van Agile BI 5
- 6. Big ENTERPRISE IT C G Agile aanpak Brondata als enabler van Agile BI 6
- 7. “One down, two to go!” IT C G Big ENTERPRISE Big LOGIC Big DATA Brondata als enabler van Agile BI 7
- 8. Big LOGIC IT C G • Vertrager… – Structuur en semantiek van data – Data-kwaliteit, normering en regels – Mapping-/transformatie • Versneller… – Meta-data repositories – Standaard architectuur – BI tools • • • • • Meta data repositories (Bron-)data analyse ETL (transformatie, mapping) Code generatoren Runtime framework Brondata als enabler van Agile BI 8
- 9. Toepassing tools in BI IT C G Data Warehouse laad & check mapping Bron Modellen Referentie Model Data Marts check mapping Bronnen Extracties (GLO) DQ regels Uitval Brondata als enabler van Agile BI Map regels Audit DQ regels Uitval Map regels Audit 9
- 10. ETL-tools in BI IT C G Data Warehouse ETL laad & check mapping Voordelen: • Basisfunctionaliteiten (stage, hist, map, QA) Bron Referentie Modellen Model • Kennisborging generatie Voorwaarden: mapping • Meta-data management (?) Data Marts check Bronnen Extracties (GLO) DQ regels Uitval Brondata als enabler van Agile BI Map regels Audit DQ regels Uitval Map regels Audit 10
- 11. Analyse-tools in BI IT C G Data Warehouse Analyse laad & check Voordelen: • Kennis integratieBron borging generatie Referentie Modellen mapping Model Voorwaarden: • Modellerenmapping meta-data (?) check • Formuleren & normeren kwaliteit (?) Data Marts Bronnen Extracties (GLO) DQ regels Uitval Brondata als enabler van Agile BI Map regels Audit DQ regels Uitval Map regels Audit 11
- 12. BI-tools IT C G Kennis… • Analyseren (statistiek, profiling) • Vastleggen (repositorie) • Ontsluiten (browsen, visualisatie) • Onderhouden (editors) • Automatiseren (generatoren) Managen van kennis (meta–data) Automatiseren oplossing (generatie en operatie) Brondata als enabler van Agile BI 12
- 13. BI-tool screen shots… Brondata als enabler van Agile BI IT C G 13
- 14. BI-tool screen shots… Brondata als enabler van Agile BI IT C G 14
- 15. BI-tool screen shots… Brondata als enabler van Agile BI IT C G 15
- 16. BI-tool screen shots… Brondata als enabler van Agile BI IT C G 16
- 17. Big LOGIC IT C G BI tools Brondata als enabler van Agile BI 17
- 18. “Two down, one to go!” IT C G Big ENTERPRISE Big LOGIC Big DATA Brondata als enabler van Agile BI 18
- 19. Big DATA IT C G • Vertrager… – Testsets te groot – Testsets niet specifiek – Testsets bevatten ‘gevoelige’ data • Versneller… – Kleinere testsets – Specifieke testsets – Anonimisering Brondata als enabler van Agile BI Test Data Management tools! 19
- 20. Toepassing subsetting in BI IT C G Data Warehouse Subsetting laad & check mapping Voordelen: Bron Referentie • Kleine sets = snel testen Modellen Model • Kleine sets = veilig (minder ‘gevoelige’ data) Bronnen Data Marts check Voorwaarden:mapping • Flexibiliteit m.b.t. selectie-criteria (?) • Over de keten heen (?) • Technisch vs. functioneel consistent (?) Extracties (GLO) DQ regels Uitval Brondata als enabler van Agile BI Map regels Audit DQ regels Uitval Map regels Audit 20
- 21. Subsetting screen shots… Brondata als enabler van Agile BI IT C G 21
- 22. Subsetting screen shots… Brondata als enabler van Agile BI IT C G 22
- 23. Subsetting screen shots… Brondata als enabler van Agile BI IT C G 23
- 24. Toepassing anonimisering in BI IT C G Data Warehouse Anonimisering laad & check Voordelen: Bron Referentie • Anoniem = veilig (WbP, concurrentie) Modellen Bronnen mapping Model Voorwaarden: mapping • Bepalen risico-klasse (?) check • Specificatie anonimiseringsregels (?) • Pseudonimiseren of anonimisering (?) Extracties (GLO) DQ regels Uitval Brondata als enabler van Agile BI Map regels Audit DQ regels Uitval Map regels Data Marts Audit 24
- 25. Anonimisering screen shots… Brondata als enabler van Agile BI IT C G 25
- 26. Anonimisering screen shots… Brondata als enabler van Agile BI IT C G 26
- 27. “Touchdown!” IT C G Big ENTERPRISE Big LOGIC Big DATA Brondata als enabler van Agile BI 27
- 28. Big DATA IT C G TDM tools Brondata als enabler van Agile BI 28
- 29. Conclusie IT C G • Big ENTERPRISE AGILE methode • Big LOGIC Data analyse & ETL-tooling • Big DATA Testdata management tooling • Subsetting • Anonimisering Brondata als enabler van Agile BI 29
- 30. Afsluiting IT C G • Vragen…? • … en anders op onze stand – Kennismaken – Demo’s • DATPROF Integrate • DATPROF Subset • DATPROF Privacy Brondata als enabler van Agile BI 30